Robustness and Reasoning Fidelity of Large Language Models in Long-Context Code Question Answering
यह शोध पत्र कई भाषाओं और प्रारूपों में लॉन्ग-कॉन्टेक्स्ट कोड प्रश्न उत्तर देने में लार्ज लैंग्वेज मॉडल्स की मजबूती और तर्क संबंधी निष्ठा का व्यवस्थित रूप से मूल्यांकन करता है, जो यह प्रकट करता है कि जब मॉडल बिखरे हुए विकल्पों, मुक्त-अंत वाले प्रश्नों, या अप्रासंगिक विकर्षणों का सामना करते हैं, तो उनके प्रदर्शन में महत्वपूर्ण गिरावट आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट लाइब्रेरियन (AI) है जिसने दुनिया की लगभग हर किताब पढ़ ली है। आप उस लाइब्रेरियन से एक विशाल, 1,000 पन्नों के उपन्यास के एक विशिष्ट कथानक (plot point) के बारे में सवाल पूछते हैं।
अतीत में, हमने इस लाइब्रेरियन का परीक्षण उन्हें सवाल और चार संभावित उत्तर देकर किया था, और उनसे बस सही वाला चुनने को कहा था। वे इसमें बहुत अच्छे थे। लेकिन यह नया पेपर एक डरावना सवाल पूछता है: क्या लाइब्रेरियन वास्तव में किताब पढ़ रहा है, या वह केवल इस आधार पर अनुमान लगा रहा है कि कौन सा उत्तर जाना-पहचाना लग रहा है?
IBM के शोधकर्ताओं ने यह देखने के लिए कि वे वास्तव में अलग-अलग भाषाओं (Python, Java, और पुराने ज़माने के COBOL) में लिखे गए लंबे, जटिल कोड (कहानियों) को कैसे संभालते हैं, इस लाइब्रेरियन को कई "तनाव परीक्षणों" (stress tests) से गुजरने के लिए मजबूर किया।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "बहुविकल्पीय" जाल (पहचान बनाम तर्क)
परीक्षण: कल्पना कीजिए कि आप लाइब्रेरियन से पूछते हैं, "बटलर (नौकर) को किसने मारा?"
- परिदृश्य A: आप उन्हें एक सूची देते हैं: [A) बटलर, B) शेफ, C) बटलर, D) बटलर]।
- परिदृश्य B: आप बस पूछते हैं, "बटलर को किसने मारा?" बिना किसी सूची के।
परिणाम: लाइब्रेरियन परिदृश्य A में अद्भुत थे (सही अक्षर चुनने में), वे अक्सर 80-90% सही होते थे। लेकिन जब आपने सूची हटा दी (परिदृश्य B), तो उनका स्कोर गिर गया, कभी-कभी 30-50% तक कम हो गया।
सीख: AI वास्तव में रहस्य को "हल" नहीं कर रहा था; वह केवल पैटर्न को पहचान रहा था। यह एक ऐसे छात्र की तरह है जिसने उत्तर कुंजी (answer key) रट ली है लेकिन वह गणित समझा नहीं सकता। जब खुद से उत्तर लिखने के लिए मजबूर किया गया, तो वे संघर्ष करने लगे।
2. "भूसे के ढेर में सुई" (सत्य को खोजना)
परीक्षण: कल्पना कीजिए कि एक विशाल भूसे का ढेर है (कोड के हजारों पन्ने)। शोधकर्ताओं ने उस ढेर के अंदर कहीं एक बहुत ही छोटी, विशिष्ट तिनके (सुई या सही उत्तर) को छिपा दिया।
- परीक्षण 1: उन्होंने सुई को ढेर के बिल्कुल शुरुआत में, बीच में, या बिल्कुल अंत में छिपाया।
- परीक्षण 2: उन्होंने इसमें कई नकली सुइयां (भटकाने वाले तत्व/distractors) भी डाल दीं जो उत्तर की तरह दिखती थीं लेकिन वे नहीं थीं।
परिणाम:
- "हालियाता" का पूर्वाग्रह (Recency Bias): लाइब्रेरियन सुई को खोजने में बहुत अच्छे थे यदि वह ढेर के अंत में थी। यदि सुई शुरुआत में थी, तो वे अक्सर भूल जाते थे कि उसका अस्तित्व है। यह वैसा ही है जैसे आप बातचीत में कही गई आखिरी बात को याद रखते हैं लेकिन पहली बात को भूल जाते हैं।
- "भटकाव" की समस्या (Distractor Problem): जब उन्होंने नकली सुइयां (अप्रासंगिक कोड) डालीं, तो लाइब्रेरियन भ्रमित हो गए और अक्सर गलत चुन लिया, भले ही असली उत्तर वहीं मौजूद था। वे "शोर" (noise) से आसानी से विचलित हो गए।
3. "पुरानी भाषा" की समस्या (COBOL बनाम आधुनिक कोड)
शोधकर्ताओं ने AI का तीन प्रकार के "किताबों" पर परीक्षण किया:
- Python और Java: आधुनिक, लोकप्रिय भाषाएं। AI ठीक-ठाक था, लेकिन अभी भी "खुद उत्तर लिखने" वाले परीक्षण में संघर्ष कर रहा था।
- COBOL: एक प्राचीन भाषा जिसका उपयोग बैंक और सरकारें करती हैं। यह एक ऐसी किताब को पढ़ने जैसा है जो अजीब व्याकरण वाली एक मृत भाषा में लिखी गई है।
- झटका: जब खुद से उत्तर बनाने के लिए कहा गया, तो AI COBOL में बहुत बुरा प्रदर्शन कर रहा था। यदि उन्हें सूची दी जाती तो वे सही उत्तर चुन सकते थे (क्योंकि वे शब्दों को पहचान लेते थे), लेकिन वे अपने आप में COBOL में एक वाक्य नहीं बना सकते थे। यह एक ऐसे अनुवादक की तरह है जो मेनू में फ्रांसीसी शब्दों को पहचान तो सकता है लेकिन फ्रांसीसी का एक भी वाक्य नहीं बोल सकता।
4. "लंबे संदर्भ" (Long Context) का भ्रम
AI मॉडल दावा करते हैं कि वे एक साथ "1 मिलियन टोकन" (पाठ की एक विशाल मात्रा) पढ़ सकते हैं।
- वास्तविकता: सिर्फ इसलिए कि AI अपनी मेमोरी में दस लाख पन्ने रख सकता है, इसका मतलब यह नहीं है कि वह सही पन्ना ढूँढ भी सकता है। जैसे-जैसे कहानी लंबी होती गई, AI का प्रदर्शन बेहतर होने के बजाय, अक्सर खराब होता गया क्योंकि वह सूचना की भारी मात्रा से अभिभूत (overwhelmed) हो गया।
मुख्य निष्कर्ष
यह पेपर निष्कर्ष निकालता है कि हालांकि ये AI मॉडल शक्तिशाली हैं, लेकिन वे नाजुक (fragile) हैं।
- वे बहुत अधिक "चीटिंग" (बहुविकल्पीय विकल्पों का उपयोग करने) पर निर्भर हैं।
- वे उन चीजों को भूल जाते हैं जो बहुत पहले हुई थीं (कोड की शुरुआत)।
- वे अप्रासंगिक जानकारी से आसानी से भ्रमित हो जाते हैं।
- वे पुरानी भाषाओं (जैसे COBOL) के साथ संघर्ष करते हैं जो दुनिया के महत्वपूर्ण बुनियादी ढांचे को संचालित करती हैं।
संक्षेप में: हम इन AI पर हमारे सॉफ़्टवेयर को ठीक करने और हमारे डेटा को प्रबंधित करने के लिए भरोसा कर रहे हैं, लेकिन फिलहाल, वे उन इंजीनियरों की तरह नहीं हैं जो वास्तव में सिस्टम को समझते हैं, बल्कि उन छात्रों की तरह हैं जो परीक्षा में अनुमान लगाने में माहिर हैं। हमें उन्हें तर्क करना सिखाने की आवश्यकता है, न कि केवल पैटर्न पहचानना।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।