The Limits of Long-Context Reasoning in Automated Bug Fixing
यह शोध पत्र यह प्रदर्शित करता है कि जबकि एजेंटिक वर्कफ़्लो कार्यों को लघु-संदर्भ चरणों में विभाजित करके बग-फिक्सिंग प्रदर्शन में सुधार करते हैं, वर्तमान बड़े भाषा मॉडल वास्तव में लंबे संदर्भों (जैसे, 64k टोकन) पर प्रभावी ढंग से तर्क करने में विफल रहते हैं, जो नाममात्र की संदर्भ लंबाई और उपयोगी तर्क क्षमता के बीच एक महत्वपूर्ण अंतर को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र का एक सरल भाषा में अनुवाद दिया गया है, जिसमें कुछ रचनात्मक उपमाओं (analogies) का उपयोग किया गया है।
मुख्य विचार: "लंबी याददाश्त" (Long Memory) बनाम "अच्छी याददाश्त" (Good Memory)
कल्पना कीजिए कि आपने एक विशाल फैक्ट्री में एक टूटी हुई मशीन को ठीक करने के लिए एक बहुत ही बुद्धिमान नए इंटर्न (एक AI) को काम पर रखा है। उस फैक्ट्री में लाखों ब्लूप्रिंट, मैनुअल और लॉग्स (records) मौजूद हैं।
AI के बायोडाटा (resume) में लिखा है कि इसकी "1,00,000 पन्नों की याददाश्त" है। इसका मतलब यह है कि यह बिना कुछ भूले, उन सभी ब्लूप्रिंट्स को एक साथ अपने दिमाग में रख सकता है।
यह शोध पत्र एक बड़ा सवाल पूछता है: सिर्फ इसलिए कि AI उन सभी पन्नों को अपने पास रख सकता है, क्या इसका मतलब यह है कि वह वास्तव में मशीन को ठीक करने के लिए उन सभी को एक साथ पढ़ने और इस्तेमाल करने का तरीका जानता है?
लेखकों का जवाब स्पष्ट रूप से "नहीं" है। उन्होंने पाया कि हालांकि AI मॉडल्स के पास बहुत बड़े "मेमोरी स्लॉट्स" होते हैं, लेकिन जब सब कुछ एक साथ उनके सामने डाल दिया जाता है, तो वे उस मेमोरी का उपयोग करने में बहुत खराब साबित होते हैं। वे तभी अच्छा काम करते हैं जब आप काम को छोटे, प्रबंधनीय चरणों में बाँट देते हैं।
प्रयोग: बग (Bug) ठीक करने के दो तरीके
शोधकर्ताओं ने इसका परीक्षण एक प्रसिद्ध बेंचमार्क का उपयोग करके किया जिसे SWE-bench कहा जाता है, जो वास्तविक दुनिया के सॉफ्टवेयर बग्स का एक विशाल संग्रह है जिन्हें ठीक करने की आवश्यकता है। उन्होंने दो अलग-अलग दृष्टिकोणों का परीक्षण किया:
1. "जासूस" वाला दृष्टिकोण (एजेंटिक वर्कफ़्लो - Agentic Workflow)
इस परिदृश्य में, AI एक जासूस की तरह काम करता है। वह पूरी फैक्ट्री को एक साथ पढ़ने की कोशिश नहीं करता। इसके बजाय, वह छोटे कदम उठाता है:
- "मुझे एरर लॉग (error log) चेक करने दें।"
- "ठीक है, अब मुझे यह विशिष्ट फ़ाइल खोलनी चाहिए।"
- "अब मैं सिर्फ इस एक हिस्से के लिए एक फिक्स (fix) लिखूँगा।"
परिणाम: AI ने काफी अच्छा प्रदर्शन किया! उसने लगभग 30% समस्याओं को हल किया।
पेंच (Catch): जब शोधकर्ताओं ने जासूस के काम करने के "फुटेज" को देखा, तो उन्हें एहसास हुआ कि AI वास्तव में एक बार में 20,000 से 30,000 शब्दों से अधिक नहीं देख रहा था। वह बस एक-एक करके छोटी पहेलियों को सुलझा रहा था। वह अपनी "सुपर मेमोरी" का उपयोग नहीं कर रहा था; वह बस एक अच्छा जासूस बन रहा था।
2. "फायरहोज़" वाला दृष्टिकोण (लॉन्ग-कॉन्टेक्स्ट, सिंगल-शॉट - Long-Context, Single-Shot)
अब, शोधकर्ताओं ने नियम बदल दिए। उन्होंने कहा, "ठीक है AI, यह रही पूरी फैक्ट्री की मैनुअल (64,000 शब्द), टूटी हुई मशीन और एरर मैसेज। इसे अभी एक बार में ठीक कर दो। कोई सवाल मत पूछो, एक-एक करके फाइलें मत ढूँढो। बस मुझे जवाब दे दो।"
परिणाम: AI बुरी तरह विफल रहा।
- एक मॉडल ने 0% कार्य हल किए।
- दूसरे मॉडल ने केवल 7% कार्य हल किए।
AI क्यों विफल हुआ? (भ्रम/Hallucination की समस्या)
जब AI को जानकारी के "फायरहोज़" (भारी मात्रा में डेटा) के सामने डाला गया, तो वह चीजें बनाने लगा (मनगढ़ंत बातें बोलने लगा)। शोधकर्ता इन्हें "Hallucinations" कहते हैं।
इसे ऐसे समझें: आप एक छात्र को 1,000 पन्नों की किताब देते हैं और उसे अध्याय 4 का सारांश लिखने के लिए कहते हैं। क्योंकि किताब बहुत मोटी है, छात्र घबरा जाता है। ध्यान से पढ़ने के बजाय, वह अंदाज़ा लगाने लगता है:
- गलत फ़ाइल: वह मशीन के उस हिस्से को ठीक करने की कोशिश करता है जो किताब में मौजूद ही नहीं है।
- गलत पेज नंबर: वह एक ऐसा फिक्स लिखता है जो कहता है "लाइन 500 बदलें," लेकिन उस पेज पर केवल 50 लाइनें ही हैं।
- बकवास: वह ऐसे नियम बना देता है जो मैनुअल में कहीं नहीं हैं।
AI सूचना की भारी मात्रा से इतना भ्रमित हो गया कि उसने तर्क करना छोड़ दिया और केवल अंदाज़ा लगाने लगा।
"अहा!" क्षण (The "Aha!" Moment)
यह शोध पत्र वर्तमान AI के बारे में एक चौंकाने वाला सच उजागर करता है:
सॉफ्टवेयर इंजीनियरिंग कार्यों के लिए "लॉन्ग कॉन्टेक्स्ट" (Long Context) फीचर ज्यादातर एक मार्केटिंग हथकंडा (marketing gimmick) है।
सिर्फ इसलिए कि एक AI कहता है कि वह 1,00,000 शब्दों का कॉन्टेक्स्ट संभाल सकता है, इसका मतलब यह नहीं है कि वह उस पर तर्क (reasoning) कर सकता है।
- जासूस (एजेंटिक) विधि काम करती है क्योंकि यह बड़ी समस्या को छोटे, आसानी से समझे जाने वाले टुकड़ों में तोड़ देती है।
- फायरहोज़ विधि विफल हो जाती है क्योंकि AI शोर (noise) में खो जाता है।
भविष्य के लिए सबक
लेखक निष्कर्ष निकालते हैं कि हमें केवल यह मानकर नहीं बैठ जाना चाहिए कि AI बेहतर हो जाएगा क्योंकि हमने उसे अधिक मेमोरी दे दी है। हमें ऐसे AI बनाने की आवश्यकता है जो विशेष रूप से भारी मात्रा में जानकारी पर गहराई से सोचने (think deeply) के लिए प्रशिक्षित हो, न कि केवल ऐसे AI जो छोटे कदम उठाने में अच्छे हों।
संक्षेप में: किसी AI को एक बड़ी लाइब्रेरी देने से वह एक बेहतर लाइब्रेरियन नहीं बन जाता। यदि हम उसे एक साथ पूरे भवन में नेविगेट करना नहीं सिखाते हैं, तो यह उसे केवल किताबों के ढेर में खो जाने की अधिक संभावना देता है। फिलहाल, वह एक बार में एक किताब पढ़ने में अधिक सक्षम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।