From Laboratory to Real-World Applications: Benchmarking Agentic Code Reasoning at the Repository Level
यह शोधपत्र RepoReason प्रस्तुत करता है, जो निष्पादन-संचालित उत्परिवर्तन (execution-driven mutation) और गतिशील प्रोग्राम स्लाइसिंग (dynamic program slicing) का उपयोग करने वाला एक व्हाइट-बॉक्स बेंचमार्क है, जो रिपॉजिटरी-स्तरीय एजेंटिक कोड तर्क (repository-level agentic code reasoning) के निदान के लिए है, और यह प्रकट करता है कि एकीकरण की चौड़ाई (integration width) सीमांत मॉडलों (frontier models) के लिए प्राथमिक संज्ञानात्मक बाधा है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को सॉफ्टवेयर इंजीनियर बनना सिखाने की कोशिश कर रहे हैं। आप यह जानना चाहते हैं कि क्या वह केवल कोड की एक पंक्ति लिख सकता है, या वह यह भी समझ सकता है कि एक विशाल प्रोजेक्ट के हजारों फाइलें आपस में कैसे जुड़ी होती हैं, जैसे एक कंडक्टर एक विशाल ऑर्केस्ट्रा का नेतृत्व करता है।
यह पेपर इन रोबोट्स को टेस्ट करने का एक नया तरीका पेश करता है, जिसे RepoReason कहा जाता है। यहाँ बताया गया है कि उन्होंने इसे कैसे बनाया और उन्हें क्या पता चला, इसे सरल भाषा में समझाया गया है।
समस्या: "लैब" बनाम "असली दुनिया"
पहले, इन रोबोट्स का परीक्षण करना एक शांत क्लासरूम में उन्हें एक गणित का सवाल देने जैसा था (एक "लैब")। वे इसे आसानी से हल कर लेते थे। लेकिन वास्तविक सॉफ्टवेयर इंजीनियरिंग एक अराजक, शोर भरे शहर की तरह है जिसमें लाखों परस्पर जुड़े हुए रास्ते हैं। यदि आप एक रोबोट को किसी विशिष्ट पड़ोस में ट्रैफिक जाम ठीक करने के लिए कहते हैं, तो उसे यह समझने की आवश्यकता है कि वह पड़ोस बाकी शहर से कैसे जुड़ता है।
पुराने टेस्ट या तो बहुत सरल थे (एकल गणित के सवाल) या बहुत अस्पष्ट थे (वे बस पूछते थे, "क्या आपने ट्रैफिक ठीक किया?" बिना यह समझाए कि रोबले रास्ता कैसे भटक गया)। लेखक एक ऐसा टेस्ट चाहते थे जो एक डायग्नोस्टिक एक्स-रे की तरह काम करे, जो सटीक रूप से दिखाए कि रोबोट का दिमाग कहाँ विफल हो रहा है।
समाधान: एक "व्हाइट-बॉक्स" जासूसी खेल
लेखकों ने एक बेंचमार्क बनाया जिसे RepoReason कहा जाता है। रोबोट को नया कोड लिखने के लिए कहने के बजाय, वे मौजूदा, जटिल कोड के साथ एक "रिक्त स्थान भरें" (fill-in-the-blank) वाला खेल खेलते हैं।
- सेटअप: वे एक वास्तविक, विशाल सॉफ्टवेयर प्रोजेक्ट लेते हैं (जैसे गणित के लिए कोई लाइब्रेरी या टेम्पलेट इंजन)।
- ट्विस्ट (द "मैजिक ट्रिक"): रोबोट्स को उनके ट्रेनिंग डेटा से उत्तर रटने से रोकने के लिए, लेखक एक "म्यूटेशन इंजन" का उपयोग करते हैं। कल्पना कीजिए कि आप एक रेसिपी ले रहे हैं, उसमें चीनी की मात्रा 1 कप से बदलकर 2 कप कर देते हैं, और फिर रोबोट से पूछते हैं, "केक का नया वजन क्या होगा?"
- रोबोट केवल अनुमान नहीं लगा सकता; उसे परिणाम का पता लगाने के लिए अपने दिमाग में पूरी रेसिपी को मानसिक रूप से चलाना होगा।
- चूंकि संख्याएं बदल दी गई हैं, इसलिए रोबोट पुराने उत्तर को याद करके धोखाधड़ी नहीं कर सकता। उसे वास्तव में तर्क (reasoning) करना होगा।
- लक्ष्य: रोबोट को कोड को देखना होगा, विभिन्न फाइलों के माध्यम से तर्क (logic) का पीछा करना होगा, और सही संख्या का अनुमान लगाना होगा जिससे एक विशिष्ट टेस्ट पास हो सके।
तीन "ब्रेन मेट्रिक्स" (दिमाग के मापदंड)
पेपर केवल "पास" या "फेल" नहीं कहता। यह तीन रचनात्मक उपमाओं का उपयोग करके यह मापता है कि रोबोट कैसे सोचता है:
रीडिंग लोड (ESV) - "लाइब्रेरी का आकार":
- उत्तर खोजने के लिए रोबोट को किताब के कितने पन्ने पढ़ने होंगे?
- निष्कर्ष: यदि रोबोट को एक बार में 600 लाइनों से अधिक कोड पढ़ना पड़ता है, तो उसका दिमाग धुंधला होने लगता है। वह कहानी का ट्रैक खो देता है।
सिमुलेशन डेप्थ (MCL) - "डोमिनो चेन":
- पॉइंट A से पॉइंट B तक पहुँचने के लिए रोबोट को अपने दिमाग में कितने कदम उठाने होंगे?
- निष्कर्ष: यदि घटनाओं की श्रृंखला 100 कदमों से अधिक लंबी है, तो रोबोट गेंद गिरा देता है (गलती कर देता है)। वह भूल जाता है कि श्रृंखला की शुरुआत में क्या हुआ था।
इंटीग्रेशन विड्थ (DFI) - "जिग्सॉ पहेली":
- यह सबसे बड़ा वाला है। कोड के विभिन्न हिस्सों से कितनी अलग-अलग जानकारियों को रोबोट को एक साथ अपने दिमाग में रखना होगा ताकि वह पहेली को हल कर सके?
- निष्कर्ष: यह रोबोट की सबसे बड़ी कमजोरी है। जब रोबोट को 20 से अधिक अलग-अलग स्रोतों से जानकारी को जोड़ना पड़ता है, तो उसका प्रदर्शन गिर जाता है। वह टुकड़ों को पढ़ तो सकता है, लेकिन वह उन्हें एक पूरी तस्वीर में जोड़ने में विफल रहता है।
बड़ी खोज: "एग्रीगेशन डेफिसिट" (एकत्रीकरण की कमी)
लेखकों ने उपलब्ध सबसे स्मार्ट AI मॉडल्स (जैसे Claude, GPT, और DeepSeek) का परीक्षण किया। उन्होंने एक चौंकाने वाला सच पाया:
- बाधा (The Bottleneck): सबसे अच्छे रोबोट भी पढ़ने में और लंबे चरणों के क्रम का पालन करने में बहुत अच्छे हैं। लेकिन वे एक साथ कई अलग-अलग जानकारियों को जोड़ने (combining) में बहुत खराब हैं।
- उपमा: कल्पना कीजिए कि एक जासूस है जो 500 पन्नों की फाइल पढ़ सकता है और हर विवरण को पूरी तरह से याद रख सकता है। लेकिन अगर आप उसे 20 अलग-अलग गवाहों से 20 अलग-अलग सुराग दें और उनसे केस सुलझाने को कहें, तो वह भ्रमित हो जाएगा और कनेक्शन मिस कर देगा। वे "एग्रीगेशन डेफिसिट" का शिकार होते हैं।
यह क्यों महत्वपूर्ण है
यह पेपर एक डायग्नोस्टिक टूल है। यह हमें बताता है कि भविष्य के बेहतर AI इंजीनियर बनाने के लिए, हमें केवल उन्हें तेज़ पढ़ने या लंबी श्रृंखलाओं को याद रखने के लिए प्रशिक्षित नहीं करना चाहिए। हमें उन्हें जानकारी को संश्लेषित (synthesize) करना सिखाना होगा—यानी कई अलग-अलग, असंबद्ध हिस्सों को देखना और यह समझना कि वे सभी मिलकर एक एकल, तार्किक परिणाम कैसे बनाते हैं।
संक्षेप में: रोबोट मैप पढ़ने में अच्छे हैं, लेकिन जब रास्ते बहुत जटिल हो जाते हैं, तो वे पूरे शहर में नेविगेट करने में खराब हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।