SWE-CI: Evaluating Agent Capabilities in Maintaining Codebases via Continuous Integration

यहाँ शोध पत्र "SWE-CI: Evaluating Agent Capabilities in Maintaining Codebases via Continuous Integration" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

जबकि लार्ज लैंग्वेज मॉडल (LLM) एजेंटों ने स्थिर, वन-शॉट सॉफ्टवेयर इंजीनियरिंग कार्यों (जैसे, एक एकल बग को ठीक करना या एक फंक्शन उत्पन्न करना) में मजबूत क्षमता प्रदर्शित की है, मौजूदा बेंचमार्क पेशेवर सॉफ्टवेयर विकास की वास्तविकता को पकड़ने में विफल रहते हैं।

• अंतराल (The Gap): वास्तविक दुनिया का सॉफ्टवेयर विकास एक दीर्घकालिक प्रक्रिया है जो जटिल आवश्यकता परिवर्तनों, फीचर पुनरावृत्तियों (iterations) और निरंतर रखरखाव द्वारा विशेषता है।
• वर्तमान बेंचमार्क की सीमा: मौजूदा प्रतिमान (जैसे, SWE-bench, HumanEval) स्नैपशॉट-आधारित मूल्यांकन पर निर्भर करते हैं। एक एजेंट एक स्थिर आवश्यकता प्राप्त करता है और एक वन-शॉट समाधान उत्पन्न करता है। यह रखरखाव क्षमता (maintainability) को मापने में विफल रहता है, क्योंकि एक एजेंट जो भंगुर (brittle), हार्ड-कोडेड सुधार लिखता है, वह उस एजेंट के समान ही परीक्षणों को पास कर सकता है जो स्वच्छ, विस्तार योग्य कोड लिखता है। खराब डिज़ाइन के परिणाम (तकनीकी ऋण/technical debt) तभी दृश्यमान होते हैं जब कोडबेस को समय के साथ विकसित होना पड़ता है।
• मुख्य चुनौती: एक ऐसे बेंचमार्क की कमी है जो एजेंट की दीर्घकालिक विकास के माध्यम से कोड गुणवत्ता बनाए रखने की क्षमता का मूल्यांकन करता है, जहाँ पिछले निर्णय संचयी होते हैं और भविष्य के संशोधनों को प्रभावित करते हैं।

2. कार्यप्रणाली (Methodology)

लेखक SWE-CI का प्रस्ताव करते हैं, जो एक कंटीन्यूअस इंटीग्रेशन (CI) लूप प्रतिमान पर निर्मित पहला रिपॉजिटरी-स्तरीय बेंचमार्क है।

A. कार्य औपचारिकता: विकास-आधारित मूल्यांकन (Evolution-Based Evaluation)

स्नैपशॉट-आधारित दृष्टिकोणों के विपरीत जहाँ आवश्यकता $r$ स्थिर है ($r \equiv \text{require}(c_0, c^*)$), SWE-CI एक पुनरावृत्त लूप का उपयोग करता है:

1. गतिशील आवश्यकता पीढ़ी (Dynamic Requirement Generation): प्रत्येक चरण $i$ पर, आवश्यकता $r_i$ को वर्तमान कोडबेस $c_i$ और लक्ष्य "ओरेकल" कोडबेस $c^*$ के बीच के अंतर से प्राप्त किया जाता है।
2. पुनरावृत्त अपडेट (Iterative Update): एजेंट $c_{i+1} = \text{code}(c_i, r_i)$ उत्पन्न करने के लिए कोडबेस को संशोधित करता है।
3. परिणाम प्रसार (Consequence Propagation): यह सुनिश्चित करता है कि शुरुआती पुनरावृत्तियों में त्रुटियाँ या डिज़ाइन दोष बाद के चरणों में प्रसारित हों, जिससे दीर्घकालिक निर्णय की गुणवत्ता को देखा जा सके।

B. डेटा क्यूरेशन (Data Curation)

डेटासेट में GitHub पर 68 विशिष्ट पायथन रिपॉजिटरी से लिए गए 100 कार्य शामिल हैं।

• चयन मानदंड: रिपॉजिटरी सक्रिय रूप से बनाए रखी जानी चाहिए (>3 वर्ष), >500 स्टार होने चाहिए, यूनिट टेस्ट होने चाहिए, और परमिटिव लाइसेंस का उपयोग करना चाहिए।
• विस्तार (Span): प्रत्येक कार्य एक बेस कमिट और एक ओरेकल कमिट के बीच संक्रमण का प्रतिनिधित्व करता है, जो औसतन 233 दिन और 71 लगातार कमिट तक फैला हुआ है।
• फिल्टरिंग: प्रक्रिया में अपरिवर्तित डिपेंडेंसी वाले अधिकतम उप-अनुक्रमों को निकालना, डॉकर (Docker) वातावरण का निर्माण करना, और महत्वपूर्ण कोड परिवर्तन (>1,000 लाइन्स संशोधित) और टेस्ट गैप (>5 पासिंग टेस्ट का अंतर) के लिए फ़िल्टर करना शामिल है।

C. ड्यूल-एजेंट मूल्यांकन प्रोटोकॉल (Dual-Agent Evaluation Protocol)

पेशेवर सॉफ्टवेयर टीमों का अनुकरण करने के लिए, SWE-CI एक आर्किटेक्ट-प्रोग्रामर (Architect–Programmer) वर्कफ़्लो का उपयोग करता है:

1. आर्किटेक्ट एजेंट (Architect Agent): वर्तमान कोड और ओरेकल के बीच टेस्ट गैप का विश्लेषण करता है। यह Summarize (मूल कारणों की पहचान करना), Locate (स्रोत फ़ाइलों को पिनपॉइंट करना), और Design (एक उच्च-स्तरीय आवश्यकता दस्तावेज़ बनाना) करता है। यह ओवर-डिज़ाइनिंग को रोकने के लिए आउटपुट को 5 तत्काल, उच्च-स्तरीय आवश्यकताओं तक सीमित करता है।
2. प्रोग्रामर एजेंट (Programmer Agent): आर्किटेक्ट की आवश्यकताओं को प्राप्त करता है और परिवर्तनों को लागू करने के लिए Comprehend, Plan, और Code चरणों को निष्पादित करता है।
3. लूप: यह चक्र (20 पुनरावृत्तियों तक) तब तक दोहराया जाता है जब तक कि एजेंट लक्ष्य कमिट से जुड़े सभी परीक्षणों को पास नहीं कर लेता।

D. मेट्रिक्स: नॉर्मलाइज्ड चेंज और इवोस्कोर (Metrics: Normalized Change & EvoScore)

• नॉर्मलाइज्ड चेंज ($a(c)$): -1 से 1 तक की सीमा वाला एक मीट्रिक जो बेसलाइन ($c_0$) और लक्ष्य ($c^*$) के सापेक्ष प्रगति को मापता है। यह सुधारों को पुरस्कृत करने की तुलना में प्रतिगमन (regressions - पहले से पास हो रहे परीक्षणों को तोड़ना) को अधिक गंभीरता से दंडित करता है, जो कि एसिमेट्रिक नॉर्मलाइजेशन का उपयोग करता है।
• इवोस्कोर (EvoScore - विकास स्कोर): $N$ पुनरावृत्तियों पर नॉर्मलाइज्ड परिवर्तनों का एक भारित माध्य (weighted mean):
  $$e = \frac{\sum \gamma^i a(c_i)}{\sum \gamma^i}$$
  • $\gamma \ge 1$: बाद के पुनरावृत्तियों को अधिक भार दिया जाता है। यह उन एजेंटों को पुरस्कृत करता है जो विकास के साथ कोड की गुणवत्ता बनाए रखते हैं (दीर्घकालिक स्थिरता), बजाय उन एजेंटों के जो शुरुआती लाभों के लिए जल्दबाजी करते हैं लेकिन तकनीकी ऋण जमा करते हैं।

3. मुख्य योगदान (Key Contributions)

1. प्रतिमान परिवर्तन (Paradigm Shift): CI-लूप के माध्यम से मूल्यांकन को स्थिर शुद्धता (static correctness) से गतिशील रखरखाव क्षमता (dynamic maintainability) की ओर ले जाने वाला पहला बेंचमार्क पेश करता है।
2. यथार्थवादी डेटासेट (Realistic Dataset): 100 उच्च-निष्ठा (high-fidelity) वाले कार्य प्रदान करता है जो वास्तविक दुनिया के विकास इतिहास का प्रतिनिधित्व करते हैं, जो जटिल डिपेंडेंसी प्रबंधन और दीर्घकालिक फीचर विकास को कैप्चर करते हैं।
3. नया मूल्यांकन प्रोटोकॉल (Novel Evaluation Protocol): आर्किटेक्ट-प्रोग्रामर ड्यूल-एजेंट सेटअप वास्तविक दुनिया के CI प्रक्रियाओं का अनुकरण करता है, जो एजेंट की विफलताओं के निदान के लिए आवश्यकता विश्लेषण को कार्यान्वयन से अलग करता है।
4. नया मीट्रिक (EvoScore): एक भविष्य-भारित स्कोरिंग सिस्टम प्रस्तावित करता है जो अल्पकालिक टेस्ट पासिंग के बजाय दीर्घकालिक कोड स्थिरता को स्पष्ट रूप से महत्व देता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने 8 प्रदाताओं (जिसमें Claude, GPT, GLM, DeepSeek, आदि शामिल हैं) के 18 मॉडलों का मूल्यांकन 10 बिलियन टोकन से अधिक कंप्यूट का उपयोग करके किया।

• अवलोकन 1: त्वरित प्रगति (Accelerating Progress): कोड रखरखाव क्षमताएं तेजी से सुधर रही हैं। नए मॉडल (post-2026) अपने पूर्ववर्तियों की तुलना में काफी बेहतर प्रदर्शन करते हैं। Claude Opus अग्रणी है, उसके बाद GLM-5 आता है।
• अवलोकन 2: प्रदाता पूर्वाग्रह (Provider Bias): विभिन्न प्रदाता रखरखाव के संबंध में अलग-अलग रणनीतियाँ प्रदर्शित करते हैं।
  • दीर्घकालिक फोकस: MiniMax, DeepSeek, और GPT दीर्घकालिक लाभों के लिए अनुकूलित होते हैं ($\gamma > 1$ होने पर उच्च स्कोर)।
  • अल्पकालिक फोकस: Kimi और GLM तत्काल रिटर्न को प्राथमिकता देते हैं।
  • स्थिरता: Qwen, Doubao, और Claude वेटिंग पैरामीटर के बावजूद निरंतर प्रदर्शन दिखाते हैं।
• अवलोकन 3: प्रतिगमन संघर्ष (Regression Struggles): वर्तमान LLM प्रतिगमन (regressions) (मौजूदा कार्यक्षमता को तोड़ना) को नियंत्रित करने में संघर्ष करते हैं।
  • अधिकांश मॉडलों की जीरो-रिग्रेशन दर 0.25 से नीचे है।
  • केवल दो Claude-Opus मॉडल ही 0.5 से अधिक जीरो-रिग्रेशन दर पार कर पाए।
  • यह इंगित करता है कि जबकि LLM स्नैपशॉट फिक्स के लिए अच्छे हैं, वे विस्तारित, मल्टी-राउंड विकास चक्रों में कोड स्थिरता को विश्वसनीय रूप से बनाए रखने में विफल रहते हैं।

5. महत्व (Significance)

• नैदानिक मूल्य (Diagnostic Value): SWE-CI प्रकट करता है कि वास्तविक दुनिया के परिदृश्यों में एजेंटों के मूल्यांकन के लिए "कार्यात्मक शुद्धता" अपर्याप्त है। यह उस "तकनीकी ऋण" को उजागर करता है जिसे स्थिर बेंचमार्क मिस कर देते हैं।
• अनुसंधान दिशा (Research Direction): यह AI समुदाय को एक स्पष्ट संकेत प्रदान करता है कि भविष्य के मॉडल प्रशिक्षण को केवल तत्काल टेस्ट पासिंग के बजाय दीर्घकालिक योजना, आर्किटेक्चरल निरंतरता और प्रतिगमन बचाव को प्राथमिकता देनी चाहिए।
• मानकीकरण (Standardization): एक CI-लूप के साथ एक कठोर, रिपॉजिटरी-स्तरीय बेंचमार्क स्थापित करके, SWE-CI AI एजेंटों की वास्तविक "इंजीनियरिंग" क्षमता के मूल्यांकन के लिए एक नया मानक निर्धारित करता है, जो सरल कोड जनरेशन से आगे बढ़कर टिकाऊ सॉफ्टवेयर विकास की ओर बढ़ता है।