Evaluating Agentic Optimization on Large Codebases
यह शोधपत्र FormulaCode को प्रस्तुत करता है, जो एक बेंचमार्क है जिसमें विशेषज्ञ पैच और सामुदायिक वर्कलोड के साथ 957 वास्तविक दुनिया के प्रदर्शन संबंधी बाधाएं (bottlenecks) शामिल हैं, ताकि बड़े कोडबेस पर एलएलएम (LLM) एजेंटों की समग्र, बहु-उद्देश्यीय अनुकूलन क्षमताओं का मूल्यांकन किया जा सके, जो यह प्रकट करता है कि यह फ्रंटियर मॉडल्स के लिए अभी भी एक महत्वपूर्ण चुनौती बना हुआ है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, हलचल भरा शहर है जिसे कोड सिटी (Code City) कहा जाता है। यह शहर लाखों लाइनों के कोड से बना है, जहाँ अलग-अलग मोहल्ले (जैसे Pandas, SciPy, और Scikit-learn जैसी लाइब्रेरी) ट्रैफिक कंट्रोल से लेकर पावर ग्रिड तक सब कुछ संभालते हैं।
लंबे समय तक, AI कोडिंग असिस्टेंट्स जूनियर मैकेनिकों की तरह थे। वे एक घर में एक खराब बल्ब ठीक करने या इंजन का एक विशिष्ट हिस्सा बदलने में माहिर थे। लेकिन अब, हम चाहते हैं कि ये AI सिटी प्लानर्स (नगर नियोजकों) की तरह काम करें। हम चाहते हैं कि वे पूरे शहर को देखें, यह पता लगाएं कि मेन स्ट्रीट पर ट्रैफिक क्यों जाम हो रहा है, और पूरे चौराहे को फिर से डिजाइन करें ताकि सब कुछ तेजी से चले, और इस प्रक्रिया में बगल के पावर ग्रिड में ब्लैकआउट न हो जाए।
यह पेपर FORMULACODE नामक एक नया "प्रशिक्षण मैदान" और "परीक्षा" पेश करता है, जो यह परीक्षण करने के लिए बनाया गया है कि क्या ये AI सिटी प्लानर्स इस काम के लिए तैयार हैं।
समस्या: "एक-कार्य" का जाल (The "One-Task" Trap)
पहले, एआई कोडिंग असिस्टेंट्स को सरल, काल्पनिक पहेलियों के साथ परखा जाता था। यह एक मैकेनिक से पूछने जैसा था, "क्या आप इस एक बोल्ट को कस सकते हैं?" वे कह सकते थे "हाँ!" और पास हो जाते।
लेकिन वास्तविक दुनिया में, प्रदर्शन (performance) की समस्या को ठीक करना बहुत जटिल होता है। यदि आप ट्रैफिक लाइट की गति बढ़ाते हैं, तो आप अनजाने में कचरा उठाने वाली गाड़ियों की गति धीमी कर सकते हैं। यदि आप पावर ग्रिड को अनुकूलित (optimize) करते हैं, तो आप जल प्रणाली को खराब कर सकते हैं। वास्तविक दुनिया का अनुकूलन एक साथ कई अलग-अलग लक्ष्यों को संतुलित करने (multi-objective optimization) की मांग करता है, जबकि यह भी सुनिश्चित करना होता है कि शहर में आग न लग जाए (correctness/शुद्धता)।
समाधान: FormulaCode (कोड का "F1")
लेखकों ने FORMULACODE बनाया है, जिसका नाम फॉर्मूला 1 (F1) रेसिंग के नाम पर रखा गया है।
- उपमा (Analogy): F1 में, आप केवल इंजन को ट्यून नहीं करते; आप सबसे तेज़ लैप टाइम पाने के लिए एरोडायनामिक्स, टायर, वजन वितरण और ईंधन रणनीति को एक साथ ट्यून करते हैं।
- बेंचमार्क: FORMULACODE में 957 वास्तविक दुनिया की प्रदर्शन संबंधी समस्याएं शामिल हैं, जिन्हें प्रसिद्ध ओपन-सोर्स प्रोजेक्ट्स (जैसे वे जो डेटा साइंस और क्वांटम कंप्यूटिंग को शक्ति देते हैं) से निकाला गया है।
- ट्विस्ट: प्रत्येक समस्या के लिए, केवल एक टेस्ट नहीं है। इसमें 264 अलग-अलग "वर्कलोड्स" (जैसे अलग-अलग ट्रैफिक परिदृश्य: रश ऑवर, एक परेड, एक तूफान) हैं। AI को कोड को इस तरह से ठीक करना होगा कि वह इन सभी परिदृश्यों में तेजी से चले, न कि केवल एक में।
परीक्षा कैसे काम करती है
- बेसलाइन: AI को आज के कोड का एक स्नैपशॉट दिया जाता है (वह "खराब" शहर जैसा है)।
- लक्ष्य: AI को कोड को फिर से लिखना होगा ताकि वह तेज चल सके।
- सुरक्षा जांच: AI को सभी मौजूदा सुरक्षा परीक्षणों को पास करना होगा (शहर अभी भी कार्यशील होना चाहिए)।
- स्कोरकार्ड: AI की तुलना मानवीय विशेषज्ञों से की जाती है। क्या AI ने इंसान से बेहतर किया? क्या उसने बुरा प्रदर्शन किया? क्या उसने कुछ तोड़ दिया?
उन्होंने क्या पाया (परिणाम)
शोधकर्ताओं ने उपलब्ध सबसे स्मार्ट AI मॉडल्स (जैसे GPT-5, Claude 4, और Gemini) का इस नए एग्जाम के माध्यम से परीक्षण किया। यहाँ हुआ:
AI एक "लोकल फिक्सर" है, "ग्लोबल प्लानर" नहीं:
AI मॉडल छोटी, अलग-थलग समस्याओं को ठीक करने में माहिर हैं (जैसे एक अकेले बोल्ट को कसना)। लेकिन जब वे पूरे शहर को अनुकूलित करने की कोशिश करते हैं, तो वे अक्सर भटक जाते हैं। वे कोड के एक हिस्से को तेज कर सकते हैं लेकिन अनजाने में दूसरे हिस्से को धीमा कर सकते हैं, जिससे शुद्ध परिणाम (net loss) में गिरावट आती है।- उपमा: AI एक सुपर-फास्ट हाईवे तो बना सकता है, लेकिन फिर उसे एहसास हो सकता है कि वह एग्जिट रैंप बनाना भूल गया है, जिससे भारी ट्रैफिक जाम लग जाता है।
इंसान अभी भी जीतते हैं:
औसतन, AI एजेंटों ने मानवीय विशेषज्ञों की तुलना में खराब प्रदर्शन किया। इंसान "बड़ी तस्वीर" (big picture) देखने और यह समझने में बेहतर होते हैं कि सिस्टम के विभिन्न हिस्से एक-दूसरे के साथ कैसे इंटरैक्ट करते हैं।"लोकप्रियता" का पूर्वाग्रह (Bias):
AI मॉडल्स ने मध्यम रूप से लोकप्रिय प्रोजेक्ट्स पर आश्चर्यजनक रूप से अच्छा प्रदर्शन किया, लेकिन बहुत ही अज्ञात (obscure) प्रोजेक्ट्स पर संघर्ष किया (क्योंकि उन्होंने अपने प्रशिक्षण में समान कोड पर्याप्त मात्रा में नहीं देखा था) और बहुत प्रसिद्ध प्रोजेक्ट्स पर भी संघर्ष किया (क्योंकि वे प्रोजेक्ट्स पहले से ही इतने अनुकूलित थे कि सुधार की बहुत कम गुंजाइश थी)।सोचने की लागत:
सबसे शक्तिशाली AI मॉडल चलाने के लिए सबसे महंगे थे। दिलचस्प बात यह है कि "सस्ते" मॉडल्स ने सोचने में अधिक समय लिया और अधिक गलतियाँ कीं, जिससे वे कुल मिलाकर कम लागत प्रभावी साबित हुए।
यह क्यों महत्वपूर्ण है
यह पेपर एक चेतावनी है। यह हमें बताता है कि हालांकि AI कोड लिखने में अविश्वसनीय रूप से अच्छा हो रहा है, लेकिन यह अभी भी जटिल, मौजूदा सिस्टम को अनुकूलित करने में संघर्ष करता है।
- शोधकर्ताओं के लिए: यह उन्हें एक स्पष्ट लक्ष्य देता है। हम केवल AI को कोड लिखने में स्मार्ट नहीं बना सकते; हमें उन्हें सिस्टम आर्किटेक्ट की तरह सोचना सिखाना होगा जो ट्रेड-ऑफ (समझौतों) को समझते हों।
- भविष्य के लिए: FORMULACODE एक "जीवित" बेंचमार्क है। यह हर महीने नई समस्याओं के साथ अपडेट होता है, यह सुनिश्चित करते हुए कि जैसे-जैसे AI बेहतर होता है, टेस्ट कठिन होता जाता है। यह एक ऐसे वीडियो गेम की तरह है जो स्वचालित रूप से लेवल अप होता रहता है ताकि खिलाड़ी कभी बोर न हो सके।
निष्कर्ष
FORMULACODE पहला कठोर परीक्षण है यह देखने के लिए कि क्या AI वास्तव में बड़े सॉफ्टवेयर सिस्टम के लिए एक स्वायत्त इंजीनियर के रूप में कार्य कर सकता है। फैसला? AI एक प्रतिभाशाली प्रशिक्षु (apprentice) है, लेकिन वह अभी मास्टर आर्किटेक्ट की जगह लेने के लिए तैयार नहीं है। उसे पूरे सिस्टम में गति, सुरक्षा और जटिलता को संतुलित करने के प्रशिक्षण की और आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।