SkillMOO: Multi-Objective Optimization of Agent Skills for Software Engineering
SkillMOO एक मल्टी-ऑब्जेक्टिव ऑप्टिमाइज़ेशन फ्रेमवर्क है जो विफलता विश्लेषण (failure analysis) और NSGA-II चयन की एक पुनरावृत्ति प्रक्रिया के माध्यम से LLM-आधारित एजेंट स्किल बंडल्स को स्वचालित रूप से विकसित करता है, जिससे कोडिंग कार्य सफलता दर और लागत दक्षता में महत्वपूर्ण सुधार होता है और यह भी प्रकट होता है कि संचित निर्देशों की तुलना में न्यूनतम, केंद्रित निर्देश बेहतर प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली लेकिन थोड़ा अस्त-व्यस्त व्यक्तिगत सहायक (एक AI कोडिंग एजेंट) है जो आपके लिए बग्स ठीक करने, कोड अनुवाद करने या सॉफ़्टवेयर अपडेट करने की कोशिश कर रहा है। उनकी मदद करने के लिए, आप उन्हें निर्देश नियमावली (instruction manuals), चीट शीट्स और स्क्रिप्टों से भरा एक "टूलबॉक्स" देते हैं। इन्हें एजेंट स्किल्स (Agent Skills) कहा जाता है।
हालाँकि, एक समस्या है:
- टूलबॉक्स बिखरा हुआ है: कभी-कभी उनके निर्देश एक-दूसरे का खंडन करते हैं या उनमें पुराना परामर्श होता है।
- यह महंगा है: एक विशाल, बिखरे हुए टूलबॉक्स को पढ़ने में समय लगता है और पैसा खर्च होता है (क्योंकि AI के उपयोग का बिल शब्दों के आधार पर लिया जाता है)।
- मैनुअल ट्यूनिंग कठिन है: हर एक काम के लिए निर्देशों का सही संयोजन चुनने की कोशिश करना एक घड़ी को हथौड़े से ठीक करने जैसा है। यह धीमा, नाजुक है और इसके लिए एक मास्टर घड़ीसाज़ की आवश्यकता होती है।
पेश है SkillMOO। SkillMOO को एक स्मार्ट, स्वचालित "टूलबॉक्स रिफाइनर" के रूप में समझें जो आपके सहायक के टूलबॉक्स को लगातार अपग्रेड करने के लिए दो विशेष AI रोबोटों का उपयोग करता है।
SkillMOO कैसे काम करता है: "सॉल्वर" और "ऑप्टिमाइज़र"
सिस्टम में दो AI एजेंट मिलकर काम करने वाला एक लूप शामिल है:
- द सॉल्वर (द वर्कर): यह रोबोट वर्तमान टूलबॉक्स का उपयोग करके वास्तविक कोडिंग कार्य करने की कोशिश करता है। यह रिपोर्ट देता है: "क्या मैं सफल हुआ? इसमें कितनी लागत आई? मैं कहाँ विफल हुआ?"
- द ऑप्टिमाइज़र (द एडिटर): यह रोबोट सॉल्वर की विफलताओं और वर्तमान टूलबॉक्स को देखता है। यह कहता है, "आह, यह निर्देश भ्रमित करने वाला है," या "हमें उस चीज़ पर 5 पन्नों की गाइड की ज़रूरत नहीं है जिसका हम कभी उपयोग नहीं करते।" फिर यह टूलबॉक्स को संपादित (edit) करता है:
- प्रूनिंग (Pruning): बेकार पन्नों को काटना (जैसे उस टूल के लिए नियमावली हटा देना जिसका आप उपयोग नहीं करते)।
- प्रतिस्थापन (Substitution): एक खराब निर्देश को बेहतर निर्देश से बदलना (जैसे एक धुंधले नक्शे को GPS से बदलना)।
- पुनर्लेखन (Rewriting): भ्रमित करने वाले चरणों को स्पष्ट करना।
"मल्टी-ऑब्जेक्टिव" जादू: एक पतली रस्सी पर चलना
कठिन बात यह है कि आप एक साथ दो चीजें चाहते हैं, और वे अक्सर आपस में लड़ती हैं:
- लक्ष्य A: काम को पूरी तरह से करना (उच्च सफलता दर - High Success Rate)।
- लक्ष्य B: इसे यथासंभव सस्ता और तेज़ करना (कम लागत/समय - Low Cost/Time)।
आमतौर पर, यदि आप AI की मदद के लिए अधिक निर्देश जोड़ते हैं, तो वह अधिक बार सफल हो सकता है, लेकिन यह धीमा और महंगा हो जाता है। यदि आप पैसा बचाने के लिए बहुत अधिक कटौती करते हैं, तो AI विफल हो सकता है।
SkillMOO एक गणितीय रणनीति का उपयोग करता है जिसे NSGA-II कहा जाता है (इसे एक स्मार्ट फ़िल्टर के रूप में समझें)। यह केवल एक आदर्श टूलबॉक्स की तलाश नहीं करता है। इसके बजाय, यह "पारेटो फ्रंट" (Pareto Front) खोजता है—"गोल्डिलॉक्स" टूलबॉक्सों का एक सेट जहाँ आप सफलता दर में सुधार किए बिना उसे अधिक महंगा नहीं बना सकते, और आप विफलता के जोखिम के बिना इसे और सस्ता नहीं बना सकते। यह कई पीढ़ियों में इन टूलबॉक्सों को विकसित करता है, केवल सबसे अच्छे संस्करणों को ही रखता है।
उन्होंने क्या पाया? (परिणाम)
शोधकर्ताओं ने तीन कठिन सॉफ़्टवेयर इंजीनियरिंग कार्यों (बिल्ड एरर ठीक करना, पायथन को स्काला में अनुवाद करना, और पुराने सॉफ़्टवेयर फ्रेमवर्क को अपडेट करना) पर इनका परीक्षण किया।
- बड़ी जीत: एक कार्य में, SkillMOO ने सफलता की दर को दोगुना (16% से 37% तक) कर दिया और साथ ही पैसे बचाए और प्रक्रिया को तेज़ भी किया।
- सीक्रेट सॉस: सबसे सफल टूलबॉक्से वे नहीं थे जिनमें अधिक निर्देश थे। वे वे थे जहाँ AI ने शोर (noise) को कम कर दिया।
- प्रूनिंग (बेकार जानकारी हटाना) और प्रतिस्थापन (खराब जानकारी को ठीक करना) विजेता रहे।
- नए निर्देश जोड़ना शायद ही कभी मददगार रहा और अक्सर चीजों को धीमा कर देता है।
- उपमा: यह एक शेफ की तरह है जिसे एहसास होता है कि एक भ्रमित करने वाली, अनावश्यक सामग्री को हटाने से व्यंजन का स्वाद बेहतर होता है और वह जल्दी पकता है, बजाय इसके कि उसमें और अधिक मसाले डाले जाएं।
निचोड़
SkillMOO एक ऐसा सिस्टम है जो स्वचालित रूप से AI निर्देश नियमावली से "अतिरिक्त चर्बी" को काट देता है। मानव द्वारा घंटों तक यह अनुमान लगाने के बजाय कि कौन से निर्देश सबसे अच्छा काम करते हैं, यह सिस्टम प्रयोग करने, विफल होने, सीखने और निर्देशों को परिष्कृत करने के लिए AI का उपयोग करता है जब तक कि यह नियमों का एक सटीक, सुव्यवस्थित और कुशल सेट न मिल जाए।
यह साबित करता है कि AI एजेंटों के लिए, कम ही अधिक है: निर्देशों का एक केंद्रित, साफ सेट सलाह के एक विशाल, बिखरे हुए पुस्तकालय की तुलना में बेहतर काम करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।