AutoSaddler: Automatic Harness Optimization with Durable Updates from Agent Execution Traces
AutoSaddler एक स्वचालित फ्रेमवर्क है जो निष्पादन लॉग (execution logs) से विफलता ट्रेस (failure traces) का पुनरावृत्ति द्वारा निदान करके और संरचित कोड पैच जनरेट करके LLM एजेंट हार्नेस को अनुकूलित करता है, जो कई बेंचमार्क पर लॉन्ग-होराइजन कार्यों पर एजेंट की मजबूती और प्रदर्शन में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, शोधकर्ता तेजी से ऐसे सिस्टम बना रहे हैं जो केवल सवालों के जवाब देने से कहीं अधिक, कार्य करने में सक्षम हैं। ये "एजेंट्स" (agents) बड़े भाषा मॉडलों (large language models) द्वारा संचालित सॉफ्टवेयर प्रोग्राम हैं जो चरणों का एक क्रम योजनाबद्ध कर सकते हैं, डिजिटल उपकरणों का उपयोग कर सकते हैं, और जटिल समस्याओं को हल करने के लिए कंप्यूटर वातावरण के साथ बातचीत कर सकते हैं। कल्पना कीजिए कि आप कंप्यूटर से एक सप्ताह की यात्रा आयोजित करने, उड़ानें बुक करने और होटल आरक्षित करने के लिए कहते हैं। एजेंट आपको केवल एक सूची नहीं देता; यह लॉग इन करता है, खोज करता है, कीमतों की तुलना करता है और बुकिंग करता है। हालाँकि, जब कार्य लंबे या जटिल हो जाते हैं, तो ये सिस्टम अक्सर संघर्ष करते हैं। प्रक्रिया के शुरुआती चरण में एक छोटी सी गलती, जैसे कि एक निर्देश को गलत समझना, घंटों बाद पूरी विफलता में बदल सकती है। इसे रोकने के लिए, इंजीनियर एजेंट के चारों ओर कोड की एक सुरक्षात्मक परत बनाते हैं, जिसे "हार्नेस" (harness) कहा जाता है। यह हार्नेस एक पर्यवेक्षक के रूप में कार्य करता है, एजेंट के काम की जाँच करता है, उसके उपकरणों का प्रबंधन करता है, और यह सुनिश्चित करता है कि वह सही रास्ते पर रहे। वर्षों तक, इस हार्नेस को डिजाइन करना एक धीमा, मैनुअल काम रहा है, जिसमें मानव विशेषज्ञों को निर्देशों और सेटिंग्स को हाथ से बदलने की आवश्यकता होती है, एक ऐसी प्रक्रिया जिसे स्केल करना कठिन है और जो अक्सर सिस्टम को नाजुक छोड़ देती है।
शोधकर्ताओं की एक टीम ने 'ऑटोसैडलर' (AutoSaddler) नामक एक नई विधि पेश की है जो इस पूरी डिजाइन प्रक्रिया को स्वचालित करती है। पर्यवेक्षक कोड को ठीक करने के लिए मानवीय अंतर्ज्ञान पर निर्भर रहने के बजाय, यह सिस्टम हार्नेस को स्वयं एक सॉफ्टवेयर के टुकड़े के रूप में मानता है जिसे परीक्षण और सीखने के एक कठोर चक्र के माध्यम से सुधारा जा सकता है। शोधकर्ताओं ने इस समस्या को एक 'ऑफलाइन लर्निंग टास्क' के रूप में तैयार किया, जिसका अर्थ है कि सिस्टम वास्तविक समय में चीजों को समझने के बजाय विफलताओं के संग्रह से सीखता है। उन्होंने सिस्टम को कार्यों के उन बैचों को खिलाया जिन्हें एजेंट पहले पूरा करने में विफल रहा था। सिस्टम ने इन विफलताओं के विस्तृत रिकॉर्ड, जिन्हें 'एग्जीक्यूशन ट्रेसेस' (execution traces) कहा जाता है, का विश्लेषण किया ताकि यह समझ सके कि एजेंट कहाँ और क्यों गलत हुआ। इसने केवल अनुमान नहीं लगाया; इसने कोड और लॉग्स की गहराई से जांच की ताकि मूल कारण का पता लगाया जा सके, ठीक वैसे ही जैसे एक मैकेनिक कार के इंजन की आवाज सुनकर और पुर्जों की जांच करके यह निदान करता है कि कौन सा बोल्ट ढीला है, बजाय इसके कि वह केवल अंदाज़ा लगाए।
एक बार जब सिस्टम ने समस्या की पहचान कर ली, तो इसने हार्नेस कोड में एक विशिष्ट, संरचित सुधार, या "पैच" (patch) उत्पन्न किया। ये पैच यादृच्छिक संपादन नहीं थे; उन्हें सावधानीपूर्वक तीन प्रकारों में वर्गीकृत किया गया था: एजेंट के निर्देशों में परिवर्तन, उन उपकरणों में परिवर्तन जिनका वह उपयोग कर सकता है, और उस तर्क (logic) में परिवर्तन जो उसके व्यवहार को नियंत्रित करता है। सिस्टम ने इन पैचों का परीक्षण तुरंत उन्हीं कार्यों के बैच पर किया ताकि देखा जा सके कि क्या वे वास्तव में काम करते हैं। यदि एक पैच ने बिना किसी अन्य चीज़ को बाधित किए तत्काल समस्या को ठीक कर दिया, तो सिस्टम दूसरे, महत्वपूर्ण चरण की ओर बढ़ा: यह जांचना कि क्या यह सुधार नए, अनदेखे कार्यों पर काम करेगा। यह चरण यह सुनिश्चित करने के लिए महत्वपूर्ण था कि सिस्टम केवल देखे गए विशिष्ट समस्याओं के उत्तरों को याद नहीं कर रहा है, बल्कि वास्तव में एक सामान्य तरीके से स्मार्ट बन रहा है। शोधकर्ताओं ने एक मेमोरी सिस्टम बनाया, जो एक 'डायरेक्टेड ग्राफ' (directed graph) है जो हर परिवर्तन, हर सफलता और हर विफलता के इतिहास को ट्रैक करता है, जिससे सिस्टम को केवल हाल के प्रयास के बजाय अपने पूरे इतिहास से सीखने की अनुमति मिलती है।
इस दृष्टिकोण के परिणाम महत्वपूर्ण थे। तीन अलग-अलग बेंचमार्क पर परीक्षण किए जाने पर, जिसमें जटिल कार्य शामिल थे, सिस्टम ने लगातार मूल, मैन्युअल रूप से डिजाइन किए गए हार्नेस से बेहतर प्रदर्शन किया। सामान्य सहायक कार्यों के एक सेट पर, स्वचालित सिस्टम ने सफलता दर में नौ प्रतिशत अंकों का सुधार किया। सॉफ्टवेयर इंजीनियरिंग कार्यों के एक बेंचमार्क पर, इसमें लगभग दस अंकों का सुधार हुआ, और टर्मिनल-आधारित समस्या समाधान परीक्षण में भी दस अंक बढ़े। ये लाभ इतने पर्याप्त थे कि वे न केवल मूल मैनुअल डिजाइनों को बल्कि सिस्टम को अनुकूलित करने का प्रयास करने वाले अन्य स्वचालित तरीकों को भी पीछे छोड़ सके। शोधकर्ताओं ने पाया कि उनकी सफलता की कुंजी केवल कई यादृच्छिक परिवर्तन करना नहीं था, बल्कि गहरा निदान, लक्षित संरचनात्मक परिवर्तन, और केवल उन्हीं परिवर्तनों का कड़ाई से चयन करना था जो व्यापक रूप से उपयोगी सिद्ध हुए।
अध्ययन ने स्पष्ट रूप से कई सामान्य दृष्टिकोणों को खारिज कर दिया जो सहज लग सकते हैं लेकिन अप्रभावी साबित हुए। शोधकर्ताओं ने दिखाया कि कोड और लॉग्स की गहरी जांच किए बिना केवल विफलता पर विचार करने से उथले सुधार होते हैं जो टिक नहीं पाते। उन्होंने यह भी प्रदर्शित किया कि सिस्टम को कोड में अनियंत्रित, यादृच्छिक संपादन करने की अनुमति देने से एक अराजक खोज का परिणाम मिलता है जो शायद ही कभी सही समाधान ढूंढ पाती है, और अक्सर यह बड़े संरचनात्मक सुधारों की अनदेखी करते हुए मामूली टेक्स्ट बदलावों पर अटक जाता है। इसके अलावा, उन्होंने पाया कि केवल प्रशिक्षण के दौरान देखे गए विशिष्ट कार्यों के लिए अनुकूलित करने से 'ओवरफिटिंग' (overfitting) होती है, जिसका अर्थ है कि सिस्टम उन विशिष्ट कार्यों के लिए तो उत्कृष्ट हो जाता है, लेकिन नए विविधताओं के सामने विफल हो जाता है। सिस्टम तभी सफल हुआ जब उसे अनदेखे कार्यों के एक अलग सेट के विरुद्ध अपने परिवर्तनों को मान्य करने के लिए मजबूर किया गया, जिससे यह सुनिश्चित हुआ कि सुधार टिकाऊ और सामान्य हैं।
व्यापक परीक्षण के माध्यम से, शोधकर्ताओं ने पुष्टि की कि उनकी विधि मजबूत और कुशल है। सिस्टम ने प्रतिस्पर्धी तरीकों की तुलना में बहुत कम कंप्यूटर संसाधनों का उपयोग करके उच्च स्तर का प्रदर्शन प्राप्त किया, जिसमें समान सबक सीखने के लिए लगभग दस गुना कम प्रयासों की आवश्यकता पड़ी। यह दक्षता प्रत्येक विफलता से गहराई से सीखने की क्षमता से आई, न कि लाखों यादृच्छिक अनुमानों के माध्यम से समाधान खोजने के लिए 'ब्रूट-फोर्स' (brute-force) प्रयास करने से। अध्ययन बताता है कि विश्वसनीय एआई एजेंटों का भविष्य इन स्वचालित, स्व-सुधारने वाले फ्रेमवर्क में निहित है जो व्यवस्थित रूप से अपने स्वयं के ऑपरेटिंग निर्देशों को डीबग और परिष्कृत कर सकते हैं। हार्नेस को एक ऐसे कोड के रूप में मानकर जिसे साक्ष्य-आधारित निदान और संरचित मरम्मत के माध्यम से विकसित किया जा सकता है, शोधकर्ताओं ने अधिक सक्षम और भरोसेमंद आर्टिफिशियल इंटेलिजेंस सिस्टम की ओर एक मार्ग प्रशस्त किया है जो निरंतर मानवीय हस्तक्षेप के बिना वास्तविक दुनिया के लंबे, जटिल कार्यों को संभाल सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।