On the Fragility of Self-Improving Agents: Variance, Task Order, and Underspecification
यह शोध पत्र स्मृति-आधारित स्व-सुधार एजेंटों (memory-based self-improving agents) की भंगुरता को यह प्रदर्शित करके उजागर करता है कि अपर्याप्तता (underspecification) के कारण उनका प्रदर्शन मूल्यांकन विचलन (evaluation variance) और कार्य क्रम (task ordering) के प्रति अत्यधिक संवेदनशील है, जिससे वे अधिक कठोर मूल्यांकन प्रोटोकॉल और उन्नत मानव निरीक्षण की वकालत करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसे डिजिटल सहायक की कल्पना करें जो केवल एक स्क्रिप्ट का पालन नहीं करता बल्कि अपनी गलतियों से सीखता है, और यह भी लिखता है कि क्या काम आया और क्या नहीं, ताकि वह भविष्य के कामों में बेहतर हो सके। यह 'सेल्फ-इंप्रूविंग एजेंट्स' (स्वयं सुधार करने वाले एजेंटों) का वादा है, जो एक प्रकार की आर्टिफिशियल इंटेलिजेंस है जिसे वेब ब्राउज़र जैसी जटिल डिजिटल दुनियाओं में नेविगेट करने और समय के साथ अपने कौशल को निखारने के लिए डिज़ाइन किया गया है। हर बार नई चुनौती आने पर इसे किसी इंसान द्वारा पुन: प्रोग्राम करने के बजाय, ये सिस्टम एक लिखित स्मृति बैंक बनाए रखते हैं, जिसमें पिछले कार्यों से मिली सीख को भविष्य के कार्यों के मार्गदर्शन के लिए संग्रहीत किया जाता है। उम्मीद यह है कि वे अंततः नियमित कार्यों को स्वचालित कर सकेंगे, नई स्थितियों के अनुकूल बन सकेंगे, और उन समाधानों की खोज कर सकेंगे जिन्हें इंसान शायद मिस कर दें। लेकिन इन प्रणालियों को वास्तविक दुनिया में भरोसेमंद होने के लिए, उन्हें विश्वसनीय होना चाहिए। यदि कोई एजेंट गलती करता है, तो यह केवल एक बार की त्रुटि नहीं होनी चाहिए; त्रुटि को बर्फ के गोले (स्नोबॉल) की तरह बढ़ना नहीं चाहिए, जिससे सिस्टम गलत सबक सीख ले और बार-बार ऐसी विफलताओं का शिकार हो जाए जिन्हें समझना कठिन हो।
सेल्सफोर्स एआई रिसर्च (Salesforce AI Research) के शोधकर्ताओं की एक टीम ने इस वादे को एक कठोर परीक्षण में डालने का निर्णय लिया। उन्होंने इन स्वयं सुधार करने वाले एजेंटों को बनाने के दो लोकप्रिय तरीकों को लिया और उन्हें एक ऐसे स्ट्रेस टेस्ट (तनाव परीक्षण) के अधीन किया जो उनके पिछले मूल्यांकन से कहीं अधिक व्यापक था। केवल एक प्रयोग चलाने और परिणाम बताने के बजाय, उन्होंने समान कार्यों के सेट को कई बार चलाया ताकि यह देखा जा सके कि परिणाम कितने भिन्न होते हैं। उन्होंने कार्यों के प्रकट होने के क्रम को भी बदल दिया, जिससे वह व्यवस्थित, आसान-से-कठिन प्रगति हट गई जिसका उपयोग पिछले अध्ययनों में किया गया था। उन्होंने जो पाया वह भंगुरता (fragility) की एक तस्वीर थी। एजेंट वे स्थिर, विश्वसनीय शिक्षार्थी नहीं थे जिनकी उम्मीद की जा रही थी। वास्तव में, उन्हें स्वयं सुधारने की प्रक्रिया ने अक्सर उन्हें कम स्थिर बना दिया, जिससे छोटी त्रुटियां प्रदर्शन में बड़े उतार-चढ़ाव में बदल गईं।
शोधकर्ताओं ने पाया कि इन एजेंटों का प्रदर्शन संयोग (chance) के प्रति आश्चर्यजनक रूप से संवेदनशील था। जब उन्होंने एक ही प्रयोग को तीन बार चलाया, तो परिणाम अक्सर काफी भिन्न थे। कुछ मामलों में, सबसे अच्छे रन और सबसे खराब रन के बीच का अंतर दस प्रतिशत अंकों जितना बड़ा था। इसका अर्थ यह है कि एक एजेंट एक प्रयास में शानदार सफलता प्राप्त कर सकता है और अगले ही प्रयास में बुरी तरह विफल हो सकता है, भले ही अंतर्निहित तकनीक और कार्य बिल्कुल समान हों। जब स्वयं सुधार करने वाली प्रक्रिया चालू की गई, तो यह अस्थिरता अक्सर और बढ़ गई। सिस्टम अपने पहले कुछ कार्यों से सीखता है, लेकिन क्योंकि शुरुआती कदम यादृच्छिक संयोग (random chance) से प्रभावित थे, इसलिए जो "सबक" वह संग्रहीत करता है वे थोड़े गलत हो सकते हैं। ये छोटे, यादृच्छिक विचलन समय के साथ बढ़ते जाते हैं, जिससे एजेंट एक ऐसे पथ पर चला जाता है जो अपने साथियों से बहुत अलग होता है। शोधकर्ताओं ने नोट किया कि लगभग तीन-चौथाई परीक्षण मामलों में, स्वयं सुधार करने वाले लूप को जोड़ने से विचरण (variance) बढ़ गया, जिससे एजेंट का व्यवहार अधिक सुसंगत होने के बजाय कम पूर्वानुमानित हो गया।
एक अन्य प्रमुख निष्कर्ष यह था कि ये एजेंट कार्यों के क्रम पर बहुत अधिक निर्भर थे। पिछले अध्ययनों ने मुख्य रूप तौर पर उन्हें सरल से कठिन कार्यों के क्रम में परखा था, जो एक छिपे हुए प्रशिक्षण मार्गदर्शक के रूप में कार्य करता था। एजेंट इस वातावरण में अच्छी तरह सीखते दिखे क्योंकि उन्हें धीरे-धीरे कठिन समस्याओं की ओर बढ़ाया गया था। हालांकि, जब शोधकर्ताओं ने क्रम को उलट दिया और कार्यों को एक यादृच्छिक अनुक्रम (random sequence) में प्रस्तुत किया, तो एजेंटों का प्रदर्शन गिर गया। बेहतर होने के बजाय, वे बिना किसी मेमोरी (स्मृति) के किए गए प्रदर्शन से भी बदतर प्रदर्शन करने लगे। यह सुझाव देता है कि एजेंट वास्तव में सामान्य कौशल नहीं सीख रहे थे; वे केवल घटनाओं के एक विशिष्ट अनुक्रम को याद कर रहे थे। जब वह अनुक्रम टूट गया, तो एजेंट तालमेल बिठाने में संघर्ष करने लगे, जिससे पता चला कि उनकी "बुद्धिमत्ता" भंगुर थी और एक विशिष्ट, कृत्रिम सेटअप से जुड़ी हुई थी।
यह समझने के लिए कि यह क्यों हो रहा था, शोधकर्ताओं ने उन नोट्स का बारीकी से अध्ययन किया जो एजेंट अपनी मेमोरी बैंक में लिख रहे थे। उन्होंने पाया कि एजेंट अक्सर गलत चीजें सीख रहे थे क्योंकि उन्हें दुनिया के बारे में दी गई जानकारी अधूरी थी। उदाहरण के लिए, एजेंटों को कभी-कभी समस्या सुलझाने के लिए कंप्यूटर कोड या एप्लिकेशन प्रोग्रामिंग इंटरफेस (API) का उपयोग करने के निर्देश दिए जाते थे, भले ही वे जिस वातावरण में काम कर रहे थे वह एक मानक वेब ब्राउज़र था जो ऐसा कोड नहीं चला सकता था। एजेंट इन असंभव रणनीतियों को अपनी मेमोरी में लिख देते थे, और फिर उन्हें बार-बार उपयोग करने की कोशिश करते थे, जिससे वे विफलता के चक्रों में फंस जाते थे। इसी तरह, जब कोई कार्य अस्पष्ट होता था, तो एजेंट उस पर अत्यधिक विचार करते थे, और असफल होने के कारणों के बारे में जटिल लेकिन गलत स्पष्टीकरण बनाते थे, जिन्हें वे भविष्य की असंबंधित समस्याओं पर लागू करने का प्रयास करते थे। एक एजेंट ने तो यात्रा के समय का अनुमान लगाने के लिए एक जटिल गणितीय सूत्र का उपयोग करना शुरू कर दिया क्योंकि जिस मैप वेबसाइट का वह उपयोग कर रहा था वह लोड होने में विफल रही थी, और उसने इसे एक स्थायी रणनीति के रूप में सीखने का निर्णय लिया, भले ही वह केवल एक इत्तेफाक था।
टीम ने एजेंटों को उनके वातावरण और खेल के नियमों के बारे में अधिक विस्तृत जानकारी देकर इन समस्याओं को ठीक करने की कोशिश की। उन्होंने इस बात पर विशिष्ट फीडबैक दिया कि कोई कार्य क्यों विफल हुआ और कौन से कार्य वास्तव में संभव थे। इससे मदद मिली। जब उन्होंने ये विवरण जोड़े, तो एजेंटों ने बेहतर प्रदर्शन किया, और यादृच्छिक कार्य क्रम के कारण होने वाली प्रदर्शन की गिरावट लगभग एक तिहाई कम हो गई। हालांकि, एक महत्वपूर्ण अंतर अभी भी बना रहा। बेहतर निर्देशों के बावजूद, एजेंट अभी भी सबसे चुनौतीपूर्ण और यादृच्छिक स्थितियों में संघर्ष करते रहे। यह सुझाव देता है कि स्पष्ट नियम प्रदान करना मदद तो करता है, लेकिन इन प्रणालियों के इतने भंगुर होने के पीछे गहरे, अनिश्चितीकृत कारण हैं। एजेंट अभी भी "गलत सबक" सीखने के प्रति प्रवृत्त हैं जो भविष्य की विफलताओं में बदल सकते हैं।
यह कार्य इन प्रणालियों को विकसित करने और परीक्षण करने के लिए एक अधिक सतर्क दृष्टिकोण के आह्वान के साथ समाप्त होता है। शोधकर्ता तर्क देते हैं कि हम यह तय करने के लिए कि क्या कोई एजेंट वास्तविक दुनिया के लिए तैयार है, एकल-रन परीक्षणों या व्यवस्थित क्रम वाली कार्य सूचियों पर भरोसा नहीं कर सकते। इसके बजाय, हमें उन्हें अव्यवस्थित, अप्रत्याशित परिस्थितियों में तनाव परीक्षण (stress-test) के अधीन करने की आवश्यकता है और कई अलग-अलग रन में उनके प्रदर्शन को रिपोर्ट करने की आवश्यकता है। वे मानव निरीक्षण (human oversight) की आवश्यकता पर भी जोर देते हैं। क्योंकि एजेंट अपूर्ण जानकारी से गलत रणनीतियाँ सीख सकते हैं, इसलिए वहां एक तरीका होना चाहिए जिससे इंसान हस्तक्षेप कर सकें, बुरे सबक पहचान सकें और एजेंट द्वारा अपूरणीय क्षति पहुँचाने से पहले उन्हें ठीक कर सकें। आगे का रास्ता केवल स्मार्ट एजेंट बनाने के बारे में नहीं है, बल्कि ऐसे सिस्टम बनाने के बारे में है जो वास्तविक दुनिया की अनिश्चितताओं को बिना बिखरे संभालने के लिए पर्याप्त मजबूत हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।