Feedback That Backfires: Why Small Language Model Agents Repeat the Call They Just Watched Fail
यह शोध पत्र प्रकट करता है कि छोटे भाषा मॉडल एजेंटों द्वारा विफल टूल कॉल्स को दोहराने की संभावना काफी अधिक होती है जब विफलता को ट्रांसक्रिप्ट में शब्दशः दर्ज किया जाता है, जो कि एक प्रतिकूल प्रभाव है जो मुख्य रूप से त्रुटि संदेश के बजाय विफल क्रिया के सतही रूप (surface form) द्वारा संचालित होता है, जिसे कच्चे कॉल (raw call) को विफलता के रनटाइम-जनरेटेड विवरण से बदलकर प्रभावी ढंग से कम किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक डिजिटल सहायक की कल्पना करें जो समस्याओं को हल करने के लिए उपकरणों (tools) का उपयोग कर सकता है, जैसे किसी संपर्क को खोजना, कैलेंडर की जांच करना, या कोड का एक टुकड़ा लिखना। ऐसा करने के लिए, सहायक एक सरल लूप का पालन करता है: वह एक क्रिया के बारे में सोचता है, उसे करने का प्रयास करता है, और फिर परिणाम पढ़ता है। यदि क्रिया विफल हो जाती है, तो सिस्टम ठीक से रिकॉर्ड करता है कि सहायक ने क्या करने की कोशिश की थी और उसे क्या त्रुटि संदेश प्राप्त हुआ, और फिर सहायक को दोबारा प्रयास करने के लिए कहता है। यह विधि, जिसे 'एजेंट लूप' कहा जाता है, इन प्रणालियों के अपनी गलतियों से सीखने का मानक तरीका है। तर्क सुसंगत लगता है: यदि आप किसी व्यक्ति को बताते हैं "आपने एक बंद दरवाजे को खोलने की कोशिश की और वह काम नहीं आया," तो वह उसी बंद दरवाजे को दोबारा नहीं आजमाएगा। वह एक अलग चाबी या एक अलग दरवाजा ढूंढेगा। वर्षों से, इंजीनियरों ने माना है कि इन सहायकों को संचालित करने वाले छोटे कंप्यूटर मॉडल भी इसी तरह व्यवहार करेंगे। उनका मानना था कि मॉडल को त्रुटि संदेश दिखाने से उसे उस विशिष्ट गलती से बचने की शिक्षा मिलेगी।
जर्मनी के पासौ विश्वविद्यालय के एक शोधकर्ता ने इस धारणा का अत्यधिक सटीकता के साथ परीक्षण करने का निर्णय लिया। उन्होंने केवल सहायकों को विफल होते और सफल होते नहीं देखा; उन्होंने त्रुटि देखने से पहले और बाद में उसी गलत क्रिया को चुनने की मॉडल की सटीक गणितीय संभावना को मापा। उन्होंने दो अलग-अलग वातावरणों में, छह अलग-अलग छोटे कंप्यूटर मॉडलों पर ये परीक्षण किए: एक जहाँ मॉडल ने सिम्युलेटेड ऑफिस टूल्स का उपयोग करने का प्रयास किया, और दूसरा जहाँ उन्होंने टूटे हुए कंप्यूटर प्रोग्रामों को ठीक करने का प्रयास किया। शोधकर्ता जानना चाहता था कि क्या त्रुटि संदेश वास्तव में मॉडल के व्यवहार को सुधारता है।
जो उन्हें मिला वह उम्मीद के बिल्कुल विपरीत था। विफलता से सीखने के बजाय, मॉडल उसी गलती को दोहराने के लिए काफी अधिक संभावित हो गया। जब सिस्टम ने मॉडल को विफल प्रयास दिखाया और त्रुटि संदेश दिया, तो उसी विफल क्रिया को फिर से चुनने की मॉडल की आंतरिक संभावना नाटकीय रूप से बढ़ गई। टूल-कॉलिंग परीक्षणों में, विफल कॉल को दोहराने की संभावना छह प्रतिशत के निम्न स्तर से बढ़कर पचास प्रतिशत से अधिक हो गई। लगभग हर उस मामले में जिसका शोधकर्ता ने परीक्षण किया, त्रुटि संदेश एक चेतावनी के रूप में कार्य नहीं कर रहा था; बल्कि यह एक चुंबक की तरह था, जो मॉडल को उसी क्रिया की ओर खींच रहा था जिसे उसने अभी-अभी करने में विफल रहा था।
शोधकर्ता ने फिर पूछा कि ऐसा क्यों हो रहा था। उन्हें संदेह था कि मॉडल शायद त्रुटि संदेश को समझने के लिए बहुत छोटे हैं। हालांकि, उनकी जांच ने एक अलग कारण का खुलासा किया। उन्होंने पाया कि समस्या त्रुटि का अर्थ नहीं थी, बल्कि स्वयं टेक्स्ट की उपस्थिति थी। जब विफल क्रिया को रिकॉर्ड में लिखा गया, तो मॉडल की आंतरिक मशीनरी, जो देखे गए पैटर्न की नकल करने के लिए डिज़ाइन की गई है, उस विफल क्रिया के टेक्स्ट पर टिक गई। नकल करने का यह प्रभाव इतना मजबूत था कि इसने विफलता के वास्तविक संदेश को ही दबा दिया। यहाँ तक कि जब शोधकर्ता ने लंबे, विस्तृत त्रुटि संदेश को "यह विफल रहा" जैसे एक सरल नोट से बदल दिया, तब भी मॉडल ने गलती दोहराई। लेकिन जब उन्होंने विफल क्रिया के टेक्स्ट को पूरी तरह से हटा दिया और उसके स्थान पर क्या गलत हुआ इसका विवरण रख दिया, तो मॉडल ने गलती दोहराना बंद कर दिया।
इस खोज ने इन प्रणालियों को बनाने के मानक तरीके को उलट दिया। एक फंसे हुए एजेंट को ठीक करने के लिए सामान्य सलाह यह रही है कि इतिहास से विफल प्रयास को हटा दिया जाए और मॉडल को नए सिरे से शुरू करने दिया जाए, इस उम्मीद में कि "संदूषण" (contamination) साफ हो जाएगा। शोधकर्ता ने पाया कि यह वास्तव में सबसे बुरा काम करने जैसा था। विफलता को हटाने से, सिस्टम ने ठीक वही स्थितियाँ बहाल कर दीं जिन्होंने गलती का कारण बना था, जिससे यह सुनिश्चित हो गया कि मॉडल वही त्रुटि दोबारा करेगा। उन्होंने पाया कि समाधान इतिहास को हटाना नहीं, बल्कि उसे बदलना था। यदि सिस्टम विफलता का रिकॉर्ड रखता है लेकिन विफल कमांड के कच्चे टेक्स्ट को सिस्टम द्वारा उत्पन्न विवरण से बदल देता है, तो दोहराव रुक जाता है।
शोध ने एक अधिक स्पष्ट समाधान का भी परीक्षण किया: बस अपने निर्देशों में मॉडल को यह बताना कि वह विफल क्रिया को न दोहराए। यह दृष्टिकोण, जो सुनने में मानवीय रूप से तार्किक लगता है, का लगभग कोई प्रभाव नहीं पड़ा। मॉडल उस विशिष्ट नियम का पालन आसानी से नहीं कर सका जो उसे उस टेक्स्ट के टुकड़े को अनदेखा करने के लिए कहता था जो उसके ठीक सामने रखा था। शोधकर्ता ने निष्कर्ष निकाला कि समस्या मॉडल में बुद्धि की कमी नहीं थी, बल्कि जानकारी को प्रस्तुत करने के तरीके में एक दोष था। विफल क्रिया को दिखाने का मानक तरीका एक शक्तिशाली आग्रह पैदा करता है, जो नकल करने की इच्छा को जन्म देता है, और यह सीखने की इच्छा से भी अधिक शक्तिशाली होता है।
एक मानक कंप्यूटर प्रोसेसर पर, बिना किसी विशेष ग्राफिक्स कार्ड के, इन प्रयोगों को चलाकर, शोधकर्ता ने यह सिद्ध किया कि यह व्यवहार इन छोटे मॉडलों के काम करने के तरीके का एक मौलिक गुण है, न कि कोई ऐसी खराबी जिसे ठीक करने के लिए भारी कंप्यूटिंग शक्ति की आवश्यकता हो। उनका कार्य बताता है कि विश्वसनीय डिजिटल सहायक बनाने के लिए, इंजीनियरों को विफल क्रिया को पढ़ने के लिए एक सहायक पाठ के रूप में देखना बंद करना होगा और इसे एक खतरनाक पैटर्न के रूप में छिपाना शुरू करना होगा। समाधान संरचनात्मक है: विफलता के बाद का संदर्भ (context) विफलता से पहले के संदर्भ से भिन्न दिखना चाहिए, लेकिन अंतर स्वयं विफल क्रिया नहीं हो सकता। गलती के कच्चे टेक्स्ट को हटाकर और केवल निदान (diagnosis) को रखकर, सिस्टम इस दोहराव के चक्र को तोड़ सकता है और मॉडल को वास्तव में आगे बढ़ने की अनुमति दे सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।