Why Does Feedback-Augmented Self-Distillation Fail to Improve Retrieval-Interleaved Search Agents?
यह शोध पत्र प्रकट करता है कि फीडबैक-ऑगमेंटेड सेल्फ-डिस्टिलेशन (Feedback-Augmented Self-Distillation), रिट्रीवल-इंटरलीव्ड सर्च एजेंटों (retrieval-interleaved search agents) में अक्सर एक "डिकोडिंग कोलैप्स" (decoding collapse) घटना और असंगत सुपरविजन संकेतों के कारण विफल हो जाता है, जिसे सीखने की प्रक्रिया को स्थिर करने के लिए एक एक्सपोनेंशियल मूविंग एवरेज (Exponential Moving Average - EMA) टीचर का उपयोग करके प्रभावी ढंग से कम किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े भ्रमित रोबोट को रहस्य सुलझाना सिखाने की कोशिश कर रहे हैं। उस रोबोट के पास एक सुपरपावर है: जब भी वह फंस जाता है, वह मदद के लिए एक लाइब्रेरियन से सवाल पूछ सकता है। यह "सर्च एजेंटों" (search agents) की दुनिया है—ऐसे कंप्यूटर प्रोग्राम जो सोचते हैं, सवाल पूछते हैं, और जवाब खोजने के लिए टेक्स्ट के एक विशाल पुस्तकालय की मदद लेते हैं। आमतौर पर, इन रोबोट्स को सिखाने के लिए, हम एक "शिक्षक" रोबोट का उपयोग करते हैं जो पहले से ही विशेषज्ञ है। छात्र रोबोट शिक्षक के कदमों को देखता है, उसकी नकल करता है, और बेहतर बनने की कोशिश करता है। लेकिन क्या होगा अगर हमारे पास कोई सुपर-एक्सपर्ट शिक्षक न हो? क्या होगा अगर हमारे पास एकमात्र शिक्षक स्वयं छात्र रोबोट ही हो, जो अपने पिछले प्रयासों को देख रहा हो? इसे "सेल्फ-डिस्टिलेशन" (self-distillation) कहा जाता है। यह एक छात्र की तरह है जो खुद के होमवर्क से सीखने की कोशिश कर रहा है, इस उम्मीद में कि यदि उसे याद रहे कि उसने एक बार बिना किसी मदद के किसी समस्या को सही ढंग से कैसे हल किया था, तो वह इसे दोबारा कर सकेगा। वैज्ञानिक इस बात को लेकर बहुत उत्साहित हैं क्योंकि यह रोबोट्स को बिना किसी इंसान द्वारा हर कदम को ग्रेड दिए, अपनी गलतियों और सफलताओं से सीखने में सक्षम बना सकता है। लेकिन क्या यह तरकीब वास्तव में काम करती है जब रोबोट को रास्ते में जानकारी खोजने की आवश्यकता होती है? यही वह बड़ा सवाल है जिसे यह शोध पत्र (paper) संबोधित करता है।
शोधकर्ताओं ने इस विचार के एक विशिष्ट संस्करण का परीक्षण करने का निर्णय लिया जिसे "फीडबैक-ऑगमेंटेड सेल्फ-डिस्टिलेशन" (FA-SD) कहा जाता है। उन्होंने एक प्रयोग तैयार किया जहाँ उनका AI एजेंट, 'क्वेन' (Qwen) नाम का एक रोबलेट, इंटरनेट पर खोज करके कठिन सवालों को हल करने की कोशिश करता है। विचार सरल था: यदि रोबोट एक प्रयास में किसी प्रश्न को सही हल कर लेता है, तो वे उस सफल प्रयास को रोबोट को एक "संकेत" या "फीडबैक" के रूप में दिखाएंगे ताकि उसे उसी प्रश्न को फिर से हल करने में मदद मिल सके। उन्हें उम्मीद थी कि यह एक सुपर-टीचर की तरह काम करेगा, जो रोबोट को बेहतर विकल्प चुनने के लिए मार्गदर्शन करेगा। हालांकि, परिणाम आश्चर्यजनक और थोड़े निराशाजनक थे। बेहतर होने के बजाय, रोबोट एक बहुत ही विशिष्ट, अजीब तरीके से विफल होने लगा।
टीम ने पाया कि रोबोट वास्तव में बेहतर सोचना नहीं सीख रहा था। इसके बजाय, वह "डिकोडिंग कोलैप्स" (decoding collapse) नामक एक जाल में फंस गया। कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है जो प्रश्न पढ़ने के बजाय, केवल उत्तर पुस्तिका के आकार को रट लेता है। वह वास्तव में प्रश्न क्या है, इसकी परवाह किए बिना, बार-बार वही फैंसी दिखने वाले पैराग्राफ और सर्च क्वेरी लिखता रहता है। एक बाहरी पर्यवेक्षक के लिए, उत्तर अलग और जटिल दिख सकते हैं, लेकिन वे वास्तव में वास्तविक अर्थ से खाली होते हैं। रोबोट बिल्कुल यही कर रहा था। उसने एक "टेम्प्लेट" (template) ढूंढ लिया था कि कैसे ऐसा दिखाया जाए जैसे वह खोज और सोच रहा है, और वह बस उसी टेम्प्लेट को दोहराता रहा। क्योंकि रोबोट केवल एक पैटर्न की नकल कर रहा था न कि वास्तव में प्रश्न को समझ रहा था, इसलिए वह "शिक्षक" संकेत जिससे वह सीखना चाह रहा था, बेकार हो गया। गणित जिसका उपयोग रोबोट को सिखाने के लिए किया जाता था (जिसे KL डाइवर्जेंस कहा जाता है), यह अंतर नहीं कर सका कि एक स्मार्ट उत्तर क्या है और एक नकली उत्तर क्या है, इसलिए रोबोट में सुधार नहीं हुआ।
शोधकर्ताओं ने यह भी पाया कि समस्या यह नहीं थी कि "शिक्षक" रोबोट बहुत कमजोर था। वास्तव में, जब उन्होंने रोबोट को "संकेत" (सफल पिछला प्रयास) दिया, तो वह समस्या को अकेले हल करने की तुलना में बहुत बेहतर तरीके से हल कर सकता था। मुद्दा यह था कि रोबोट उस कौशल को "आंतरिकize" (internalize) या आत्मसात नहीं कर सका। यह एक ऐसे छात्र की तरह था जो परीक्षा में टॉप कर सकता है यदि उसके सामने उत्तर कुंजी (answer key) रखी हो, लेकिन कुंजी हटाते ही पूरी तरह विफल हो जाता है। रोबोट उस "संकेत" को स्थायी कौशल में नहीं बदल सका।
इसे ठीक करने के लिए, टीम ने "शिक्षक" को अधिक स्थिर बनाने की कोशिश की। उन्होंने महसूस किया कि चूंकि रोबोट हर सेकंड सीख रहा है और बदल रहा है, इसलिए उसका "शिक्षक" संस्करण भी बदल रहा था, जिससे सबक भ्रमित करने वाले बन रहे थे। उन्होंने दो समाधान आजमाए: एक जहाँ शिक्षक समय में स्थिर (fixed reference) था, और दूसरा जहाँ शिक्षक उसके पिछले स्वरूपों का एक "औसत" (average) था (जिसे "एक्सपोनेंशियल मूविंग एवरेज" या EMA कहा जाता है)। "स्थिर" शिक्षक ने थोड़ी मदद की, लेकिन "औसत" वाला शिक्षक असली हीरो साबित हुआ। बदलावों को सुचारू बनाकर, EMA शिक्षक ने रोबोट को एक स्थिर, सुसंगत मार्गदर्शक प्रदान किया। इसने रोबोट को उसकी पिछली विफलताओं से उबरने और वास्तव में सीखने में मदद की। अंत में, EMA शिक्षक का उपयोग करने वाले रोबोट ने सात अलग-अलग परीक्षणों पर औसतन 0.206 का स्कोर किया, जो उसके शुरुआती स्कोर 0.114 से एक बड़ी छलांग थी।
हालांकि, यह शोध पत्र चेतावनी भी देता है कि यह "संकेत" वाली तरकीब हर किसी के लिए काम नहीं करती है। जब उन्होंने एक शक्तिशाली, बाहरी शिक्षक रोबोट (जो स्वयं छात्र नहीं था) के साथ इस "फीडबैक" विचार का उपयोग किया, तो इसने चीजों को और भी खराब कर दिया। ऐसा लगता है कि एक पहले से ही मजबूत शिक्षक में अतिरिक्त संकेत जोड़ने से केवल भ्रम पैदा होता है। अध्ययन बताता है कि हालांकि स्व-शिक्षण (self-teaching) एक शक्तिशाली विचार है, लेकिन यह बहुत नाजुक है। यदि रोबोट सोचने के बजाय केवल टेम्प्लेट की नकल करने लगता है, तो पूरा सिस्टम टूट जाता है। लेकिन सही प्रकार के स्थिर मार्गदर्शन के साथ, जैसे कि EMA शिक्षक, इन सर्च एजेंटों को अपने आप सोचना सीखने में मदद करना संभव है, भले ही वे शुरुआत में केवल उत्तर जानने का नाटक कर रहे हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।