EviSD: Evidence-Conditioned Self-Distillation for Search-Augmented Agents
EviSD एक एविडेंस-कंडीशन्ड सेल्फ-डिस्टिलेशन फ्रेमवर्क है जो सर्च-ऑगमेंटेड लैंग्वेज एजेंट्स को बेहतर बनाने के लिए इंस्टेंस-लेवल एविडेंस और गोल्डन आन्सर्स को प्रिविलेज्ड इंफॉर्मेशन के रूप में उपयोग करता है ताकि ट्रेनिंग के दौरान एक्शन-लेवल क्रेडिट असाइनमेंट को रिफाइन किया जा सके, जिससे इन्फरेंस-टाइम बिहेवियर को बदले बिना कई बेंचमार्क्स पर श्रेष्ठ प्रदर्शन प्राप्त किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को जासूस बनना सिखा रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इस रोबोट को "सर्च-ऑगमेंटेड एजेंट" (search-augmented agent) कहा जाता है। इसका काम पेचीदा सवालों को सुलझाना है—सोचकर, सुरागों के लिए इंटरनेट पर खोज करके, फिर से सोचकर, और फिर से खोज करके, जब तक कि इसे अंततः उत्तर न मिल जाए। इसमें बेहतर होने के लिए, हम "रीइन्फोर्समेंट लर्निंग" (reinforcement learning) नामक प्रशिक्षण पद्धति का उपयोग करते हैं। इसे एक वीडियो गेम की तरह समझें जहाँ रोबोट को खेल के बिल्कुल अंत में ही "जीत" या "हार" का संकेत मिलता है। यदि वह रहस्य सुलझा लेता है, तो उसे उच्च स्कोर मिलता है; यदि वह विफल रहता है, तो उसे शून्य मिलता है।
इस "जीत-या-हार" वाले दृष्टिकोण के साथ समस्या यह है कि यह एक छात्र को केवल उसकी अंतिम परीक्षा के स्कोर के आधार पर ग्रेड देने जैसा है, बिना उसके होमवर्क को देखे। यदि रोबक सही उत्तर प्राप्त कर लेता है, तो हमें पता है कि पूरी यात्रा अच्छी थी, लेकिन हमें यह नहीं पता कि कौन सा विशिष्ट सर्च शानदार था और कौन सा समय की बर्बादी। क्या पहले सर्च ने सुनहरा सुराग ढूंढ लिया था? या रोबोट केवल आखिरी अनुमान के साथ भाग्यशाली रहा? क्योंकि रोबोट के बीच अंतर करने में असमर्थ है, वह गलत सर्च करते रह सकता है, इस उम्मीद में कि वे अंततः उसे जीत दिला देंगे। यह शोध पत्र जासूस की यात्रा के उस उलझे हुए मध्य भाग को संबोधित करता है, यह सिखाने की कोशिश करता है कि कौन से कदम मददगार थे और कौन से भटकाव, ताकि वह एक स्मार्ट और तेज़ अन्वेषक बन सके।
यहाँ आता है EviSD, एक चतुर नया प्रशिक्षण तरीका जो रोबोट के लिए एक "विशेषाधिकार प्राप्त कोच" (privileged coach) की तरह कार्य करता है। शोधकर्ताओं ने महसूस किया कि जबकि रोबोट सीख रहा है, उसके पास एक संदर्भ पत्र (reference sheet) होता है जिसे वह वास्तविक दुनिया में काम करते समय नहीं रखेगा। इस संदर्भ पत्र में "सुनहरा उत्तर" (सही समाधान) और "सहायक साक्ष्य" (पाठ के वे विशिष्ट पैराग्राफ जो साबित करते हैं कि उत्तर सही है) शामिल होते हैं।
EviSD कैसे काम करता है, इसके लिए एक मनोरंजक उपमा का उपयोग करते हैं: कल्पना कीजिए कि रोबोट एक परीक्षा देने वाला छात्र है।
- छात्र (रोबोट): छात्र केवल उसी जानकारी का उपयोग करके परीक्षा देता है जो उसके पास उस क्षण उपलब्ध है। वह अपने सर्च क्वेरी और अपना अंतिम उत्तर लिखता है।
- कोच (शिक्षक): छात्र के समाप्त करने के बाद, वही रोबोट मॉडल "कोच की टोपी" पहन लेता है। कोच छात्र के उत्तरों को देखता है लेकिन उसे संदर्भ पत्र (साक्ष्य और सही उत्तर) देखने की अनुमति होती है।
- फीडबैक लूप: कोच छात्र द्वारा लिखे गए विवरण की तुलना इस बात से करता है कि उन्हें क्या लिखना चाहिए था, यह जानते हुए कि गुप्त सुराग क्या हैं।
- यदि छात्र ने एक बेहतरीन खोज प्रश्न पूछा जो साक्ष्य को ढूंढ लेता, तो कोच थम्स-अप (thumbs-up) देता।
- यदि छात्र ने एक अस्पष्ट प्रश्न पूछा जो मदद नहीं करता, तो कोच अगली बार बेहतर करने के लिए एक हल्का सा इशारा करता।
- महत्वपूर्ण बात यह है कि कोच केवल यह नहीं कहता कि "आपने इसे सही किया" या "आपने इसे गलत किया।" वे कहते हैं, "आपका 'X' के लिए खोज बहुत अच्छी थी क्योंकि यह साक्ष्य से मेल खाती है, लेकिन आपका 'Y' के लिए खोज एक बेकार रास्ता था।"
EviSD का जादू यह है कि यह रोबोट के मस्तिष्क को केवल उन विशिष्ट भागों के लिए सूक्ष्म रूप से ट्यून करने के लिए इस "कोच के फीडबैक" का उपयोग करता है जहाँ रोबोट ने कोई कदम उठाया था (सर्च क्वेरी और अंतिम उत्तर)। यह रोबोट के पूरे व्यक्तित्व को बदलने या उसे संदर्भ पत्र को याद करने के लिए मजबूर करने की कोशिश नहीं करता है। इसके बजाय, यह एक वॉल्यूम नॉब (volume knob) की तरह काम करता है। यदि रोबोट के मूल प्रशिक्षण ने कहा था, "यह सर्च अच्छा था," तो कोच इसे और भी ऊँचा कर देता है यदि साक्ष्य इसका समर्थन करते हैं। यदि मूल प्रशिक्षण अनिश्चित था, तो कोच स्पष्ट करने में मदद करता है। लेकिन यदि रोबोट अंतिम उत्तर गलत देता है, तो कोच यह दिखावा नहीं करेगा कि सर्च एकदम सही था; "जीत-या-हार" वाला स्कोर अभी भी सबसे अधिक मायने रखता है।
शोधकर्ताओं ने सात अलग-अलग प्रश्न-उत्तर चुनौतियों पर इस पद्धति का परीक्षण किया, जिसमें साधारण सामान्य ज्ञान से लेकर जटिल बहु-चरणीय पहेलियाँ शामिल थीं। उन्होंने पाया कि EviSD लगातार अन्य शीर्ष विधियों से बेहतर प्रदर्शन करता है। वास्तव में, इसने रोबोट की सटीकता में मौजूदा सर्वोत्तम तकनीकों की तुलना में लगभग 1.3 से 2.3 अंक का सुधार किया। शायद इससे भी अधिक प्रभावशाली बात यह है कि रोबोट अधिक कुशल होने के लिए सीख गया, उसे उत्तर खोजने के लिए कम खोजों की आवश्यकता पड़ी (औसत 2.27 खोजों से घटकर 1.87 रह गया)।
यह शोध पत्र सुझाव देता है कि यह दृष्टिकोण एक महत्वपूर्ण प्रगति है क्योंकि यह "क्रेडिट असाइनमेंट" (credit assignment) की समस्या को हल करता है—यह पता लगाना कि किन विशिष्ट कार्यों ने सफलता दिलाई—बिना यह बदले कि वास्तविक दुनिया में काम करते समय रोबोट कैसे व्यवहार करता है। जब रोबोट वास्तविक समस्याओं को हल करने के लिए बाहर जाता है, तो उसके पास संदर्भ पत्र नहीं होता है, और यह ठीक है; वह बस उन स्मार्ट आदतों का उपयोग करता है जो उसने प्रशिक्षण के दौरान सीखी हैं। अध्ययन दिखाता है कि रोबोट को सत्य के "विशेषाधिकार प्राप्त दृश्य" के साथ चिंतन करने का अवसर देकर, हम उसे एक बहुत अधिक सटीक जासूस बना सकते हैं, जो एक भाग्यशाली अनुमान और एक अच्छी तरह से नियोजित जांच के बीच अंतर कर सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।