HindSearch: Trajectory-Level Hindsight Critique for Search-Augmented Reinforcement Learning
HindSearch सर्च-ऑगमेंटेड रिइन्फोर्समेंट लर्निंग के लिए एक हिंडसाइट सेल्फ-डिस्टिलेशन प्रक्रिया पेश करता है जो विफल ट्रैजेक्टरीज के लिए एक फ्रोजन जज की आलोचनाओं का लाभ उठाकर सहायक ऑन-पॉलिसी सिग्नल्स प्रदान करता है, जो गोल्ड आंसर का उपयोग करके सर्च विफलताओं का निदान करके पूर्व बेसलाइन की तुलना में प्रदर्शन में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को रहस्य सुलझाना सिखा रहे हैं। आप उसे एक प्रश्न देते हैं, और वह सुराग खोजने के लिए इंटरनेट से पूछना शुरू कर देता है। कभी-कभी उसे उत्तर मिल जाता है, और कभी-कभी वह गलत मोड़ों के भूलभुलैया में खो जाता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "सर्च-ऑगमेंटेड लर्निंग" (Search-Augmented Learning) कहा जाता है। वह रोबोट एक लार्ज लैंग्वेज मॉडल (LLM) है, जो एक सुपर-स्मार्ट कंप्यूटर मस्तिष्क है जो टेक्स्ट पढ़ता और लिखता है। कठिन समस्याओं को हल करने के लिए, वह केवल अनुमान नहीं लगाता; वह तथ्यों को टुकड़ों में खोजने के लिए एक सर्च इंजन का उपयोग करता है, ठीक वैसे ही जैसे एक जासूस सबूत इकट्ठा करता है।
लंबे समय तक, इन जासूसी रोबोटों को प्रशिक्षित करने का तरीका एक बहुत ही सख्त रेफरी के साथ "हॉट या कोल्ड" (Hot or Cold) खेल खेलने जैसा था। रोबोट अपनी पूरी जांच पूरी करता था, और अंत में रेफरी बस इतना कहता था, "तुमने सही पकड़ा!" या "तुम गलत थे।" यदि रोबोट गलत उत्तर देता, तो उसे केवल एक बड़ा, सपाट "0" प्राप्त होता। वह जानता था कि वह असफल रहा, लेकिन उसे यह पता नहीं था कि क्यों। क्या उसने गलत सवाल पूछा? क्या उसने गलत लेख पढ़ा? क्या वह किसी पेचीदा नाम से भ्रमित हो गया? बिना यह जाने कि "क्यों" हुआ, रोबोट को यह सुधारने के लिए खुद ही अंदाज़ा लगाना पड़ता था कि उसे क्या ठीक करना चाहिए, जो कि बिल्कुल वैसा ही है जैसे किसी को हर यात्रा के बाद केवल "क्रैश" या "नो क्रैश" बताकर कार चलाना सिखाना। यह निराशाजनक, धीमा है, और अक्सर रोबोट को बुरी आदतों में फंसा देता है।
यहीं पर HindSearch नामक एक नया विचार आता है, जिसे शोधकर्ता Liu, Wang, Wu, Tao और Fang ने प्रस्तावित किया है। उन्होंने महसूस किया कि जब एक रोबोट विफल होता है, तो हमारे पास वास्तव में एक संदर्भ होता है: सही उत्तर। केवल "विफल" कहने के बजाय, उन्होंने इस सही उत्तर का उपयोग एक छोटा, सहायक नोट लिखने के लिए किया जो स्पष्ट रूप से बताता है कि रोबोट को अलग तरह से क्या करना चाहिए था। वे इसे "हाइंडसाइट क्रिटीक" (hindsight critique - पश्चदृष्टि आलोचना) कहते हैं।
यह व्यवहार में कैसे काम करता है: कल्पना कीजिए कि रोबोट को यह पता लगाने की कोशिश करनी है कि फिल्म Brazil (1985 की साइंस-फिक्शन फिल्म, देश नहीं) का निर्देशन किसने किया था। वह भ्रमित हो जाता है और "Brazil director" खोजता है, जिससे उसे देश की सरकार के बारे में पेज मिलते हैं। वह विफल हो जाता है। पुराने तरीके में, प्रशिक्षण वहीं रुक जाता है और "0" मिलता। लेकिन HindSearch के साथ, एक जमा हुआ (frozen) "जज" (एक सुपर-स्मार्ट, प्री-ट्रेंड AI जो अपने आप कुछ नहीं सीखता) रोबोट के बिखरे हुए खोज इतिहास और सही उत्तर (टेरी गिलियम) को देखता है। जज एक छोटा, एक-वाक्य का नोट लिखता है: "आपने देश को फिल्म के साथ मिला दिया! आपको इसके बजाय 'director of Brazil 1985 film' पूछना चाहिए था।"
इस नोट का उपयोग फिर रोबोट को सिखाने के लिए एक विशेष "संकेत" के रूप में किया जाता है। रोबोट को वह नोट दिखाया जाता है और उससे पूछा जाता है, "यदि मुझे यह संकेत पता होता, तो मैं क्या खोजता?" वह जज की सलाह के अनुसार अपनी खोज की आदतों को ढालना सीखता है। यह हर एक असफल प्रयास के बाद होता है, जिससे हर गलती एक मृत अंत के बजाय एक विस्तृत सबक बन जाती है।
शोधकर्ताओं ने इन परीक्षणों पर Qwen2.5-3B-Instruct नामक मॉडल का उपयोग करके सात कठिन प्रश्न-उत्तर चुनौतियों के एक मानक सेट पर इस पद्धति का परीक्षण किया। उन्होंने पाया कि "हाइंडसाइट क्रिटीक" जोड़ने के इस सरल तरीके ने बहुत बड़ा अंतर पैदा किया। इस नए तरीके, HindSearch ने इन परीक्षणों पर 39.4% की औसत सफलता दर हासिल की। यह पिछले सर्वोत्तम तरीकों से काफी बेहतर है, जो लगभग 33.6% के आसपास रहते थे। यह सुधार सभी प्रकार के प्रश्नों में सुसंगत था, साधारण तथ्यों से लेकर जटिल पहेलियों तक जिनमें कई सूचनाओं को जोड़ने की आवश्यकता होती है।
महत्वपूर्ण रूप से, टीम यह सुनिश्चित करना चाहती थी कि सुधार वास्तव में "हाइंडसाइट" वाले हिस्से से आया है—यानी इस तथ्य से कि जज को उत्तर पता था। यह साबित करने के लिए, उन्होंने एक परीक्षण चलाया जहाँ उन्होंने जज की सही उत्तर तक पहुँच हटा दी। जब जज को समाधान जाने बिना यह अनुमान लगाना पड़ा कि क्या गलत हुआ, तो सुधार लगभग गायब हो गया, और स्कोर वापस गिरकर 34.7% हो गया। यह सुझाव देता है कि जादू केवल दूसरे AI के काम को देखने में नहीं है; यह विशेष रूप से उस दूसरे AI द्वारा सही उत्तर का उपयोग करके एक सटीक, सुधारात्मक पाठ देने में है।
पेपर यह भी पता लगाता है कि यह प्रशिक्षण समय के साथ कैसे व्यवहार करता है। प्रशिक्षण के 300 चरणों के दौरान रोबोट का प्रदर्शन लगातार बढ़ता गया, जो अंत में लगभग 50% के शिखर प्रशिक्षण स्कोर और 39.4% के वैलिडेशन स्कोर तक पहुँच गया। प्रशिक्षण स्थिर था, जिसका अर्थ है कि रोबोट भ्रमित नहीं हुआ या अजीब व्यवहार करने नहीं लगा, जो कि जटिल पुरस्कारों के साथ AI को सिखाते समय एक आम समस्या है।
एक दिलचस्प विवरण यह है कि यह तरीका रोबोट को विशेष रूप से खोजने के बारे में सिखाता है, न कि अंतिम उत्तर देने के बारे में। "क्रिटीक" केवल उन शब्दों को प्रभावित करता है जिनका उपयोग रोबोट सर्च इंजन से मदद माँगने के लिए करता है। यह रोबोट को उसके काम पर केंद्रित रखता है: सही सुराग इकट्ठा करना। शोधकर्ताओं ने यह भी पाया कि संकेतों को देने के लिए बहुत बड़े "टीचर" मॉडल (7 बिलियन पैरामीटर्स) का उपयोग करने से चीजें वास्तव में खराब हो गईं, जिससे प्रशिक्षण विफल हो गया। यह सच है कि एक शिक्षक जो छात्र से बहुत अलग है, वह भ्रमित कर सकता है; एक शिक्षक जो समान लेकिन 'फ्रोजन' (स्थिर) है, वह सबसे अच्छा काम करता है।
संक्षेप में, HindSearch यह सुझाव देता है कि सर्च-बॉट को सिखाने का सबसे अच्छा तरीका केवल यह बताना नहीं है कि वह कब गलत है, बल्कि उसे उत्तर दिखाना और पूछना है, "यह देखते हुए कि आप उत्तर जानते हैं, वह एक चीज़ क्या थी जो आपको अलग तरह से करनी चाहिए थी?" हर विफलता को एक विशिष्ट, कार्रवाई योग्य सबक में बदलकर, रोबोट एक बेहतर जासूस बनना सीखता है, और पहले की तुलना में बहुत अधिक बार सही सुराग पाता है। इस पद्धति के लिए कोड दूसरों के परीक्षण के लिए उपलब्ध है, और परिणाम बताते हैं कि यह "हाइंडसाइट" दृष्टिकोण AI एजेंटों को प्रशिक्षित करने के लिए एक शक्तिशाली नया उपकरण हो सकता है जिन्हें उत्तर खोजने के लिए दुनिया का पता लगाने की आवश्यकता होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।