SD-Search: On-Policy Hindsight Self-Distillation for Search-Augmented Reasoning
SD-Search एक ऑन-पॉलिसी हिंडसाइट सेल्फ-डिस्टिलेशन फ्रेमवर्क पेश करता है जो सर्च-ऑगमेंटेड रीजनिंग एजेंट्स को आंतरिक रूप से स्टेप-लेवल सुपरविजन सिग्नल्स जेनरेट करने में सक्षम बनाता है, जो एक स्टूडेंट मॉडल को हिंडसाइट-कंडीशन्ड टीचर की नकल करने के लिए प्रशिक्षित करके किया जाता है, जिससे बाहरी टीचर्स या अतिरिक्त एनोटेशन की आवश्यकता के बिना आउटकम-रिवॉर्ड रीइन्फोर्समेंट लर्निंग की क्रेडिट असाइनमेंट सीमाओं को दूर किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छात्र को एक जटिल रहस्य सुलझाना सिखा रहे हैं। छात्र के पास एक लाइब्रेरी (इंटरनेट) है जिसे वह खोज (search) सकता है, लेकिन उसे यह नहीं पता कि लाइब्रेरियन से क्या पूछना है।
AI अनुसंधान की वर्तमान स्थिति में, अधिकांश प्रशिक्षण विधियाँ एक ऐसे शिक्षक की तरह हैं जो केवल अंतिम उत्तर पर छात्र को ग्रेड देते हैं।
- समस्या: यदि छात्र सही उत्तर प्राप्त करता है, तो शिक्षक कहता है, "बहुत बढ़िया!" लेकिन यदि छात्र एक गलत सवाल पूछकर और किस्मत से सही उत्तर पाकर सफल हुआ है, तो भी शिक्षक कहता है, "बहुत बढ़िया!" छात्र कभी यह नहीं सीख पाता कि उसका विशिष्ट प्रश्न वास्तव में बहुत खराब था। उसे बस यह पता चलता है कि परिणाम अच्छा था। इसे "आउटकम रिवॉर्ड" (Outcome Reward) कहा जाता है।
- पुराना समाधान: कुछ शोधकर्ताओं ने एक अत्यंत बुद्धिमान, महंगे "मास्टर डिटेक्टिव" (एक विशाल बाहरी AI) को काम पर रखकर इस समस्या को ठीक करने की कोशिश की, जो छात्र को देखता और कहता, "वह एक अच्छा सवाल था," या "वह एक बुरा सवाल था।" यह काम तो करता है, लेकिन यह अविश्वत रूप से महंगा और धीमा है क्योंकि आपको हर एक प्रशिक्षण सत्र के लिए उस विशाल मास्टर डिटेक्टिव की आवश्यकता होती है।
SD-Search एक नया, चतुर तरीका है जिससे बिना उस महंगे मास्टर डिटेक्टिव के छात्र को सिखाया जा सकता है। यह कैसे काम करता है, यहाँ एक सरल उपमा दी गई है:
"टाइम ट्रैवल" क्लासरूम
कल्पना कीजिए कि छात्र एक परीक्षा दे रहा है।
- छात्र ("वर्तमान" स्वयं): छात्र अपनी डेस्क पर बैठा है, प्रश्न को देख रहा है। उसे अभी इसी क्षण क्या खोजना (search करना) चाहिए, इसका निर्णय लेना है, बिना इस बात का पता कि उसे सही उत्तर मिलेगा या गलत। वह उस जानकारी के आधार पर अनुमान लगा रहा है जो उसके पास उस क्षण मौजूद है।
- शिक्षक ("भविष्य" स्वयं): अब, उसी छात्र की कल्पना करें, लेकिन इस बार उसके पास एक जादुई समय-यात्रा करने वाली नोटबुक (time-traveling notebook) है। इस नोटबुक में एक ही प्रश्न के कई प्रयासों के परिणाम शामिल हैं। इसमें लिखा है: "प्रयास A में, हमने पूछा 'पिता कौन हैं?' और सही उत्तर प्राप्त किया। प्रयास B में, हमने पूछा 'आकाश का रंग क्या है?' और गलत उत्तर प्राप्त किया।"
SD-Search इस जादुई नोटबुक का उपयोग करके छात्र का एक "शिक्षक" संस्करण बनाता है।
- शिक्षक प्रश्न को देखता है और नोटबुक को पढ़ता है। क्योंकि शिक्षक जानता है कि किन सवालों ने सफलता दिलाई और किन ने विफलता, इसलिए वह कह सकता है, "आह, मैं देख सकता हूँ कि पिता के बारे में पूछना सही कदम था। मैं भी यही पूछता।"
- छात्र (जिसके पास अभी नोटबुक नहीं है) को फिर शिक्षक के विकल्पों की नकल करने के लिए कहा जाता है। लक्ष्य यह है कि छात्र के अनुमान शिक्षक के "दृष्टि के पीछे के ज्ञान" (hindsight wisdom) से मेल खाएं।
यह व्यवहार में कैसे काम करता है
पेपर इसे "ऑन-पॉलिसी हाइंडसाइट सेल्फ-डिस्टिलेशन" (On-Policy Hindsight Self-Distillation) कहता है। आइए इसे तोड़ते हैं:
- सेल्फ-डिस्टिलेशन (Self-Distillation): AI खुद को खुद ही सिखा रहा है। इसे किसी बाहरी विशेषज्ञ की आवश्यकता नहीं है। यह कई प्रयास (rollouts) उत्पन्न करता है, परिणामों को देखता है, और फिर सफल पैटर्न का उपयोग करके अपने ही "छात्र" संस्करण को सिखाता है।
- हाइंडसाइट (Hindsight): यह निर्णय लेने के बाद यह देखने के लिए पीछे मुड़कर देखता है कि निर्णय अच्छा था या नहीं।
- ऑन-पॉलिसी (On-Policy): यह अपने स्वयं के डेटा का उपयोग करके ऐसा करता है, न कि किसी अन्य, बड़े AI के डेटा का।
"सर्च क्वेरी" (Search Query) पर ध्यान
पेपर विशेष रूप से सर्च क्वेरीज़ (वे प्रश्न जो AI सर्च इंजन से पूछता है) पर ध्यान केंद्रित करता है।
- पुराने तरीकों में, यदि अंतिम उत्तर सही था, तो AI द्वारा लिखा गया हर एक शब्द (जिसमें सर्च प्रश्न भी शामिल थे) को "अच्छा काम किया" का स्टिकर मिल जाता था, भले ही सर्च प्रश्न अस्पष्ट या गलत क्यों न हो।
- SD-Search में, AI को प्रत्येक विशिष्ट सर्च प्रश्न के लिए एक विशिष्ट "अच्छा काम किया" या "बुरा काम किया" का संकेत मिलता है। यदि सर्च प्रश्न ने एक डेड एंड (रास्ता बंद) की ओर ले जाने का काम किया, तो शिक्षक (हाइंडसाइट नोटबुक के साथ) छात्र को एक अलग, बेहतर प्रश्न दिखाता है। छात्र बेहतर प्रश्न की नकल करना सीखता है।
परिणाम (स्कोरबोर्ड)
शोधकर्ताओं ने सात अलग-अलग प्रश्न-उत्तर बेंचमार्क (जैसे कि ट्रिविया टेस्ट) पर उनके परीक्षण किए।
- प्रदर्शन (Performance): उनकी विधि (SD-Search) उतनी ही अच्छी तरह से प्रदर्शन करती है जितना कि वे महंगे तरीके जो एक विशाल 72-बिलियन पैरामीटर वाले "मास्टर डिटेक्टिव" AI का उपयोग करते हैं, और उन तरीकों से बेहतर है जो केवल अंतिम उत्तर को देखते हैं।
- दक्षता (Efficiency): उन्होंने बिना किसी बाहरी मदद, बिना किसी महंगे API, और बिना किसी अतिरिक्त प्रशिक्षण चरण के यह किया। उन्होंने केवल मानक प्रशिक्षण लूप का उपयोग किया, जिसमें एक छोटा सा "टाइम-ट्रैवल" चरण जोड़ा गया जहाँ AI अपने पिछले प्रयासों की समीक्षा करता है।
- स्केलिंग (Scaling): जैसे-जैसे AI मॉडल बड़ा होता गया (3 बिलियन से 7 बिलियन पैरामीटर तक), यह स्व-शिक्षण विधि बेहतर होती गई, जबकि "मास्टर डिटेक्टिव" पर निर्भर रहने वाले तरीके अपनी बढ़त खोने लगे।
संक्षेप में
SD-Search एक ऐसे छात्र की तरह है जिसे परीक्षा देने के बाद, उत्तर कुंजी (answer key) और अपने उन दोस्तों के नोट्स देखने को मिलते हैं जिन्होंने उसी समय परीक्षा दी थी। इसके बाद वह परीक्षा दोबारा देता है, और ठीक उन्हीं प्रश्नों को पूछने की कोशिश करता है जो उसके "सफल" संस्करणों ने पूछे थे। वह अपने ही पिछले गलतियों और सफलताओं से सीखता है, और बिना किसी मानव शिक्षक या सुपर-कंप्यूटर की मदद के स्मार्ट बनता जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।