OPDSearch+: On-Policy Distillation with RL Refinement for Search-Augmented Reasoning

आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, शोधकर्ता लगातार कंप्यूटर प्रोग्रामों को इंसानों की तरह सोचना सिखाने की कोशिश कर रहे हैं, विशेष रूप से सूचनाओं के विशाल महासागर में उत्तर खोजने के मामले में। वर्षों से, मानक दृष्टिकोण विशाल, महंगे मॉडलों को प्रशिक्षित करना रहा है जो तथ्यों को याद रखते हैं, लेकिन ये सिस्टम अक्सर तब संघर्ष करते हैं जब उन्हें नई जानकारी खोजने या विभिन्न विषयों के बीच संबंधों को जोड़ने की आवश्यकता होती है। एक अधिक आशाजनक मार्ग "सर्च-ऑगमेंटेड रीजनिंग" (खोज-संवर्धित तर्क) में निहित है, जहाँ एक मॉडल प्रश्न पूछना, मिले हुए उत्तरों को पढ़ना और फिर एक अंतिम प्रतिक्रिया तैयार करना सीखता है। हालाँकि, छोटे, अधिक कुशल मॉडलों को यह करने के लिए सिखाना एक कठिन समस्या रही है। सामान्य विधि के लिए एक ऐसे "शिक्षक" मॉडल की आवश्यकता होती है जो पहले से ही खोजने में विशेषज्ञ हो, लेकिन हर विशिष्ट कार्य के लिए ऐसे शिक्षक को प्रशिक्षित करना अविश्वसनीय रूप से महंगा और धीमा है। इसके अलावा, केवल एक शिक्षक के उत्तरों की नकल करना अक्सर विफल रहता है क्योंकि छात्र मॉडल अपनी ही गलतियों के चक्र में फंस जाता है, और एक लाइव सर्च इंजन की गतिशील, वास्तविक समय की प्रकृति से सीखने में असमर्थ होता है।

शोधकर्ताओं की एक टीम ने OPDSearch+ नामक एक नई विधि पेश की है जो यह बदलकर इन समस्याओं को हल करती है कि छात्र कैसे सीखता है। एक ऐसे शिक्षक पर निर्भर रहने के बजाय जिसे किसी विशिष्ट कार्य के लिए विशेष रूप रूप से प्रशिक्षित किया गया हो, वे एक शक्तिशाली, पूर्व-मौजूद मॉडल का उपयोग करते हैं जिसे 'फ्रोजन' (जमा हुआ) रखा जाता है, जिसका अर्थ है कि प्रक्रिया के दौरान इसमें कोई परिवर्तन नहीं होता है। यह शिक्षक एक मार्गदर्शक के रूप में कार्य करता है, अंतिम उत्तर देकर नहीं, बल्कि छात्र को लाइव सर्च इंजन के साथ बातचीत करते हुए देखकर। जैसे-जैसे छात्र प्रश्न पूछता है और परिणाम पढ़ता है, शिक्षक छात्र द्वारा उत्पन्न किए गए प्रत्येक शब्द पर तत्काल, चरण-दर-चरण फीडबैक प्रदान करता है। यह फीडबैक छात्र को न केवल यह समझने में मदद करता है कि सही उत्तर क्या है, बल्कि यह भी कि एक जटिल प्रश्न को कैसे तोड़ें, एक खोज क्वेरी को कैसे तैयार करें, और खोजी गई जानकारी को एक तार्किक तर्क में कैसे पिरोएं।

यह प्रक्रिया दो अलग-अलग चरणों में होती है। पहले, छात्र मॉडल शिक्षक के मार्गदर्शन से सीखता है जबकि वह सक्रिय रूप से जानकारी खोज रहा होता है। यह चरण महत्वपूर्ण है क्योंकि यह छात्र को एक अच्छे शोधकर्ता की आदतें सिखाता है—एक समस्या को कैसे विभाजित किया जाए और साक्ष्यों को कैसे एकीकृत किया जाए—बिना छात्र को कभी शिक्षक के अपने खोज इतिहास को देखे। शोधकर्ताओं ने पाया कि इस प्रारंभिक प्रशिक्षण ने छात्र के व्यवहार को नया आकार दिया, जिससे एक बहुत मजबूत नींव तैयार हुई जो शून्य से शुरुआत करने की तुलना में कहीं बेहतर है। दूसरे चरण में, छात्र को एक ऐसी तकनीक का उपयोग करके परिष्कृत किया जाता है जो उसे अंतिम उत्तर सही होने पर पुरस्कृत करती है। क्योंकि छात्र पहले चरण से एक मजबूत नींव के साथ शुरू हुआ था, इसलिए वह बहुत तेज़ी से सीखने में सक्षम है और प्रदर्शन के उस स्तर तक पहुँच सकता है जो वह अकेले कभी नहीं पा सकता था।

इस दृष्टिकोण के परिणाम आश्चर्यजनक हैं। सात अलग-अलग प्रश्न-उत्तर बेंचमार्क पर परीक्षण किए जाने पर, इस नई विधि ने एक अपेक्षाकृत छोटे मॉडल को, जिसमें केवल तीन बिलियन पैरामीटर हैं, उसी आकार के सभी पिछले मॉडलों को पछाड़ दिया। उन जटिल कार्यों पर जिनमें सूचना के कई टुकड़ों को जोड़ने की आवश्यकता होती है, सुधार विशेष रूप से नाटकीय था, जहाँ मॉडल ने एक प्रमुख परीक्षण पर तेरह अंकों की वृद्धि और दूसरे पर आठ अंकों की वृद्धि हासिल की। शोधकर्ताओं ने प्रदर्शित किया कि यह विधि केवल एक मामूली बदलाव नहीं है बल्कि छोटे मॉडलों को खोज उपकरणों के साथ तर्क करने के लिए सिखाने के तरीके में एक मौलिक बदलाव है। एक फ्रोजन, ऑफ-द-शेल्फ शिक्षक का उपयोग करके छात्र को वास्तविक समय की बातचीत के माध्यम से निर्देशित करके, उन्होंने एक ऐसी प्रणाली बनाई है जो अत्यधिक कुशल और उल्लेखनीय रूप से प्रभावी है, जो यह सिद्ध करती है कि एक छोटा मॉडल महंगे, कार्य-विशिष्ट प्रशिक्षण की आवश्यकता के बिना गहराई से सोचने और बुद्धिमानी से खोजने के लिए सीख सकता है।