Search-E1: Self-Distillation Drives Self-Evolution in Search-Augmented Reasoning
Search-E1 एक स्व-विकास (self-evolution) विधि है जो केवल वैनिला GRPO और ऑफलाइन स्व-डिस्टिलेशन (offline self-distillation) का उपयोग करके सर्च-ऑगमेंटेड रीजनिंग एजेंटों को उन्नत करती है ताकि जटिल बाहरी पर्यवेक्षण या सहायक मॉड्यूल पर निर्भर किए बिना QA बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान लेकिन थोड़ा अनाड़ी छात्र (AI) है जो कठिन सामान्य ज्ञान (trivia) के सवालों के जवाब देने की कोशिश कर रहा है। सही उत्तर पाने के लिए, इस छात्र को तथ्यों को खोजने के लिए एक लाइब्रेरी (एक सर्च इंजन) का उपयोग करने की अनुमति है, लेकिन उसे यह तय करना होगा कि कब खोजना है और क्या पूछना है।
वर्तमान में अधिकांश तरीके इस छात्र को तब सिखाते हैं जब वह पूरा निबंध समाप्त कर लेता है। यदि अंतिम उत्तर सही है, तो शिक्षक उसे एक 'गोल्ड स्टार' देता है। यदि वह गलत है, तो उसे एक 'लाल X' मिलता है। समस्या यह है कि छात्र को यह नहीं पता चलता कि कौन सा विशिष्ट चरण गलती वाला था। क्या उन्होंने गलत सवाल पूछा? क्या उन्होंने गलत पैराग्राफ पढ़ा? क्या वे भटक गए थे? उन्हें बस इतना पता है कि पूरा प्रयास विफल रहा।
Search-E1 इस छात्र को सिखाने का एक नया, सरल तरीका है। इसे किसी बहुत बुद्धिमान मानव शिक्षक, किसी फैंसी अतिरिक्त रोबोट, या किसी विशेष पुरस्कार प्रणाली की आवश्यकता नहीं है। इसके बजाय, यह एक दो-चरणीय नृत्य के माध्यम से "स्व-विकास" (Self-Evolution) तकनीक का उपयोग करता है:
चरण 1: "सब कुछ आज़माने" का चरण (GRPO)
सबसे पहले, छात्र को एक ही प्रश्न पाँच बार पूछा जाता है।
- एक प्रयास में, वे लाइब्रेरी में इधर-उधर भटक सकते हैं, मूर्खतापूर्ण प्रश्न पूछ सकते हैं और असफल हो सकते हैं।
- दूसरे प्रयास में, वे सटीक प्रश्न पूछ सकते हैं, सही किताब ढूंढ सकते हैं और सही उत्तर जल्दी प्राप्त कर सकते हैं।
सिस्टम इन पाँचों प्रयासों को देखता है और कहता है, "ठीक है, जिस प्रयास ने सही उत्तर प्राप्त किया, वह इस दौर के लिए 'गोल्ड स्टैंडर्ड' है।" लेकिन, पहले की तरह, यह केवल छात्र को यह बताता है कि, "इस पूरे निबंध पर अच्छा काम किया," न कि "उस विशिष्ट प्रश्न को पूछने पर अच्छा काम किया।"
चरण 2: "वापस जाना और सीखना" का चरण (Offline Self-Distillation)
यहीं पर जादू होता है। सिस्टम असफल प्रयास ("छात्र") और सफल प्रयास ("शिक्षक") को लेता है।
यहाँ चालाकी भरा तरीका दिया गया है:
- सिस्टम छात्र को मूल प्रश्न देता है।
- सिस्टम शिक्षक को वही प्रश्न देता है, लेकिन साथ ही उन्हें एक 'चीट शीट' भी थमा देता है: वह संपूर्ण सफल मार्ग जो छात्र ने दूसरे प्रयास में अपनाया था।
- शिक्षक उस चीट शीट को पढ़ता है और कहता है, "यदि मैं अभी इस प्रश्न का उत्तर दे रहा होता, और सही मार्ग को जानता होता, तो मैं आगे ठीक यही कहता।"
- फिर छात्र को शिक्षक की बात सुनने और शब्द-दर-शब्द उनके शब्दों से मेल खाने के लिए मजबूर किया जाता है।
छात्र को केवल यह नहीं बताया जा रहा है कि "आप सही थे/गलत थे।" उन्हें शिक्षक द्वारा शब्द-दर-शब्द (टोकन-दर-टोकन) दिखाया जा रहा है कि वे बेहतर कैसे सोच सकते हैं। "ओह, मैं समझ गया! जब मैंने पूछा 'राष्ट्रपति कौन है?', तो शिक्षक ने पूछा '1990 में राष्ट्रपति कौन थे?' यही अंतर है!"
यह विशेष क्यों है?
- कोई बाहरी शिक्षक नहीं: आमतौर पर, इस स्तर के विवरण के लिए, आपको एक बहुत ही बुद्धिमान AI (जैसे कि 72-बिलियन-पैरामीटर वाला मॉडल) की आवश्यकता होती है जो हर एक चरण को ग्रेड दे सके। Search-E1 अपने स्वयं के सफल प्रयासों को ही शिक्षक के रूप में उपयोग करता है। यह एक छात्र के अपने टेस्ट पेपर को पढ़ने जैसा है जिसमें उसने 'A' ग्रेड प्राप्त किया है, बजाय इसके कि वह प्रोफेसर द्वारा ग्रेडिंग का इंतज़ार करे।
- कोई अतिरिक्त मशीनरी नहीं: अन्य तरीके यह पता लगाने के लिए जटिल उपकरणों को जोड़ते हैं कि कौन से चरण अच्छे थे। Search-E1 केवल मानक "कोशिश करो और पुनः प्रयास करो" लूप का उपयोग करता है और उसके बीच में इस "अपने स्वयं की सफलता का अध्ययन करें" वाले चरण को जोड़ता है।
- परिणाम: जब उन्होंने सात अलग-अलग ट्रिविया चुनौतियों पर इसका परीक्षण किया, तो Search-E1 का उपयोग करने वाले छात्र ने अन्य अधिक जटिल तरीकों का उपयोग करने वाले छात्रों की तुलना में काफी बेहतर स्कोर प्राप्त किया। यह "मल्टी-हॉप" प्रश्नों (जहाँ आपको कई कड़ियों को जोड़ना पड़ता है) के लिए विशेष रूप से अच्छा था, क्योंकि उन प्रश्नों में कई चरण होते हैं जहाँ गलती हो सकती है, और यह विधि उन विशिष्ट चरणों को ठीक करती है जो टूटे हुए थे।
संक्षेप में: Search-E1 एक AI को स्मार्ट बनने के लिए सिखाता है, उसे विफल होने देता है, और फिर उसे अपने स्वयं के सफल प्रयासों का अध्ययन करने के लिए कहता है जैसे कि वे एक आदर्श पाठ्यपुस्तक हों, जिससे वह बिना किसी बाहरी मदद के हर एक क्षण में बिल्कुल क्या कहना है, यह सीख सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।