SimpleOPD: Simple Tokenizer-Agnostic On-Policy Distillation for Long-Context Reasoning
यह शोध पत्र SimpleOPD को पेश करता है, जो एक टोकेनाइज़र-अज्ञेय (tokenizer-agnostic) ऑन-पॉलिसी डिस्टिलेशन फ्रेमवर्क है जो साझा टेक्स्ट स्पैन को संरेखित करता है और प्रभावी ढंग से मजबूत शिक्षकों से लघु-संदर्भ वाले छात्रों में दीर्घ-संदर्भ प्रमाण-तर्क क्षमताओं को स्थानांतरित करने के लिए एक स्टूडेंट रेफरेंस KL लॉस का उपयोग करता है, जिससे गणितीय और वैज्ञानिक बेंचमार्क पर महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बुद्धिमान, लंबी-चौड़ी बातें करने वाले प्रोफेसर को यह सिखाने की कोशिश कर रहे हैं कि एक तेज़-तर्रार छात्र को, जिसके पास केवल एक छोटी सी नोटबुक है, एक जटिल विचार कैसे समझाया जाए। यह आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया है, विशेष रूप से "लार्ज लैंग्वेज मॉडल्स" (LLMs) का क्षेत्र। ये ऐसे कंप्यूटर प्रोग्राम हैं जिन्हें मानव भाषा को समझने और उत्पन्न करने के लिए प्रशिक्षित किया गया है। कभी-कभी, हमारे पास एक "शिक्षक" मॉडल होता है जो गणितीय प्रमाणों जैसे कठिन समस्याओं को हल करने में अविश्वसनीय रूप से स्मार्ट होता है, लेकिन वह बहुत लंबे और विस्तृत वाक्यों में सोचता है। फिर हमारे पास एक "छात्र" मॉडल होता है जो छोटा, तेज़ और कम याददाश्त वाला होता है। लक्ष्य शिक्षक की बुद्धिमत्ता को छात्र में स्थानांतरित करना है।
लंबे समय तक, वैज्ञानिकों ने यह करने की कोशिश की कि शिक्षक उत्तर लिख दे और छात्र बस उन्हें कॉपी कर ले। लेकिन यह एक शब्दकोश को बिना शब्दों को समझे रटने के लिए कहने जैसा है; यह हमेशा उन्हें यह नहीं सिखाता कि कैसे सोचना है। एक नया, अधिक स्मार्ट तरीका जिसे "ऑन-पॉलिसी डिस्टिलेशन" (On-Policy Distillation - OPD) कहा जाता है, इसने खेल बदल दिया। केवल नकल करने के बजाय, छात्र एक समस्या को हल करने की कोशिश करता है, और शिक्षक वास्तविक समय में छात्र की विचार प्रक्रिया को देखता है, हर एक कदम पर सुधार और मार्गदर्शन प्रदान करता है। यह एक कोच की तरह है जो एथलीट के ठीक बगल में खड़ा होकर दौड़ते समय उनके फॉर्म को सुधारता है, बजाय इसके कि बाद में उन्हें एक आदर्श दौड़ का वीडियो दिखाए। हालाँकि, इसमें एक पेच है: यदि शिक्षक और छात्र अलग-अलग "भाषाएँ" बोलते हैं (शब्दों के टुकड़ों को तोड़ने के अलग-अलग तरीके, जिन्हें टोकनाइज़र कहा जाता है), या यदि शिक्षक उपन्यास लिखने के आदी है जबकि छात्र के पास केवल एक ट्वीट के बराबर जगह है, तो कोचिंग गलत हो सकती है। छात्र भ्रमित हो सकता है, अंतहीन रूप से बड़बड़ाना शुरू कर सकता है, या क्रैश हो सकता है क्योंकि निर्देश उसके सामर्थ्य के अनुकूल नहीं होते।
यह शोध पत्र, जिसका शीर्षक SimpleOPD है, ठीक इसी उलझी हुई स्थिति को संबोधित करता है। शोधकर्ताओं ने एक अत्यंत स्मार्ट, लंबे संदर्भ वाले शिक्षक मॉडल (जिसे SU-01 नाम दिया गया है) जो गणितीय प्रमाणों में उत्कृष्ट है, को विभिन्न छोटे छात्र मॉडलों को सिखाने की कोशिश की, भले ही वे पूरी तरह से अलग आंतरिक "भाषाओं" (टोकनाइज़र) का उपयोग करते हों और उनकी स्मृति सीमा बहुत कम हो। उन्होंने पाया कि केवल शिक्षक द्वारा कोचिंग देना अक्सर उल्टा पड़ गया। छात्र अभिभूत हो जाता था, प्रतिक्रियाएँ लिखना शुरू कर देता था जो अनियंत्रित रूप से लंबी होती जाती थीं (एक "लंबाई विस्फोट" या length explosion), और अंततः अपनी जगह समाप्त होने के कारण अपने उत्तरों को अधूरा छोड़ देता था।
इसे ठीक करने के लिए, टीम ने एक चतुर, "टोकनाइज़र-अज्ञेयवादी" (tokenizer-agnostic) दृष्टिकोण का आविष्कार किया। शिक्षक और छात्र इस बात पर सहमत होने के बजाय कि वे शब्द के किस हिस्से को देख रहे हैं, वे पृष्ठ पर मौजूद वास्तविक टेक्स्ट को देखने पर सहमत हुए। यदि शिक्षक कहता है "math" और छात्र कहता है "mat" और "h," तो उन्होंने महसूस किया कि ये एक ही ध्वनि को लिखने के केवल अलग-अलग तरीके हैं। उन्होंने शिक्षण को साझा टेक्स्ट के आधार पर संरेखित किया, तकनीकी अंतरों को अनदेखा करते हुए कि कंप्यूटर ने शब्दों को कैसे विभाजित किया था। लेकिन वे यहीं नहीं रुके। छात्रों को बड़बड़ाने से रोकने के लिए, उन्होंने दो सुरक्षा जाल पेश किए। पहले, उन्होंने शिक्षक को यह बताने के बारे में टोकना बंद करने के लिए कहा कि कब बोलना बंद करना है (विशिष्ट "स्टॉप" टोकन को अनदेखा करके), ताकि छात्र यह समझने में भ्रमित न हो कि कब समाप्त करना है। दूसरा, उन्होंने एक सौम्य "रियलिटी चेक" (एक KL लॉस) जोड़ा जो छात्र को उसके मूल, समझदारी भरे स्वरूप के करीब रहने की याद दिलाता था, जिससे उसे अनियंत्रित, अंतहीन लूपों में भटकने से रोका जा सके।
परिणाम प्रभावशाली थे। इस पद्धति का उपयोग करके, छात्र मॉडल केवल नकल करना नहीं सीखे; उन्होंने तर्क करना सीखा। उदाहरण के लिए, एक छात्र मॉडल, Intern-S2-Preview, ने एक कठिन गणितीय प्रमाण परीक्षण (ProofBench) पर अपने स्कोर में 22.8 अंकों की छलांग लगाई, जो प्राथमिक प्रयोगों में 21.70 से बढ़कर 44.50 हो गया। जेमिनी-2.5-प्रो (Gemini-2.5-Pro) को जज के रूप में उपयोग करने वाले एक विशिष्ट मूल्यांकन सेटिंग में, मॉडल ने और भी बड़ी बढ़त दिखाई, जो 34.0 से बढ़कर 55.2 हो गई। यह सुधार इतना महत्वपूर्ण था कि इसने अन्य बहुत शक्तिशाली, क्लोज्ड-सोर्स मॉडलों जैसे जेमिनी-2.5-प्रो के प्रदर्शन को भी पीछे छोड़ दिया। शोध पत्र सुझाव देता है कि यह तकनीक न केवल गणित के लिए अच्छी तरह काम करती है, बल्कि छात्रों को उन विज्ञान समस्याओं के लिए भी नए कौशल को सामान्य बनाने में मदद करती है जिन्हें उन्होंने पहले नहीं देखा है। esenciaतः, SimpleOPD ने साबित कर दिया कि आप एक छोटे, कम स्मृति वाले मस्तिष्क को एक विशाल, लंबी बातें करने वाले जीनियस की तरह सोचना सिखा सकते हैं, भले ही वे अलग-अलग तकनीकी भाषाएं बोलते हों, जब तक कि आप उन्हें एक साझा टेक्स्ट स्पेस और कुछ नियम दें जो उन्हें हमेशा के लिए बोलने से रोक सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।