SR-OPSD: Self-Referenced On-Policy Self-Distillation

कल्पना कीजिए कि आप एक रोबोट को कहानी लिखना या गणित की समस्या हल करना सिखा रहे हैं। आप केवल यह नहीं चाहते कि रोबोट अंतिम उत्तर सही दे; आप चाहते हैं कि वह कदम-दर-कदम सोचना सीखे। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह अक्सर रोबोट को कोशिश करने, असफल होने और फिर अंत में एक छोटा सा "पुरस्कार" या "सजा" मिलने के माध्यम से किया जाता है। लेकिन यह एक छात्र द्वारा परीक्षा देने जैसा है जिसे केवल यह पता चलता है कि उसे "B" मिला है, बिना यह जाने कि किस विशिष्ट वाक्य या गणना के कारण गलती हुई। इसे ठीक करने के लिए, शोधकर्ता "सेल्फ-डिस्टिलेशन" (स्व-आविष्करण) नामक एक तरकीब का उपयोग करते हैं। इसे ऐसे समझें कि रोबक एक साथ दो भूमिकाएँ निभा रहा है: एक "छात्र" जो समस्या को हल करने की कोशिश करता है, और एक "शिक्षक" (जो वास्तव में वही रोबोट है, लेकिन थोड़े अतिरिक्त सहयोग या एक "सत्यापित समाधान" के साथ) जो छात्र के काम को देखता है और हर एक शब्द पर फीडबैक देता है। छात्र फिर शिक्षक के विकल्पों की नकल करने की कोशिश करता है।

समस्या यह है कि यह शिक्षक एक स्थिर, पूर्ण मार्गदर्शक नहीं है। जैसे-जैसे छात्र बेहतर होता जाता है, शिक्षक भी बदल जाता है, क्योंकि वे दोनों एक ही विकसित होते हुए मस्तिष्क का हिस्सा हैं। यह एक ऐसे छात्र की तरह है जो एक चलते हुए लक्ष्य को हिट करने की कोशिश कर रहा है जबकि हवा भी दिशा बदल रही है। यदि छात्र बहुत कठोरता से शिक्षक की नकल करने की कोशिश करता है, तो वे एक लूप में फंस सकते हैं, अपनी ही गलतियों को दोहरा सकते हैं या अपनी सोच को बहुत संकीर्ण बना सकते हैं। यह शोध पत्र इस नृत्य को संभालने का एक नया तरीका पेश करता है, जिसे SR-OPSD कहा जाता है। यह एक विधि है जो छात्र को एक विशेष गणितीय "कंपास" (दिशानिदर्शक) का उपयोग करके स्थिर और प्रभावी रूप से, चलते हुए लक्ष्य से भ्रमित हुए बिना सीखने में मदद करती है।

चलती हुई लक्ष्य की समस्या (The Moving Target Problem)

कई AI प्रशिक्षण विधियों में, लक्ष्य AI को अपने स्वयं के सफल प्रयासों से सीखने में सक्षम बनाकर स्मार्ट बनाना है। शोध पत्र "ऑन-पॉलिसी सेल्फ-डिस्टिलेशन" (OPSD) नामक एक विधि को देखकर इसकी शुरुआत करता है। कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। OPSD में, छात्र एक उत्तर लिखता है, और फिर एक "सेल्फ-टीचर" (जो वही छात्र है, लेकिन सही समाधान के संकेत के साथ उत्तर को देख रहा है) कहता है, "हे, तुमने यह हिस्सा सही किया, लेकिन वह शब्द थोड़ा गलत था।" छात्र फिर अपने भविष्य के उत्तरों को शिक्षक के अनुरूप ढालने की कोशिश करता है।

हालाँकि, एक पेंच है। शिक्षक कोई स्थिर पुस्तक नहीं है; यह छात्र का एक संस्करण है जो लगातार बदल रहा है। जैसे-जैसे छात्र सीखता है, शिक्षक भी बदल जाता है। यदि आप एक ऐसे शिक्षक की नकल करने की कोशिश करते हैं जो लगातार अपनी स्थिति बदल रहा है, तो आप डगमगा सकते हैं, और कभी भी एक सही उत्तर पर टिक नहीं पा सकेंगे। शोध पत्र सुझाव देता है कि मानक गणितीय उपकरणों के साथ इस चलते हुए शिक्षक से मेल बिठाने की कोशिश करना अक्सर अस्थिरता की ओर ले जाता है। छात्र एक ही तरह की सोच पर बहुत अधिक केंद्रित हो सकता है (रचनात्मकता खो देना) या निरंतर परिवर्तनों से भ्रमित हो सकता है।

नया समाधान: एक स्थिर लंगर और एक लचीला कंपास (A Fixed Anchor and a Flexible Compass)

लेखक एक नया तरीका प्रस्तावित करते हैं जिसे SR-OPSD (सेल्फ-रेफरेन्स्ड ऑन-पॉलिसी सेल्फ-डिस्टिलेशन) कहा जाता है। उन्होंने महसूस किया कि इस डगमगाहट को रोकने के लिए, आपको दो चीजों की आवश्यकता है: एक स्थिर बिंदु जिसे पकड़कर रखा जा सके और लक्ष्य की ओर बढ़ने का एक लचीला तरीका।

1. स्थिर लंगर (रेफरेंस पॉलिसी): केवल चलते हुए शिक्षक को देखने के बजाय, छात्र एक "रेफरेंस" (संदर्भ) पर भी नज़र रखता है। इसे छात्र के मूल, पूर्व-प्रशिक्षित स्वरूप के रूप में समझें—वह संस्करण जो इस विशिष्ट प्रशिक्षण से पहले था। यह रेफरेंस एक लाइटहाउस (प्रकाश स्तंभ) की तरह कार्य करता है। भले ही शिक्षक (चलता हुआ लक्ष्य) भटक जाए, छात्र जानता है कि उसे अपने मूल, ठोस आधार से बहुत दूर नहीं जाना चाहिए। नई विधि शिक्षक की सलाह और इस रेफरेंस को मिला देती है, जिससे एक ऐसा "लक्ष्य" बनता है जो स्थिर भी है और सहायक भी।
2. लचीला कंपास (रेनी डायवर्जेंस): एक बार लक्ष्य निर्धारित हो जाने के बाद, छात्र को उसकी ओर बढ़ने के लिए एक तरीके की आवश्यकता होती है। शोध पत्र रेनी डायवर्जेंस (Rényi divergence) नामक एक गणितीय उपकरण का उपयोग करता है। आप इसे एक विशेष प्रकार के "चुंबक" या "कंपास" के रूप में समझ सकते हैं जो यह नियंत्रित करता है कि छात्र लक्ष्य की ओर कितनी मजबूती से खिंचा जाता है।
   • यदि चुंबक बहुत मजबूत है, तो छात्र बहुत जल्दी लक्ष्य की ओर खिंच सकता है और अपनी मौलिकता खो सकता है।
   • यदि यह बहुत कमजोर है, तो वह कुछ भी नहीं सीख पाएगा।
   • रेनी टूल की सुंदरता यह है कि इसमें एक "नॉब" (जिसे $\rho$ ऑर्डर कहा जाता है) है जो शोधकर्ताओं को यह ट्यून करने की अनुमति देता है कि छात्र अपने वर्तमान उत्तर और लक्ष्य के बीच के अंतर के प्रति कैसे प्रतिक्रिया करता है। यह छात्र को विवरणों के प्रति संवेदनशील होने या उन्हें अनदेखा करने की अनुमति देता है, जो कार्य की आवश्यकता पर निर्भर करता है।

उन्होंने क्या पाया

शोधकर्ताओं ने इन तीन बहुत अलग प्रकार के कार्यों पर इस नई विधि का परीक्षण किया:

• विज्ञान के प्रश्न: रसायन विज्ञान, भौतिकी और जीव विज्ञान के कठिन प्रश्नों के उत्तर देना।
• गणितीय तर्क (Math Reasoning): कठिन गणित की समस्याओं को हल करना जहाँ उत्तर के साथ-साथ उसके चरण भी महत्वपूर्ण हैं।
• कोडिंग: कंप्यूटर प्रोग्राम लिखना जो वास्तव में काम करते हैं।

उन्होंने अपने नए तरीके (SR-OPSD) की तुलना पुराने तरीकों जैसे मानक "रिवर्स KL" (जो एक बहुत सख्त शिक्षक की तरह है) और "जेन्सन-शैनन डायवर्जेंस" (जो अधिक संतुलित लेकिन कभी-कभी अस्थिर शिक्षक है) से की।

परिणाम:

• स्थिरता: विज्ञान और गणित के परीक्षणों में, पुराने तरीके अक्सर शुरुआत में मजबूत होते हैं लेकिन समय के साथ खराब होने लगते हैं, जैसे कोई धावक जो बहुत तेज दौड़ता है और फिर गिर जाता है। हालाँकि, SR-OPSD लगातार सुधार करता रहा। उदाहरण के लिए, एक भौतिकी बेंचमार्क पर, नए तरीके ने 81.1 की सटीकता (Avg@16 नामक एक विशिष्ट मीट्रिक का उपयोग करते हुए) प्राप्त की, जबकि पुराने तरीके 79.4 या उससे कम के आसपास ही रहे।
• गणितीय महारत: कठिन गणित प्रतियोगिताओं (जैसे AIME और HMMT) पर, नए तरीके ने AI को अधिक समस्याओं को सही ढंग से हल करने में मदद की। उदाहरण के लिए, AIME 2025 टेस्ट पर, नए तरीके ने GRPO नामक एक लोकप्रिय बेसलाइन विधि की तुलना में "पास" दर (सही उत्तर प्राप्त करना) में 6.7 प्रतिशत अंक का सुधार किया।
• कोडिंग: जब AI को कोड लिखना सिखाया गया, तो नया तरीका बेहतर काम करता था जैसे-जैसे AI मॉडल बड़े होते गए। परीक्षण किए गए सबसे बड़े मॉडल (Qwen3-8B) के लिए, नए तरीके ने 50.1 का स्कोर प्राप्त किया, जो पिछले सर्वश्रेष्ठ 48.8 से बेहतर था।

यह क्यों महत्वपूर्ण है

शोध पत्र सुझाव देता है कि AI को अपनी गलतियों से सीखने के लिए बेहतर बनाने का रहस्य केवल एक बेहतर शिक्षक होने में नहीं है; बल्कि यह है कि आप उस शिक्षक से खुद को कैसे जोड़ते हैं। एक स्थिर "रेफरेंस" के साथ सीखने की प्रक्रिया को बांधकर और एक ट्यूनेबल "कंपास" (रेनी डायवर्जेंस) का उपयोग करके, AI भ्रमित हुए बिना या रास्ता भटके बिना जटिल कौशल सीख सकता है।

लेखकों ने पाया कि केवल एक संदर्भ बिंदु जोड़ना पर्याप्त नहीं था; यदि इसे गलत गणितीय उपकरणों के साथ जोड़ा गया, तो इसने वास्तव में चीजों को बदतर बना दिया। लेकिन जब उन्होंने इस संदर्भ को अपने नए लचीले कंपास के साथ जोड़ा, तो परिणाम विज्ञान, गणित और कोडिंग में लगातार बेहतर रहे। यह बताता है कि जटिल तर्क में महारत हासिल करने के लिए AI को एक ऐसी प्रशिक्षण विधि की आवश्यकता है जो नए फीडबैक के उत्साह और इसके मूल ज्ञान की स्थिरता के बीच संतुलन बनाए।