ROSD: Reflective On-Policy Self-Distillation for Language Model Reasoning across Domains
यह शोधपत्र रिफ्लेक्टिव ऑन-पॉलिसी सेल्फ-डिस्टिलेशन (ROSD) को प्रस्तुत करता है, जो एक फ्रेमवर्क है जो एक सेल्फ-रिफ्लेक्टर का उपयोग करके त्रुटियों को स्थानीयकृत करने और लक्षित, त्रुटि-विशिष्ट डिस्टिलेशन को निर्देशित करने के माध्यम से विभिन्न डोमेन में लैंग्वेज मॉडल की तर्क क्षमता को बढ़ाता है, जिससे मौजूदा ऑन-पॉलिसी सेल्फ-डिस्टिलेशन विधियों की ओवरफिटिंग और खराब सामान्यीकरण की सीमाओं को दूर किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छात्र को जटिल गणित की समस्याएँ हल करना सिखा रहे हैं। आपके पास एक स्मार्ट शिक्षक (AI मॉडल) है जो स्वयं अभ्यास करके सीखने की कोशिश कर रहा है।
समस्या: "नकलची" शिक्षक
अतीत में, जब यह छात्र कोई गलती करता था, तो उन्हें सिखाने का मानक तरीका यह था कि उन्हें पाठ्यपुस्तक से पूर्ण, अंतिम उत्तर दिखाया जाए और कहा जाए, "इसे देखो! तुम्हें अपना पूरा उत्तर बिल्कुल इसी तरह लिखना है।"
यह शोध पत्र इसे ऑन-पॉलिसी सेल्फ-डिस्टिलेशन (OPSD) कहता है। समस्या यह है कि छात्र एक "नकलची" की तरह व्यवहार करने लगता है।
- वे शैली को याद करते हैं, सुधार को नहीं: छात्र यह सीखने के बजाय कि उन्होंने गलती क्यों की, वे बस शिक्षक के विशिष्ट शब्दों और फॉर्मेटिंग की नकल करने लगते हैं।
- वे जो पहले से सही था, उसे बिगाड़ देते हैं: यदि छात्र ने उत्तर का पहला भाग सही किया लेकिन दूसरे भाग में गलती कर दी, तो शिक्षक उन्हें पूरे उत्तर को पाठ्यपुस्तक से मिलाने के लिए फिर से लिखने के लिए मजबूर करता है। यह अनजाने में उनके उन अच्छे हिस्सों को ओवरराइट कर देता है जिन्हें वे पहले से जानते थे, जिससे वे अपने स्वयं के वैध तर्क को भूल जाते हैं।
यह विशिष्ट अभ्यास समस्याओं के लिए ठीक काम करता है, लेकिन जब छात्र किसी नए प्रकार की समस्या (एक अलग डोमेन) का सामना करता है, तो वह विफल हो जाता है क्योंकि उसने केवल उत्तर के "दिखावट" को याद किया था, न कि तर्क को।
समाधान: ROSD (द "रिफ्लेक्टिव ट्यूटर")
लेखक एक नई विधि प्रस्तावित करते हैं जिसे ROSD (रिफ्लेक्टिव ऑन-पॉलिसी सेल्फ-डिस्टिलेशन) कहा जाता है। ROSD को एक ऐसे शिक्षक के रूप में न सोचें जो आपको एक तैयार निबंध देता है, बल्कि एक आलोचनात्मक संपादक के रूप में सोचें जो आवर्धक लेंस (magnifying glass) का उपयोग करता है।
ROSD कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:
1. "सेल्फ-रिफ्लेक्टर" (जासूस)
केवल सही उत्तर दिखाने के बजाय, सिस्टम पहले एक जासूस की तरह कार्य करता है। यह छात्र के गलत उत्तर और सही उत्तर को अगल-बगल रखकर देखता है।
- यह पूछता है: "तर्क ठीक कहाँ टूटा?"
- यह पाता है: वह विशिष्ट वाक्य या चरण जहाँ छात्र पटरी से उतर गया।
- यह एक "सुधारात्मक विचार" (Corrective Idea) बनाता है: उस विशिष्ट गलती को कैसे ठीक किया जाए, इसके बारे में एक संक्षिप्त नोट (जैसे, "आप यहाँ यूनिट बदलना भूल गए," न कि "यहाँ पूरा निबंध है")।
2. "एरर कोट" (हाइलाइटर)
सिस्टम केवल अनुमान नहीं लगाता; यह छात्र के उत्तर में उस सटीक हिस्से को भौतिक रूप से हाइलाइट करता है जहाँ त्रुटि हुई थी। यह एक शिक्षक की तरह है जो केवल गलत वाक्य को लाल पेन से घेरता है, बाकी पन्ने को अछूता छोड़ देता है।
3. लक्षित सुधार (सर्जरी)
अब, "सेल्फ-टीचर" कदम रखता है। लेकिन छात्र को पूरा निबंध फिर से लिखने के लिए कहने के बजाय, शिक्षक केवल हाइलाइट किए गए एरर पर मार्गदर्शन देता है।
- छात्र अपना सही परिचय और वैध तर्क चरणों (वैध प्रीफिक्स) को बनाए रखता है।
- वे केवल उस हिस्से को फिर से लिखते हैं जो गलत था, "सुधारात्मक विचार" के मार्गदर्शन में।
उपमा: एक टूटी हुई कार को ठीक करना
- पुरानी विधि (OPSD): आपकी कार का टायर पंचर है। मैकेनिक पूरी कार को खोल देता है, इंजन, सीटें और पहिए फेंक देता है, और एक ब्लूप्रिंट के आधार पर एक नई कार शून्य से बनाता है। यह काम तो करता है, लेकिन आपने जो पहले से ठीक था उसे खो दिया।
- ROSD: मैकेनिक कार को देखता है, पंचर टायर को ढूंढता है (त्रुटि), और कहता है, "ठीक है, इंजन और सीटें ठीक हैं। आइए बस इस एक टायर को बदल दें और सुनिश्चित करें कि यह सही ढंग से फुलाया गया है।"
परिणाम
इस शोध पत्र का परीक्षण विभिन्न "विषयों" (जैसे भौतिकी, रसायन विज्ञान और कंप्यूटर टूल्स का उपयोग) पर किया गया।
- विषय में बेहतर: छात्रों ने पहले की तुलना में सामग्री को बेहतर ढंग से सीखा।
- नए विषयों में बेहतर: क्योंकि उन्होंने त्रुटियों को ठीक करने के तर्क को सीखा, न कि उत्तर की शैली को रटा, वे उन समस्याओं को हल करने में बहुत बेहतर थे जिन्हें उन्होंने पहले कभी नहीं देखा था।
- स्थिरता: पुरानी विधि अक्सर खराब हो जाती थी क्योंकि छात्र बहुत अधिक नकल करने की कोशिश में भ्रमित हो जाते थे। ROSD स्थिर रहा और बेहतर होता गया।
संक्षेप में: ROSD AI को अपनी गलतियों को सर्जिकल तरीके से ठीक करना सिखाता है, जिससे उसके सोचने के अच्छे हिस्सों को सुरक्षित रखा जा सके, बजाय इसके कि उसे शुरुआत से अंत तक एक परफेक्ट मॉडल की नकल करने के लिए मजबूर किया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।