OISD: On-Policy Internal Self-Distillation of Language Models
यह शोध पत्र OISD को प्रस्तुत करता है, जो एक नवीन ऑन-पॉलिसी इंटरनल सेल्फ-डिस्टिलेशन फ्रेमवर्क है जो GRPO ऑप्टिमाइज़ेशन के दौरान लॉजिट और अटेंशन अलाइनमेंट के माध्यम से मध्यवर्ती निरूपणों (इंटरमीडिएट रिप्रेजेंटेशन्स) को अंतिम परत के प्रेडिक्टिव सिग्नल्स के साथ संरेखित करके भाषा मॉडल की तर्क क्षमता को बढ़ाता है, जिससे बिना किसी बाहरी विशेषाधिकार प्राप्त जानकारी की आवश्यकता के गणितीय तर्क कार्यों पर मौजूदा RL बेसलाइन्स की तुलना में महत्वपूर्ण सुधार प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छात्र को एक जटिल गणितीय समस्या हल करना सिखा रहे हैं। पारंपरिक तरीके में, आप छात्र को अपनी पूरी विचार प्रक्रिया लिखने देते हैं, और फिर, बिल्कुल अंत में, आप उन्हें केवल एक ग्रेड देते हैं: "सही" या "गलत"। यदि वे गलत होते हैं, तो आप उन्हें यह नहीं बताते कि वे कहाँ भटक गए या उन्हें कैसे अलग तरह से सोचना चाहिए था; आप बस उन्हें फिर से प्रयास करने के लिए कहते हैं। यह इस तरह है जैसे अधिकांश वर्तमान AI प्रशिक्षण कार्य करता है: यह अंतिम उत्तर पर बहुत अधिक ध्यान केंद्रित करता है और बीच में होने वाली बिखरी हुई विचार प्रक्रिया की अनदेखी करता है।
शोध पत्र "OISD: On-Policy Internal Self-Distillation of Language Models" AI मॉडल को सिखाने का एक स्मार्ट तरीका प्रस्तावित करता है। यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:
मुख्य विचार: "आंतरिक मेंटर" (Internal Mentor)
आमतौर पर, जब हम AI की सोचने की क्षमता में सुधार करने की कोशिश करते हैं, तो हम एक बाहरी "शिक्षक" (एक अधिक स्मार्ट AI) को छात्र AI को यह दिखाने के लिए लाते हैं कि कैसे सोचा जाए। लेकिन यह शोध पत्र कहता है: "जब AI के पास पहले से ही अपने अंदर एक शिक्षक मौजूद है, तो बाहर से शिक्षक लाने की क्या आवश्यकता है?"
लेखकों ने महसूस किया कि एक बड़ा AI मॉडल एक बहु-मंजिला इमारत की तरह है।
- ग्राउंड फ्लोर (शुरुआती लेयर्स/परतें): यह वह जगह है जहाँ से AI सोचना शुरू करता है। यह थोड़ा धुंधला होता है, जो समस्या को कई कोणों से देख रहा होता है।
- पेंटहाउस (अंतिम लेयर): यह वह जगह है जहाँ अंतिम उत्तर तय किया जाता है। जब तक AI ऊपर पहुँचता है, उसने सारी जानकारी को प्रोसेस कर लिया होता है और उसे पता होता है कि उत्तर क्या होना चाहिए।
OISD (On-Policy Internal Self-Distillation) एक ऐसी विधि है जहाँ AI अपने स्वयं के "पेंटहाउस" (अंतिम लेयर) का उपयोग अपने "ग्राउंड फ्लोर" (एक मध्यवर्ती लेयर) को सिखाने के लिए करता है जबकि वह समस्या को हल कर रहा होता है।
यह कैसे काम करता है: दो प्रकार के सबक
शोध पत्र दो विशिष्ट तरीके पेश करता है जिनसे "पेंटहाउस", "ग्राउंड फ्लोर" को सिखाता है:
"कैसे सोचें" (लॉगिट अलाइनमेंट - Logit Alignment):
- उपमा: कल्पना कीजिए कि ग्राउंड फ्लोर अनुमान लगा रहा है, "शायद उत्तर 4 है, शायद 5 है?" पेंटहाउस नीचे देखता है और कहता है, "नहीं, मैं 99% निश्चित हूँ कि यह 4 है। 5 के बारे में अनुमान लगाना बंद करो।"
- यह क्या करता है: यह शुरुआती विचार चरणों को अंतिम उत्तर के आत्मविश्वास और तर्क के साथ संरेखित (align) होने के लिए मजबूर करता है। यह मॉडल को सिखाता है कि कैसे एक सही विश्वास बनाया जाए।
"कहाँ देखें" (अटेंशन अलाइनमेंट - Attention Alignment):
- उपमा: कल्पना कीजिए कि ग्राउंड फ्लोर एक लंबी कहानी पढ़ रहा है लेकिन गलत शब्दों से विचलित हो रहा है। पेंटहाउस इशारा करता है और कहता है, "उस शब्द को मत देखो; इस विशिष्ट नंबर को देखो। यही वह सुराग है जिसकी तुम्हें आवश्यकता है।"
- यह क्या करता है: यह शुरुआती लेयर्स को उसी महत्वपूर्ण हिस्से पर ध्यान केंद्रित करने के लिए मजबूर करता है जिसका उपयोग अंतिम लेयर निर्णय लेने के लिए करती है। यह मॉडल को सिखाता है कि सबूत कहाँ ढूँढना है।
यह क्यों विशेष है ("ऑन-पॉलिसी" वाला हिस्सा)
अतीत में, यदि आप किसी "शिक्षक" का उपयोग करके AI को सिखाना चाहते थे, तो आपको अक्सर एक अलग, प्री-ट्रेन्ड मॉडल का उपयोग करना पड़ता था। इससे एक विसंगति पैदा होती थी क्योंकि छात्र किसी और की शैली से सीख रहा था, अपनी नहीं।
OISD "ऑन-पॉलिसी" (On-Policy) है, जिसका अर्थ है:
- AI अपने स्वयं के विचार उत्पन्न करता है (रोलआउट)।
- AI का अपना अंतिम उत्तर उसके अपने शुरुआती विचारों के लिए शिक्षक के रूप में कार्य करता है।
- यहाँ कोई बाहरी शिक्षक नहीं है, कोई विशेष "विशेषाधिकार प्राप्त" संकेत नहीं हैं, और कोई विसंगति नहीं है। यह एक स्व-सुधार लूप है जो पूरी तरह से एक ही मॉडल के भीतर हो रहा है।
परिणाम
शोधकर्ताओं ने गणित की समस्याओं (जैसे कि हाई स्कूल प्रतियोगिताओं में पाई जाती हैं) पर इसका परीक्षण किया। उन्होंने इसकी तुलना अन्य मजबूत तरीकों से की।
- परिणाम: OISD मॉडल्स ने काफी बेहतर स्कोर प्राप्त किए। वे न केवल अधिक बार सही उत्तर प्राप्त करते हैं; बल्कि उन्होंने समस्या की शुरुआत से अंत तक एक अधिक सुसंगत और तार्किक "विचार प्रक्रिया" विकसित की।
- निष्कर्ष: शुरुआती हिस्सों को अंतिम हिस्से की तरह सोचने के लिए सिखाकर, पूरा सिस्टम स्मार्टर और अधिक विश्वसनीय हो जाता है।
सारांश
OISD को ऐसे समझें कि यह एक ऐसा मॉडल नहीं है जो केवल टेस्ट के अंत तक यह देखने के लिए इंतजार करता है कि वह विफल हुआ या नहीं। इसके बजाय, इसमें एक अंतर्निहित कोच (इसका अपना अंतिम लेयर) है जो हल करते समय ही फुसफुसाता है, "तुम गलत सुराग देख रहे हो," और "तुम्हें इस चरण के बारे में अधिक आश्वस्त होना चाहिए।" यह मॉडल को केवल बेहतर अनुमान लगाने के बजाय, बेहतर सोचना सीखने में मदद करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।