Pass the Baton: Trajectory-Relayed On-Policy Distillation
यह शोध पत्र Relay-OPD को प्रस्तुत करता है, जो एक नवीन ऑन-पॉलिसी डिस्टिलेशन विधि है जो प्रिफिक्स विफलता (prefix failure) को कम करने के लिए छात्र के प्रक्षेपवक्र विचलन (student trajectory deviations) को ठीक करने हेतु शिक्षक हस्तक्षेप को गतिशील रूप से ट्रिगर करती है, जिससे गणितीय तर्क बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करते हुए प्रशिक्षण प्रक्षेपवक्र की लंबाई को महत्वपूर्ण रूप से कम किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ विशाल, अत्यंत बुद्धिमान कंप्यूटर (जिन्हें लार्ज लैंग्वेज मॉडल्स कहा जाता है) जटिल पहेलियों को हल करना सीख रहे हैं, जैसे कि गणित की समस्याएँ या तर्क संबंधी पहेलियाँ। उन्हें सिखाने के लिए, हम अक्सर एक "शिक्षक-छात्र" (teacher-student) सेटअप का उपयोग करते हैं। शिक्षक एक विशाल, शक्तिशाली मॉडल है जो उत्तर जानता है, और छात्र एक छोटा, तेज़ मॉडल है जो उससे सीखने की कोशिश कर रहा है। आमतौर पर, शिक्षक केवल एक पूर्ण समाधान लिख देता है, और छात्र उसकी नकल करता है। लेकिन एक स्मार्ट तरीका है जिसे ऑन-पॉलिसी डिस्टिलेशन (On-Policy Distillation) कहा जाता है। इसमें छात्र केवल एक तैयार निबंध की नकल नहीं करता, बल्कि वह स्वयं समाधान लिखने का प्रयास करता है। यदि वह अटक जाता है या गलत रास्ते पर निकल जाता है, तो शिक्षक ठीक उसी क्षण, वहीं पर, अगले शब्द के लिए मार्गदर्शन करने के लिए हस्तक्षेप करता है। यह बहुत प्रभावी है क्योंकि यह छात्र को केवल याद करने के बजाय, सोचना सिखाता है।
हालाँकि, इस पद्धति में एक पेचीदा दोष है। यदि छात्र शुरुआत में ही कोई गलती कर देता है—जैसे कि भूलभुलैया में गलत मोड़ लेना—तो शिक्षक शेष यात्रा का मार्गदर्शन करने की कोशिश करता है। लेकिन क्योंकि छात्र पहले से ही भटक चुका है, शिक्षक का मार्गदर्शन अक्सर भ्रमित और अविश्वसनीय हो जाता है, और छात्र और अधिक भटकता चला जाता है। यह किसी को निर्देश देने जैसा है जब वे पहले से ही गलत दिशा में गाड़ी चला रहे हों; वे जितना अधिक गाड़ी चलाते हैं, वे उतने ही अधिक भ्रमित होते जाते हैं। यह शोध पत्र इसी विशिष्ट समस्या पर काम करता है: हम छात्र को उस स्थिति तक पहुँचने से कैसे रोकें जहाँ शिक्षक की मदद बेकार हो जाए?
तर्क की रिले रेस (The Relay Race of Reasoning)
Qwen परिवार के मॉडलों के साथ काम करने वाले इस शोध पत्र के लेखकों ने महसूस किया कि जब एक छात्र मॉडल पटरी से उतरने लगता है, तो शिक्षक और छात्र वास्तव में अगले कदम पर क्या करना है, इस पर असहमत होने लगते हैं। छात्र, अपने गलत विचार पर अड़े रहकर, सीधे चलते रहना चाहता है। शिक्षक, त्रुटि को देखते हुए, रुकना, फिर से सोचना और दिशा बदलना चाहता है।
वे इस असहमति के क्षण को "हैंडऑफ ट्रिगर" (handoff trigger) कहते हैं। इसे एक रिले रेस की तरह समझें। एक सामान्य दौड़ में, यदि धावक (छात्र) लड़खड़ा जाता है और गलत दिशा में दौड़ने लगता है, तो कोच (शिक्षक) केवल किनारे से निर्देश दे सकता है, लेकिन धावक लड़खड़ाता रहता है। इस नई पद्धति में, जिसे रिले-ओपीडी (Relay-OPD) कहा जाता है, जैसे ही कोच देखता है कि धावक किसी खाई की ओर बढ़ रहा है, कोच बीच में कूद पड़ता है, बैटन (बैटन) थामता है, और धावक के पथ को रीसेट करने के लिए सही दिशा में कुछ कदम दौड़ता है। फिर, कोच बैटन वापस सौंप देता है, और छात्र अब सही रास्ते पर दौड़ना शुरू करता है।
यह कैसे काम करता है: "बट" (But) और "वेट" (Wait) टोकन
यह प्रणाली चतुर है क्योंकि इसे यह बताने के लिए किसी इंसान की ज़रूरत नहीं है कि गलती कब हुई। यह संभावनाओं (probabilities) पर नज़र रखती है। यदि शिक्षक के द्वारा एक "चिंतन" (reflection) वाले शब्द जैसे "But" (लेकिन), "Wait" (रुको), या "However" (तथापि) कहने की उच्च संभावना है (जो विचार में परिवर्तन का संकेत देते हैं), लेकिन छात्र के द्वारा "So" (तो) या "Now" (अब) कहने की संभावना है (जो वर्तमान विचार को जारी रखने का संकेत देते हैं), तो सिस्टम जान जाता है: हम पटरी से उतर गए हैं!
ठीक उसी क्षण, शिक्षक यात्रा के एक संक्षिप्त "भाग" (leg) के लिए नियंत्रण लेता है। शिक्षक तर्क को सुधारने के लिए एक छोटा पैराग्राफ लिखता है, और फिर नियंत्रण छात्र को वापस सौंप देता है। छात्र फिर समस्या के शेष भाग को पूरा करता है, जिससे वह सुधरे हुए पथ से सीखता है।
शोधकर्ताओं ने पाया कि इस हस्तक्षेप के लिए लंबा होना ज़रूरी नहीं है। वास्तव में, शिक्षक को बहुत बड़ा अंतर पैदा करने के लिए कुल शब्दों का केवल 0.35% लिखना पड़ता है। यह एक कोच द्वारा धावक की फॉर्म ठीक करने के लिए एक छोटे से झटके (nudge) देने जैसा है, न कि पूरी दौड़ उसके लिए दौड़ने जैसा।
परिणाम: स्मार्ट और तेज़
टीम ने आठ अलग-अलग गणितीय बेंचमार्क पर, विभिन्न आकार के छात्र मॉडलों (0.6 बिलियन और 1.7 बिलियन पैरामीटर्स) और एक 4 बिलियन पैरामीटर वाले शिक्षक का उपयोग करके इसका परीक्षण किया। परिणाम प्रभावशाली थे:
- बेहतर स्कोर: रिले-ओपीडी छात्रों ने मानक तरीकों की तुलना में काफी अधिक स्कोर किया। 1.7 बिलियन पैरामीटर वाले मॉडल के लिए, इसने मानक विधि की तुलना में औसत स्कोर में 5.73% का सुधार किया और अगले सबसे अच्छे प्रतिस्पर्धी को 1.49% से पीछे छोड़ दिया।
- कम बर्बाद समय: क्योंकि यह प्रणाली छात्र को मृत अंत (dead ends) की ओर भटकने से रोकती है, इसलिए प्रशिक्षण प्रक्रिया बहुत अधिक कुशल हो गई। प्रशिक्षण पथों की औसत लंबाई 50% से अधिक कम हो गई। छात्रों ने आधे समय में उतना ही सीखा।
- "लेग" (Leg) महत्वपूर्ण है: शोधकर्ताओं ने सिद्ध किया कि शिक्षक का छोटा सुधार (शिक्षक का "लेग") महत्वपूर्ण था। केवल छात्र को गलती करने पर रोकना (शिक्षक द्वारा पहले सुधार किए बिना) उतना प्रभावी नहीं था। शिक्षक को छात्र को यह दिखाना ही था कि वापस सही रास्ते पर कैसे आना है।
यह क्या नहीं है
शोध पत्र सावधानीपूर्वक यह भी दिखाता है कि यह पद्धति क्या नहीं है। यह केवल लंबे उत्तरों को जल्दी काटने के बारे में नहीं है (जैसा कि अन्य तरीकों ने प्रयास किया), और न ही यह छात्र के पूरे निबंध को पूरा होने के बाद फिर से लिखने के बारे में है। यह एक वास्तविक समय का, "उसी क्षण में" होने वाला सुधार है। यह भी नहीं है कि शिक्षक पूरी दौड़ का नियंत्रण ले ले; छात्र अभी भी अधिकांश दौड़ करता है। शिक्षक केवल उन महत्वपूर्ण, छोटे क्षणों में हस्तक्षेप करता है जब छात्र एक स्थायी गलती करने वाला होता है।
संक्षेप में, Relay-OPD एक सुरक्षा जाल की तरह है जो गिरते हुए छात्र को जमीन पर टकराने से ठीक पहले पकड़ लेता है, उसे धीरे से सही दिशा देता है, और उसे दौड़ना जारी रखने देता है। यह एक संभावित आपदा को सीखने के अवसर में बदल देता है, जिससे एआई मॉडल अधिक स्मार्ट, तेज़ और अपने ही विचारों में खो जाने से बचने वाले बनते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।