एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर विशाल, भूखी पुस्तकालयों की तरह हैं जिन्होंने अब तक लिखी गई लगभग हर किताब पढ़ ली है। ये पुस्तकालय, जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है, वाक्य में अगले शब्द का अनुमान लगाने में अविश्वसनीय रूप से स्मार्ट हैं। लेकिन केवल वाक्य पूरा करना जानना ही उन्हें एक कठिन गणित की समस्या को हल करने या एक टूटे हुए कंप्यूटर प्रोग्राम को ठीक करने के लिए पर्याप्त नहीं है। इन कार्यों में वास्तव में कुशल होने के लिए, हमें उन्हें सोचना सिखाने की आवश्यकता है।

इस प्रक्रिया को एक छात्र को प्रशिक्षित करने की तरह समझें। पहले, छात्र बुनियादी भाषा सीखने के लिए एक विशाल पुस्तकालय पढ़ता है (प्री-ट्रेनिंग)। फिर, एक शिक्षक आता है जो उन्हें पहेलियाँ सुलझाने के विशिष्ट पाठ देता है (पोस्ट-ट्रेनिंग)। आमतौर पर, शिक्षक दो मुख्य तरीकों का उपयोग करते हैं: या तो वे छात्र को सही उत्तर दिखाते हैं और कहते हैं, "इसे कॉपी करो" (सुपरवाइज्ड फाइन-ट्यूनिंग), या वे छात्र को कोशिश करने देते हैं, उसे ग्रेड देते हैं, और कहते हैं, "फिर से प्रयास करें, लेकिन अगली बार बेहतर करें" (रीइन्फोर्समेंट लर्निंग)। हाल ही में, "ऑन-पॉलिसी डिस्टिलेशन" नामक एक नई विधि लोकप्रिय हुई। यह एक शिक्षक की तरह है जो छात्र को वास्तविक समय में समस्या सुलझाते हुए देखता है और फुसफुसाता है, "हाँ, यह शब्द अच्छा था," या "नहीं, यह शब्द गलत था," जैसा कि शिक्षक ने कहा होता। यह कुशल है और जटिल ग्रेडिंग सिस्टम डिजाइन करने के झंझटों से बचता है।

लेकिन यहाँ एक पेंच है: भले ही यह स्मार्ट विधि भी दोषपूर्ण है। जब शिक्षक फुसफुसाता है, तो वे अनजाने में ऐसी चीजें फुसफुसा सकते हैं जो छात्र पहले से ही जानता है, जैसे कि विनम्र होना या कहानी सुनाना, बजाय उन तर्क संबंधी "अहा!" क्षणों के जो शिक्षक को तर्क करने में जीनियस बनाते हैं। आप जिस शोध पत्र को पढ़ने जा रहे हैं, वह एक सरल प्रश्न पूछता है: क्या होगा यदि हम शोर को फ़िल्टर कर सकें और केवल वही नए करतब सिखा सकें जो शिक्षक ने सीखे हैं?

यह शोध पत्र एक चतुर नई तकनीक पेश करता है जिसे ऑन-पॉलिसी डेल्टा डिस्टिलेशन (OPD2) कहा जाता है। शोधकर्ताओं ने महसूस किया कि एक "रीजनिंग टीचर" (तर्क करने वाला शिक्षक) वास्तव में एक ही मॉडल में दो मॉडल है: मूल "बेस" मॉडल (तर्क सीखना शुरू करने से पहले का) और "रीजनिंग" मॉडल (तर्क सीखने के बाद का)। यदि आप बेस मॉडल के विचारों को रीजनिंग मॉडल के विचारों से घटा देते हैं, तो आपको एक "डेल्टा सिग्नल" प्राप्त होता है। यह सिग्नल एक हाईलाइट रील की तरह है जो बिल्कुल उस बदलाव को दर्शाता है जो शिक्षक के तर्क करने के कौशल में आया। केवल शिक्षक के अंतिम उत्तर की नकल करने के बजाय, छात्र इस "डेल्टा सिग्नल" से सीखता है—वह विशिष्ट अंतर जो तर्क करने की क्षमता में उछाल का प्रतिनिधित्व करता है।

लेखकों ने इस विचार का परीक्षण गणित, विज्ञान और कोडिंग की समस्याओं को मिलाकर किया। उन्होंने पाया कि इस "डेल्टा सिग्नल" का उपयोग मुख्य रिवॉर्ड के रूप में करने से छात्र बहुत तेज़ी से और बेहतर तरीके से सीखते हैं। वास्तव में, उनकी नई विधि, OPD2, विभिन्न आकार के मॉडलों, 1.7-बिलियन-पैरामीटर वाले छोटे मॉडल से लेकर 8-बिलियन वाले विशाल मॉडल तक, लगातार पुराने तरीकों को मात देती है। यह इतना प्रभावी रहा कि OPD2 के साथ प्रशिक्षित एक छोटा मॉडल कभी-कभी पुराने तरीकों से प्रशिक्षित बहुत बड़े मॉडल से बेहतर प्रदर्शन कर सकता है। शोध पत्र सुझाव देता है कि केवल शिक्षक की पूरी शख्सियत के बजाय केवल बदलाव पर ध्यान केंद्रित करके, हम AI को अधिक प्रभावी ढंग से तर्क करना सिखा सकते हैं।

"डेल्टा" सिग्नल की कहानी

आइए इस खोज की कार्यप्रणाली को एक सरल उपमा का उपयोग करके समझते हैं। कल्पना करें कि आप एक जटिल वीडियो गेम खेलना सीख रहे हैं। आपके पास अपने चरित्र का एक "बेस" संस्करण है जो चलना, कूदना और बात करना जानता है। फिर, आपको उसी चरित्र का एक "प्रो" संस्करण मिलता है जिसने खेल के सबसे कठिन स्तरों में महारत हासिल कर ली है।

सिखाने का पुराना तरीका (मानक ऑन-पॉलिसी डिस्टिलेशन) एक प्रो चरित्र के आपके बगल में खड़े होकर यह कहने जैसा है, "मैं जो करता हूँ ठीक वैसा ही करो।" समस्या यह है कि प्रो चरित्र अभी भी बेस चरित्र की तरह ही चलता और बोलता है। इसलिए, जब प्रो कहता है, "आगे बढ़ो," तो वे केवल वही दोहरा रहे होते हैं जो आप पहले से ही जानते हैं। आप चलने का अभ्यास करने में अपना समय बिता रहे हैं, न कि उन गुप्त संयोजनों (कॉम्बो) को सीखने में जो आपको प्रो बनाते हैं।

इस शोध पत्र के लेखकों, NAVER AI लैब के ब्योंगहो हेओ, जेहुई ह्वांग, सांगडू यून और डोंगयून हान ने एक अलग दृष्टिकोण प्रस्तावित किया। उन्होंने पूछा: "क्या होगा यदि हम छात्र को केवल प्रो और बेस के बीच का अंतर सिखाएं?"

यह अंतर ही डेल्टा सिग्नल है।

• बेस मॉडल: बोलना और लिखना जानता है, लेकिन जटिल तर्क में लड़खड़ा सकता है।
• रीजनिंग टीचर: बोलना, लिखना, और कठिन तर्क पहेलियाँ सुलझाना जानता है।
• डेल्टा: वह विशिष्ट "जादुई तत्व" जो शिक्षक ने पहेली सुलझाने के लिए सीखा है।

शोध पत्र में, वे इसे वर्ड क्लाउड के माध्यम से दर्शाते हैं। जब उन्होंने देखा कि पुराना तरीका क्या सिखा रहा था, तो यह "देखना," "कोशिश करना," और "सत्यापित करना" जैसे सामान्य शब्दों से भरा था। लेकिन जब उन्होंने डेल्टा सिग्नल को देखा, तो जो शब्द उभर कर आए वे तार्किक संयोजक थे जैसे "अतः," "हालांकि," "नोट," और "इसके बजाय।" ये वे शब्द हैं जो एक तार्किक तर्क को आपस में जोड़ते हैं। डेल्टा सिग्नल प्रभावी रूप से उस "उबाऊ" चीज़ को फ़िल्टर कर देता है जो छात्र पहले से ही जानता है और तर्क करने के "गुप्त सूत्र" को उजागर करता है।

उन्होंने OPD2 कैसे बनाया

इसे काम करने के लायक बनाने के लिए, शोधकर्ताओं को कुछ पेचीदा समस्याओं को हल करना पड़ा। यदि आप केवल छात्र को डेल्टा सिग्नल देते हैं, तो वे भ्रमित हो सकते हैं क्योंकि सिग्नल यह ध्यान में नहीं रखता कि छात्र स्वयं क्या कर रहा है। यह एक कोच द्वारा खिलाड़ी की वर्तमान स्थिति को देखे बिना निर्देश चिल्लाने जैसा है।

इसलिए, उन्होंने अपनी रेसिपी में दो विशेष सामग्रियां जोड़ीं:

1. सेंटरिंग (Centering): उन्होंने सिग्नल को इस तरह समायोजित किया कि यह शून्य के आसपास संतुलित हो। इससे छात्र को यह समझने में मदद मिलती है कि कोई चाल "औसत से बेहतर" है या "औसत से खराब," बजाय इसके कि उन्हें केवल एक कच्चा स्कोर मिले जो भ्रामक हो सकता है।
2. जॉइंट कंडीशनिंग (Joint Conditioning): उन्होंने यह सुनिश्चित किया कि नया डेल्टा सिग्नल केवल तभी सक्रिय हो जब वह पुराने, मानक तरीके के साथ सहमत हो। यह एक सुरक्षा जाल (सेफ्टी नेट) के रूप में कार्य करता है। यदि डेल्टा सिग्नल छात्र को किसी अजीब दिशा में धकेलने की कोशिश करता है जो शिक्षक की सामान्य शैली के विपरीत है, तो सिस्टम कहता है, "रुको," और अपडेट को रोक देता है। यह छात्र को यह सुनिश्चित करने से रोकता है कि वह तर्क करना सीखने के चक्कर में ठीक से बोलना न भूल जाए या भ्रमित न हो जाए।

परिणाम: एक नया चैंपियन

टीम ने अपने नए तरीके, जिसे उन्होंने OPD2 नाम दिया, का परीक्षण पुराने मानक (OPD) और एक नए, उन्नत तरीके जिसे ExOPD कहा जाता है, के विरुद्ध किया। उन्होंने गणित, विज्ञान और कोडिंग डेटासेट से 100,000 प्रश्नों का मिश्रण उपयोग किया। उन्होंने इसे Qwen3 परिवार (1.7B, 4B, और 8B आकार) और Gemma4 मॉडल सहित विभिन्न मॉडलों पर परखा।

परिणाम प्रभावशाली थे। "नॉन-थिंकिंग" मोड में (जहाँ मॉडल अपना काम दिखाए बिना जल्दी से उत्तर देते हैं), OPD2 लगातार अन्य को पछाड़ता गया।

• गणित में Qwen3-1.7B मॉडल के लिए, OPD2 ने औसत स्कोर 34.8 से बढ़ाकर 54.6 कर दिया। यह एक बहुत बड़ी छलांग है, जो अगले सर्वश्रेष्ठ तरीके से 3 अंकों से अधिक आगे है।
• Qwen3-4B मॉडल के लिए, OPD2 ने 70.3 का औसत स्कोर प्राप्त किया, जबकि पिछला सर्वश्रेष्ठ (ExOPD) 66.4 पर था।
• और भी आश्चर्यजनक रूप से, OPD2 के साथ प्रशिक्षित 4B मॉडल ने पुराने तरीकों से प्रशिक्षित 8B मॉडल से बेहतर प्रदर्शन किया। यह सुझाव देता है कि आप अपने मॉडल को कैसे प्रशिक्षित करते हैं, यह इस बात जितना ही महत्वपूर्ण है कि आपका मॉडल कितना बड़ा है।

उन्होंने "थिंकिंग" मोड में भी मॉडलों का परीक्षण किया, जहाँ मॉडल पहले से ही काफी स्मार्ट होते हैं और अपने तर्क के चरणों को दिखाते हैं। इसे सुधारना कठिन है क्योंकि मॉडल पहले से ही अच्छे होते हैं। फिर भी, OPD2 ने अतिरिक्त प्रदर्शन निकालने में सफलता प्राप्त की। उदाहरण के लिए, HMMT25 गणित बेंचमार्क पर, Qwen3-8B मॉडल ने OPD2 के साथ अपने स्कोर को 44.3 से बढ़ाकर 52.3 कर दिया, जबकि अन्य तरीकों ने स्कोर को या तो कम कर दिया या उसमें बहुत कम बदलाव किया।

यह तरीका Gemma4 पर भी काम आया, जो मॉडलों का एक अलग परिवार है। जहाँ अन्य तरीके संघर्ष कर रहे थे या मॉडल को और खराब बना रहे थे, वहीं OPD2 ने गणित के स्कोर को 60.6 से बढ़ाकर 67.8 कर दिया। यह दर्शाता है कि "डेल्टा सिग्नल" का उपयोग करने का विचार केवल एक विशिष्ट मॉडल के लिए संयोग नहीं है; यह एक सामान्य सिद्धांत है जो AI को बेहतर ढंग से सोचना सीखने में मदद करता है।

यह क्यों मायने रखता है

शोध पत्र सुझाव देता है कि AI को तर्क करना सिखाने की कुंजी केवल उसे अधिक डेटा खिलाना या शिक्षक को बड़ा बनाना नहीं है। यह इस बारे में सटीक होने के बारे में है कि हम क्या सिखा रहे हैं। यह अलगाव करके कि जब कोई मॉडल तर्क करना सीखता है तो विशिष्ट परिवर्तन क्या होते हैं (डेल्टा), हम उस क्षमता को बहुत अधिक कुशलता से स्थानांतरित कर सकते हैं।

लेखक नोट करते हैं कि यह विधि गणनात्मक रूप से कुशल है। इसे मानक विधि की तुलना में प्रशिक्षित करने में लगभग 24-24% अधिक समय लगता है क्योंकि कंप्यूटर को अंतर की गणना करने के लिए बैकग्राउंड में "बेस" मॉडल को चलाना पड़ता है। हालाँकि, चूंकि ये प्रशिक्षण सत्र आमतौर पर छोटे होते हैं (अक्सर डेटा के एक पूर्ण पास से कम), यह छोटा अतिरिक्त खर्च भारी प्रदर्शन लाभ के लायक है।

संक्षेप में, OPD2 एक मास्टर शेफ की तरह है जिसे एहसास हुआ कि अपने प्रशिक्षु को एक आदर्श सूप का रहस्य सिखाने के लिए, उन्हें केवल यह नहीं कहना चाहिए कि "नमक डालें।" उन्हें कहना चाहिए, "आमतौर पर आप जितना नमक डालते हैं उससे इससे थोड़ा और नमक डालें, क्योंकि यही एक अच्छे सूप और एक बेहतरीन सूप के बीच का अंतर है।" अंतर पर ध्यान केंद्रित करके, छात्र रहस्य को तेज़ी से और बेहतर तरीके से सीखता है। शोध पत्र निष्कर्ष निकालता है कि यह दृष्टिकोण AI को स्मार्ट, तेज़ और भविष्य की जटिल समस्याओं को हल करने में अधिक सक्षम बनाने की दिशा में एक महत्वपूर्ण कदम है।