💬 NLP

Lightning OPD 2.0: Mitigating Style Bias in Cross-Teacher On-Policy Distillation for Large Reasoning Models

यह शोध पत्र लाइटनिंग OPD 2.0 (Lightning OPD 2.0) प्रस्तुत करता है, जो एक नवीन ऑन-पॉलिसी डिस्टिलेशन विधि है जो क्रॉस-फिटेड स्टाइल रेसिडुअलाइजेशन (cross-fitted style residualization) का उपयोग करके क्रॉस-टीचर सेटिंग्स में स्टाइल बायस (style bias) को कम करता है ताकि शैलीगत अंतरों को वास्तविक तर्क संकेतों से अलग किया जा सके, जिससे SFT डेटा जनरेटर और डिस्टिलेशन टीचर अलग-अलग मॉडल होने पर भी प्रभावी ज्ञान हस्तांतरण सक्षम हो सके।

मूल लेखक: Yecheng Wu, Song Han, Han Cai

प्रकाशित 2026-07-31

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yecheng Wu, Song Han, Han Cai

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बेहद प्रतिभाशाली लेकिन थोड़े अजीब स्वभाव वाले छात्र को जटिल पहेलियाँ सुलझाना सिखाने की कोशिश कर रहे हैं। आपके पास एक "शिक्षक" है जो गणित और कोडिंग में जीनियस है, और एक "छात्र" है जो सीखने के लिए उत्सुक है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे डिस्टिलेशन (distillation) कहा जाता है: छात्र शिक्षक की सोचने की प्रक्रिया की नकल करने की कोशिश करता है ताकि वह अधिक बुद्धिमान बन सके। आमतौर पर, यह सिखाने का सबसे अच्छा तरीका यह है कि छात्र उन समस्याओं का अभ्यास करे जिन्हें शिक्षक ने पहले ही हल कर लिया है, और फिर शिक्षक छात्र के नए प्रयासों की पंक्ति-दर-पंक्ति जांच करे। इसे ऑन-पॉलिसी डिस्टिलेशन (On-Policy Distillation) कहा जाता है। यह एक कोच की तरह है जो खेल खत्म होने तक "अच्छा काम किया" या "फिर से कोशिश करो" कहने के बजाय, आपकी हर हरकत पर नज़र रखता है और तुरंत फीडबैक देता है।

हालाँकि, इसमें एक पेच है। इस कोचिंग के सफल होने के लिए, यह आवश्यक है कि "शिक्षक" वही व्यक्ति हो जिसने मूल अभ्यास प्रश्न लिखे थे। यदि छात्र ने "शिक्षक ए" द्वारा लिखी गई पाठ्यपुस्तक से सीखा है, लेकिन अब उसे "शिक्षक बी" द्वारा ग्रेड दिया जा रहा है, तो चीजें गड़बड़ हो सकती हैं। भले ही शिक्षक बी एक जीनियस हो, लेकिन उनके लिखने का तरीका, शब्दों का चयन या सोचने की लय अलग हो सकती है। छात्र भ्रमित हो सकता है, यह सोचकर कि शिक्षक उसके गणित को सुधार रहे हैं जबकि वास्तव में शिक्षक उसकी लिखावट (handwriting) से परेशान हैं। यह शोध पत्र इस समस्या पर चर्चा करता है कि क्या होता है जब ग्रेड देने वाला "शिक्षक" उन मूल उदाहरणों को लिखने वाले से अलग होता है, और इस भ्रम को कैसे ठीक किया जाए ताकि छात्र प्रभावी ढंग से सीख सके।

समस्या: जब कोच और टेक्स्टबुक मेल नहीं खाते

शोधकर्ताओं ने एक निराशाजनक खामी देखी। वे गणित और कोडिंग में AI मॉडल को बेहतर बनाने के लिए लाइटनिंग OPD (Lightning OPD) नामक तकनीक का उपयोग कर रहे थे। सेटअप सरल था: एक ऐसे मॉडल को लें जिसने पहले से ही कुछ उदाहरणों से सीखा है (SFT संदर्भ), उसे नए उत्तर उत्पन्न करने दें, और फिर एक अत्यंत बुद्धिमान "शिक्षक" मॉडल को उन उत्तरों को ग्रेड देने के लिए कहें ताकि छात्र और अधिक सीख सके।

समस्या तब शुरू हुई जब "शिक्षक" वह मॉडल नहीं था जिसने मूल उदाहरण लिखे थे। शोधकर्ताओं ने पाया कि जब उन्होंने एक अलग, यहाँ तक कि अधिक शक्तिशाली शिक्षक को शामिल किया, तो छात्र का प्रदर्शन बेहतर होने के बजाय कभी-कभी और भी खराब हो गया!

क्यों? शोधकर्ताओं ने महसूस किया कि शिक्षक केवल तर्क (गणित या कोड) को ही नहीं सुधार रहा था, बल्कि वह शैली (style) को भी सुधार रहा था। कल्पना कीजिए कि एक छात्र गणित का प्रमाण लिख रहा है। वह लिख सकता है, "इसलिए, उत्तर 42 है।" एक अलग शिक्षक पसंद कर सकता है, "अतः, हम निष्कर्ष निकालते हैं कि समाधान 42 है।" यदि शिक्षक शैली के प्रति सख्त है, तो वह "इसलिए" शब्द के लिए कम अंक दे सकता है, भले ही गणित एकदम सही हो। छात्र भ्रमित होकर अपने तर्क को केवल शिक्षक की लेखन आदतों को खुश करने के लिए बदलने लगता है। शोधकर्ताओं ने इसे "स्टाइल बायस" (Style Bias) कहा। शिक्षक की असहमति उपयोगी सुधारों (एक गलत चरण को ठीक करना) और बेकार शोर (शब्दों के चुनाव को ठीक करना) का मिश्रण थी, और छात्र इन दोनों के बीच अंतर नहीं कर पा रहा था।

समाधान: लाइटनिंग OPD 2.0

इसे ठीक करने के लिए, टीम ने लाइटनिंग OPD 2.0 का आविष्कार किया। उनका विचार एक जासूस की तरह काम करना था, जो छात्र के सीखने से पहले "शैली" की शिकायतों को "तर्क" की शिकायतों से अलग कर सके।

उन्होंने इसे एक मनोरंजक उपमा (analogy) का उपयोग करके कैसे किया, यहाँ बताया गया है:

कल्पना कीजिए कि शिक्षक और छात्र के बीच बातचीत हो रही है। शिक्षक कहता है, "मुझे वह शब्द पसंद नहीं आया जो आपने इस्तेमाल किया," और "मुझे वह गणित का चरण पसंद नहीं आया जो आपने लिया।"

जासूसी का काम: शोधकर्ताओं ने महसूस किया कि "शैली" की शिकायतें पूर्वानुमेय (predictable) होती हैं। यदि शिक्षक को गणित की समस्या में "इसलिए" शब्द से नफरत है, तो उन्हें शायद हर गणित की समस्या में इससे नफरत होगी, चाहे संख्याएँ कुछ भी हों। यह एक आवर्ती पैटर्न है।
क्रॉस-फिटिंग की तकनीक: इन पैटर्न को खोजने के लिए, उन्होंने सभी अभ्यास प्रश्नों को समूहों में विभाजित किया। उन्होंने समूह A को यह देखने के लिए देखा कि शिक्षक ने समूह B में क्या शिकायत की, और समूह B को यह देखने के लिए देखा कि शिक्षक ने समूह A में क्या शिकायत की। इसे क्रॉस-फिटिंग (cross-fitting) कहा जाता है। यह दोस्तों के एक समूह से पूछने जैसा है, "शिक्षक किन शब्दों से हमेशा नफरत करते हैं?" बिना उस व्यक्ति को प्रभावित किए जिसका मूल्यांकन किया जा रहा है।
शोर को घटाना: एक बार जब उन्होंने "स्टाइल बायस" (शब्दों, फॉर्मेटिंग और लय के बारे में आवर्ती शिकायतें) को समझ लिया, तो उन्होंने इसे शिक्षक के कुल स्कोर से घटा दिया।
परिणाम: जो बचा था वह था "रेसिड्यूअल" (Residual)—शुद्ध, उपयोगी फीडबैक जो वास्तविक तर्क के बारे में था। छात्र अब केवल शिक्षक के फीडबैक के उन हिस्सों से सीखता है जो वास्तव में समस्या को हल करने के लिए महत्वपूर्ण हैं, और शैलीगत चिड़चिड़ेपन को अनदेखा करता है।

उन्होंने क्या पाया

शोधकर्ताओं ने इस नई पद्धति का परीक्षण दो बहुत अलग AI छात्रों पर किया: एक 4-बिलियन-पैरामीटर वाला मॉडल (एक छोटा, तेज़ सीखने वाला) और एक 8-बिलियन-पैरामीटर वाला मॉडल (एक बड़ा, अधिक उन्नत सीखने वाला)। उन्होंने दोनों के लिए एक विशाल, अत्यंत बुद्धिमान मॉडल को "शिक्षक" के रूप में उपयोग किया।

परिणाम स्पष्ट थे:

बिना सुधार के (मूल लाइटनिंग OPD): जब शिक्षक मूल उदाहरण लेखक से अलग था, तो छात्र का प्रदर्शन मुश्किल से सुधरा। स्टाइल बायस ने अच्छे सुझावों को दबा दिया।
सुधार के साथ (लाइटनिंग OPD 2.0): छात्र बहुत तेज़ी से सीख पाया और काफी अधिक बुद्धिमान बन गया।

विशेष रूप रूप से, 8-बिलियन-पैरामीटर वाले मॉडल के साथ शुरुआत करते समय, नई पद्धति ने AI को AIME 2024 (एक कठिन हाई स्कूल गणित प्रतियोगिता) पर 82.4% सटीकता और LiveCodeBench v5 (एक कोडिंग चुनौती) पर 63.0% सटीकता प्राप्त करने में मदद की। यह मूल पद्धति की तुलना में एक बड़ी छलांग थी, जिसे इन "मिसमैच्ड" (mismatched) शिक्षक परिदृश्यों में छात्र के स्कोर को सुधारने में संघर्ष करना पड़ा था।

यह क्यों महत्वपूर्ण है

यह शोध पत्र सुझाव देता है कि अब आपको "शिक्षक" और "उदाहरण लेखक" को एक ही व्यक्ति होने के लिए मजबूर करने की आवश्यकता नहीं है। अतीत में, यदि आप चाहते थे कि कोई विशिष्ट सुपर-स्मार्ट मॉडल आपके AI को ग्रेड दे, तो आपको यह सुनिश्चित करना पड़ता था कि उस मॉडल ने ही आपका सारा प्रशिक्षण डेटा भी लिखा हो। यह महंगा और सीमित था।

लाइटनिंग OPD 2.0 सुझाव देता है कि आप ग्रेडिंग के लिए सबसे अच्छा संभव "शिक्षक" और अपने प्रशिक्षण डेटा के लिए सबसे अच्छा संभव स्रोत चुन सकते हैं, भले ही वे अलग-अलग मॉडल हों। गणितीय रूप से "शैली" की शिकायतों को हटाकर, AI तर्क को सीख सकता है बिना शिक्षक के व्यक्तित्व से भ्रमित हुए। यह AI प्रशिक्षण को अधिक लचीला और कुशल बनाने का एक व्यावहारिक तरीका है, जिससे शोधकर्ता उपलब्ध सर्वोत्तम उपकरणों को आपस में टकराने की चिंता किए बिना मिला और मिला सकते हैं।

तकनीकी सारांश: लाइटनिंग OPD 2.0 (Lightning OPD 2.0)

समस्या विवरण (Problem Statement)

ऑन-पॉलिसी डिस्टिलेशन (OPD) पोस्ट-ट्रेनिंग बड़े रीजनिंग मॉडल्स के लिए सुदृढीकरण शिक्षण (reinforcement learning) के एक स्थिर और लागत प्रभावी विकल्प के रूप में उभरा है। यह उच्च-क्षमता वाले टीचर मॉडल का उपयोग करके स्टूडेंट-जनरेटेड ट्रेजेक्टरीज पर सघन, टोकन-लेवल सुपरविजन प्रदान करता है। हालांकि, पिछले कार्य (लाइटनिंग OPD) द्वारा पहचाना गया एक महत्वपूर्ण पूर्व शर्त यह है कि टीचर कंसिस्टेंसी (शिक्षक निरंतरता): OPD सुपरविजन प्रदान करने वाला मॉडल वही होना चाहिए जिसने प्रारंभिक सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) रेफरेंस पॉलिसी के लिए उपयोग किए गए प्रदर्शनों (demonstrations) को जनरेट किया है।

व्यावहारिक रूप से, इस स्थिति का अक्सर उल्लंघन किया जाता है। SFT डेटा का स्रोत अक्सर मिश्रित या अनडॉक्युमेंटेड होता है, या अभ्यासकर्ता एक विशिष्ट SFT डेटासेट का उपयोग करना चाह सकते हैं जो एक मॉडल द्वारा जनरेट किया गया हो, जबकि डिस्टिलेशन के लिए एक अलग, संभावित रूप से अधिक शक्तिशाली टीचर मॉडल का उपयोग करना चाहते हैं। यह क्रॉस-टीचर सेटिंग (cross-teacher setting) एक ऐसा बेमेल (mismatch) पेश करती है जहाँ कच्चा टीचर-रेफरेंस असहमति (disagreement) न केवल उपयोगी, संदर्भ-विशिष्ट रीजनिंग सिग्नल प्रदान करता है, बल्कि इसमें शैलीगत अंतरों (शब्द चयन, फॉर्मेटिंग, रीजनिंग की गति) से जुड़ा एक आवर्ती घटक भी शामिल होता है। यदि इसे ठीक नहीं किया गया, तो यह "स्टाइल-टोकन बायस" (style-token bias) रोलआउट्स में संचित हो जाता है, जिससे रीजनिंग सिग्नल में व्यवस्थित रूप से हस्तक्षेप होता है और डिस्टिलेशन प्रदर्शन में गिरावट आती है, भले ही नया टीचर मूल SFT जनरेटर से अधिक शक्तिशाली हो।

कार्यप्रणाली: लाइटनिंग OPD 2.0 (Methodology: Lightning OPD 2.0)

इसे संबोधित करने के लिए, लेखक लाइटनिंग OPD 2.0 पेश करते हैं, जो क्रॉस-फिटेड स्टाइल रेसिडुअलाइजेशन (cross-fitted style residualization) के माध्यम से स्टाइल बायस को कम करता है। मुख्य अंतर्दृष्टि यह है कि स्टाइल-संबंधी असहमति सरल लेक्सिकल (lexical) और मोटे कॉन्टेक्स्टल कोऑर्डिनेट्स के आधार पर कैश किए गए रोलआउट्स में अनुमानित होती है, जबकि रीजनिंग-संबंधी असहमति विशिष्ट समस्या अवस्था (problem state) पर अधिक निर्भर करती है।

विधि इस प्रकार चलती है:

असहमति का अपघटन (Decomposition of Disagreement): कच्चे टीचर-रेफरेंस लॉग-प्रोबेबिलिटी अंतर ( $d_{it} = \ell^T_{it} - \ell^R_{it}$ ) को एक आवर्ती स्टाइल बायस घटक $b(z_{it})$ और एक रेसिडुअल वेरिएशन $v_{it}$ (जो संदर्भ-विशिष्ट साक्ष्य का प्रतिनिधित्व करता है) के योग के रूप में मॉडल किया जाता है।
$d_{it} = b(z_{it}) + v_{it}$
अवलोकनीय निर्देशांक (Observable Coordinates): $b(z_{it})$ $b (z_{i t})$ को अनुमानित करने के लिए, विधि दो प्रकार के निर्देशांकों का उपयोग करती है:
- टोकन आइडेंटिटी: लेक्सिकल प्राथमिकताओं को कैप्चर करता है।
- कोर्स कॉन्टेक्स्ट (Coarse Context): सामान्यीकृत रिस्पॉन्स पोजीशन और रेफरेंस-पॉलिसी सरप्राइज़ल (यह एक माप है कि SFT रेफरेंस के तहत एक टोकन कितना असामान्य है) द्वारा परिभाषित।
क्रॉस-फिटेड एस्टीमेशन (Cross-Fitted Estimation): कैश किए गए रोलआउट्स को $K$ $K$ फोल्ड्स में विभाजित किया जाता है। एक होल्ड-आउट फोल्ड $k$ $k$ के लिए, विधि केवल अन्य $K-1$ $K - 1$ फोल्ड्स का उपयोग करके दो लुकअप टेबल बनाती है:
- एक टोकन-लुकअप टेबल जो प्रति टोकन आइडेंटिटी औसत असहमति का अनुमान लगाती है।
- एक कॉन्टेक्स्ट-लुकअप टेबल जो प्रति कॉन्टेक्स्ट कोऑर्डिनेट पेयर औसत असहमति का अनुमान लगाती है।
- दुर्लभ समूहों को संभालने के लिए इन टेबल्स को स्मूथ (smooth) किया जाता है।
रेसिडुअलाइजेशन (Residualization): प्रत्येक होल्ड-आउट फोल्ड के प्रत्येक टोकन के लिए, अनुमानित स्टाइल बायस $\hat{b}_{it}$ की गणना टोकन और कॉन्टेक्स्ट लुकअप प्रेडिक्शन के औसत के रूप में की जाती है। इस अनुमान को कच्चे असहमति से घटाकर एक रेसिडुअलाइज्ड सिग्नल प्राप्त किया जाता है:
$d^*_{it} = d_{it} - \hat{b}_{it}$
ऑप्टिमाइज़ेशन (Optimization): रेसिडुअलाइज्ड असहमति $d^*_{it}$ को लाइटनिंग OPD ऑब्जेक्टिव में कच्चे असहमति के स्थान पर उपयोग किया जाता है। स्टूडेंट पॉलिसी को इस रेसिडुअलाइज्ड सिग्नल से प्राप्त एडवांटेज का उपयोग करके अपडेट किया जाता है, जो प्रभावी रूप से आवर्ती स्टाइल बायस को हटा देता है और संदर्भ-विशिष्ट रीजनिंग साक्ष्य को सुरक्षित रखता है।

मुख्य योगदान (Key Contributions)

क्रॉस-टीचर OPD का सूत्रीकरण: पेपर औपचारिक रूप से उस सेटिंग को परिभाषित करता है जहाँ SFT डेटा जनरेटर और OPD टीचर स्वतंत्र रूप से चुने जाते हैं, यह प्रदर्शित करते हुए कि नैव (naive) अनुप्रयोग से प्रदर्शन में काफी गिरावट आती है।
स्टाइल-टोकन बायस की पहचान: लेखकों ने टीचर-रेफरेंस असहमति के एक आवर्ती घटक की पहचान की है जो रोलआउट्स में अनुमानित है और शैलीगत अंतरों से जुड़ा है, जो यह समझाता है कि कच्चा क्रॉस-टीचर सुपरविजन भ्रामक क्यों हो सकता है।
लाइटनिंग OPD 2.0 एल्गोरिदम: टोकन और कॉन्टेक्ट लुकअप टेबल्स का उपयोग करके इस बायस का अनुमान लगाने और इसे घटाने के लिए एक क्रॉस-फिटेड स्टाइल रेसिडुअलाइजेशन तकनीक का परिचय। यह अनुमति देता है कि SFT रेफरेंस और डिस्टिलेशन टीचर को बिना SFT पाइपलाइन को फिर से बनाए स्वतंत्र रूप से चुना जा सके।

प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन दो अलग-अलग क्रॉस-टीचर सेटिंग्स का उपयोग करके गणितीय तर्क (mathematical reasoning) और कोड जनरेशन बेंचमार्क पर किया गया:

सेटिंग 1: Qwen3-4B (Qwen3-8B द्वारा जनरेटेड) से SFT रेफरेंस, Qwen3-30B-A3B-Thinking-2507 के OPD टीचर के साथ।
सेटिंग 2: Klear-Reasoner-8B (DeepSeek-R1 डिस्टिल्ड डेटा पर प्रशिक्षित) से SFT रेफरेंस, उसी Qwen3-30B OPD टीचर के साथ।

मुख्य निष्कर्ष:

प्रदर्शन लाभ: लाइटनिंग OPD 2.0 लगातार बेसलाइन लाइटनिंग OPD और अन्य OPD वेरिएंट्स (IW-OPD, TA-OPD) को क्रॉस-टीचर सेटिंग्स में पछाड़ता है।
- Qwen3-4B सेटिंग में, इसने बेसलाइन लाइटनिंग OPD की तुलना में औसत मैथ रीजनिंग में 3.1 अंक और कोड जनरेशन में 1.4 अंक का सुधार किया।
- Klear-Reasoner-8B सेटिंग में, इसने औसत मैथ रीजनिंग में 1.0 अंक और कोड जनरेशन में 1.4 अंक का सुधार किया।
स्टेट-ऑफ-द-आर्ट: Klear-Reasoner-8B-SFT से शुरू करते हुए, लाइटनिंग OPD 2.0 ने AIME 2024 पर 82.4% और LiveCodeBench v5 पर 63.0% प्राप्त किया।
मैकेनिज्म विश्लेषण: पोस्ट-हॉक विश्लेषण ने दिखाया कि रेसिडुअलाइजेशन ने डायग्नोस्टिक रेफरेंस सिग्नल (जो आदर्श टीचर-कंसिस्टेंट सिग्नल का प्रतिनिधित्व करता है) से ट्रेनिंग सिग्नल के विचलन को काफी कम कर दिया। उदाहरण के लिए, Qwen3-4B सेटिंग में, सुधार के बाद बड़े विचलन (>1 nat) वाले टोकन की दर 8.14% से घटकर 3.85% रह गई।
एब्लेशन (Ablation): टोकन लुकअप, कॉन्टेक्ट लुकअप, या क्रॉस-फिटिंग में से किसी को भी हटाने से कम प्रदर्शन मिला, जो सेल्फ-फिटिंग को रोकने के लिए लेक्सिकल और कॉन्टेक्स्टुअल अनुमानों को सैंपल-स्प्लिटिंग के साथ जोड़ने की आवश्यकता की पुष्टि करता है।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि लाइटनिंग OPD 2.0 क्रॉस-टीचर ऑन-पॉलिसी डिस्टिलेशन के लिए एक व्यावहारिक दृष्टिकोण स्थापित करता है। टीचर कंसिस्टेंसी की सख्त आवश्यकता को कम करके, यह अभ्यासकर्ताओं को निम्नलिखित की अनुमति देता है:

SFT प्रदर्शनों (demonstrations) को जनरेट करने के लिए सबसे उपयुक्त मॉडल का चयन करना (रेफरेंस पॉलिसी की गुणवत्ता को अधिकतम करने के लिए) और उसके बाद डिस्टिलेशन के लिए चुने गए मॉडल (अंतिम पोस्ट-ट्रेनिंग परिणाम को अधिकतम करने के लिए) से स्वतंत्र रूप से।
मौजूदा SFT डेटासेट्स का उपयोग करना, बिना हर संभावित टीचर के लिए प्रदर्शनों को पुन: जनरेट करने की भारी लागत के।

लेखक इस कार्य को रीजनिंग मॉडल्स को स्केल करने में एक व्यावहारिक बाधा के समाधान के रूप में प्रस्तुत करते हैं, जो अधिक लचीली और कुशल पोस्ट-ट्रेनिंग पाइपलाइन्स को सक्षम बनाता है जहाँ SFT जनरेटर और OPD टीचर को अलग (decouple) किया जा सकता है। इस पद्धति को एक मजबूत फ्रेमवर्क के रूप में प्रस्तुत किया गया है जो रीजनिंग बेंचमार्क पर स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है और ऑफलाइन OPD की स्थिरता और लागत-दक्षता को बनाए रखता है।