🤖 AI

DASH: Divergence-Adaptive Supervision Horizons for On-Policy Self-Distillation of Reasoning Models

यह शोध पत्र DASH (डाइवर्जेंस-एडेप्टिव सुपरविज़न होराइजन्स) को प्रस्तुत करता है, जो एक ऐसी विधि है जो शिक्षक-छात्र डाइवर्जेंस के टेम्पोरल इवोल्यूशन के आधार पर टोकन-स्तरीय सुपरविज़न वेट्स को अनुकूल रूप से समायोजित करके रीजनिंग मॉडल्स के लिए ऑन-पॉलिसी सेल्फ-डिस्टिलेशन को बेहतर बनाती है, जिससे बिना किसी अतिरिक्त फॉरवर्ड पास के गणितीय बेंचमार्क पर प्रदर्शन में सुधार होता है।

मूल लेखक: ZhiYan Hou, Xinyu Tang, Hongyan An, Jianjin Zhang, Weizhen Wang, Yunyun Han, Gengsheng Li, Xiangzhao Hao, Haiyun Guo, Wenbin Hu, Jinqiao Wang, Yafeng Deng

प्रकाशित 2026-08-07

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: ZhiYan Hou, Xinyu Tang, Hongyan An, Jianjin Zhang, Weizhen Wang, Yunyun Han, Gengsheng Li, Xiangzhao Hao, Haiyun Guo, Wenbin Hu, Jinqiao Wang, Yafeng Deng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ कंप्यूटर जटिल पहेलियों को हल करना सीख रहे हैं, जैसे कि उन्नत गणित की समस्याएँ या कंप्यूटर कोड लिखना, जो वे बार-बार अभ्यास करके करते हैं। यह क्षेत्र 'रीइन्फोर्समेंट लर्निंग' (Reinforcement Learning) कहलाता है, जहाँ कंप्यूटर (जो "छात्र" है) अलग-अलग उत्तरों को आज़माता है और अंत में यह देखने के लिए एक साधारण "हाँ" या "नहीं" प्राप्त करता है कि वह सही था या नहीं। समस्या यह है कि यदि छात्र एक लंबा, घुमावदार रास्ता लेता है, तो वह एकल "हाँ" या "नहीं" उसे यह नहीं बता पाता कि उसके कौन से विशिष्ट कदम अच्छे थे और कौन से बुरे। यह एक अंतिम परीक्षा में "B" ग्रेड प्राप्त करने जैसा है बिना यह जाने कि आपने कौन से प्रश्न गलत किए। इस समस्या को ठीक करने के लिए, शोधकर्ता "ऑन-पॉलिसी सेल्फ-डिस्टिलेशन" (On-Policy Self-Distillation) नामक एक तरकीब का उपयोग करते हैं। इसे एक "विशेषाधिकार प्राप्त शिक्षक" (जिसके पास गुप्त उत्तर कुंजी है) से पूछने के रूप में सोचें, जो छात्र की यात्रा के हर एक कदम को चलते-चलते ग्रेड करता है। यह उन्हें अंत में केवल एक फीडबैक के बजाय फीडबैक का एक सघन प्रवाह देता है। लेकिन इसमें एक पेच है: शिक्षक का उपयोग करने का मानक तरीका फीडबैक के हर एक कदम को बिल्कुल समान मानता है, जैसे कि शुरुआत में की गई गलती उतनी ही महत्वपूर्ण हो जितनी कि अंत में की गई गलती, चाहे छात्र का प्रदर्शन कैसा भी रहा हो।

यह शोध पत्र DASH (Divergence-Adaptive Supervision Horizons) नामक एक नई विधि पेश करता है ताकि उस अंधे बिंदु को ठीक किया जा सके। शोधकर्ताओं ने पाया कि मानक दृष्टिकोण बहुत कठोर है; यह छात्र की गलतियों की कहानी पर ध्यान नहीं देता है। कभी-कभी, शुरुआत में की गई एक छोटी सी त्रुटि बाद में पूरी तबाही का कारण बन सकती है, जबकि बाद में की गई वैसी ही त्रुटि हानिरहित हो सकती है। DASH एक स्मार्ट संपादक की तरह कार्य करता है जो फीडबैक के पूरे क्रम को देखता है। यदि छात्र शिक्षक की सलाह से इस तरह दूर जा रहा है जो एक बढ़ती हुई समस्या का संकेत देता है, तो DASH उन संकेतों के भार (weight) को बढ़ा देता है ताकि दिशा सुधारी जा सके। यदि छात्र अच्छा कर रहा है, तो यह उन्हें कम कर देता है। यह शोध पत्र दिखाता है कि इन समायोजनों को करने से, DASH बिना किसी अतिरिक्त कंप्यूटिंग पावर या अधिक स्मार्ट शिक्षक के, पहले की तुलना में बहुत तेज़ी से और बेहतर तरीके से सीखने में मदद करता है।

समस्या: "एक-आकार-सभी-के-लिए-उपयुक्त" ग्रेडर

AI को तर्क करने (reasoning) के लिए प्रशिक्षित करने की दुनिया में, हमारे पास एक छात्र मॉडल और एक शिक्षक मॉडल होता है। छात्र एक समस्या को हल करने के लिए विचारों की एक लंबी श्रृंखला (एक "रोलआउट") बनाता है। शिक्षक, जिसके पास सही समाधान तक पहुँच है, छात्र को देखता है और कहता है, "हे, इस विशिष्ट शब्द पर, तुम्हें इस अन्य शब्द को चुनना चाहिए था।" इसे टोकन-लेवल सुपरविजन (token-level supervision) कहा जाता है।

मानक विधि, जिसे OPSD (On-Policy Self-Distillation) कहा जाता है, शिक्षक से मिलने वाले इन सभी छोटे "आप गलत हैं" संकेतों को एकत्र करती है और उनका औसत निकालती है। यह एक शिक्षक द्वारा छात्र को रिपोर्ट कार्ड देने जैसा है जहाँ उसकी हर एक गलती समान रूप से गिनी जाती है, चाहे वह कभी भी हुई हो।

लेखकों ने महसूस किया कि यह थोड़ा बेतुका है। कल्पना कीजिए कि एक छात्र गणित की समस्या हल कर रहा है।

परिदृश्य A: छात्र चरण 1 में एक छोटी सी गणना की त्रुटि करता है, लेकिन फिर वह खुद को संभालता है और चरण 2 में उसे ठीक कर देता है। "डाइवर्जेंस" (छात्र और शिक्षक के बीच का अंतर) एक क्षण के लिए उच्च था, लेकिन फिर वह समाप्त हो गया।
परिदृश्य B: छात्र चरण 1 में ठीक वही छोटी सी त्रुटि करता है, लेकिन फिर वह इसे और खराब करता जाता है, और चरण 10 तक एक पूरी तरह से गलत उत्तर की ओर बढ़ता जाता है।

मानक OPSD में, दोनों परिदृश्यों को उस पहले चरण के लिए बिल्कुल समान "दंड" मिलता है। सिस्टम यह नहीं समझ पाता कि परिदृश्य B में, वह पहली त्रुटि एक तबाही की शुरुआत थी, जबकि परिदृश्य A में, वह केवल एक मामूली ठोकर थी। मानक विधि स्थानीय गलती को अलग-थलग मानती है, और यह अनदेखा कर देती है कि उस गलती से पहले छात्र के प्रदर्शन का इतिहास क्या था और उस गलती के भविष्य में क्या परिणाम होने वाले थे।

समाधान: DASH, एक अनुकूलक कोच (Adaptive Coach)

लेखक DASH का प्रस्ताव देते हैं ताकि ग्रेडिंग प्रणाली को एक स्मृति और संदर्भ की समझ दी जा सके। केवल गलतियों का औसत निकालने के बजाय, DASH पूछता है: "यह विशिष्ट गलती पूरे उत्तर की कहानी में कैसे फिट बैठती है?"

यहाँ बताया गया है कि DASH कैसे काम करता है, एक सरल उपमा का उपयोग करते हुए:

कल्पना कीजिए कि छात्र एक रास्ते पर चल रहा है, और शिक्षक ने छात्र की कमर से जुड़ी एक रस्सी पकड़ी हुई है। "डाइवर्जेंस" यह है कि छात्र शिक्षक के आदर्श पथ से कितनी दूर जा रहा है।

अंतराल को मापना: DASH हर एक चरण पर देखता है कि छात्र शिक्षक से कितना दूर है।
"गेट" तंत्र: हर बार समान बल के साथ छात्र को वापस खींचने के बजाय, DASH एक विशेष "गेट" का उपयोग करता है।
- यदि छात्र औसत से खराब प्रदर्शन कर रहा है (अंतर बढ़ रहा है), तो गेट चौड़ा खुल जाता है। इसका अर्थ है कि भविष्य के चरणों के लिए शिक्षक का फीडबैक छात्र को वापस खींचने के लिए एक मजबूत संकेत प्राप्त करेगा। यह कहता है, "हे, यह एक बुरा रुझान है! हमें इस पथ को ठीक करने पर विशेष ध्यान देने की आवश्यकता है।"
- यदि छात्र औसत से बेहतर कर रहा है (अंतर कम है), तो गेट थोड़ा बंद हो जाता है। शिक्षक का फीडबैक अभी भी मौजूद है, लेकिन यह चिल्लाता नहीं है क्योंकि छात्र पहले से ही सही रास्ते पर है।
पीछे की ओर देखना: DASH "बैकवर्ड एग्रीगेशन" (backward aggregation) नामक एक चतुर तकनीक का उपयोग करता है। यह उत्तर के अंत से शुरू होता है और शुरुआत की ओर वापस आता है। यह पूछता है, "यदि मैं इस पथ के अंत को देखूँ, तो इस विशिष्ट चरण ने अंतिम गड़बड़ी (या सफलता) में कितना योगदान दिया?" इसके बाद, यह उस चरण के फीडबैक के भार को इस आधार पर समायोजित करता है कि उसके बाद क्या हुआ।

यह एक गतिशील प्रणाली बनाता है जहाँ एक गलती की "महत्ता" निश्चित नहीं होती। एक गलती जो त्रुटियों की एक लंबी श्रृंखला की ओर ले जाती है, उसे भारी भार दिया जाता है। एक गलती जिसे जल्दी ठीक कर लिया जाता है, उसे हल्का भार मिलता है।

उन्होंने क्या पाया

शोधकर्ताओं ने तीन अलग-अलग आकार के AI मॉडलों (1.7 बिलियन, 4 बिलियन, और 8 बिलियन पैरामीटर) का तीन कठिन गणितीय बेंचमार्क (AIME 2024, AIME 2025, और HMMT February 2025) का उपयोग करके इस विचार का परीक्षण किया।

परिणाम: DASH ने पूरे क्षेत्र में लगातार मानक विधि (OPSD) को पछाड़ दिया। सबसे छोटे मॉडल (1.7B) के लिए, औसत सटीकता 41.87% से बढ़कर 45.07% हो गई। बड़े मॉडलों के लिए भी लाभ स्पष्ट थे, जिसमें 8B मॉडल 64.80% से बढ़कर 66.40% हो गया।
"क्यों": प्रयोगों की एक श्रृंखला के माध्यम से, उन्होंने सिद्ध किया कि सुधार केवल इसलिए नहीं था क्योंकि उन्होंने अधिक "शोर" जोड़ा या गणित को यादृच्छिक रूप से बदला। उन्होंने परीक्षण किया कि क्या होगा यदि वे एक निश्चित गेट (पुराने तरीके की तरह) का उपयोग करते बनाम एक स्मार्ट, बदलते गेट का। स्मार्ट गेट (DASH) विजेता था। उन्होंने यह भी जाँच की कि क्या तर्क की दिशा मायने रखती है (उदाहरण के लिए, क्या हमें बड़े अंतराल को अधिक दंडित करना चाहिए या कम?)। उन्होंने पाया कि उनका विशिष्ट तर्क—बड़े अंतरालों को दंडित करने के लिए गेट को अधिक खोलने का—ही मुख्य कुंजी थी।
दक्षता: सबसे अच्छी बात यह है कि DASH को न तो किसी सुपर-स्मार्ट शिक्षक की आवश्यकता है और न ही अतिरिक्त कंप्यूटिंग पावर की। यह केवल उसी जानकारी का पुन: उपयोग करता है जिसे मानक विधि पहले से ही गणना कर रही थी, लेकिन इसे एक स्मार्ट तरीके से प्रोसेस करता है। यह कच्चे डेटा के ढेर को इकट्ठा करने के बजाय, उसे बेहतर तरीके से व्यवस्थित करने जैसा है।

निष्कर्ष

यह शोध पत्र सुझाव देता है कि जब AI को तर्क करने के लिए सिखाया जाता है, तो हमें केवल गलतियों को गिनना नहीं चाहिए; हमें गलतियों की कहानी को समझना चाहिए। यह बनाकर कि पर्यवेक्षण (supervision) "अनुकूलनीय" (adaptive) हो—अर्थात समय के साथ छात्र के प्रदर्शन के आधार पर शिक्षक की बात को कितना सुनना है—हम AI को बहुत अधिक प्रभावी ढंग से सीखने में मदद कर सकते हैं। DASH दिखाता है कि थोड़ा सा संदर्भ बहुत काम आता है, जो एक कठोर ग्रेडिंग प्रणाली को एक लचीले, बुद्धिमान कोच में बदल देता है जो जानता है कि कब सख्त होना है और कब उदार होना है।

तकनीकी सारांश: DASH - ऑन-पॉलिसी सेल्फ-डिस्टिलेशन ऑफ रीजनिंग मॉडल्स के लिए डायवर्जेंस-एडेप्टिव सुपरविजन होराइजन्स

1. समस्या विवरण

वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग (RLVR) ने ऑटोमैटिकली वेरिफिएबल सिग्नल्स (जैसे उत्तर की शुद्धता) का उपयोग करके लार्ज लैंग्वेज मॉडल्स (LLMs) की रीजनिंग क्षमताओं में सुधार किया है। हालाँकि, मानक RLVR स्पार्स (sparse), सीक्वेंस-लेवल रिवॉर्ड्स पर निर्भर करता है, जिससे एक "टेम्पोरल क्रेडिट असाइनमेंट" (temporal credit assignment) की चुनौती उत्पन्न होती है, जहाँ यह पहचानना कठिन हो जाता है कि अंतिम परिणाम में व्यक्तिगत टोकन-लेवल निर्णयों का योगदान क्या था।

इस समस्या को कम करने के लिए, ऑन-पॉलिसी सेल्फ-डिस्टिलेशन (OPSD) पेश किया गया है। OPSD में, एक स्टूडेंट मॉडल एक रिस्पॉन्स जेनरेट करता है, जबकि वही मॉडल, प्रिविलेज्ड इंफॉर्मेशन (जैसे कि रेफरेंस सॉल्यूशन) के आधार पर, एक टीचर के रूप में कार्य करता है ताकि डेंस (dense), टोकन-लेवल डिस्ट्रीब्यूशनल सुपरविजन प्रदान किया जा सके।

मुख्य सीमा: हालाँकि OPSD सिग्नल की स्पर्सिटी को कम करता है, यह पेपर पहचानता है कि स्टैंडर्ड ("वैनिला") OPSD रोलआउट के टेम्पोरल स्ट्रक्चर (temporal structure) का पूर्ण उपयोग नहीं कर पाता है। वैनिला OPSD हर टोकन के लिए यूनिफॉर्म कोएफिशिएंट्स ( $1/T$ ) का उपयोग करके लोकल डिस्ट्रीब्यूशनल डिस्क्रेपेंसीज़ (divergences) को एग्रीगेट करता है, चाहे वह:

टोकन की स्थिति (position) कुछ भी हो।
उस टोकन तक पहुँचने वाले डिस्क्रेपेंसी के इतिहास (history) से कोई भी संबंध हो।

लेखक तर्क देते हैं कि ऑटोरेग्रेसिव जनरेशन में, समान लोकल डायवर्जेंस मैग्नीट्यूड अलग-अलग टेम्पोरल कॉन्टेक्स्ट में हो सकता है (उदाहरण के लिए, लंबे समय तक सही रीजनिंग के बाद बनाम त्रुटियों की एक श्रृंखला के बाद)। चूंकि लोकल स्केलर इन कॉन्टेक्स्टों के बीच अंतर नहीं कर सकता, इसलिए यूनिफॉर्म वेट असाइन करना सुपरविजन सिग्नल को रियलाइज्ड डिस्क्रेपेंसी सीक्वेंस के अनुकूल होने से रोकता है।

2. कार्यप्रणाली: डायवर्जेंस-एडेप्टिव सुपरविजन होराइजन्स (DASH)

वैनिला OPSD की टेम्पोरल डिस्क्रेपेंसी प्रोफाइल के अनुकूल न हो पाने की क्षमता को संबोधित करने के लिए, लेखक DASH का प्रस्ताव करते हैं। यह विधि एक तंत्र पेश करती है जो जनरेशन के दौरान लोकल डायवर्जेंस के विकास के आधार पर टोकन-लेवल सुपरविजन वेट्स को गतिशील रूप से समायोजित करती है।

मुख्य घटक

सीक्वेंस-रिलेटिव डायवर्जेंस गैप्स:
सीधे लोकल डायवर्जेंस वैल्यूज ( $d_t$ ) का उपयोग करने के बजाय, DASH सीक्वेंस-लेवल मीन ( $\bar{r}$ ) और लोकल डिस्टिलेशन सिग्नल के बीच के गैप की गणना करता है:
$g_t = r_t - \bar{r}$
जहाँ $r_t$ स्टेप $t$ पर क्लिप्ड लोकल KL डायवर्जेंस है।
एडेप्टिव प्रोपेगेशन गेट्स ( $\lambda_t$ ):
इन गैप्स को एक सेंसिटिविटी पैरामीटर $\kappa$ के साथ सिग्मॉइड फंक्शन का उपयोग करके एडेप्टिव प्रोपेगेशन गेट्स में मैप किया जाता है:
$\lambda_t = \text{sg}[\sigma(-\kappa g_t)]$

तर्क: यदि लोकल डायवर्जेंस सीक्वेंस मीन से कम है ( $g_t < 0$ ), तो गेट $\lambda_t$ बड़ा होता है, जिससे भविष्य के सिग्नल्स पीछे की ओर अधिक प्रसारित हो पाते हैं। यदि डायवर्जेंस मीन से अधिक है ( $g_t > 0$ ), तो गेट छोटा होता है, जो प्रोपेगेशन को प्रतिबंधित करता है। यह एक "सुपरविजन होराइजन" बनाता है जो सीक्वेंस के अनुकूल होता है।

बैकवर्ड मल्टी-स्टेप एग्रीगेशन:
DASH, वैनिला OPSD के यूनिफॉर्म एग्रीगेशन को एक बैकवर्ड रिकर्सन से बदल देता है जो एक पाथ-डिपेंडेंट एग्रीगेटेड सिग्नल ( $A_t$ ) का निर्माण करता है:
$A_T = r_T$
$A_t = r_t + \lambda_t A_{t+1} \quad \text{for } t = T-1, \dots, 1$
अंतिम लॉस इन एग्रीगेटेड सिग्नल्स का औसत है:
$L_{\text{DASH}} = \frac{1}{T} \sum_{t=1}^T A_t$

स्ट्रक्चरल इनसाइट

लेखक अपेक्षित ऑब्जेक्टिव के लिए एक फिक्स्ड-होराइजन ग्रेडिएंट डीकंपोजिशन को व्युत्पन्न करते हैं, जो दिखाता है कि सटीक ग्रेडिएंट में एक ट्रजेक्टरी टर्म शामिल है जहाँ कोएफिशिएंट्स फ्यूचर डायवर्जेंस पर निर्भर करते हैं। हालांकि DASH स्पष्ट रूप से भविष्य के डायवर्जेंस का अनुमान नहीं लगाता या स्कोर-फंक्शन ग्रेडिएंट्स का उपयोग नहीं करता है, यह डायरेक्ट डिस्टिलेशन टर्म के वेट्स को कंडीशन करने के लिए रियलाइज्ड डिस्क्रेपेंसी सीक्वेंस का उपयोग करके इस ऑर्डर-डिपेंडेंट स्ट्रक्चर की नकल करता है।

3. मुख्य योगदान

पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

एक टेम्पोरल गैप की पहचान: लेखक एक वैनिला OPSD की सीमा को स्पष्ट करते हैं जहाँ लोकल डायवर्जेंस वैल्यूज को यूनिफॉर्म वेट देने से ऑब्जेक्टिव विभिन्न टेम्पोरल अरेंजमेंट्स के प्रति इनवेरिएंट (invariant) हो जाता है, जिससे टेम्पोरल स्ट्रक्चर के अनुकूल होने की क्षमता बाधित होती है।
DASH का प्रस्ताव: एक नई विधि जो एडेप्टिव प्रोपेगेशन गेट्स का उपयोग करके सीक्वेंस-रिलेटिव डायवर्जेंस गैप्स का उपयोग करती है। यह मल्टी-स्टेप एग्रीगेशन के माध्यम से लोकल डिस्क्रेपेंसी के टेम्पोरल इवोल्यूशन का लाभ उठाने के लिए डेंस डिस्टिलेशन सुपरविजन को सक्षम बनाती है।
अनुभवजन्य सत्यापन (Empirical Validation): तीन मैथमेटिकल रीजनिंग बेंचमार्क्स (AIME 2024, AIME 2025, HMMT 2025) और तीन मॉडल स्केल्स (Qwen3-1.7B, 4B, 8B) पर व्यापक प्रयोगों से पता चलता है कि DASH लगातार मैचड वैनिला OPSD रन और अन्य हालिया डिस्टिलेशन बेसलाइन्स से बेहतर प्रदर्शन करता है।

4. प्रायोगिक परिणाम

लेखकों ने गणितीय तर्क कार्यों पर Qwen3 Instruct मॉडल्स (1.7B, 4B, 8B) का उपयोग करके प्रयोग किए।

प्रदर्शन लाभ: DASH ने सभी नौ बेंचमार्क-मॉडल सेटिंग्स में बेसलाइन्स (Base, SFT, GRPO, OPSD, EOPD, AVSD, PW-OPSD) की तुलना में उच्चतम स्कोर प्राप्त किया।
- Qwen3-1.7B पर, DASH ने औसत सटीकता को 41.87% (OPSD) से बढ़ाकर 45.07% (+3.20 पॉइंट्स) कर दिया।
- Qwen3-4B पर, इसने 63.60% से 65.00% (+1.40 पॉइंट्स) में सुधार किया।
- Qwen3-8B पर, इसने 64.80% से 66.40% (+1.60 पॉइंट्स) में सुधार किया।
एब्लेशन स्टडीज (Ablation Studies):
- एडेप्टिव बनाम फिक्स्ड: एडेप्टिव गेट्स को फिक्स्ड कोएफिशिएंट्स ( $\lambda$ ) से बदलने पर वैनिला OPSD की तुलना में प्रदर्शन में सुधार हुआ, लेकिन यह DASH से कम रहा, जो पुष्टि करता है कि विशिष्ट डिस्क्रेपेंसी सीक्वेंस के अनुकूल होना महत्वपूर्ण है।
- गेट दिशा (Gate Direction): गेट फंक्शन के साइन को उलटने (Inverse-gap) से खराब प्रदर्शन हुआ, जो इस विशिष्ट डिज़ाइन हाइपोथीसिस को प्रमाणित करता है कि प्रोपेगेशन को कम डिस्क्रेपेंसी के बाद खुला रहना चाहिए और अधिक डिस्क्रेपेंसी के बाद प्रतिबंधित होना चाहिए।
- कोएफिशिएंट एलोकेशन बनाम स्केल: रिलेटिव कोएफिशिएंट प्रोफाइल को औसत स्केल से अलग करने पर पता चला कि मुख्य लाभ केवल समग्र सुपरविजन स्केल में वृद्धि से नहीं, बल्कि डिस्क्रेपेंसी-कंडीशन्ड एलोकेशन से आता है।
डिज़ाइन विकल्प:
- सेंसिटिविटी ( $\kappa$ ): मध्यम सेंसिटिविटी ( $\kappa=5$ ) ने सबसे अच्छे परिणाम दिए, जो अपर्याप्त अनुकूलन और अत्यधिक शार्प रिस्पॉन्स के बीच संतुलन बनाता है।
- डायवर्जेंस मेट्रिक: फॉरवर्ड KL डायवर्जेंस ने सिमेट्रिक JSD और रिवर्स KL की तुलना में बेहतर प्रदर्शन किया।
- वोकैबुलरी सपोर्ट: फुल वोकैबुलरी सपोर्ट इष्टतम था; टॉप-1 टोकन्स तक कंप्रेस करने से प्रदर्शन में काफी गिरावट आई।

5. महत्व और दावे

पेपर का दावा है कि DASH बिना किसी अतिरिक्त कंप्यूटेशनल ओवरहेड के टेम्पोरल स्ट्रक्चर का लाभ उठाकर ऑन-पॉलिसी सेल्फ-डिस्टिलेशन में महत्वपूर्ण सुधार प्रदान करता है।

दक्षता (Efficiency): DASH उन टीचर और स्टूडेंट डिस्ट्रीब्यूशंस का पुन: उपयोग करता है जो पहले से ही स्टैंडर्ड OPSD द्वारा कंप्यूट किए गए हैं। इसके लिए कोई अतिरिक्त टीचर या स्टूडेंट फॉरवर्ड पास की आवश्यकता नहीं है, जिससे इसके लाभ कंप्यूटेशनल रूप से कुशल हैं।
सामान्यीकरण (Generalizability): सुधार विभिन्न मॉडल स्केल्स और बेंचमार्क्स में सुसंगत थे, जो सुझाव देते हैं कि यह विधि विशिष्ट मॉडल क्षमताओं तक सीमित नहीं है।
अंतर्दृष्टि: यह कार्य इस बारे में नई अंतर्दृष्टि प्रदान करता है कि लॉन्ग-होरिज़न रीजनिंग में डेंस सुपरविजन को कैसे आवंटित किया जाना चाहिए, जो यूनिफॉर्म वेटिंग से आगे बढ़कर सीक्वेंस-अवेयर, एडेप्टिव होराइजन्स की ओर ले जाता है।

लेखक निष्कर्ष निकालते हैं कि टोकन-लेवल वेट्स को रियलाइज्ड डिस्क्रेपेंसी सीक्वेंस के अनुकूल बनाकर, DASH प्रभावी रूप से मानक RLVR और OPSD दृष्टिकोणों में निहित टेम्पोरल क्रेडिट असाइनमेंट चुनौती को संबोधित करता है।