🤖 AI

Privileged Likelihood Is Not Automatically Value: Three Checks for Token Credit in On-Policy Self-Distillation

यह शोध पत्र यह तर्क देता है कि ऑन-पॉलिसी सेल्फ-डिस्टिलेशन में प्रिविलेज्ड टोकन लाइकलीहुड (privileged token likelihood) में परिवर्तन स्वतः ही वैध आउटकम क्रेडिट (outcome credit) नहीं बनते हैं, जो औपचारिक विश्लेषण और अनुभवजन्य प्रयोगों के माध्यम से यह प्रदर्शित करता है कि ऐसे संकेत अक्सर आउटकम-ओनली कंट्रोल्स की तुलना में बेहतर कार्यों को ट्रैक करने या वांछित व्यवहारों को सुदृढ़ करने में विफल रहते हैं।

मूल लेखक: Xuan-Phi Nguyen, Shrey Pandit, Yiran Zhao, Anurag Koul, Zeyu Liu, Shafiq Joty

प्रकाशित 2026-08-11

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xuan-Phi Nguyen, Shrey Pandit, Yiran Zhao, Anurag Koul, Zeyu Liu, Shafiq Joty

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक कठिन गणित की पहेली हल करना सिखा रहे हैं। आप उसे समस्या दिखाते हैं, और वह अपने विचारों को चरण-दर-चरण टाइप करना शुरू कर देता है। बिल्कुल अंत में, आप आसानी से बता सकते हैं कि रोबोट ने सही उत्तर दिया या गलत: या तो वह सही है या गलत। लेकिन बीच के चरणों के बारे में क्या? क्या रोबोट ने तीसरे चरण में कोई शानदार चाल चली, या वह पांचवें चरण में लड़खड़ा गया? आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह एक बहुत बड़ा रहस्य है। हम अंतिम परिणाम जानते हैं, लेकिन हमें नहीं पता कि रोबोट द्वारा लिखे गए विशिष्ट शब्द (या "टोकन") नायक थे और कौन से खलनायक।

इसे ठीक करने के लिए, शोधकर्ता "प्रिविलेज्ड सेल्फ-डिस्टिलेशन" (privileged self-distillation) नामक एक चतुर तकनीक का उपयोग करने की कोशिश कर रहे हैं। इसे एक छात्र की तरह समझें जो परीक्षा दे रहा है, और फिर तुरंत उसे एक संदर्भ पत्र (reference sheet) मिलता है जो स्पष्ट रूप से बताता है कि उसे वास्तव में क्या करना चाहिए था। छात्र फिर अपने स्वयं के उत्तर को देखता है, संदर्भ पत्र को पढ़ता है, और यह पता लगाने की कोशिश करता है कि उसके द्वारा लिखे गए कौन से शब्द अच्छे थे और कौन से बुरे। उम्मीद यह है कि "अच्छे" शब्दों को पुरस्कृत करके और "बुरे" शब्दों को दंडित करके, रोबोट तेजी से स्मार्ट हो जाएगा। लेकिन यहाँ एक पेच है। केवल इसलिए कि कोई शब्द अच्छा दिखता है क्योंकि आप उत्तर जानने के बाद पीछे मुड़कर देख रहे हैं, इसका मतलब यह नहीं है कि उसने वास्तव में वहां तक पहुँचने में मदद की थी। यह सिर्फ एक ऐसा शब्द हो सकता है जो सुनने में अच्छा लगता है जब आप पश्चाताप (hindsight) के साथ पीछे मुड़कर देखते हैं।

Salesforce AI Research का यह पेपर एक समूह संदिग्ध जासूसों की तरह है जो कक्षा में आकर यह जांच रहे हैं कि क्या यह "संदर्भ पत्र" विधि वास्तव में काम कर रही है या यह केवल एक जादू का खेल है जो शिक्षक को मूर्ख बना रहा है। उन्होंने एक कठोर प्रयोग स्थापित किया यह देखने के लिए कि क्या रोबोट वास्तव में सही सबक सीख रहा है या वह गलत चीजें याद कर रहा है।

द ग्रेट "हाइंडसाइट" हाइस्ट (The Great "Hindsight" Heist)

शोधकर्ताओं ने "प्रिविलेज्ड सेल्फ-डिस्टिलेशन" पद्धति को अंतिम परीक्षा में डालने के लिए एक 20-बिलियन-पैरामीटर वाले AI मॉडल (एक बहुत ही स्मार्ट रोबोट) और कठिन गणित समस्याओं के एक सेट (AIME 2025) का उपयोग करने का निर्णय लिया। उनका लक्ष्य तीन विशिष्ट प्रश्नों का उत्तर देना था जो यह निर्धारित करते हैं कि यह शिक्षण पद्धति वास्तव में उपयोगी है या केवल समय की बर्बादी है।

प्रश्न 1: क्या "अच्छा शब्द" डिटेक्टर वास्तव में सही शब्दों को खोज पाता है?
कल्पना कीजिए कि एक जासूस अपराधी को खोजने की कोशिश कर रहा है। यदि जासूस किसी संदिग्ध की ओर उंगली उठाता है, तो क्या उस संदिग्ध के पास वास्तव में कोई मकसद है? शोधकर्ताओं ने जांच की कि क्या AI का "स्कोर" (वह संख्या जो वह एक शब्द को यह बताने के लिए देता है कि वह कितना अच्छा था) वास्तव में सही उत्तरों से मेल खाता है। उन्होंने पाया कि स्कोर मूल रूप से अनुमान लगा रहा था। जब उन्होंने हजारों गणितीय प्रयासों को देखा, तो स्कोर एक सही समाधान को गलत समाधान से अलग करने में सिक्का उछालने (coin flip) से थोड़ा ही बेहतर था। वास्तव में, उत्तरों की लंबाई के लिए समायोजन करने के बाद, स्कोर गलत उत्तरों को सही उत्तरों की तुलना में थोड़ा अधिक पसंद करता था! यह एक ऐसे शिक्षक की तरह है जो, टेस्ट ग्रेड करने के बाद, उस छात्र को गोल्ड स्टार देता है जिसने सब कुछ गलत किया क्योंकि उसकी लिखावट सुंदर थी।

प्रश्न 2: क्या रोबोट ने अपनी खुद की रिपोर्ट कार्ड लिखी?
यह चालाकी वाला हिस्सा है। कई प्रयोगों में, AI एक उत्तर उत्पन्न करता है, और फिर वही AI (या उसका एक संस्करण) उस उत्तर की आलोचना लिखता है। शोधकर्ताओं को डर था कि यह आत्म-प्रशंसा का एक चक्र है। यदि आप अपना ही रिपोर्ट कार्ड लिखते हैं, तो आप अपने प्रति बहुत दयालु हो सकते हैं। इसे ठीक करने के लिए, उन्होंने एक "क्रॉस-फिटिंग" (cross-fitting) पद्धति आजमाई: उन्होंने AI को उसी समस्या के लिए दूसरे AI के उत्तर की आलोचना लिखने के लिए कहा। यह चक्र को तोड़ देता है। लेकिन इस सुधार के बावजूद, स्कोर अभी भी विश्वसनीय रूप से यह भविष्यवाणी नहीं कर पाए कि कौन से उत्तर सही थे। फीडबैक पहले की तरह ही भ्रमित था। यह सच है कि केवल इसलिए कि आप किसी समाधान के बारे में एक अच्छी कहानी लिख सकते हैं, इसका मतलब यह नहीं है कि समाधान वास्तव में अच्छा है।

प्रश्न 3: क्या होता है जब रोबोट इन स्कोर का उपयोग करके सीखने की कोशिश करता है?
अंत में, उन्होंने पूछा कि भले ही स्कोर अजीब थे, लेकिन क्या होता है जब रोबोट वास्तव में उनमें सुधार करने के लिए उनका उपयोग करने की कोशिश करता है? उन्होंने इस "टोकन क्रेडिट" पद्धति के पांच अलग-अलग संस्करणों का उपयोग करके रोबोट को प्रशिक्षित किया और एक ऐसे रोबोट के साथ तुलना की जो केवल अंतिम सही-या-गलत उत्तर से सीखता था। परिणाम "टोकन क्रेडिट" प्रशंसकों के लिए एक बड़ी निराशा थी। हर एक रोबोट जिसने इन फैंसी टोकन स्कोर का उपयोग करने की कोशिश की, वह उस रोबोट की तुलना में खराब प्रदर्शन करने लगा जो केवल सरल सही-या-गलत फीडबैक पर टिका हुआ था।

साधारण रोबोट लगभग 64.2% उत्तर सही कर सका।
फैंसी रोबोट जिन्होंने टोकन स्कोर का उपयोग किया, वे केवल 24.2% और 33.9% के बीच सही कर सके।

यह ऐसा है जैसे वह रोबोट जिसने अपने सोचने के हर चरण का विश्लेषण करने की कोशिश की, भ्रमित हो गया और पूरी तरह से समस्या को हल करना भूल गया, जबकि वह रोबोट जिसने केवल अंतिम परिणाम देखा, बेहतर होता गया।

फैसला (The Verdict)

पेपर निष्कर्ष निकालता है कि एक "टोकन लाइकलीहुड स्कोर" (token likelihood score)—एक संख्या जो कहती है कि एक शब्द सही होने की अधिक संभावना रखता है क्योंकि एक संदर्भ पत्र मौजूद है—अपने आप में मूल्यवान नहीं है। केवल इसलिए कि कोई शब्द उत्तर देखने के बाद अधिक संभावित हो जाता है, इसका मतलब यह नहीं है कि वह शब्द समाधान की कुंजी था।

शोधकर्ताओं ने पाया कि:

स्कोर सफलता का पीछा नहीं करते थे; वे मूल रूप से रैंडम नॉइज़ (random noise) थे।
चाहे फीडबैक उसी उत्तर से आया हो या किसी दूसरे से, इससे समस्या हल नहीं हुई।
इन स्कोर का उपयोग करके मॉडल को प्रशिक्षित करने से वह वास्तव में बदतर हो गया, जिससे वह सही उत्तरों से दूर चला गया।

संक्षेप में, पेपर तर्क देता है कि हम यह मान नहीं सकते कि "जो चीज़ बीत जाने के बाद (in hindsight) अच्छी दिखती है" वही "वास्तव में सहायक" भी है। इससे पहले कि हम AI मॉडल को उनके द्वारा लिखे गए हर शब्द के लिए श्रेय देना शुरू करें, हमें तीन चीजें जांचनी होंगी: क्या स्कोर वास्तव में परिणाम से मेल खाता है? क्या फीडबैक निष्पक्ष और स्वतंत्र है? और क्या प्रशिक्षण वास्तव में मॉडल को स्मार्ट बनाता है? इस विशिष्ट प्रयोग में, तीनों का उत्तर एक सशक्त "नहीं" था। शब्दों को व्यक्तिगत रूप से श्रेय देने की फैंसी पद्धति विफल रही, और पुराना तरीका जिसमें केवल अंतिम उत्तर की जांच की जाती थी, स्पष्ट विजेता रहा।

तकनीकी सारांश: विशेषाधिकार प्राप्त संभावना (Privileged Likelihood) स्वतः ही मूल्य (Value) नहीं है

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) में ऑन-पॉलिसी सेल्फ-डिस्टिलेशन (on-policy self-distillation) के दौरान, शोधकर्ता अक्सर "विशेषाधिकार प्राप्त" जानकारी (जैसे कि संदर्भ समाधान, पश्चदृष्टि आलोचना/hindsight critiques, या पर्यावरण फीडबैक) का उपयोग करके मॉडल के अपने रोलआउट्स को पुन: स्कोर करने का प्रयास करते हैं, ताकि टोकन-स्तर पर क्रेडिट असाइन किया जा सके। केंद्रीय परिकल्पना यह है कि यदि कोई टोकन विशेषाधिकार प्राप्त जानकारी पर आधारित होने पर अधिक संभावित हो जाता है, तो वह एक "सही" या "सहायक" चरण का प्रतिनिधित्व करता है।

हालाँकि, यह शोध पत्र तर्क देता है कि टोकन की संभावना में परिवर्तन (विशेषाधिकार प्राप्त संभावना) स्वतः ही परिणाम क्रेडिट (outcome credit/action value) के समान नहीं होता है। लेखक एक महत्वपूर्ण अंतर की पहचान करते हैं: एक टोकन संभावना स्कोर संरचनात्मक रूप से सुव्यवस्थित और सक्रिय हो सकता है, बिना वास्तव में कार्य की सफलता को ट्रैक किए या सहायक पैरामीटर अपडेट को प्रेरित किए। यह शोध पत्र तीन अलग-अलग प्रश्नों को औपचारिक रूप से अलग करने का प्रयास करता है जिन्हें मौजूदा सेल्फ-डिस्टिलेशन विधियों में अक्सर मिला दिया जाता है:

क्या स्कोर कार्य की सफलता को ट्रैक करता है?
क्या रोलआउट्स की तुलना एक सुसंगत स्कोरिंग नियम के तहत की जा रही है?
प्रशिक्षण हानि (training loss) किस व्यवहार को सुदृढ़ करती है?

कार्यप्रणाली और ढांचा (Methodology and Framework)

लेखक विशेषाधिकार प्राप्त सेल्फ-डिस्टिलेशन का विश्लेषण करने के लिए एक औपचारिक ढांचा प्रस्तावित करते हैं, जो टोकन संभावना स्कोर (token likelihood scores) और एक्शन वैल्यू (action values) के बीच अंतर करता है।

औपचारिक परिभाषाएँ (Formal Definitions)

विशेषाधिकार प्राप्त संभावना स्कोर ( $d$ ): यह मापता है कि जब टेक्स्ट कॉन्टेक्स्ट (context) बेसलाइन $c^-$ से बदलकर विशेषाधिकार प्राप्त कॉन्टेक्स्ट $c^+$ (जैसे कि एक आलोचना) हो जाता है, तो एक स्कोरर की किसी टोकन $v$ के लिए संभावना कैसे बदलती है।
$d(s, v) = \log q(v | s, c^+) - \log q(v | s, c^-)$
एक्शन वैल्यू ( $Q^\pi_U$ ): अपेक्षित टर्मिनल यूटिलिटी (expected terminal utility) यदि अगला टोकन $v$ सेट किया जाता है और नीति $\pi$ के तहत जनरेशन जारी रहता है।

पेपर स्थापित करता है कि $d$ और $Q^\pi_U$ स्वाभाविक रूप से समान नहीं हैं। $d$ को $Q^\pi_U$ का प्रतिनिधित्व करने के लिए, विशिष्ट शर्तों (जैसे कि पॉजिटिव-एफाइन इक्विवेलेंस) को पूरा करना आवश्यक है, जो फ्री-फॉर्म टेक्स्ट फीडबैक द्वारा गारंटीकृत नहीं होती हैं।

तीन जाँच (The Three Checks)

कार्यप्रणाली तीन विशिष्ट नैदानिक (diagnostic) प्रश्नों के इर्द-गिर्द घूमती है:

Q1: क्या शिक्षक की प्राथमिकता कार्य की सफलता को ट्रैक करती है?
पेपर इस बात की जांच करता है कि क्या विशेषाधिकार प्राप्त कॉन्टेक्स्ट द्वारा समर्थित टोकन वास्तव में बेहतर अंतिम परिणामों की ओर ले जाते हैं। यह रैंकिंग की शुद्धता और किसी टोकन एक्शन के विशिष्ट मूल्य की पहचान करने के बीच अंतर करता है। लेखक सिद्ध करते हैं कि संभावना अनुपात (likelihood ratios) केवल तभी सिद्धांत-आधारित क्रेडिट का प्रतिनिधित्व करते हैं जब कंडीशनिंग वेरिएबल्स एक संयुक्त वितरण (joint distribution) से प्राप्त सुसंगत आउटकम कंडिशनल्स हों, जो कि फ्री-फॉर्म आलोचनाएं अक्सर नहीं होती हैं।
Q2: क्या रोलआउट्स की तुलना एक ही स्कोरिंग नियम के तहत की जा रही है?
लेखक एक "स्व-निर्भरता" (self-dependence) के मुद्दे को उजागर करते हैं: यदि एक रोलआउट $Y$ अपना स्वयं का फीडबैक $C(Y)$ उत्पन्न करता है, और फिर $Y$ को $C(Y)$ द्वारा स्कोर किया जाता है, तो स्कोर समाधान की गुणवत्ता और इस बात दोनों को मापता है कि $Y$ , अपने स्वयं के विवरण से कितनी अच्छी तरह मेल खाता है। इसे संबोधित करने के लिए, वे क्रॉस-फिटिंग (cross-fitting) पेश करते हैं, जहाँ फीडबैक उसी समस्या के एक दूसरे रोलआउट (एक डोनर) से उत्पन्न किया जाता है ताकि लक्ष्य रोलआउट को स्कोर किया जा सके। यह प्रत्यक्ष स्व-निर्भरता को हटा देता है लेकिन यह गारंटी नहीं देता कि स्कोर उपयोगी है।
Q3: प्रशिक्षण हानि किस व्यवहार को सुदृढ़ करती है?
भले ही एक स्कोर सफलता को ट्रैक करता हो, प्रशिक्षण हानि यह निर्धारित करती है कि वह स्कोर मॉडल को कैसे अपडेट करता है। पेपर विश्लेषण करता है कि विभिन्न लॉस फंक्शन (जैसे कि फॉरवर्ड KL, रिवर्स KL, बाउंडेड रिवार्ड्स) टोकन स्कोर को पैरामीटर ग्रेडिएंट्स में कैसे बदलते हैं। वे प्रदर्शित करते हैं कि स्केलर इनवेरियंट्स (जैसे कि साइन या स्कोर के कुल भार को संरक्षित करना) यह गारंटी नहीं देते कि पैरामीटर अपडेट की दिशा सहायक होगी, विशेष रूप से जब मॉडल किसी टोकन के प्रति आश्वस्त (confident) हो।

प्रयोगात्मक सेटअप (Experimental Setup)

मॉडल: gpt-oss-20b (20 बिलियन पैरामीटर्स)।
डेटासेट: AIME 2025 (मैथमेटिकल एसोसिएशन ऑफ अमेरिका प्रतियोगिता प्रश्न)।
फीडबैक जनरेशन: एक बाहरी LLM जज समस्या, संदर्भ समाधान, सत्यापनकर्ता परिणाम और पूर्ण ट्रेस को पढ़कर एक "सहायक" स्पष्टीकरण ( $C^+$ ) और एक "तर्कसंगत लेकिन गलत" समकक्ष ( $C^-$ ) लिखता है।
स्कोरिंग: एक फ्रोजन या पहले के चेकपॉइंट वाला मॉडल इन फीडबैक टेक्स्टों के आधार पर टोकन लाइकलीहुड अंतर की गणना करता है।
प्रशिक्षण वेरिएंट्स: अध्ययन एक आउटकम-ओनली कंट्रोल (केवल अंतिम शुद्धता लेबल का उपयोग करके) की तुलना पांच वेरिएंट्स से करता है जिनमें टोकन स्कोर शामिल हैं (एंट्रॉपी वेटिंग, सोर्स क्लिपिंग और KL-रेगुलराइज्ड वेरिएंट्स के साथ एडिटिव वेरिएंट्स)।

मुख्य परिणाम (Key Results)

प्रयोग ठोस प्रमाण प्रदान करते हैं कि विशेषाधिकार प्राप्त संभावना स्कोर अक्सर इस सेटिंग में उपयोगी आउटकम क्रेडिट के रूप में कार्य करने में विफल रहते हैं।

Q1 के परिणाम (सफलता को ट्रैक करना):
- लागू किया गया एडिटिव टोकन स्कोर सही और गलत ट्रेजेक्टरीज के बीच अंतर करने में लगभग 'चांस' (संयोग) के स्तर पर रहा।
- AUC (Area Under Curve): 0.505 (95% CI: [0.483, 0.524]), जो कि रैंडम गेसिंग (0.5) से सांख्यिकीय रूप से अविभेद्य है।
- रिस्पॉन्स लेंथ के लिए एडजस्ट करने के बाद, स्कोर ने गलत ट्रेजेक्टरीज का थोड़ा पक्ष लिया (AUC = 0.474)।
- वन-साइडेड टीचर रेसिडुअल्स (one-sided teacher residuals) सही और गलत दोनों रोलआउट्स के लिए नेगेटिव थे, जो दर्शाता है कि टीचर दोनों को डाउन-स्कोर करता है, बस सही वाले के लिए कम करता है।
Q2 के परिणाम (फीडबैक निर्माण):
- क्रॉस-फिटिंग (होल्ड-आउट फीडबैक) के माध्यम से स्व-निर्भरता को हटाने से भी स्कोर की आउटकम ट्रैक करने की क्षमता में सुधार नहीं हुआ। होल्ड-आउट मास्क किया गया फीडबैक के लिए AUC रैंडम के करीब रहा (0aw 0.512 रॉ, 0.485 लेंथ-एडजस्टेड)।
- "स्वयं-रोलआउट" फीडबैक से प्राप्त स्कोर अधिक मजबूत दिखाई दिए (AUC ~0.588), लेकिन उन्हें स्व-निर्भर दिखाया गया, जो समाधान और उसके अपने क्रिटिक के बीच के मिलान को मापता है, न कि वस्तुनिष्ठ उपयोगिता को।
Q3 के परिणाम (प्रशिक्षण व्यवहार):
- प्रदर्शन गिरावट: सभी पांच टोकन-स्कोर प्रशिक्षण वेरिएंट्स आउटकम-ओनली कंट्रोल की तुलना में काफी खराब प्रदर्शन करते हैं।
- सटीकता अंतराल (Accuracy Gap): आउटकम-ओनली कंट्रोल ने 64.2% सटीकता (avg@4) प्राप्त की। टोकन-स्कोर वेरिएंट्स ने 24.2% से 33.9% तक की सटीकता प्राप्त की, जो कंट्रोल की तुलना में 30.4 से 40.0 प्रतिशत अंकों की गिरावट है।
- तंत्र (Mechanism): टोकन-स्कोर वेरिएंट्स उच्च-एंट्रॉपी और रेफरेंस पॉलिसी से उच्च KL डायवर्जेंस की ओर बढ़े, जबकि आउटकम-ओनली कंट्रोल ने सटीकता में सुधार किया बिना इन बदलावों के। टोकन स्कोर ने सही रीजनिंग स्टेप्स के बजाय उच्च-एंट्रॉपी, अप्रासंगिक टोकन को सुदृढ़ किया।

मुख्य योगदान (Key Contributions)

औपचारिक अंतर: पेपर टोकन लाइकलीहुड स्कोर और एक्शन वैल्यू को अलग करने के लिए एक औपचारिक ढांचा प्रदान करता है, यह सिद्ध करते हुए कि लाइकलीहुड में परिवर्तन स्वतः ही आउटकम क्रेडिट का संकेत नहीं देता है।
थ्री-चेक फ्रेमवर्क: यह विशेषाधिकार प्राप्त सेल्फ-डिस्टिलेशन के मूल्यांकन को तीन अलग-अलग जाँचों (सफलता को ट्रैक करना, फीडबैक निर्माण, और लॉस व्यवहार) में व्यवस्थित करता है, यह प्रदर्शित करते हुए कि एक को पास करने का अर्थ दूसरे को पास करना नहीं है।
सैद्धांतिक प्रमाण:
- सिद्ध करता है कि फॉरवर्ड-KL डीकंपोजिशन में कंडीशनल म्यूचुअल इंफॉर्मेशन टर्म फिक्स्ड टारगेट्स के संबंध में कांस्टेंट है, जिसका अर्थ है कि यह एक टास्क ग्रेडिएंट नहीं है।
- प्रदर्शित करता है कि टोकन स्कोर के स्केलर साइन या कुल भार को संरक्षित करने से अपेक्षित पैरामीटर ग्रेडिएंट संरक्षित नहीं होता है।
अनुभवजन्य प्रदर्शन: AIME 2025 पर मैच किए गए प्रयोगों का उपयोग करते हुए, पेपर दिखाता है कि एक संरचनात्मक रूप से सुदृढ़ विशेषाधिकार प्राप्त लाइकलीहुड सिग्नल सक्रिय होने के बावजूद शून्य या नकारात्मक उपयोगिता प्रदान कर सकता है, जिससे आउटकम-ओनली ट्रेनिंग की तुलना में महत्वपूर्ण प्रदर्शन गिरावट आती है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि विशेषाधिकार प्राप्त संभावना (privileged likelihood) स्वतः ही मूल्य (value) नहीं है। लेखक इस बात पर जोर देते हैं कि एक लाइकलीहुड सिग्नल को क्रेडिट मानने के लिए निम्नलिखित का कठोर सत्यापन आवश्यक है:

क्या स्कोर वास्तव में कार्य की सफलता के साथ सह-संबंधित (correlate) है?
क्या फीडबैक निर्माण स्व-निर्भरता लूप्स से बचता है?
क्या विशिष्ट प्रशिक्षण हानि वांछित व्यवहार को सुदृढ़ करती है?

लेखक विनम्रता से कहते हैं कि ये परिणाम यह सिद्ध नहीं करते कि सभी सेल्फ-डिस्टिलेशन विधियां विफल हो जाती हैं, बल्कि यह कि विशेषाधिकार प्राप्त लाइकलीहुड को सीधे क्रेडिट सिग्नल के रूप में उपयोग करने का विशिष्ट तंत्र नाजुक है और अक्सर अप्रभावी होता है। निष्कर्ष यह है कि सफल विधियों को हाइंडसाइट के तहत शिक्षक की प्राथमिकता को योगदान का प्रॉक्सी मानने के बजाय, कार्य के परिणाम के साथ लाइकलीहुड सिग्नल के संरेखण (alignment) को स्पष्ट रूप से सत्यापित करना चाहिए।

पेपर समाप्त करता है कि हालांकि औपचारिक अंतर सामान्य रूप से लागू होते हैं, संख्यात्मक परिणाम gpt-oss-20b और AIME 2025 सेटअप के लिए विशिष्ट हैं। हालांकि, पहचाने गए विफलता मोड (स्व-निर्भरता, लॉस-प्रेरित ग्रेडिएंट मिसअलाइनमेंट, और आउटकम ट्रैकिंग की कमी) भविष्य के ऑन-पॉलिसी सेल्फ-डिस्टिलेशन अनुसंधान के लिए महत्वपूर्ण नैदानिक (diagnostics) के रूप में कार्य करते हैं।