💻 computer science

PHF: Privileged Hidden Flow for On-Policy Self-Distillation

यह शोध पत्र प्रिविलेज्ड हिडन फ्लो (PHF) का प्रस्ताव करता है, जो एक नवीन ऑन-पॉलिसी सेल्फ-डिस्टिलेशन विधि है जो केवल आउटपुट डिस्ट्रीब्यूशन या पॉइंटवाइज हिडन स्टेट्स के बजाय हिडन स्टेट ट्रांजिशन के ज्यामितीय प्रक्षेपवक्र (जियोमेट्रिक ट्रैजेक्टरी) को संरेखित करके रीजनिंग मॉडल ट्रेनिंग में सुधार करती है, जिससे कई मॉडल आकारों में निरंतर प्रदर्शन लाभ प्राप्त होता है।

मूल लेखक: Yuhan Li, Mingxu Zhang, Dazhong Shen, Ying Sun

प्रकाशित 2026-06-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuhan Li, Mingxu Zhang, Dazhong Shen, Ying Sun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Privileged Hidden Flow for On-Policy Self-Distillation" (PHF) पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी तस्वीर: छात्र को केवल उत्तर देना नहीं, बल्कि सोचना सिखाना

कल्पना कीजिए कि आप एक छात्र (AI मॉडल) को एक कठिन गणित की समस्या हल करना सिखा रहे हैं।

पुराने तरीके में (जिसे OPSD कहा जाता है), आप छात्र को समस्या देते हैं। छात्र उसे हल करने की कोशिश करता है। फिर, आप उसे "सही" समाधान दिखाते हैं (Privileged Reference)। आप छात्र से कहते हैं: "अपना उत्तर देखो। यह गलत था। शिक्षक का उत्तर देखो। यह सही था। अब अपने अगले अनुमान को शिक्षक के अनुमान जैसा बनाने की कोशिश करो।"

इस पद्धति के साथ समस्या यह है कि यह केवल अंतिम उत्तर की जाँच करती है। यह एक शिक्षक की तरह है जो गणित के टेस्ट को केवल अंत में बॉक्स में लिखे नंबर को देखकर ग्रेड देता है, बिना यह देखे कि छात्र वहां तक पहुँचने के लिए किन चरणों (steps) का उपयोग कर रहा था। छात्र किस्मत से सही उत्तर तक पहुँच सकता है, या वह किसी अजीब, अक्षम विचार प्रक्रिया का उपयोग कर रहा हो सकता है जो बस एक बार काम कर गई।

नया विचार: PHF (Privileged Hidden Flow)

इस पेपर के लेखक, PHF कहते हैं: "आइए केवल अंतिम उत्तर की जाँच न करें। आइए देखें कि छात्र का मस्तिष्क सोचते समय कैसे चलता है।"

वे इसे "Hidden Flow" कहते हैं।

उपमा: हाइकर (पगडंडी पर चलने वाला) और गाइड

कल्पना कीजिए कि छात्र एक हाइकर है जो पहाड़ की चोटी (समाधान) तक पहुँचने की कोशिश कर रहा है।

छात्र अकेले पहाड़ पर चढ़ रहा है और अपने नक्शे (समस्या) को देख रहा है।
शिक्षक एक विशेषज्ञ गाइड है जिसने पहले ही पहाड़ चढ़ लिया है और उसे सही रास्ता पता है (रेफरेंस सोल्यूशन)।

पुराना तरीका (OPSD):
गाइड तब तक इंतजार करता है जब तक हाइकर शिखर पर नहीं पहुँच जाता। यदि हाइकर गलत जगह पर है, तो गाइड कहता है, "तुम्हें यहाँ होना चाहिए।" हाइकर अगली बार उस जगह पर पहुँचने के लिए कूदने की कोशिश करता है। लेकिन हाइकर को यह नहीं पता कि वहाँ कुशलता से कैसे पहुँचना है; वह बस मंजिल को जानता है।

नया तरीका (PHF):
गाइड हाइकर के चलते हुए कदमों को देखता है।

दिशा (Direction): गाइड देखता है कि हाइकर एक थोड़े गलत कोण (angle) पर कदम रख रहा है। गाइड कहता है, "केवल चोटी पर लक्ष्य न रखें; ध्यान दें कि मैं उत्तर-पूर्व की ओर कदम बढ़ा रहा हूँ, लेकिन आप उत्तर की ओर बढ़ रहे हैं। अपनी दिशा बदलकर मेरे जैसा करें।"
रास्ते का आकार (The Shape of the Path): गाइड पूरे रास्ते को देखता है। "मैंने खाई से बचने के लिए ज़िग-ज़ैग रास्ता लिया था। आपने सीधी रेखा ली और लगभग गिर ही गए। आपके पथ का आकार गलत है, भले ही आप सामान्य रूप से ऊपर की ओर बढ़ रहे हों।"

PHF छात्र को हर क्षण शिक्षक के ठीक समान स्थान पर खड़े होने के लिए मजबूर नहीं करता (क्योंकि छात्र का "मस्तिष्क" थोड़ा अलग तरह से बना हो सकता है)। इसके बजाय, यह छात्र को शिक्षक की तरह ही उसी दिशा में चलने और उसी पथ के आकार का अनुसरण करने के लिए मजबूर करता है।

यह कैसे काम करता है (इसका "सीक्रेट सॉस")

पेपर में कुछ विशिष्ट तरकीबें दी गई हैं जो AI को बिना खराब किए इसे काम करने में मदद करती हैं:

"स्थान" नहीं, बल्कि "कदमों" का मिलान करना:
आमतौर पर, यदि आप किसी शिक्षक के मस्तिष्क की नकल करने की कोशिश करते हैं, तो आप हर एक विचार (hidden state) को बिल्कुल सटीक रूप से मिलाने की कोशिश करते हैं। लेकिन छात्र का मस्तिष्क जैसे-जैसे सीखता है, वह बदलता रहता है, इसलिए "सटीक मिलान" का लक्ष्य भी बदलता रहता है। यह एक चलते हुए लक्ष्य को हिट करने जैसा है जबकि आप खुद भी चल रहे हों।

PHF का समाधान: स्थान (position) को मिलाने के बजाय, PHF गति (transition) को मिलाता है। यह पूछता है: "क्या आपने उसी दिशा में कदम उठाया जैसे मैंने उठाया?" यह बहुत अधिक स्थिर है। यह कहने जैसा है, "जिस दिशा में मैं चल रहा हूँ उसी दिशा में चलो," बजाय इसके कि "ठीक वहीं खड़े हो जाओ जहाँ मैं खड़ा हूँ।"

"ज्यामिति" (Geometry) की जाँच:
PHF पथ के आकार की भी जाँच करता है। यदि शिक्षक का पथ पहले बाईं ओर और फिर दाईं ओर मुड़ता है, तो छात्र का पथ भी वैसा ही होना चाहिए। इससे कोई फर्क नहीं पड़ता कि छात्र पहाड़ के किसी दूसरे हिस्से पर है; उनके सोचने की प्रक्रिया का आकार समान दिखना चाहिए।
पूरी यात्रा को देखना:
AI के मस्तिष्क के केवल एक परत (layer) की जाँच करने के बजाय (जैसे गणित की समस्या के केवल पहले चरण की जाँच करना), PHF मस्तिष्क की हर परत की जाँच करता है। यह सुनिश्चित करता है कि छात्र पहले विचार से लेकर अंतिम विचार तक सही ढंग से सोच रहा है।

परिणाम: क्या यह काम करता है?

शोधकर्ताओं ने कठिन गणितीय समस्याओं (जैसे AIME और HMMT प्रतियोगिताएं) का उपयोग करके तीन अलग-अलग आकार के AI मॉडल (छोटे, मध्यम और बड़े) पर इसका परीक्षण किया।

सेटअप: उन्होंने बाकी सब कुछ बिल्कुल समान रखा। समान प्रशिक्षण समय, समान समस्याएँ, समान कंप्यूटर शक्ति। एकमात्र अंतर इस नए "Hidden Flow" नियम को जोड़ना था।
परिणाम: हर मामले में, PHF के साथ प्रशिक्षित मॉडल ने पुराने तरीके से प्रशिक्षित मॉडलों की तुलना में बेहतर स्कोर प्राप्त किया।
- छोटे मॉडल में लगभग 2.2 अंक का सुधार हुआ।
- मध्यम मॉडल में लगभग 1.5 अंक का सुधार हुआ।
- बड़े मॉडल में लगभग 1.7 अंक का सुधार हुआ।

यह क्यों महत्वपूर्ण है (बिना अतिशयोक्ति के)

यह पेपर एक बहुत ही विशिष्ट और मामूली दावा करता है: हमने प्रशिक्षण के दौरान "उत्तर कुंजी" (answer key) का अधिक प्रभावी ढंग से उपयोग करने का एक तरीका खोजा है।

इसके लिए किसी नए, सुपर-स्मार्ट शिक्षक AI की आवश्यकता नहीं है।
इसके लिए AI को सबसे अच्छा उत्तर खोजने के लिए समस्या को 100 बार आज़माने की आवश्यकता नहीं है।
यह वास्तविक दुनिया में AI के उपयोग के तरीके को नहीं बदलता है (अंतिम AI अभी भी केवल समस्या देखता है और उत्तर देता है; परीक्षण के दौरान उसे उत्तर कुंजी की आवश्यकता नहीं होती है)।

यह बस AI को शिक्षक की विचार प्रक्रिया की नकल करने (hidden states का प्रवाह) के लिए सिखाता है, न कि केवल अंतिम परिणाम की नकल करने के लिए। यह एक छात्र को यह बताने जैसा है, "केवल उत्तर याद मत करो; सीखो कि विशेषज्ञ कैसे सोचता है," और यह सब गणितीय रूप से स्थिर तरीके से किया गया है ताकि छात्र का मस्तिष्क भ्रमित न हो।

एक वाक्य में सारांश

PHF एक नई प्रशिक्षण तकनीक है जो AI मॉडल को गणित बेहतर सीखने में मदद करती है, उन्हें केवल अंत में एक ही स्थान पर खड़े होने के बजाय विशेषज्ञ शिक्षक के समान पथ पर चलने की शिक्षा देकर।

तकनीकी सारांश: ऑन-पॉलिसी सेल्फ-डिस्टिलेशन के लिए प्रिविलेज्ड हिडन फ्लो (Privileged Hidden Flow)

समस्या विवरण (Problem Statement)

ऑन-पॉलिसी सेल्फ-डिस्टिलेशन (OPSD) रीजनिंग मॉडल्स को प्रशिक्षित करने की एक तकनीक है जहाँ एक स्टूडेंट मॉडल अपने स्वयं के रोलआउट्स (rollouts) को सैंपल करता है और एक "प्रिविलेज्ड" टीचर द्वारा सुपर्वाइज किया जाता है। यह टीचर उसी आर्किटेक्चर का मॉडल होता है जो अतिरिक्त जानकारी (जैसे कि एक वेरिफाइड रेफरेंस सोल्यूशन) पर आधारित होता है, जबकि स्टूडेंट केवल प्रॉब्लम प्रॉम्प्ट को देखता है।

मौजूदा OPSD ऑब्जेक्टिव्स विशेष रूप से स्टूडेंट और प्रिविलेज्ड टीचर के बीच आउटपुट डिस्ट्रीब्यूशन (अगले-टोकन की प्रोबेबिलिटी) को मैच करने पर ध्यान केंद्रित करते हैं। हालांकि यह अंतिम भविष्यवाणियों (predictions) को संरेखित करता है, लेकिन यह उस आंतरिक गणना (internal computation) को सुपर्वाइज करने में विफल रहता है जो उन भविष्यवाणियों को उत्पन्न करती है। विशेष रूप से, प्रिविलेजेड कॉन्टेक्स्ट इंटरमीडिएट हिडन स्टेट्स और नेटवर्क लेयर्स के माध्यम से इन स्टेट्स के प्रक्षेपवक्र (trajectory) को प्रभावित करता है। वर्तमान विधियाँ केवल आउटपुट हेड को ही सीमित करती हैं, जिससे "हिडन फ्लो" (यह कि रोलआउट के दौरान मॉडल के आंतरिक प्रतिनिधित्व कैसे विकसित होते हैं) अनकन्स्ट्रेंड रह जाता है। यह शोध पत्र तर्क देता है कि इस आंतरिक प्रक्रिया को डिस्टिल करने से मौलिक ऑन-पॉलिसी ट्रेनिंग सेटअप को बदले बिना रीजनिंग प्रदर्शन में सुधार किया जा सकता है।

कार्यप्रणाली (Methodology): प्रिविलेज्ड हिडन फ्लो (PHF)

लेखक प्रिविलेज्ड हिडन फ्लो (PHF) का प्रस्ताव करते हैं, जो हिडन स्टेट्स को सीधे मैच करने के बजाय उनके मूवमेंट (गति) को डिस्टिल करके मानक OPSD को बढ़ाता है।

मुख्य तंत्र (Core Mechanism)

स्टेट्स को पॉइंटवाइज मैच करने के बजाय (अर्थात, समान टोकन पोजीशन पर स्टूडेंट के हिडन वेक्टर $h^S_{\ell,t}$ को टीचर के वेक्टर $h^T_{\ell,t}$ से मिलाना), PHF टोकन पोजीशन के बीच के ट्रांजिशन (परिवर्तन) को मैच करता है।

ट्रांजिशन परिभाषा: चयनित जनरेटेड पोजीशंस $W = \{w_1, \dots, w_m\}$ के सेट के लिए, लोकल हिडन ट्रांजिशन को पड़ोसी पोजीशंस के बीच के अंतर के रूप में परिभाषित किया गया है: $\Delta h_{\ell,i} = h_{\ell, w_{i+1}} - h_{\ell, w_i}$ ।
नॉर्मलाइजेशन (Normalization): परिमाण (magnitude) के बजाय मूवमेंट की ज्यामिति (geometry) पर ध्यान केंद्रित करने के लिए इन ट्रांजिशन्स को यूनिट दिशाओं में नॉर्मलाइज किया जाता है।
लॉस घटक (Loss Components):
- डायरेक्शन लॉस ( $L_{dir}$ ): प्रत्येक लेयर में स्टूडेंट ट्रांजिशन्स की दिशा को टीचर ट्रांजिशन्स के साथ संरेखित करता है।
- ज्यामिति लॉस ( $L_{geo}$ ): ट्रांजिशन दिशाओं के ग्राम मैट्रिक्स (Gram matrix) को मैच करता है। यह ट्रांजिशन के एब्सोल्यूट कोऑर्डिनेट्स के बजाय प्रक्षेपवक्र के रिलेशनल स्ट्रक्चर (जैसे, कौन से स्टेप्स समानांतर, लंबवत या विपरीत हैं) को कैप्चर करता है।
- नेबरिंग-लेयर रिलेशन ( $L_{adj}$ ): पड़ोसी लेयर्स ( $\ell$ और $\ell+1$ ) में ट्रांजिशन दिशाओं के बीच संबंध की गणना करता है ताकि यह सुनिश्चित हो सके कि गहराई (depth) के माध्यम से मोशन का रूपांतरण टीचर के अनुरूप है।

संरचनात्मक अपरिवर्तनीयता (Structural Invariances)

PHF का एक प्रमुख सैद्धांतिक योगदान इसकी इनवेरिएंस प्रॉपर्टीज हैं, जो "रिप्रेजेंटेशनल ड्रिफ्ट" की समस्या को संबोधित करती हैं जहाँ ट्रेनिंग के दौरान हिडन कोऑर्डिनेट्स शिफ्ट होते हैं:

ऑफसेट इनवेरिएंस (Offset Invariance): लॉस अपरिवर्तित रहता है यदि स्टूडेंट या टीचर के पूरे प्रक्षेपवक्र में एक कांस्टेंट ऑफसेट जोड़ा जाता है।
स्केल इनवेरिएंस (Scale Invariance): लॉस ट्रांजिशन्स के पॉजिटिव स्केलर मल्टीप्लिकेशन (नॉर्मलाइजेशन से पहले) के प्रति इनवेरिएंट है।
ऑर्थोगोनल इनवेरिएंस (Orthogonal Invariance): ज्यामिति टर्म स्टूडेंट और टीचर के ट्रांजिशन सेट्स के स्वतंत्र ऑर्थोगोनल ट्रांसफॉर्मेशन के प्रति इनवेरिएंट है।

ये गुण PHF को हाई-डायमेंशनल हिडन स्पेस में सटीक पॉइंट्स को मैच करने के बजाय, रीजनिंग प्रक्रिया के आकार और दिशा को सुपर्वाइज करने की अनुमति देते हैं।

ट्रेनिंग रेसिपी (Training Recipe)

टीचर सोर्स: प्रिविलेज्ड टीचर, ऑनलाइन स्टूडेंट का एक एक्सपोनेंशियल मूविंग एवरेज (EMA) है, जो रेफरेंस सोल्यूशन द्वारा कंडिशन किया गया है।
एग्रीगेशन: यह विधि ट्रांजिशन लॉस को केवल एक सबसेट के बजाय सभी लेयर्स में एग्रीगेट करती है, और लोकल ट्रांजिशन लॉस को नेबरिंग-लेयर रिलेशन लॉस के साथ जोड़ती है।
ऑब्जेक्टिव: अंतिम लॉस $L_{PHF} = L_{OPSD} + \alpha L_{Flow}$ है, जहाँ $L_{Flow}$ लोकल और एडजेसेंट लॉस को जोड़ता है। गुणांक $\alpha$ सभी स्केल्स के लिए फिक्स्ड (0.05) है।
प्रतिबंध (Constraints): मेमोरी को मैनेज करने के लिए यह विधि 128 जनरेटेड पोजीशंस का एक फिक्स्ड विंडो उपयोग करती है और इसमें कोई रिवॉर्ड मॉडल, करेक्टनेस रूटिंग, या अतिरिक्त रोलआउट शामिल नहीं हैं।

मुख्य योगदान (Key Contributions)

प्रिविलेजेड ट्रांजिशन-ट्रांसपोर्ट ऑब्जेक्टिव: एक नया लॉस पेश करता है जो नॉर्मलाइज्ड टोकन-टू-टोकन हिडन ट्रांजिशन्स और उनके प्रक्षेपवक्र की ज्यामिति को मैच करता है, जो पॉइंटवाइज स्टेट मैचिंग से आगे बढ़ता है।
सैद्धांतिक लक्षण वर्णन (Theoretical Characterization): यह सिद्ध करता है कि ट्रांसपोर्ट लॉस में प्रक्षेपवक्र ऑफसेट्स और ऑर्थोगोनल ट्रांसफॉर्मेशन के प्रति सटीक बीजगणितीय इनवेरिएंस है, जो इसे स्टैंडर्ड हिडन-स्टेट मैचिंग से अलग करता है।
ऑल-लेयर एग्रीगेशन: यह प्रदर्शित करता है कि डेप्थ के ऊपर ट्रांजिशन लॉस को औसत निकालने और एक फिक्स्ड नेबरिंग-लेयर रिलेशन के साथ जोड़ने से मैन्युअल लेयर सिलेक्शन की आवश्यकता के बिना सुसंगत सुधार प्राप्त होता है।
अनुभवजन्य सत्यापन (Empirical Validation): आधिकारिक OPSD गणितीय रीजनिंग प्रोटोकॉल के तहत तीन मॉडल स्केल्स (Qwen3-1.7B, 4B, और 8B) पर PHF को वैलिडेट करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने AIME 2024, AIME 2025, और HMMT 2025 बेंचमार्क्स पर Average@12 मेट्रिक (प्रति समस्या 12 सैंपल्स पर औसत शुद्धता) का उपयोग करके PHF का मूल्यांकन किया।

प्रदर्शन लाभ (Performance Gains): एक फिक्स्ड 100-स्टेप ट्रेनिंग शेड्यूल के तहत, PHF ने रिप्रोड्यूस्ड OPSD बेसलाइन के मुकाबले Average@12 एग्रीगेट में सुधार किया:
- Qwen3-1.7B: +2.2 पॉइंट्स (40.83 $\to$ 43.06)
- Qwen3-4B: +1.5 पॉइंट्स (61.89 $\to$ 63.39)
- Qwen3-8B: +1.7 पॉइंट्स (64.26 $\to$ 65.94)
निरंतरता (Consistency): लाभ सभी स्केल्स और लगभग सभी व्यक्तिगत बेंचमार्क सेल्स में सकारात्मक रहे।
एब्लेशन स्टडीज (Ablation Studies):
- डायरेक्शन बनाम ज्यामिति: न तो डायरेक्शन-ओनली और न ही ज्यामिति-ओनली वेरिएंट्स ने सभी स्केल्स में पूर्ण PHF रेसिपी के बराबर प्रदर्शन किया, जो दर्शाता है कि दोनों घटक आवश्यक हैं।
- लेयर सिलेक्शन: एक "सिलेक्टेड लेयर्स" कंट्रोल (एक छोटे हाथ से चुने गए सबसेट को मैच करना) ने ऑल-लेयर एग्रीगेशन की तुलना में खराब प्रदर्शन किया, जो डेप्थ के माध्यम से औसत निकालने के निर्णय का समर्थन करता है।
- पॉइंटवाइज मैचिंग: पेपर नोट करता है कि पॉइंटवाइज हिडन-स्टेट मैचिंग एक प्रतिस्पर्धी बाउंड्री कंट्रोल है लेकिन ट्रांजिशन-आधारित दृष्टिकोण की तुलना में रिप्रेजेंटेशनल ड्रिफ्ट के प्रति कम रोबस्ट है।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि PHF, प्रिविलेज्ड जानकारी का अधिक स्ट्रक्चरल तरीके से उपयोग करके OPSD फ्रेमवर्क में एक मामूली लेकिन सार्थक सुधार प्रदान करता है।

प्रोसेस-लेवल सुपर्विजन: प्राथमिक महत्व यह प्रदर्शित करना है कि प्रिविलेजेड रेफरेंस एक विशिष्ट "हिडन प्रोसेस" (मॉडल अपने रोलआउट के माध्यम से कैसे आगे बढ़ता है) को प्रेरित करते हैं जिसे डिस्टिल किया जा सकता है। PHF इस प्रक्रिया को कैप्चर करता है बिना यह आवश्यकता के कि स्टूडेंट को टीचर के एब्सोल्यूट हिडन कोऑर्डिनेट्स से मैच करना पड़े।
डिप्लॉयमेंट कम्पैटिबिलिटी: रिवॉर्ड मॉडल या बाहरी वेरिफायर की आवश्यकता वाले मेथड्स के विपरीत, PHF OPSD डिप्लॉयमेंट सेटिंग को बनाए रखता है: मूल्यांकित मॉडल ऑनलाइन स्टूडेंट है, और इन्फरेंस के दौरान किसी प्रिविलेजेड जानकारी की आवश्यकता नहीं होती है।
दक्षता (Efficiency): यह विधि केवल एक स्केलर लॉस कोएफिशिएंट और एक हिडन-स्टेट स्टोरेज विंडो जोड़ती है, जिससे अतिरिक्त रोलआउट या जटिल रूटिंग मैकेनिज्म का कंप्यूटेशनल ओवरहेड बच जाता है।
दावों का दायरा: लेखक स्पष्ट हैं कि उनका साक्ष्य एक फिक्स्ड रेसिपी, एक विशिष्ट मॉडल फैमिली (Qwen3), और गणितीय तर्क कार्यों तक सीमित है। वे यह दावा नहीं करते हैं कि हिडन-फ्लो मैचिंग रीजनिंग के हर पहलू (जैसे प्रूफ क्वालिटी या कैलिब्रेशन) में सुधार करता है, बल्कि वे यह बताते हैं कि यह ऑन-पॉलिसी सेल्फ-डिस्टिलेशन में एक सुसंगत, सकारात्मक एग्रीगेट शिफ्ट प्रदान करता है।