🤖 machine learning

Rethinking Classifier-Free Guidance in On-Policy Diffusion Distillation

यह शोध पत्र क्लासिफायर-फ्री गाइडेंस के तहत ऑन-पॉलिसी डिफ्यूजन डिस्टिलेशन में 'नेगेटिव ब्रांच एसिमेट्री' नामक एक विफलता मोड की पहचान करता है, जहाँ नैव वेलोसिटी मैचिंग से विरोधी शाखा त्रुटियाँ (antagonistic branch errors) उत्पन्न होती हैं, और एक ब्रांच-अवेयर ऑब्जेक्टिव के रूप में 'पॉजिटिव-डायरेक्शन मैचिंग' का प्रस्ताव करता है ताकि सुदृढ़ ज्ञान हस्तांतरण को सक्षम किया जा सके।

मूल लेखक: Bingnan Li, Haozhe Wang, Haozhong Xiong, Fangtai Wu, Jinpeng Yu, Yang Shi, Jiaming Liu, Ruihua Huang

प्रकाशित 2026-07-28

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bingnan Li, Haozhe Wang, Haozhong Xiong, Fangtai Wu, Jinpeng Yu, Yang Shi, Jiaming Liu, Ruihua Huang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट कलाकार को मास्टरपीस पेंट करना सिखाने की कोशिश कर रहे हैं। आधुनिक आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन "रोबोट्स" को डिफ्यूजन मॉडल (diffusion models) कहा जाता है। ये एक मूर्तिकार की तरह काम करते हैं जो संगमरमर के ब्लॉक से टुकड़े अलग करता है: वे शोर (noise) और बिखरे हुए पिक्सेल के एक धुंधले बादल से शुरुआत करते हैं और धीरे-धीरे इसे एक स्पष्ट छवि में परिष्कृत करते हैं। यह सुनिश्चित करने के लिए कि रोबोट बिल्कुल वही पेंट करे जो आप चाहते हैं (जैसे कि "टोपी पहने हुए एक बिल्ली"), हम एक विशेष तकनीक का उपयोग करते हैं जिसे क्लासिफायर-फ्री गाइडेंस (Classifier-Free Guidance - CFG) कहा जाता है। CFG को एक सख्त कला शिक्षक के रूप में समझें जो रोबोट को एक साथ दो निर्देश देता है: एक कहता है "टोपी पहनी हुई बिल्ली पेंट करो" (पॉजिटिव निर्देश) और दूसरा कहता है "कुछ विशिष्ट पेंट मत करो" (नेगेटिव निर्देश)। रोबोट फिर इन दोनों विचारों को आपस में मिला देता है, और एक डायल का उपयोग करता है जिसे गाइडेंस स्केल (guidance scale) कहते हैं, ताकि यह तय किया जा सके कि वह सख्त निर्देश को कितना महत्व दे और अस्पष्ट निर्देश को कितना।

अब, कल्पना कीजिए कि आप इस रोबoret को तेज़ और सस्ता बनाना चाहते हैं। आप इसे हर बार शून्य से सीखने के लिए नहीं छोड़ सकते; इसमें बहुत समय लगता है। इसके बजाय, आप ऑन-पॉलिसी डिस्टिलेशन (On-Policy Distillation - OPD) नामक तकनीक का उपयोग करते हैं। यह एक मास्टर पेंटर (शिक्षक) के एक छात्र पेंटर को वास्तविक समय में काम करते हुए देखने जैसा है। जैसे ही छात्र ब्रश का एक स्ट्रोक लगाता है, शिक्षक तुरंत कहता है, "नहीं, इसे इस तरह से करो," और छात्र खुद को सुधारता है। लक्ष्य यह है कि छात्र शिक्षक की शैली को इतनी अच्छी तरह सीख ले कि वह अंततः उतना ही अच्छा पेंट कर सके, लेकिन बहुत अधिक गति से। बड़ा सवाल यह है कि जब शिक्षक उस सख्त "दो-निर्देशों" वाले मिश्रण का उपयोग कर रहा होता है (CFG), और छात्र उस मिश्रण की नकल करने की कोशिश करता है, तो क्या होता है? क्या छात्र निर्देशों को मिलाने का सही तरीका सीखता है, या वह भ्रमित हो जाता है?

महान गड़बड़ी: जब नकल करना गलत हो जाता है

इस शोध पत्र के लेखकों ने पाया कि जिस मानक तरीके से छात्र उन शिक्षकों की नकल करने की कोशिश करते हैं जो CFG का उपयोग करते हैं, वह वास्तव में एक जाल है। वे इस मानक पद्धति को "नेइव CFG-आधारित OPD" (Naive CFG-Based OPD) कहते हैं। समस्या यह है: जब शिक्षक अंतिम उत्तर देने के लिए "पॉजिटिव" और "नेगेटिव" निर्देशों को मिलाता है, तो छात्र केवल उस अंतिम मिश्रित उत्तर को देख पाता है। छात्र उस अंतिम मिश्रण से मेल खाने की कोशिश करता है, लेकिन उसे यह नहीं पता होता कि शिक्षक वहां तक कैसे पहुँचा।

कल्पना कीजिए कि शिक्षक एक स्मूदी बना रहा है। वे एक आदर्श गुलाबी पेय प्राप्त करने के लिए 70% स्ट्रॉबेरी (पॉजिटिव) और 30% केला (नेगेटिव) मिलाते हैं। छात्र उस गुलाबी पेय का स्वाद लेता है और उसकी नकल करने की कोशिश करता है। लेकिन क्योंकि छात्र को सटीक रेसिपी का पता नहीं है, इसलिए वह गलती से 40% स्ट्रॉबेरी और 60% केला मिला सकता है और फिर भी एक ऐसा गुलाबी पेय बना सकता है जो उस विशिष्ट क्षण में शिक्षक को धोखा देने के लिए पर्याप्त हो। इसे ही शोध पत्र में ब्रांच एम्बिग्युटी (branch ambiguity) कहा गया है। छात्र ने एक "डिजेनरेट सॉल्यूशन" (degenerate solution) खोज लिया है—एक ऐसी चाल जहाँ वह गलत कारणों से सही उत्तर प्राप्त करता है।

शोध पत्र दिखाता है कि यह तब ठीक काम करता है जब शिक्षक और छात्र दोनों एक ही "नेगेटिव" सामग्री (जैसे कि दोनों बेस के रूप में सादा पानी का उपयोग कर रहे हों) का उपयोग कर रहे हों। इस मामले में, छात्र और शिक्षक दोनों मिलकर सुधार करते हैं, और सब कुछ ठीक रहता है।

हालाँकि, शोध पत्र एक प्रमुख विफलता मोड पाता है जिसे नेगेटिव ब्रांच एसिमेट्री (Negative Branch Asymmetry - NBA) कहा जाता है। यह तब होता है जब शिक्षक के पास उनके "नेगेटिव" हिस्से में एक "गुप्त सामग्री" होती है जो छात्र के पास नहीं होती। उदाहरण के लिए, शायद शिक्षक अपने "नेगेटिव" विचार प्रक्रिया को निर्देशित करने के लिए एक संदर्भ फोटो देख रहा है, लेकिन छात्र उस फोटो से अनजान है। इस स्थिति में, छात्र उस अंतिम गुलाबी स्मूदी की नकल करने की कोशिश करता है, लेकिन ऐसा करने के लिए, उसे अपनी रेसिपी को बिगाड़ना पड़ता है। वह बिल्ली वाले हिस्से (पॉजिटिव पार्ट) को तो एकदम सही कर सकता है, लेकिन उसे क्षतिपूर्ति करने के लिए केले वाले हिस्से (नेगेटिव पार्ट) को बहुत खराब बनाना पड़ता है।

शोध पत्र प्रदर्शित करता है कि इन परिस्थितियों में, छात्र का सीखना एक खींचतान (tug-of-war) बन जाता है। जैसे-जैसे वे बिल्ली को बेहतर तरीके से पेंट करते हैं (पॉजिटिव एरर को कम करते हैं), वे "कुछ नहीं" वाले हिस्से को समझने में खराब होते जाते हैं (नेगेटिव एरर को बढ़ाते हैं)। त्रुटियां अंतिम मिश्रण में एक-दूसरे को रद्द कर देती हैं, जिससे शिक्षक को लगता है कि छात्र बहुत अच्छा कर रहा है। लेकिन यह एक झूठ है।

परिणाम: विनाश का डायल (The Dial of Doom)

असली समस्या तब शुरू होती है जब आप डायल घुमाते हैं। "गाइडेंस स्केल" एक ऐसी सेटिंग है जिसे आप प्रशिक्षण के बाद भी बदल सकते हैं। यदि आपने छात्र को एक विशिष्ट संख्या पर डायल सेट करके प्रशिक्षित किया है, तो उन्होंने उस विशिष्ट मिश्रण का उपयोग करके चालाकी करना सीख लिया है। लेकिन यदि आप बाद में (जैसे वास्तविक दुनिया के उपयोग के दौरान) डायल को किसी अन्य संख्या पर घुमाते हैं, तो संतुलन बदल जाता है। छात्र का "चीटिंग" वाला नुस्खा अब काम नहीं करता। शोध पत्र दिखाता है कि नेइव पद्धति से प्रशिक्षित छात्र प्रशिक्षण सेटिंग पर तो बेहतरीन प्रदर्शन करते हैं, लेकिन गाइडेंस स्केल बदलते ही वे पूरी तरह से बिखर जाते हैं, जिससे विकृत चित्र बनते हैं या वे उस शैली को खो देते हैं जिसे उन्हें सीखना चाहिए था। यह वह "अत्यधिक गिरावट" (excess degradation) है जिसके बारे में लेखक चेतावनी देते हैं—यह केवल यह नहीं है कि रोबोट खराब हो जाता है; बल्कि यह कि वह बहुत अधिक खराब हो जाता है, विशेष रूप से खराब प्रशिक्षण पद्धति के कारण।

समाधान: "पॉजिटिव-डायरेक्शन" फिक्स

इसे ठीक करने के लिए, लेखक एक नई विधि प्रस्तावित करते हैं जिसे पॉजिटिव-डायरेक्शन मैचिंग (Positive-Direction Matching - PDM) कहा जाता है। केवल अंतिम मिश्रित स्मूदी की नकल करने के बजाय, PDM छात्र को दो अलग-अलग चीजें सीखने के लिए मजबूर करता है:

पॉजिटिव प्रेडिक्शन (The Positive Prediction): "मुझे दिखाओ कि तुम बिल्ली को ठीक कैसे पेंट करते हो।"
CFG डायरेक्शन (The CFG Direction): "मुझे दिखाओ कि तुम्हारे 'बिल्ली' वाले विचार और तुम्हारे 'कुछ नहीं' वाले विचार के बीच क्या अंतर है।"

इन दोनों चीजों को अलग-अलग जांचकर, शिक्षक देख सकता है कि क्या छात्र धोखाधड़ी कर रहा है। यदि छात्र (पॉजिटिव पार्ट को ठीक करने के लिए) नेगेटिव पार्ट को बिगाड़ने की कोशिश करता है, तो शिक्षक उसे तुरंत पकड़ लेगा क्योंकि "अंतर" (डायरेक्शन) मेल नहीं खाएगा। यह छात्र को असली रेसिपी सीखने के लिए मजबूर करता है, न कि किसी ट्रिक को।

शोध पत्र ने इस परीक्षण को डेंस-टू-स्पार्स वीडियो कंट्रोल (dense-to-sparse video control) नामक कार्य पर किया, जहाँ शिक्षक एक व्यक्ति के हिलने-डुलने का पूरा वीडियो (डेंस कंट्रोल) देखता है और एक ऐसे छात्र को सिखाने की कोशिश करता है जो केवल कुछ की-फ्रेम्स (स्पार्स कंट्रोल) देखता है। परिणाम स्पष्ट थे:

नेइव छात्र गाइडेंस स्केल के प्रति बहुत संवेदनशील थे। जब स्केल बदला गया, तो उनका वीडियो कंट्रोल बिखर गया, जिसमें FID (इमेज क्वालिटी का एक माप) जैसे मेट्रिक्स कुछ मामलों में 13.49 से बढ़कर 78.20 हो गए।
PDM छात्र स्थिर रहे। गाइडेंस स्केल बदलने के बावजूद, वे उच्च-गुणवत्ता वाले वीडियो बनाना जारी रखते रहे, जिसमें FID लगभग 13–15 के आसपास बना रहा।

लेखकों ने PDM की तुलना इंडिपेंडेंट ब्रांच मैचिंग (Independent Branch Matching - IBM) नामक एक अन्य पद्धति से भी की, जो केवल छात्र को पॉजिटिव और नेगेटिव दोनों शाखाओं की अलग-अलग नकल करने के लिए कहती है बिना "डायरेक्शन" को देखे। PDM और IBM दोनों ही नेइव पद्धति से बहुत बेहतर थे, लेकिन PDM ने विभिन्न प्रकार के वीडियो कार्यों (जैसे पोज़, डेप्थ और स्क्रिबल कंट्रोल) में सबसे सुसंगत कंट्रोल फिडेलिटी प्रदान की।

निष्कर्ष

शोध पत्र यह निष्कर्ष निकालता है कि हालांकि शिक्षकों की नकल करने का पुराना तरीका (Naive OPD) प्रशिक्षण के दौरान सफल लग सकता है, लेकिन यह वास्तव में ताश के पत्तों के महल जैसा है जो सेटिंग्स बदलते ही ढह जाता है। पॉजिटिव-डायरेक्शन मैचिंग का उपयोग करके, हम एक ऐसा छात्र बना सकते हैं जो वास्तव में शिक्षक के तर्क को समझता है, जिससे वह भविष्य में गाइडेंस डायल को कितना भी बदलने पर भी विश्वसनीय और मजबूत बना रहता है। यह हमें याद दिलाता है कि AI में, केवल सही उत्तर प्राप्त करना ही काफी नहीं है; आपको यह भी सीखना होगा कि उस तक कैसे पहुँचा जाए, खासकर जब शिक्षक के पास कोई गुप्त सामग्री हो।

तकनीकी सारांश: ऑन-पॉलिसी डिफ्यूजन डिस्टिलेशन में क्लासिफायर-फ्री गाइडेंस का पुनर्मूल्यांकन

समस्या विवरण (Problem Statement)

ऑन-पॉलिसी डिस्टिलेशन (OPD) डिफ्यूजन मॉडल्स को अनुकूलित करता है, जिसमें एक स्टूडेंट मॉडल को टीचर के स्थानीय वेलोसिटी प्रेडिक्शन (local velocity predictions) को उन ट्राजेक्टरीज के साथ मैच करने के लिए प्रशिक्षित किया जाता है जो स्टूडेंट द्वारा स्वयं जनरेट की जाती हैं। जबकि आधुनिक डिफ्यूजन सिस्टम जनरेशन क्वालिटी को बेहतर बनाने के लिए क्लासिफायर-फ्री गाइडेंस (CFG) का व्यापक रूप से उपयोग करते हैं, CFG और OPD के बीच की अंतःक्रिया (interaction) अभी भी पूरी तरह से समझ से बाहर है।

मानक CFG दो अलग-अलग शाखाओं (branches) से एक गाइडेड वेलोसिटी प्रेडिक्शन ( $v_{cfg}$ ) को संयोजित करता है: एक पॉजिटिव ब्रांच ( $v_+$ ) जो टारगेट प्रॉम्प्ट पर आधारित है, और एक नेगेटिव ब्रांच ( $v_-$ ) जो नल (null) या नेगेटिव प्रॉम्प्ट पर आधारित है। गाइडेड वेलोसिटी को $v_{cfg} = \gamma v_+ + (1-\gamma)v_-$ के रूप में परिभाषित किया गया है, जहाँ $\gamma$ गाइडेंस स्केल है।

मौजूदा OPD विधियाँ आमतौर पर इस संयोजित प्रेडिक्शन को वेलोसिटी मैचिंग के रूप में विस्तारित करती हैं, जिससे $\|v_{cfg}^T - v_{cfg}^S\|_2^2$ लॉस को कम किया जाता है। लेखक इस दृष्टिकोण में एक महत्वपूर्ण दोष की पहचान करते हैं: ब्रांच-लेवल अंडर-आइडेंटिफिकेशन (branch-level under-identification)। क्योंकि लॉस केवल दोनों शाखाओं के लीनियर कॉम्बिनेशन को ही सीमित करता है, इसलिए पॉजिटिव और नेगेटिव ब्रांच की त्रुटियाँ ( $e_+$ और $e_-$ ) एक-दूसरे की भरपाई कर सकती हैं। विशेष रूप से, स्थिति $\gamma e_+ + (1-\gamma)e_- = 0$ अनंत गैर-शून्य एरर पेयर्स (non-zero error pairs) को स्वीकार करती है।

यह अस्पष्टता एक विफलता मोड की ओर ले जाती है जिसे नेगेटिव ब्रांच एसिमेट्री (Negative Branch Asymmetry - NBA) कहा जाता है। उन परिदृश्यों में जहाँ टीचर के पास अपनी नेगेटिव ब्रांच में "विशेषाधिकार प्राप्त जानकारी" (जैसे संदर्भ चित्र या सघन नियंत्रण संकेत) होती है जो स्टूडेंट के पास नहीं होती, नैव (naive) कंपोज्ड ऑब्जेक्टिव विरोधी डायनेमिक्स (antagonistic dynamics) उत्पन्न करता है: प्रशिक्षण प्रक्रिया पॉजिटिव ब्रांच की त्रुटि को कम करती है जबकि साथ ही नेगेटिव ब्रांच की त्रुटि को बढ़ा देती है। हालांकि यह क्षतिपूर्ति (compensation) ट्रेनिंग गाइडेंस स्केल पर कम लॉस दे सकती है, लेकिन यह तब काफी खराब हो जाती है जब इसे विभिन्न इन्फरेंस गाइडेंस स्केल्स पर इवैल्यूएट किया जाता है, क्योंकि सीखी गई एरर क्षतिपूर्ति अब प्रभावी नहीं रहती।

कार्यप्रणाली (Methodology)

ब्रांच अस्पष्टता को हल करने और एरर क्षतिपूर्ति को रोकने के लिए, लेखक पॉजिटिव-डायरेक्शन मैचिंग (Positive–Direction Matching - PDM) प्रस्तावित करते हैं, जो एक ब्रांच-अवेयर OPD ऑब्जेक्टिव है।

1. पॉजिटिव-डायरेक्शन मैचिंग (PDM)

कंपोज्ड गाइडेड वेलोसिटी को मैच करने के बजाय, PDM अलग-अलग रूप से इन्हें नियंत्रित करता है:

पॉजिटिव प्रेडिक्शन: सीधे पॉजिटिव ब्रांच वेलोसिटी ( $v_+$ ) को मैच करना।
CFG कंडीशनल डायरेक्शन: डिफरेंस वेक्टर $d = v_+ - v_-$ को मैच करना।

लॉस फंक्शन को इस प्रकार तैयार किया गया है:
$\mathcal{L}_{PDM} = \|e_+\|_2^2 + \lambda \|d_T - d_S\|_2^2 = \|e_+\|_2^2 + \lambda \|e_+ - e_-\|_2^2$
जहाँ $\lambda > 0$ डायरेक्शन मैचिंग की शक्ति को नियंत्रित करता है। PDM में जीरो लॉस का अर्थ है कि $e_+$ और $e_-$ दोनों का शून्य होना, जिससे त्रुटियों के एक-दूसरे की भरपाई करने की स्वतंत्रता समाप्त हो जाती है।

2. इंडिपेंडेंट ब्रांच मैचिंग (Independent Branch Matching - IBM)

PDM के विशिष्ट डिज़ाइन से ब्रांच-लेवल सुपरविजन के लाभों को अलग करने के लिए, लेखक IBM पेश करते हैं। यह विधि विस्तारित नैव ऑब्जेक्टिव से प्राप्त वेट्स का उपयोग करके सीधे पॉजिटिव और नेगेटिव शाखाओं को मैच करती है:
$\mathcal{L}_{IBM} = \gamma^2 \|e_+\|_2^2 + (\gamma - 1)^2 \|e_-\|_2^2$
PDM के विपरीत, IBM स्पष्ट रूप से कंडीशनल डायरेक्शन को लागू नहीं करता है, लेकिन यह नैव कंपोज्ड लॉस में मौजूद क्रॉस-ब्रांच इंटरैक्शन टर्म को हटा देता है।

3. वीडियो के लिए कुशल पर्यवेक्षण (Efficient Supervision for Video)

डेंस-टू-स्पार्स वीडियो कंट्रोल अनुप्रयोगों के लिए, लेखक छात्र के डिनोइजिंग ट्राजेक्टरी के पूरे पथ के बजाय केवल पहले $K$ स्टेट्स को सुपरवाइज करने का प्रस्ताव देते हैं। यह टीचर के इवैल्यूएशन की कम्प्यूटेशनल लागत को कम करता है और प्रदर्शन को बनाए रखता है।

मुख्य योगदान (Key Contributions)

ब्रांच अस्पष्टता की पहचान: पेपर यह स्थापित करता है कि CFG-कंपोज्ड OPD ब्रांच स्तर पर अंडर-आइडेंटिफाइड है। यह सिद्ध करता है कि यह अस्पष्टता साझा नेगेटिव कंडीशनिंग (जहाँ टीचर और स्टूडेंट दोनों समान नल कंडीशन साझा करते हैं) के तहत हानिरहित है, लेकिन प्रिविलेज्ड नेगेटिव कंडीशनिंग के तहत हानिकारक हो जाती है, जिससे NBA होता है।
नेगेटिव ब्रांच एसिमेट्री (NBA): लेखक NBA को एक विफलता मोड के रूप में परिभाषित करते हैं जहाँ नैव मैचिंग पॉजिटिव ब्रांच एरर को कम करती है जबकि नेगेटिव ब्रांच एरर को बढ़ा देती है, जिससे इन्फरेंस गाइडेंस स्केल्स के प्रति अत्यधिक संवेदनशीलता पैदा होती है।
पॉजिटिव-डायरेक्शन मैचिंग (PDM): एक नया, ब्रांच-अवेयर ऑब्जेक्टिव जो पॉजिटिव प्रेडिक्शन और CFG कंडीशनल डायरेक्शन को अलग-अलग सुपरवाइज करता है। यह क्रॉस-ब्रांच एरर क्षतिपूर्ति को रोकता है और आइडेंटिफिएबल सुपरविजन को बहाल करता है।
अनुभवजन्य सत्यापन (Empirical Validation): अध्ययन इमेज और वीडियो डोमेन में मात्रात्मक प्रमाण प्रदान करता है, जो दिखाता है कि ब्रांच-अवेयर सुपरविजन, विशेष रूप से उन सेटिंग्स में जहाँ टीचर के पास ऐसी जानकारी होती है जो स्टूडेंट के पास नहीं है, रोबस्टनेस और नॉलेज ट्रांसफर में सुधार करता है।

प्रयोगात्मक परिणाम (Experimental Results)

इमेज-डोमेन डायग्नोस्टिक्स

लेखकों ने ब्रांच-एरर डायनेमिक्स का निदान करने के लिए दो नियंत्रित प्रयोग किए:

टेक्स्ट-रेंडरिंग डिस्टिलेशन (साझा कंडीशनिंग): यहाँ टीचर और स्टूडेंट दोनों एक ही नेगेटिव कंडीशन साझा करते हैं। यहाँ, नैव मैचिंग और PDM दोनों ही जॉइंट रूप से पॉजिटिव और नेगेटिव ब्रांच एरर्स को कम करते हैं। स्टूडेंट टीचर की इनट्रिन्सिक CFG सेंसिटिविटी को ट्रैक करता है, जो पुष्टि करता है कि इस रिजीम में अस्पष्टता हानिरहित है।
रेफरेंस-कंडीशनड डिस्टिलेशन (प्रिविलेज्ड कंडीशनिंग): टीचर अपनी नेगेटिव ब्रांच में एक रेफरेंस इमेज प्राप्त करता है, जबकि स्टूडेंट को नहीं।
- नैव मैचिंग: इसमें विरोधी डायनेमिक्स दिखते हैं, जो $e_+$ को कम करते हुए $e_-$ को बढ़ा देते हैं।
- PDM: $e_+$ को सफलतापूर्वक कम करता है जबकि $e_-$ के बढ़ने को रोकता है।
- गाइडेंस सेंसिटिविटी: इन्फरेंस के दौरान, $\gamma=2$ पर प्रशिक्षित नैव स्टूडेंट्स $\gamma=1$ पर टेस्ट किए जाने पर काफी खराब प्रदर्शन करते हैं (स्टाइल ड्रिफ्ट और डिस्टॉर्शन दिखाते हैं), जबकि PDM स्टूडेंट्स स्थिर रहते हैं और विभिन्न स्केल्स पर टीचर के व्यवहार का बारीकी से पालन करते हैं।

डेंस-टू-स्पार्स वीडियो कंट्रोल

इस पद्धति को Wan-VACE बेंचमार्क पर लागू किया गया, जहाँ टीचर डेंस प्रति-फ्रेम कंट्रोल (पोज़, डेप्थ, स्क्रिबल) देखता है और स्टूडेंट केवल स्पार्स कीफ्रेम्स प्राप्त करता है।

कंट्रोल फिडेलिटी: ट्रेनिंग गाइडेंस स्केल ( $\gamma=5$ ) पर, PDM ने MPJPE, PCK और FVD जैसे मेट्रिक्स में नैव OPD, SFT और ऑफ-पॉलिसी डिस्टिलेशन की तुलना में बेहतर प्रदर्शन किया।
गाइडेंस-स्केल जनरलाइजेशन: जब ट्रेनिंग से भिन्न इन्फरेंस स्केल्स (जैसे $\gamma=1$ या $\gamma=3$ ) पर टेस्ट किया गया, तो नैव OPD का प्रदर्शन तेजी से गिरा। इसके विपरीत, PDM और IBM स्थिर रहे, जो दर्शाता है कि ब्रांच-अवेयर सुपरविजन कंपोज्ड मैचिंग से प्रेरित अत्यधिक संवेदनशीलता को कम करता है।
दक्षता (Efficiency): ट्राजेक्टरी के केवल पहले $K=8$ स्टेट्स को सुपरवाइज करने से कंट्रोल फिडेलिटी और ट्रेनिंग कॉस्ट के बीच सबसे अच्छा संतुलन मिला, जिससे फुल-ट्राजेक्टरी सुपरविजन के समान परिणाम प्राप्त हुए और कंप्यूटेशन में काफी कमी आई।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि ऑन-पॉलिसी डिस्टिलेशन में CFG-कंपोज्ड प्रेडिक्शंस को मैच करने का मानक अभ्यास मौलिक रूप से त्रुटिपूर्ण है जब टीचर और स्टूडेंट के पास नेगेटिव ब्रांच में सूचना तक असमान पहुंच होती है। लेखक तर्क देते हैं कि नेगेटिव ब्रांच एसिमेट्री एक विशिष्ट विफलता मोड है जो गाइडेंस स्केल परिवर्तनों के प्रति अत्यधिक संवेदनशीलता के रूप में प्रकट होता है।

इस कार्य का महत्व निम्नलिखित में निहित है:

एक सैद्धांतिक ब्लाइंड स्पॉट को ठीक करना: यह पहचानता है कि "गाइडेड आउटपुट को मैच करना" पर्याप्त नहीं है जब अंतर्निहित शाखाएं (branches) सममित रूप से बाधित (symmetrically constrained) नहीं होती हैं।
मजबूत ज्ञान हस्तांतरण: ब्रांच-लेवल बाधाओं (PDM के माध्यम से) को लागू करके, स्टूडेंट टीचर के कंडीशनल लॉजिक का अधिक निष्ठावान प्रतिनिधित्व सीखता है, जिससे विभिन्न इन्फरेंस स्थितियों में मजबूत प्रदर्शन मिलता है।
व्यावहारिक प्रयोज्यता: प्रस्तावित विधि जटिल जनरेशन कार्यों जैसे वीडियो कंट्रोल के लिए सीधे तौर पर लागू है, जहाँ टीचर्स अक्सर प्रिविलेज्ड कॉन्टेक्स्ट (डेंस फ्रेम्स) रखते हैं जिसे स्टूडेंट्स को स्पार्स इनपुट्स से अनुमानित करना होता है।

लेखक विनम्रतापूर्वक नोट करते हैं कि हालांकि PDM अनुभवजन्य रूप से IBM से बेहतर प्रदर्शन करता है, लेकिन अन्य ब्रांच-अवेयर फॉर्मुलेशन (जैसे IBM) की तुलना में PDM के विशिष्ट लाभ के सैद्धांतिक कारण भविष्य के कार्य के लिए एक खुला प्रश्न बने हुए हैं। प्राथमिक योगदान विफलता मोड की पहचान करना और यह प्रदर्शित करना है कि पॉजिटिव ब्रांच और कंडीशनल डायरेक्शन के सुपरविजन को अलग करने से यह समस्या हल हो जाती है।