💻 computer science

STEP-OPD: Rethinking Output Targets and Internal Dynamics in On-Policy Distillation for Diffusion Models

STEP-OPD डिफ्यूजन मॉडल्स के लिए एक नवीन ऑन-पॉलिसी डिस्टिलेशन फ्रेमवर्क है जो वेलोसिटी एक्सट्रपलेशनेशन (वेग प्रक्षेप) के माध्यम से आउटपुट लक्ष्यों को शिक्षक से आगे बढ़ाकर और आंतरिक प्रतिनिधित्व विकास को स्पष्ट रूप से संरेखित करके छात्र के सीखने को बढ़ाता है, जिससे एक एकीकृत छात्र को कंपोजिशनल अलाइनमेंट, टेक्स्ट रेंडरिंग और मानव प्राथमिकता मेट्रिक्स में सिंगल-टास्क शिक्षकों से आगे निकलने में सक्षम बनाया जा सके।

मूल लेखक: Qingyan Wei, Guangzhao Li, Xiaobing Tu, Yinggui Wang, Xiantao Zhang, Jinkui Ren, Xiaohong Liu, Linfeng Zhang

प्रकाशित 2026-08-06

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Qingyan Wei, Guangzhao Li, Xiaobing Tu, Yinggui Wang, Xiantao Zhang, Jinkui Ren, Xiaohong Liu, Linfeng Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबट को पेंटिंग करना सिखाने की कोशिश कर रहे हैं। आप केवल चाहते हैं कि वह किसी एक उत्कृष्ट कृति (masterpiece) की नकल करे नहीं; आप चाहते हैं कि वह विशेषज्ञों की एक टीम का अध्ययन करके कुछ भी बनाना सीख जाए—जैसे लैंडस्केप, पोर्ट्रेट, टेक्स्ट और जटिल दृश्य। यह डिफ्यूजन मॉडल्स (diffusion models) की दुनिया है, जो एक प्रकार का आर्टिफिशियल इंटेलिजेंस है जो रैंडम स्टैटिक नॉइज़ (static noise) को धीरे-धीरे स्पष्ट चित्रों में बदलकर चित्र बनाता है, ठीक वैसे ही जैसे एक मूर्तिकार मूर्ति को प्रकट करने के लिए पत्थर को तराशता है।

इन रोबोट्स को बेहतर बनाने के लिए, वैज्ञानिक डिस्टिलेशन (distillation) नामक तकनीक का उपयोग करते हैं। इसे एक गुरु-शिष्य संबंध के रूप में सोचें। "शिक्षक" (teacher) एक अत्यधिक प्रशिक्षित AI है जो विशिष्ट कार्यों को पूरी तरह से करने में जानता है (जैसे सटीक टेक्स्ट बनाना या जटिल निर्देशों का पालन करना)। "छात्र" (student) एक नया, एकीकृत AI है जो शिक्षक से सीखने की कोशिश करता है। अतीत में, छात्र को सिखाने का मानक तरीका यह था, "ठीक वही करो जो शिक्षक करता है।" यदि शिक्षक नीला आकाश पेंट करता है, तो छात्र को नीला आकाश ही पेंट करना चाहिए। यदि शिक्षक ब्रश को एक निश्चित तरीके से चलाता है, तो छात्र को उस सटीक गति की नकल करनी चाहिए। यह काम तो करता है, लेकिन इसकी एक सीमा है: छात्र कभी भी शिक्षक से बेहतर नहीं हो सकता क्योंकि उसे केवल नकल करने की अनुमति है, सुधार करने की नहीं।

अब, कल्पना कीजिए कि शिक्षक कह सके, "यहाँ बताया गया है कि मैं कैसे पेंट करता हूँ, लेकिन मुझे लगता है कि तुम और भी आगे जा सकते हो यदि तुम इस दिशा में थोड़ा और ज़ोर लगाओ।" यही वह बड़ा सवाल है जिसे यह पेपर हल करता है: क्या हम एक AI छात्र को केवल अपने शिक्षक की नकल करने के लिए ही नहीं, बल्कि उससे बेहतर होने के लिए सिखा सकते हैं? इस पेपर के लेखक, STEP-OPD, का मानना है कि उत्तर 'हाँ' है, लेकिन केवल तभी जब हम छात्र को सिखाने का तरीका बदल दें। उनका तर्क है कि केवल अंतिम ब्रशस्ट्रोक की नकल करना पर्याप्त नहीं है; छात्र को यह भी समझने की आवश्यकता है कि पेंटिंग के बारे में सोचते समय शिक्षक का 'मस्तिष्क' (या आंतरिक परतें) कैसे बदलता है।

समस्या: "कॉपीकैट" की सीमा (The "Copycat" Ceiling)

पेपर मौजूदा "ऑन-पॉलिसी डिस्टिलेशन" (On-Policy Distillation - OPD) विधियों में एक दोष की ओर इशारा करते हुए शुरू होता है। इन विधियों में, छात्र AI छवियों का एक पथ (trajectory) बनाता है और शिक्षक से पूछता है, "तुम आगे क्या करोगे?" छात्र फिर शिक्षक के उत्तर से मेल खाने की पूरी कोशिश करता है।

लेखक इसकी तुलना एक ऐसे छात्र से करते हैं जो शिक्षक की उत्तर पुस्तिका की नकल करके गणित सीखने की कोशिश कर रहा है। यदि शिक्षक "5" लिखता है, तो छात्र भी "5" लिखता है। समस्या यह है कि छात्र कभी यह नहीं सीख पाता कि उत्तर 5 क्यों है, और न ही वह यह सीख पाता कि क्या वह इसे और भी तेज़ी से या अधिक कुशलता से हल कर सकता था। शिक्षक एक "ऊपरी सीमा" बन जाता है। भले ही छात्र पूर्ण हो, वह कभी भी शिक्षक से बेहतर नहीं हो सकता क्योंकि लक्ष्य केवल उनके साथ मेल खाना है।

इसके अलावा, पेपर का तर्क है कि केवल अंतिम उत्तर (छवि) को देखना वैसा ही है जैसे किसी शेफ को केवल सूप के स्वाद से आंकना, बिना यह देखे कि उन्होंने सब्जियां कैसे काटीं या बर्तन को कैसे चलाया। "आंतरिक गतिशीलता" (internal dynamics)—यानी AI अपने मस्तिष्क के भीतर सूचनाओं को परत-दर-परत कैसे रूपांतरित करता है—को अनियंत्रित छोड़ दिया जाता है। छात्र गलती से सही चित्र प्राप्त कर सकता है, या अपने मस्तिष्क के एक हिस्से की गलतियों की भरपाई दूसरे हिस्से की त्रुटियों से करके, बिना दृश्य जानकारी को संसाधित करने के संरचित तरीके को वास्तव में सीखे।

समाधान: STEP-OPD

इसे ठीक करने के लिए, लेखक STEP-OPD प्रस्तावित करते हैं, जो एक नया ढांचा है जो दो चतुर तरीकों से "कॉपीकैट" की सीमा को तोड़ता है।

1. "पुश-ऑफ" (आउटपुट एक्सट्रपलेशन - Output Extrapolation)
छात्र को यह बताने के बजाय कि, "ठीक वहीं रुक जाओ जहाँ शिक्षक रुकता है," लेखक छात्र को शिक्षक और एक बुनियादी, अप्रशिक्षित "बेस" मॉडल के बीच के अंतर को देखने के लिए कहते हैं।

उपमा: कल्पना कीजिए कि बेस मॉडल एक स्थिर खड़ा व्यक्ति है। शिक्षक उसी व्यक्ति का एक रूप है जिसने दौड़ना सीख लिया है। शिक्षक और बेस मॉडल के बीच का अंतर "दौड़ने की गति" है।
चाल: मानक विधियाँ कहती हैं, "ठीक वैसे ही दौड़ो जैसे शिक्षक दौड़ता है।" STEP-OPD कहता है, "देखो कि शिक्षक उस व्यक्ति की तुलना में कितना तेज़ है जो स्थिर खड़ा है। अब, उस अतिरिक्त गति को लो और उसमें थोड़ा और जोड़ दो।"
वे इसे आउटपुट एक्सट्रपलेशन (Output Extrapolation) कहते हैं। वे शिक्षक की "वेलोसिटी" (छवि कितनी तेज़ी से और किस दिशा में बदल रही है) को लेते हैं और उसमें शिक्षक और बेस मॉडल के बीच के अंतर का एक स्केल किया हुआ संस्करण जोड़ देते हैं। यह एक नया लक्ष्य बनाता है जो शिक्षक से आगे है। यह छात्र को यह बताने जैसा है, "शिक्षक महान है, लेकिन यदि तुम उस दिशा में थोड़ा और आगे बढ़ो जिस दिशा में वे जा रहे हैं, तो तुम और भी बेहतर परिणाम प्राप्त कर सकते हो।"

2. "ब्रेन अलाइनमेंट" (रिप्रजेंटेशन चेंज अलाइनमेंट - Representation Change Alignment)
विधि का दूसरा भाग AI की आंतरिक "काटने और चलाने" (chopping and stirring) पर केंद्रित है।

उपमा: कल्पना कीजिए कि AI कई असेंबली लाइनों (परतों) वाली एक फैक्ट्री है। अंतिम उत्पाद छवि है। मानक विधियाँ केवल अंतिम उत्पाद की जाँच करती हैं। STEP-OPD लाइनों के बीच के कन्वेयर बेल्ट की जाँच करता है।
चाल: वे देखते हैं कि शिक्षक के आंतरिक "विचार" (representations) एक परत से दूसरी परत पर जाते समय कैसे बदलते हैं। फिर, वे छात्र को न केवल उस परिवर्तन की दिशा से, बल्कि उसके परिमाण (magnitude - परिवर्तन कितना बड़ा है) से भी मेल खाने के लिए मजबूर करते हैं।
यह सुनिश्चित करता है कि छात्र रूपांतरण की प्रक्रिया को सीखे, न कि केवल अंतिम परिणाम को। यह केवल एक वृत्त बनाने के बारे में नहीं, बल्कि रेखा को सुचारू और सुसंगत बनाने के लिए आवश्यक विशिष्ट कलाई की गतिविधियों को समझने के बारे में है।

उन्होंने क्या पाया

लेखकों ने इस नई विधि का परीक्षण तीन बहुत अलग कौशलों पर किया:

कंपोजिशनल अलाइनमेंट (Compositional Alignment): क्या AI कई वस्तुओं को सही स्थानों पर रख सकता है (जैसे, "एक नीले सोफे पर बिल्ली")?
टेक्स्ट रेंडरिंग (Text Rendering): क्या AI छवि के भीतर शब्दों को सही ढंग से लिख सकता है?
मानवीय प्राथमिकता (Human Preference): क्या मनुष्य छवियों को अधिक पसंद करते हैं?

परिणाम प्रभावशाली थे। जब उन्होंने DiffusionOPD नामक एक मानक विधि पर STEP-OPD लागू किया, तो छात्र का प्रदर्शन काफी बढ़ गया:

कंपोजिशनल अलाइनमेंट (GenEval) के लिए स्कोर 0.927 से बढ़कर 0.961 हो गया।
टेक्स्ट रेंडरिंग स्कोर (OCR) 0.941 से बढ़कर 0.946 हो गया।
मानवीय प्राथमिकता के लिए स्कोर भी हर श्रेणी में सुधरा।

सबसे महत्वपूर्ण बात यह है कि STEP-OPD के साथ प्रशिक्षित एकीकृत छात्र ने न केवल पुराने तरीकों को हराया; बल्कि इसने हर श्रेणी में सिंगल-टास्क शिक्षकों (single-task teachers) को भी पीछे छोड़ दिया। छात्र बिल्लियों को बनाने, टेक्स्ट लिखने और मनुष्यों को प्रसन्न करने में उन विशिष्ट विशेषज्ञों से बेहतर हो गया जिनकी उसने नकल करने की कोशिश की थी।

यह क्यों मायने रखता है

यह पेपर सुझाव देता है कि शिक्षक को एक अंतिम गंतव्य के बजाय एक मील के पत्थर के रूप में मानकर, और आंतरिक "सोचने" की प्रक्रिया पर ध्यान देकर, हम ऐसे AI मॉडल बना सकते हैं जो अपने हिस्सों के योग से अधिक सक्षम हों।

उन्होंने यह भी पाया कि "पुश" (एक्सट्रपलेशन) को सावधानीपूर्वक ट्यून करने की आवश्यकता होती है। यदि आप बहुत अधिक ज़ोर लगाते हैं, तो छात्र भ्रमित हो जाता है। उदाहरण के लिए, जटिल वस्तु प्लेसमेंट के लिए एक छोटा सा पुश (0.01) सबसे अच्छा रहा, जबकि मनुष्यों को छवियों को सुंदर दिखाने के लिए एक बड़ा पुश (0.20) सबसे अच्छा रहा। यह दर्शाता है कि विभिन्न कौशलों के लिए अलग-अलग मात्रा में "एक्स्ट्रा क्रेडिट" की आवश्यकता होती है।

संक्षेप में, STEP-OPD यह सिद्ध करता है कि एक AI छात्र केवल मास्टर के कदमों की नकल करके ही नहीं, बल्कि मास्टर की गति (momentum) और आंतरिक तंत्र को समझकर भी मास्टर बन सकता है, जिससे वह शिक्षक को पछाड़कर रचनात्मकता के नए शिखर छू सकता है।

तकनीकी सारांश: STEP-OPD

समस्या विवरण (Problem Statement)

ऑन-पॉलिसी डिस्टिलेशन (OPD) एक एकल छात्र मॉडल (student model) में कई कार्य-विशिष्ट (task-specialized) इमेज जनरेशन मॉडल्स को समेकित करने के लिए एक व्यवहार्य दृष्टिकोण के रूप में उभरा है, जो छात्र के अपने डिनोइजिंग ट्राजेक्टरीज (denoising trajectories) की निगरानी करता है। हालाँकि, मौजूदा OPD विधियाँ दो प्राथमिक सीमाओं से ग्रस्त हैं:

टीचर-मैचिंग सीलिंग (Teacher-Matching Ceiling): वर्तमान विधियाँ छात्र को केवल विज़िट किए गए स्टेट्स पर शिक्षक के आउटपुट वेलोसिटी (output velocity) से मेल खाने के लिए अनुकूलित करती हैं। यह शिक्षक को अनुकूलन उद्देश्य (optimization objective) के पूर्ण ऊपरी स्तर (upper bound) के रूप में मानता है। जैसा कि पेपर में दर्शाया गया है, मानक स्क्वेयर्ड वेलोसिटी-मैचिंग लॉस तब सटीक रूप से कम होता है जब छात्र का प्रेडिक्शन शिक्षक के प्रेडिक्शन के बराबर होता है; शिक्षक से "आगे बढ़ने" का कोई भी प्रयास लॉस को बढ़ा देता है, जिससे छात्र को शिक्षक से बेहतर क्षमता प्राप्त करने से रोका जाता है।
अल्प-नियंत्रित आंतरिक गतिकी (Under-Constrained Internal Dynamics): आउटपुट-लेवल वेलोसिटी सुपरविजन केवल एक एंडपॉइंट सिग्नल प्रदान करता है। चूंकि अंतिम वेलोसिटी सभी नेटवर्क ब्लॉक्स से प्रभावों को एकत्रित करती है, इसलिए विभिन्न परतों (layers) में रिप्रेजेंटेशन अपडेट्स में विचलन एक-दूसरे को रद्द कर सकते हैं। फलस्वरूप, एक छात्र कम आउटपुट लॉस प्राप्त कर सकता है, लेकिन वह विजुअल टोकन और कंडीशनिंग जानकारी के शिक्षक के स्ट्रक्चर्ड प्रोसेसिंग को निष्ठापूर्वक सीखने के बजाय केवल क्षतिपूर्ति (compensation) के माध्यम से इसे प्राप्त कर सकता है। यह उन क्षमताओं के हस्तांतरण को कमजोर करता है जिनके लिए परतों के बीच प्रगतिशील विकास की आवश्यकता होती है, जैसे कि एट्रिब्यूट बाइंडिंग, स्पेशियल कंपोजिशन और टेक्स्ट रेंडरिंग।

कार्यप्रणाली: STEP-ODF (Methodology: STEP-OPD)

लेखक STEP-OPD (स्टेप-वाइज आउटपुट एक्सट्रपलेशन एंड रिप्रेजेंटेशन चेंज अलाइनमेंट) प्रस्तावित करते हैं, जो एक ऐसा फ्रेमवर्क है जो छात्र के लर्निंग टारगेट को शिक्षक से आगे बढ़ाता है और आंतरिक रिप्रेजेंटेशन इवोल्यूशन पर स्पष्ट बाधाएं (constraints) पेश करता है। यह विधि दो मुख्य घटकों से मिलकर बनी है:

1. कार्य-विशिष्ट आउटपुट एक्सट्रपलेशन (Task-Specific Output Extrapolation)

शिक्षक की वेलोसिटी ( $v_{T_k}$ ) को अंतिम लक्ष्य के रूप में उपयोग करने के बजाय, STEP-OPD कार्य-विशिष्ट शिक्षक और साझा बेस मॉडल ( $v_B$ ) के बीच वेलोसिटी अंतर का उपयोग आगे के सीखने के लिए एक दिशा के रूप में करता है।

तंत्र (Mechanism): एक्सट्रपलेटेड टारगेट वेलोसिटी $\hat{v}_{k,i}$ को शिक्षक वेलोसिटी में टीचर-बेस डिफरेंस के स्केल किए गए संस्करण को जोड़कर बनाया जाता है:
$\hat{v}_{k,i} = v_{T_k,i} + \alpha_k (v_{T_k,i} - v_{B,i})$
जहाँ $\alpha_k \geq 0$ एक कार्य-विशिष्ट एक्सट्रपलेशन गुणांक (coefficient) है।
प्रभाव: जब $\alpha_k > 0$ होता है, तो लर्निंग टारगेट पोस्ट-ट्रेनिंग द्वारा पेश किए गए सुधार की दिशा में शिक्षक से आगे बढ़ जाता है। यह शिक्षक को एक निश्चित एंडपॉइंट से बदलकर आगे के अनुकूलन के लिए एक दिशात्मक मार्गदर्शक (directional guide) में बदल देता है।
ट्रेनिंग रणनीति: अस्थिरता को रोकने के लिए, $\alpha_k$ को वार्म-अप अवधि के दौरान 0 से अधिकतम मान तक धीरे-धीरे सक्रिय किया जाता है।

2. इंटरमीडिएट रिप्रेजेंटेशन चेंज अलाइनमेंट (RCA)

अल्प-नियंत्रित आंतरिक गतिकी को संबोधित करने के लिए, STEP-OPD नेटवर्क ब्लॉक्स के बीच हिडन स्टेट्स के विकास को छात्र और शिक्षक के बीच अलाइन करता है।

तंत्र: पूर्ण हिडन स्टेट्स को मैच करने के बजाय, यह विधि आसन्न (adjacent) ट्रांसफार्मर ब्लॉक्स के बीच हिडन रिप्रेजेंटेशन के परिवर्तन की दिशा और परिमाण (direction and magnitude) को अलाइन करती है। एक ब्लॉक पेयर $p=(l_0, l_1)$ के लिए, परिवर्तन को $\Delta h^p_{M,i} = h^{l_1}_{M,i} - h^{l_0}_{M,i}$ के रूप में परिभाषित किया गया है।
लॉस फंक्शन: अलाइनमेंट लॉस दो भागों से बना है:
1. डायरेक्शन लॉस (Direction Loss): छात्र और शिक्षक के टोकन-वाइज RMS-नॉर्मलाइज्ड परिवर्तनों के बीच MSE को कम करता है।
2. मैग्निट्यूड लॉस (Magnitude Loss): परिवर्तनों के लॉग-स्केल्ड RMS मैग्नीट्यूड्स के बीच स्क्वेयर्ड डिफरेंस को कम करता है।
एकीकरण: यह आंतरिक सुपरविजन सीधे शिक्षक के परिवर्तनों (एक्सट्रपलेटेड नहीं) पर लागू किया जाता है, यह सुनिश्चित करता है कि छात्र शिक्षक की विशिष्ट ट्रांसफॉर्मेशन डायनेमिक्स को सीखे, जबकि आउटपुट टारगेट को शिक्षक से अधिक होने की अनुमति दी जाती है।

अंतिम ट्रेनिंग ऑब्जेक्टिव एक्सट्रपलेटेड आउटपुट लॉस ( $L_{out}$ ) और हिडन-स्टेट चेंज लॉस ( $L_{hidden}$ ) को जोड़ता है:
$L = L_{out} + \lambda_h L_{hidden}$

मुख्य योगदान (Key Contributions)

फ्रेमवर्क प्रस्ताव: STEP-OPD का परिचय, जो एक ऑन-पॉलिसी डिस्टिलेशन फ्रेमवर्क है जो "बियॉन्ड-टीचर" लर्निंग को सक्षम बनाता है और आंतरिक रिप्रेजेंटेशन डायनेमिक्स को ट्रांसफर करता है।
आउटपुट एक्सट्रपलेशन: एक नवीन तकनीक जो बेस मॉडल और कार्य-विशिष्ट शिक्षकों के बीच वेलोसिटी अंतर का लाभ उठाकर शिक्षक से आगे के लर्निंग टारगेट्स का निर्माण करती है।
रिप्रेजेंटेशन चेंज अलाइनमेंट: इंटर-लेयर रिप्रेजेंटेशन अपडेट्स की दिशा और परिमाण को मैच करके छात्र के आंतरिक कंप्यूटेशन को सुपरवाइज करने की एक विधि, जो आउटपुट-ओनली सुपरविजन की सीमाओं को संबोधित करती है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो प्रदर्शित करते हैं कि एकीकृत छात्र मॉडल मानक OPD बेसलाइन्स और संबंधित सिंगल-टास्क टीचर्स दोनों से बेहतर प्रदर्शन करता है।

प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग Stable Diffusion 3.5 Medium पर तीन क्षमता समूहों पर किए गए: कंपोजिशनल अलाइनमेंट (GenEval), टेक्स्ट रेंडरिंग (OCR), और ह्यूमन प्रिफरेंस (PickScore, Aesthetic, HPSv2.1, ImageReward)।

प्रदर्शन लाभ: जब DiffusionOPD पर लागू किया गया, तो STEP-OPD ने GenEval ओवरऑल स्कोर को 0.927 से 0.961 और OCR स्कोर को 0.941 से 0.946 तक बढ़ा दिया। इसने सभी ह्यूमन प्रिफरेंस मेट्रिक्स में भी सुधार किया।
शिक्षकों से बेहतर प्रदर्शन: एकीकृत STEP-OPD छात्र ने तीनों क्षमता श्रेणियों में संबंधित सिंगल-टास्क टीचर्स को पछाड़ दिया (उदाहरण के लिए, GenEval पर 0.961 बनाम 0.935), जो प्रभावी क्षमता समेकन और "बियॉन्ड-टीचर" प्रदर्शन को प्रदर्शित करता है।
एब्लेशन स्टडीज (Ablation Studies):
- रिप्रेजेंटेशन चेंज अलाइनमेंट (RCA): अकेले RCA ने GenEval (0.927 $\to$ 0.959) और OCR (0.941 $\to$ 0.944) में सुधार किया, जो पुष्टि करता है कि आंतरिक सुपरविजन कंपोजिशनल और टेक्स्ट कार्यों के लिए महत्वपूर्ण है।
- आउटपुट एक्सट्रपलेशन (OE): अकेले OE ने प्रिफरेंस-आधारित मेट्रिक्स में महत्वपूर्ण लाभ प्रदान किया और GenEval/OCR में और सुधार किया, जो "बियॉन्ड-टीचर" परिकल्पना को मान्य करता है।
- संयुक्त (Combined): दोनों घटकों के संयोजन ने सबसे मजबूत परिणाम दिए।
गुणात्मक विश्लेषण (Qualitative Analysis): विजुअल तुलनाओं ने दिखाया कि STEP-OPD ने बेसलाइन्स की तुलना में अधिक सटीक प्रॉम्प्ट एडहेरेंस, बेहतर टेक्स्ट रेंडरिंग और उच्च विजुअल क्वालिटी उत्पन्न की। विशेष रूप से, RCA ने स्प्यूरियस (spurious) आंतरिक संरचनाओं को कम किया, जबकि OE ने सूक्ष्म विवरणों और मटेरियल टेक्सचर को बढ़ाया।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि STEP-OPD ऑन-पॉलिसी डिस्टिलेशन के प्रतिमान (paradigm) को टीचर मैचिंग से टीचर-गाइडेड एक्सट्रपलेशन में मौलिक रूप से बदल देता है। शिक्षक के सटीक वेलोसिटी से आउटपुट टारगेट को अलग करके और आंतरिक ट्रांसफॉर्मेशन डायनेमिक्स को स्पष्ट रूप से सुपरवाइज करके, यह विधि एक एकल छात्र मॉडल को कई विशिष्ट क्षमताओं को समेकित करने और उन व्यक्तिगत शिक्षकों से बेहतर प्रदर्शन करने में सक्षम बनाती है जिन्होंने ट्रेनिंग डेटा जेनरेट किया है। लेखक का तर्क है कि यह दृष्टिकोण आउटपुट-ओनली सुपरविजन की सीमाओं को हल करता है और जटिल, लेयर-डिपेंडेंट जेनेरेटिव क्षमताओं को स्थानांतरित करने के लिए एक मजबूत तंत्र प्रदान करता है।