🤖 AI

Diff-Instruct with Diffused Reward: Towards Principled One-step Generator RL

यह शोध पत्र डिफ्यूज़्ड रिवॉर्ड (DIDR) के साथ Diff-Instruct का प्रस्ताव करता है, जो एक डेटा-मुक्त ढांचा है जो डिफ्यूजन प्रक्षेपवक्र (trajectory) में रिवॉर्ड-टिल्टेड वितरणों को प्रसारित करके एक-चरण वाले इमेज जनरेटरों को मानवीय प्राथमिकताओं के साथ संरेखित करता है, जिससे मौजूदा बेसलाइन और यहाँ तक कि मल्टी-स्टेप टीचर्स की तुलना में भी बेहतर दक्षता और इमेज फिडेलिटी प्राप्त होती है।

मूल लेखक: Junyi Wu, Weijian Luo, Haoyang Zheng, Runzhe Zhang, Guang Lin Haoyang Zheng Runzhe Zhang Guang Lin

प्रकाशित 2026-05-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Junyi Wu, Weijian Luo, Haoyang Zheng, Runzhe Zhang, Guang Lin Haoyang Zheng Runzhe Zhang Guang Lin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र को एक एकल विवरण के आधार पर एक उत्कृष्ट कृति (masterpiece) बनाना सिखा रहे हैं, जैसे कि "एक बाड़ पर बैठी बिल्ली।"

AI आर्ट की दुनिया में, यह करने के दो मुख्य तरीके हैं:

धीमा, सावधान शिक्षक: कई छोटे चरणों में काम लेता है, एक धुंधले स्केच को धीरे-धीरे परिष्कृत (refine) करता है जब तक कि वह एक स्पष्ट, सुंदर छवि न बन जाए। यह पारंपरिक "मल्टी-स्टेप" विधि है। यह उच्च गुणवत्ता वाली है लेकिन धीमी है।
तेज़ छात्र: एक खाली कैनवास से सीधे तैयार पेंटिंग तक एक विशाल छलांग लगाने की कोशिश करता है। यह "वन-स्टेप" विधि है। यह अविश्वसनीय रूप से तेज़ है (रियल-टाइम!), लेकिन परिणाम अक्सर थोड़ा अजीब, धुंधला या उपयोगकर्ता द्वारा चाही गई चीज़ से अलग होता है।

यह पेपर Didr (Diff-Instruct with Diffused Reward) नामक एक नई प्रशिक्षण विधि पेश करता है जो इस "तेज़ छात्र" को सुधारने के लिए है।

समस्या: "कक्षा के अंत" का जाल (The "End-of-Class" Trap)

पहले, तेज़ छात्र को बेहतर पेंटिंग करना सिखाने के लिए, शोधकर्ताओं ने एक तकनीक का उपयोग किया जो Reinforcement Learning (RLHF) के समान थी। वे छात्र को पेंट करने देते थे, अंतिम परिणाम की जाँच करते थे, और कहते थे, "अच्छा काम किया, यह अच्छा लग रहा है!" या "बुरा काम किया, यह अजीब लग रहा है।"

पेपर तर्क देता है कि इस दृष्टिकोण में एक घातक दोष है जिसे "टर्मिनल रिवॉर्ड डोमिनेशन" (Terminal Reward Domination) कहा जाता है।

उपमा (Analogy):
कल्पना कीजिए कि एक छात्र अंतिम परीक्षा दे रहा है। शिक्षक कहता है, "मुझे केवल अंतिम पृष्ठ पर दिए गए सही उत्तर की परवाह है। मुझे इस बात से कोई फर्क नहीं पड़ता कि तुम वहां तक कैसे पहुंचे।"

परिणाम: छात्र को एहसास होता है कि वह नकल कर सकता है। गणित सीखने के बजाय, वह शायद कुछ रैंडम नंबर लिख देता है जो मशीन को "सही" उत्तर जैसा दिखता है, भले ही उसका तर्क निरर्थक हो।
AI के संदर्भ में: AI "शोर" (इमेज जनरेशन प्रक्रिया में मौजूद रैंडम स्टैटिक) का फायदा उठाना सीख जाता है। वह एक अजीब, उच्च-रिवॉर्ड पैटर्न खोज लेता है जो स्कोरिंग सिस्टम को तो धोखा दे देता है, लेकिन परिणाम स्वरूप एक धुंधली, विकृत छवि बनती है जो वास्तव में बिल्ली जैसी नहीं दिखती। यह स्कोर बढ़ाने के लिए फिडेलिटी (यथार्थवाद) का बलिदान दे देता है।

समाधान: "डिफ्यूज्ड रिवॉर्ड" (The "Diffused Reward")

लेखक एक स्मार्ट तरीका प्रस्तावित करते हैं। केवल अंतिम पेंटिंग को ग्रेड करने के बजाय, वे छात्र को पेंटिंग के प्रत्येक चरण पर ग्रेड करते हैं।

उपमा:
कल्पना कीजिए कि शिक्षक पेंटिंग के हर चरण में कक्षा में आता है:

चरण 1 (धुंधला स्केच): "ठीक है, आकार मोटे तौर पर सही हैं, लेकिन रंग थोड़े गलत हैं। आइए उन्हें 'अच्छे' दिशा की ओर थोड़ा मोड़ें।"
चरण 2 (अधिक विवरण): "अच्छा है, आँखें बन रही हैं। 'बिल्ली' वाले लुक की ओर बढ़ते रहें।"
चरण 3 (अंतिम पॉलिश): "परफेक्ट। अंतिम छवि बहुत अच्छी है।"

इस पेपर में इसे "डिफ्यूज्ड रिवॉर्ड" कहा गया है। वे अंतिम छवि की "अच्छाई" (रिवॉर्ड) को गणितीय रूप से सभी धुंधले, शोर वाले चरणों में पीछे की ओर "फैलाते" (diffuse) हैं। यह सुनिश्चित करता है कि AI को केवल अंत में ही नहीं, बल्कि हर चरण में सही ढंग से निर्देशित किया जाए।

यह कैसे काम करता है (द "प्रॉक्सी" ट्रिक)

"प्रत्येक चरण पर मार्गदर्शन" की गणना करना गणितीय रूप से बहुत कठिन है क्योंकि इसके लिए यह जानना आवश्यक है कि छवि वहां तक पहुँचने के लिए किस सटीक पथ का अनुसरण करती है।

इसे हल करने के लिए, लेखकों ने एक "डिफ्यूज्ड रिवॉर्ड प्रॉक्सी" (DRP) का आविष्कार किया।

उपमा: कल्पना कीजिए कि आप किसी गंतव्य तक पहुँचने के लिए सबसे अच्छा रास्ता जानना चाहते हैं, लेकिन आप पूरे मानचित्र को नहीं देख सकते। अनुमान लगाने के बजाय, आप अपने वर्तमान स्थान से 4 छोटे ड्रोन (शॉर्ट डिनोइजिंग चेन्स) भेजते हैं। वे कुछ चरणों के लिए तेजी से आगे उड़ते हैं ताकि यह देख सकें कि "सर्वश्रेष्ठ" पथ कैसा दिखता है, फिर वे वापस आते हैं और आपको बताते हैं, "हे, अगर आप इस तरफ जाएंगे, तो आपको बेहतर स्कोर मिलेगा।"
AI अपने मार्ग को तुरंत समायोजित करने के लिए इन "ड्रोन रिपोर्टों" का उपयोग करता है, बिना हर बार एक पूरी छवि बनाए।

परिणाम: तेज़ और अच्छा

इस पेपर ने दो अलग-अलग AI मॉडलों (SDXL और Z-Image) पर इस नई विधि (Didr) का परीक्षण किया।

पुराने "तेज़" तरीकों से बेहतर: Didr ने लगातार ऐसी छवियां बनाईं जो पिछले वन-स्टेप तरीकों की तुलना में अधिक सुंदर (उच्च मानव प्राथमिकता स्कोर) और अधिक यथार्थवादी (बेहतर इमेज क्वालिटी) थीं।
"धीमे" शिक्षकों को मात देना: एक आश्चर्यजनक मोड़ में, Didr के साथ प्रशिक्षित नया वन-स्टेप मॉडल मानव प्राथमिकता के मामले में 50-स्टेप वाले "धीमे" टीचर मॉडल्स के स्तर की गुणवत्ता से मेल खाने या उनसे भी बेहतर प्रदर्शन करने में सक्षम रहा, लेकिन उसने यह सब केवल एक सिंगल स्टेप में कर दिखाया।

सारांश

यह पेपर उस समस्या को हल करता है जहाँ तेज़ AI आर्ट जेनरेटर केवल अंतिम स्कोर पर ध्यान केंद्रित करके "चीटिंग" करते थे, जिससे धुंधली या अजीब छवियां बनती थीं। AI को सिखाकर कि वह निर्माण प्रक्रिया के हर चरण में "रिवॉर्ड" की परवाह करे (एक स्मार्ट शॉर्टकट जिसे 'प्रॉक्सी' कहा जाता है), उन्होंने एक ऐसा जेनरेटर बनाया है जो तेज़ भी है और उच्च गुणवत्ता वाला भी, जो ऐसी छवियां बनाने में सक्षम है जिन्हें मनुष्य धीमे और अधिक जटिल मॉडलों की तुलना में अधिक पसंद करते हैं।

तकनीकी सारांश: डिफ्यूज़्ड रिवॉर्ड के साथ डिफ़-इंस्ट्रक्ट (Didr)

समस्या विवरण

हाल के एक-चरण (one-step) टेक्स्ट-टू-इमेज (T2I) जनरेटरों के विकास ने लेटेंट नॉइज़ को एकल फॉरवर्ड पास में सीधे छवियों में मैप करके वास्तविक समय के संश्लेषण (real-time synthesis) को सक्षम किया है। हालाँकि, इन जनरेटर्स को मानव प्राथमिकताओं (human preferences) के साथ संरेखित करने के लिए सुदृढीकरण शिक्षण (Reinforcement Learning - RL) एक मौलिक संरचनात्मक चुनौती प्रस्तुत करता है।

एक-चरण RLHF के लिए पिछले तरीके (जैसे, Diff-Instruct*, Diff-Instruct++) इमेज-स्पेस रिवॉर्ड ऑप्टिमाइज़ेशन को लेटेंट-स्पेस डिस्ट्रीब्यूशन मैचिंग के साथ जोड़ते हैं। ये दृष्टिकोण आमतौर पर क्लीन इमेज एंडपॉइंट ( $x_0$ ) पर विशेष रूप से प्राथमिकता संकेतों (रिवॉर्ड्स) को लागू करते हैं, जबकि पूरे नॉइज़ी डिफ्यूजन ट्राजेक्टरी (trajectory) में रेफरेंस डिस्ट्रीब्यूशन के विरुद्ध क्लैबैक-लिबलर (Kullback-Leibler - KL) रेगुलराइजेशन लागू करते हैं। लेखक इस प्रतिमान (paradigm) में एक महत्वपूर्ण संरचनात्मक बेमेल (structural mismatch) की पहचान करते हैं: रिवॉर्ड केवल टर्मिनल स्टेट पर कार्य करता है, जबकि रेगुलराइज़र सभी नॉइज़ लेवल्स पर फैला होता है।

यह बेमेल एक विफलता मोड की ओर ले जाता है जिसे टर्मिनल रिवॉर्ड डोमिनेशन (terminal reward domination) कहा जाता है। क्योंकि फॉरवर्ड नॉइज़ स्वाभाविक रूप से इमेज डिटेल्स को मास्क कर देता है, इसलिए मोड डाइवर्जेंस (mode divergence) के विरुद्ध KL रेगुलराइजेशन पेनल्टी उच्च नॉइज़ लेवल्स पर काफी कमजोर हो जाती है। इसके परिणामस्वरूप, ऑप्टिमाइज़र इस ट्राजेक्टरी भेद्यता (vulnerability) का लाभ उठाते हैं, और पर्याप्त KL पेनल्टी के बिना ही हाई-रिवॉर्ड क्षेत्रों पर ढहने (collapse) के लिए रेफरेंस डिस्ट्रीब्यूशन को छोड़ देते हैं। इसका परिणाम बेहतर रिवॉर्ड स्कोर के रूप में निकलता है, लेकिन अक्सर इमेज फिडेलिटी (fidelity) और डिस्ट्रीबशनल स्टेबिलिटी की कीमत पर।

कार्यप्रणाली: डिफ्यूज़्ड रिवॉर्ड के साथ डिफ़-इंस्ट्रक्ट (Didr)

इस मिसअलाइनमेंट को हल करने के लिए, लेखक Did-r प्रस्तावित करते हैं, जो इंटीग्रल KL (Integral KL - IKL) मिनिमाइजेशन से व्युत्पन्न एक डेटा-मुक्त, ट्राजेक्टरी-लेवल अलाइनमेंट फ्रेमवर्क है। मुख्य अंतर्दृष्टि यह है कि RLHF-ऑप्टिमल रिवॉर्ड-टिल्टेड क्लीन-इमेज डिस्ट्रीब्यूशन को डिफ्यूजन ट्राजेक्टरी के सभी नॉइज़ लेवल्स में व्यवस्थित रूप से प्रसारित (propagate) किया जाए।

1. सिद्धांत आधारित ट्राजेक्टरी लक्ष्य (The Principled Trajectory Target)

यह विधि क्लीन इमेजेस के लिए KL-रेगुलराइज्ड RLHF के तहत सही अलाइनमेंट लक्ष्य स्थापित करके शुरू होती है। ऑप्टिमल क्लीन-इमेज डिस्ट्रीब्यूशन $q^*(x_0|c)$ रिवॉर्ड-टिल्टेड डेंसिटी है:
$q^*(x_0|c) \propto q_0(x_0|c) \exp(r(x_0, c)/\tau)$
जहाँ $q_0$ रेफरेंस डिस्ट्रीब्यूशन है, $r$ रिवॉर्ड फंक्शन है, और $\tau$ एक टेम्परेचर पैरामीटर है।

केवल $x_0$ पर रिवॉर्ड लगाने के बजाय, Didr इस ऑप्टिमल लक्ष्य को पूर्ण ट्राजेक्टरी तक "लिफ्ट" करता है, जो रेफरेंस फॉरवर्ड प्रोसेस के माध्यम से $q^*$ को डिफ्यूज करता है। इससे प्रत्येक नॉइज़ लेवल पर परिभाषित रिवॉर्ड-टिल्टेड मार्जिनल्स (reward-tilted marginals) $\{q^*_t\}_{t \in [0, T]}$ प्राप्त होते हैं:
$q^*_t(x_t|c) = \int q_t(x_t|x_0) q^*(x_0|c) dx_0$
लेखक सिद्ध करते हैं कि जनरेटर के मार्गिनल्स और इन रिवॉर्ड-टिल्टेड मार्गिनल्स के बीच इंटीग्रल KL डाइवर्जेंस को कम करना, मानक KL-रेगुलराइज्ड RLHF ऑब्जेक्टिव के समान ही मिनिमाइज़र साझा करता है। यह सुनिश्चित करता है कि रिवॉर्ड और रेगुलराइजेशन हर नॉइज़ लेवल पर संतुलित रहें, जिससे टर्मिनल रिवॉर्ड डोमिनेशन को रोका जा सके।

2. डिफ्यूज़्ड रिवॉर्ड स्कोर (DRS)

IKL ऑब्जेक्टिव को डिफरेंशिएट करके, लेखक लक्षित स्कोर फंक्शन (target score function) प्राप्त करते हैं। ऑप्टिमल स्कोर दो घटकों में विभाजित होता है:
$s_{target} = s_{ref} + s_r$
जहाँ $s_{ref}$ रेफरेंस स्कोर फंक्शन है, और $s_r$ डिफ्यूज़्ड रिवॉर्ड स्कोर (DRS) है। DRS एक रिवॉर्ड-ड्रिवन करेक्शन टर्म के रूप में कार्य करता है जो प्रत्येक नॉइज़ लेवल पर परिभाषित है:
$s_r(x_t, t, c) = \nabla_{x_t} \log \mathbb{E}_{x_0 \sim q(x_0|x_t, c)} \left[ \exp\left(\frac{r(x_0, c)}{\tau}\right) \right]$
क्लासिफायर गाइडेंस (जो कि एक फर्स्ट-ऑर्डर एप्रोक्सिमेशन है) के विपरीत, DRS पूर्ण लॉग-एक्सपोनेंशियल टिल्ट को बनाए रखता है, और प्राथमिकता संबंधी जानकारी को केवल वहीं प्रसारित करता है जहाँ नॉइज़ी ऑब्जर्वेशन से क्लीन इमेज की पहचान संभव हो।

3. डिफ्यूज़्ड रिवॉर्ड प्रॉक्सी (DRP)

चूंकि DRS के लिए एक इंट्रैक्टेबल (intractable) पोस्टीरियर एक्सपेक्टेशन $q(x_0|x_t, c)$ की आवश्यकता होती है, इसलिए लेखक इसे व्यावहारिक बनाने के लिए डिफ्यूज़्ड रिवॉर्ड प्रॉक्सी (DRP) पेश करते हैं। DRP, फ्रोजन रेफरेंस मॉडल का उपयोग करके डिफरेंशिएबल शॉर्ट-स्टेप डिनोइजिंग चेन्स के माध्यम से पोस्टीरियर एक्सपेक्टेशन का अनुमान लगाता है।

मैकेनिज्म: एक नॉइज़ी स्टेट $x_t$ से, यह विधि फ्रोजन रेफरेंस मॉडल का उपयोग करके $K$ स्वतंत्र $S$ -स्टेप डिनोइजिंग चेन्स चलाती है ताकि अनुमानित क्लीन सैंपल्स $\{\hat{x}^{(k)}_0\}$ जेनरेट किए जा सकें।
ग्रेडिएंट एस्टीमेशन: DRS को पाथवाइज रिवॉर्ड ग्रेडिएंट्स के सॉफ्टमैक्स-वेटेड एवरेज के रूप में अनुमानित किया जाता है:
$\hat{s}_r(x_t, t, c) = \frac{1}{\tau} \sum_{k=1}^K \omega^{(k)} \nabla_{x_t} r(\hat{x}^{(k)}_0, c)$
जहाँ वेट्स $\omega^{(k)}$ , $\exp(r(\hat{x}^{(k)}_0, c)/\tau)$ के समानुपाती हैं।
दक्षता (Efficiency): यह दृष्टिकोण रिवॉर्ड ग्रेडिएंट्स को बिना रेफरेंस मॉडल एक्टिवेशन्स स्टोर किए या इमेज ट्रेनिंग डेटा की आवश्यकता के, ट्राजेक्टरी के माध्यम से स्थिर रूप से बैक-प्रोपगेट करने की अनुमति देता है।

4. ट्रेनिंग फ्रेमवर्क

प्रशिक्षण प्रक्रिया दो चरणों में बारी-बारी से चलती है:

टीचिंग असिस्टेंट (TA) अपडेट: एक TA स्कोर मॉडल ( $s_\psi$ ) को जनरेटर के विकसित होते मार्गिनल्स को ट्रैक करने के लिए डिनोइजिंग स्कोर मैचिंग (DSM) के माध्यम से प्रशिक्षित किया जाता है, जो इम्प्लिसिट जनरेटर स्कोर का सरोगेट (surrogate) है।
जेनेरेटर अपडेट: जनरेटर ( $g_\theta$ ) को IKL ऑब्जेक्टिव के ग्रेडिएंट का उपयोग करके अपडेट किया जाता है, जो TA स्कोर की तुलना CFG-करेक्टेड रेफरेंस स्कोर और DRP एस्टीमेट के योग से करता है।

मुख्य योगदान

टर्मिनल रिवॉर्ड डोमिनेशन की पहचान: यह पेपर पूर्ववर्ती एक-चरण RLHF विधियों में एक संरचनात्मक विफलता मोड का औपचारिक रूप से विश्लेषण और पहचान करता है, जहाँ ऑप्टिमाइज़र रिवॉर्ड बैलेंस का उल्लंघन करते हुए हाई-रिवॉर्ड क्षेत्रों पर ढह जाते हैं।
सिद्धांत आधारित ट्राजेक्टरी-लेवल अलाइनमेंट: लेखक Didr प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो रिवॉर्ड-टिल्टेड क्लीन-इमेज डेंसिटी को फॉरवर्ड प्रोपगेट करके एक गणितीय रूप से सुदृढ़ ट्राजेक्टरी-लेवल लक्ष्य प्राप्त करता है। यह सुनिश्चित करता है कि रिवॉर्ड और रेगुलराइजेशन हर नॉइज़ लेवल पर संतुलित हों।
DRS का विश्लेषणात्मक व्युत्पन्न: पेपर विश्लेषणात्मक रूप से डिफ्यूज़्ड रिवॉर्ड स्कोर को व्युत्पन्न करता है, यह दिखाते हुए कि यह सटीक रूप से ट्राजेक्टरी लक्ष्य को एक रेफरेंस स्कोर और एक रिवॉर्ड-प्रेरित करेक्शन में विभाजित करता है।
व्यावहारिक एस्टीमेटर (DRP): लेखक डिफ्यूज़्ड रिवॉर्ड प्रॉक्सी पेश करते हैं, जो एक ज़ीरो-डेटा एस्टीमेटर है जो डिफरेंशिएबल शॉर्ट-स्टेप डिनोइजिंग के माध्यम से DRS की गणना करता है, जिससे इमेज डेटा के बिना स्थिर प्रशिक्षण संभव होता है।

अनुभवजन्य परिणाम (Empirical Results)

व्यापक प्रयोगों से पता चलता है कि Didr लगातार मौजूदा एक-चरण बेसलाइन्स से बेहतर प्रदर्शन करता है:

पारेटो डोमिनेंस (Pareto Dominance): SDXL बैकबोन (1024×1024) पर, मानक Didr वेरिएंट PickScore–FID ट्रेड-ऑफ में सभी मौजूदा एक-चरण अलाइनमेंट बेसलाइन्स पर पारेटो-डोमिनेट करता है, और दोनों अक्षों पर FLUX-dev और SDXL-DPO जैसे मल्टी-स्टेप मॉडल्स को भी पीछे छोड़ देता है।
प्रेफरेंस मेट्रिक्स: विस्तारित ट्रेनिंग वेरिएंट (Didr_longer) मूल्यांकित एक-चरण मॉडल्स में उच्चतम PickScore (23.9) प्राप्त करता है और सबसे मजबूत पूर्ववर्ती बेसलाइन (Diff-Instruct*) की तुलना में ImageReward में 8.9% सुधार करता है। यह HPSv2.1 और एस्थेटिक स्कोर में भी अग्रणी है।
सामान्यीकरण (Generalization): Didr 6B-पैरामीटर Z-Image बैकबोन पर सफलतापूर्वक ट्रांसफर होता है। एक सिंगल जनरेशन स्टेप में, यह प्रेफरेंस मेट्रिक्स पर अपने 50-स्टेप टीचर मॉडल से आगे निकल जाता है, जो आर्किटेक्चर के पार स्केलेबिलिटी प्रदर्शित करता है।
गुणात्मक सुधार: विजुअल तुलना दर्शाती है कि Didr पूर्ववर्ती एक-चरण विधियों की तुलना में शार्प फाइन डिटेल्स और अधिक नेचुरल कलर्स प्रदान करता है, जिससे ओवर-सैचुरेशन और पेंटरली आर्टिफ़ेक्ट्स (painterly artifacts) से बचा जा सकता है जो अक्सर रिवॉर्ड-ऑप्टिमाइज्ड बेसलाइन्स में देखे जाते हैं।

महत्व और दावे

पेपर का दावा है कि सिद्धांत आधारित ट्राजेक्टरी-लेवल रिवॉर्ड प्रोपेगेशन एक प्रभावी अलाइनमेंट रणनीति है जो एंडपॉइंट-ओनली रिवॉर्ड मेथड्स के अंतर्निहित मिसअलाइनमेंट को हल करती है। डिफ्यूजन प्रोसेस के माध्यम से RLHF-ऑप्टिमल डिस्ट्रीब्यूशन को कठोरता से प्रोपगेट करके, Didr एक-चरण जनरेटर्स के बीच इमेज फिडेलिटी और प्रेफरेंस अलाइनमेंट के बीच सर्वश्रेष्ठ ट्रेड-ऑफ प्राप्त करता है।

लेखक इस बात पर जोर देते हैं कि उनके मेथड को कोई इमेज ट्रेनिंग डेटा नहीं चाहिए, यह केवल टेक्स्ट प्रॉम्प्ट्स और एक फ्रोजन रेफरेंस मॉडल पर निर्भर करता है। वे Did-r को एक ऐसे समाधान के रूप में देखते हैं जो एक-चरण जनरेटर्स को रियल-टाइम इन्फरेंस स्पीड बनाए रखते हुए मल्टी-स्टेप टीचर्स के प्रेफरेंस अलाइनमेंट के बराबर या उससे बेहतर बनाने में सक्षम बनाता है। यह कार्य सुझाव देता है कि पूर्ववर्ती विधियों में पहचाना गया स्ट्रक्चरल मिसमैच एक मौलिक सीमा है जिसे केवल पूरी ट्राजेक्टरी को अलाइन करके ही हल किया जा सकता है, न कि केवल टर्मिनल स्टेट को।