💻 computer science

Direct Diffusion Score Preference Optimization via Stepwise Contrastive Policy-Pair Supervision

यह शोध पत्र डायरेक्ट डिफ्यूजन स्कोर प्रेफरेंस ऑप्टिमाइजेशन (DDSPO) को प्रस्तुत करता है, जो एक नवीन प्रशिक्षण विधि है जो कंट्रास्टिव पॉलिसी पेयर्स के माध्यम से बैकवर्ड डिनोइजिंग ट्रांजिशन पर सीधे स्टेपवाइज प्रेफरेंस सुपरविजन को परिभाषित करके डिफ्यूजन मॉडल अलाइनमेंट और सौंदर्य गुणवत्ता में सुधार करती है, जिससे टर्मिनल सैंपल्स से फॉरवर्ड-प्रोसेस एप्रोक्सिमेशन पर निर्भर मौजूदा विधियों की सीमाओं को दूर किया जा सके।

मूल लेखक: Dohyun Kim, Seungwoo Lyu, Seung Wook Kim, Paul Hongsuck Seo

प्रकाशित 2026-07-03

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Dohyun Kim, Seungwoo Lyu, Seung Wook Kim, Paul Hongsuck Seo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट कलाकार को पेंटिंग करना सिखा रहे हैं। आप चाहते हैं कि रोबोट आपके विवरण से पूरी तरह मेल खाती सुंदर तस्वीरें बनाए, जैसे कि "एक धूप वाले समुद्र तट पर टोपी पहने हुए एक बिल्ली।"

समस्या: सिखाने का पुराना तरीका
वर्तमान में, सर्वश्रेष्ठ रोबोट कलाकार "डिफ्यूजन मॉडल्स" (Diffusion Models) नामक एक तकनीक का उपयोग करते हैं। वे एक बिखरे हुए, शोर-शराबे वाले (static-filled) कैनवास से शुरुआत करते हैं और धीरे-धीरे उसे तब तक साफ करते हैं, जब तक कि एक स्पष्ट छवि दिखाई न देने लगे।

इन रोबोटों को बेहतर बनाने के लिए, शोधकर्ता आमतौर पर उन्हें दो तैयार पेंटिंग्स दिखाते हैं: एक जिसे आप पसंद करते हैं ("विजेता") और एक जिसे आप नापसंद करते हैं ("हारने वाला")। फिर रोबोट यह समझने की कोशिश करता है कि बिखरे हुए कैनवास को "हारने वाली" पेंटिंग के बजाय "विजेता" में कैसे बदला जाए।

यह पेपर तर्क देता है कि पुराने तरीके में एक दोष है। यह किसी को कार चलाना सिखाने जैसा है जहाँ आप उन्हें केवल अंतिम गंतव्य और शुरुआती बिंदु दिखाते हैं, बिना बीच के मोड़ों, स्टॉप या स्टीयरिंग व्हील के मूवमेंट को देखे। पुराने तरीके हर कदम पर रोबोट को क्या करना चाहिए था, इसका अनुमान लगाते हैं, लेकिन वह अनुमान अक्सर गलत होता है क्योंकि वह रोबोट की वास्तविक चरण-दर-चरण सफाई प्रक्रिया से मेल नहीं खाता। इससे रोबोट भ्रमित हो जाता है या धुंधले और असंगत परिणाम देता है।

समाधान: DDSPO (डायरेक्ट डिफ्यूजन स्कोर प्रेफरेंस ऑप्टिमाइजेशन)
लेखक DDSPO नामक एक नया तरीका प्रस्तावित करते हैं। केवल "विजेता" और "हारने वाली" पेंटिंग्स को देखने के बजाय, DDSPO रोबोट को उसकी सफाई प्रक्रिया के हर एक कदम को देखकर सिखाता है।

वे इसे दो चतुर तरीकों (जिन्हें वे "कॉन्ट्रास्टिव पॉलिसी पेयर्स" कहते हैं) का उपयोग करके करते हैं:

"जुड़वां रोबोट" विधि (डेटा-संचालित):
कल्पना कीजिए कि आपके पास दो समान रोबोट कलाकार हैं। आप एक को विशेष रूप से "विजेता" शैली को पेंट करने के लिए और दूसरे को "हारने वाली" शैली को पेंट करने के लिए प्रशिक्षित करते हैं। अब, पेंटिंग प्रक्रिया के हर चरण पर, आप पूछते हैं: "क्या रोबोट 'विजेता' शैली के करीब जा रहा है या 'हारने वाली' शैली के करीब?" यदि वह हारने वाले की ओर बढ़ रहा है, तो आप उसे धीरे से विजेता की ओर वापस मोड़ देते हैं। यह रोबोट को निरंतर, चरण-दर-चरण फीडबैक देता है।
"खराब प्रॉम्प्ट" विधि (ट्रेनिंग-फ्री):
यह और भी स्मार्ट है क्योंकि इसके लिए नए रोबोटों को प्रशिक्षित करने की आवश्यकता नहीं होती है। आप एक मानक रोबोट लेते हैं और उसे आपका मूल विवरण (जैसे, "समुद्र तट पर एक बिल्ली") देते हैं। फिर आप उसी रोबोट को उसी विवरण का एक थोड़ा टूटा हुआ या भ्रमित करने वाला संस्करण देते हैं (जैसे, "एक बिल्ली... समुद्र तट... [बड़बड़ाहट]")।

अच्छे प्रॉम्प्ट के प्रति रोबोट की प्रतिक्रिया को "विजेता" दिशा के रूप में माना जाता है।
खराब प्रॉम्प्ट के प्रति रोबोट की प्रतिक्रिया को "हारने वाली" दिशा के रूप में माना जाता है।
सिस्टम मुख्य रोबोट को पेंटिंग के हर चरण में "अच्छे" रास्ते का पालन करने और "बुरे" रास्ते से बचने के लिए सिखाता है।

यह बेहतर क्यों है
पेपर का दावा है कि केवल "गंतव्य" (अंतिम छवि) पर ध्यान केंद्रित करने के बजाय "यात्रा" (चरण-दर-चरण सफाई) पर ध्यान केंद्रित करके, रोबोट बहुत तेज़ी से और अधिक सटीकता से सीखता है।

बेहतर संरेखण (Alignment): रोबोट आपके निर्देशों का अधिक बारीकी से पालन करता है। यदि आप "लाल कार" मांगते हैं, तो इसकी संभावना कम है कि वह नीली कार बनाएगी।
बेहतर गुणवत्ता: तस्वीरें अधिक कलात्मक और सुसंगत दिखती हैं।
कोई अतिरिक्त लागत नहीं: "खराब प्रॉम्प्ट" विधि का अर्थ है कि आपको हजारों चित्रों को रेट करने के लिए मनुष्यों को काम पर रखने या मुख्य रोबोट को सिखाने के लिए नए रोबोटों को प्रशिक्षित करने की आवश्यकता नहीं है। आप इसे उन उपकरणों के साथ कर सकते हैं जो आपके पास पहले से मौजूद हैं।

परिणाम
लेखकों ने विभिन्न कार्यों पर इसका परीक्षण किया, जैसे कि टेक्स्ट विवरण से मेल खाती छवियां बनाना और छवियों को अधिक सुंदर बनाना। उन्होंने पाया कि उनका चरण-दर-चरण शिक्षण तरीका (DDSPO) लगातार पुराने तरीकों की तुलना में बेहतर परिणाम देता है जो केवल अंतिम चित्र को देखते थे। यह विभिन्न प्रकार के रोबोट कलाकारों पर अच्छी तरह से काम किया, जिससे साबित हुआ कि "कदमों" को सिखाना केवल "अंतिम परिणाम" का अनुमान लगाने से अधिक प्रभावी है।

तकनीकी सारांश: डायरेक्ट डिफ्यूजन स्कोर प्रेफरेंस ऑप्टिमाइजेशन (DDSPO)

समस्या विवरण

डिफ्यूजन मॉडल ने जनरेटिव कार्यों, विशेष रूप से टेक्स्ट-टू-इमेज सिंथेसिस में महत्वपूर्ण सफलता प्राप्त की है। हालांकि, वे अक्सर सूक्ष्म उपयोगकर्ता इरादे (user intent) के साथ उत्पन्न आउटपुट को संरेखित करने और उच्च सौंदर्य गुणवत्ता (aesthetic quality) को लगातार बनाए रखने में संघर्ष करते हैं। मौजूदा प्रेफरेंस-आधारित प्रशिक्षण विधियां, जैसे कि डिफ्यूजन डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (Diffusion DPO), अंतिम नमूनों (samples) पर युग्मवार वरीयताओं (pairwise preferences) से सीखकर इन समस्याओं को हल करने का प्रयास करती हैं।

वर्तमान दृष्टिकोणों जैसे कि डिफ्यूजन DPO की एक महत्वपूर्ण सीमा यह है कि वे टर्मिनल नमूनों ( $x_0$ ) से व्युत्पन्न फॉरवर्ड प्रोसेस $q(x_{t-1} | x_t, x_0)$ का उपयोग करके बैकवर्ड डिनोइजिंग ट्रांजिशन (backward denoising transitions) को अनुमानित करने पर निर्भर करते हैं। यह अनुमान अनुमानित प्रक्रिया इन्फरेंस के समय मॉडल की वास्तविक रिवर्स डिनोइजिंग प्रक्रिया को प्रतिबिंबित नहीं करता है। फलस्वरूप, प्रदान किया गया सुपरविजन सिग्नल मॉडल के वास्तविक डिनोइजिंग ट्राजेक्टरी के साथ असंगत होता है, जिससे प्रभावी स्टेपवाइज सुपरविजन (stepwise supervision) देने में विफलता होती है।

कार्यप्रणाली (Methodology)

लेखक डायरेक्ट डिफ्यूजन स्कोर प्रेफरेंस ऑप्टिमाइजेशन (DDSPO) का प्रस्ताव करते हैं, जो एक ऐसा ढांचा है जो प्रेफरेंस सुपरविजन को अंतिम सैंपल स्पेस के बजाय प्रत्येक डिफ्यूजन टाइमस्टेप पर सीधे स्कोर स्पेस में स्वरूपित करता है।

मुख्य अवधारणा: स्टेपवाइज कॉन्ट्रास्टिव पॉलिसी-पेयर सुपरविजन (Stepwise Contrastive Policy-Pair Supervision)

अंतिम आउटपुट $(x_0^w, x_0^l)$ पर वरीयताएँ परिभाषित करने वाले पूर्ववर्ती तरीकों के विपरीत, DDSPO प्रत्येक टाइमस्टेप पर एक कॉन्ट्रास्टिव पॉलिसी पेयर के डिनोइजिंग स्कोर की तुलना करके स्टेपवाइज सुपरविजन पेश करता है। प्रेफरेंस लेबल को डिनोइजिंग ट्रांजिशन के टुपल्स $((x_t^w, x_{t-1}^w), (x_t^l, x_{t-1}^l))$ तक विस्तारित किया जाता है, जो पसंदीदा और नापसंद की गई डिनोइजिंग पॉलिसियों से प्राप्त होते हैं।

ऑब्जेक्टिव फंक्शन मॉडल के डिनोइजिंग प्रेडिक्शन को प्रत्येक चरण में लक्ष्यों $\boldsymbol{\epsilon}_\star^w$ और $\boldsymbol{\epsilon}_\star^l$ की ओर अनुकूलित करता है, जो पसंदीदा और नापसंद किए गए व्यवहारों के अनुरूप हैं। लॉस फंक्शन को इस प्रकार परिभाषित किया गया है:
$\mathcal{L}_{\text{DDSPO}}(\theta) = - \mathbb{E} \left[ \log \sigma \left( - \beta \cdot \left[ \| \boldsymbol{\epsilon}_\star^w - \boldsymbol{\epsilon}_\theta(x_t^w, t, c) \|_2^2 - \| \boldsymbol{\epsilon}_\star^w - \boldsymbol{\epsilon}_{\text{ref}}(x_t^w, t, c) \|_2^2 - (\| \boldsymbol{\epsilon}_\star^l - \boldsymbol{\epsilon}_\theta(x_t^l, t, c) \|_2^2 - \| \boldsymbol{\epsilon}_\star^l - \boldsymbol{\epsilon}_{\text{ref}}(x_t^l, t, c) \|_2^2) \right) \right) \right]$
यहाँ $\boldsymbol{\epsilon}_\star^w$ और $\boldsymbol{\epsilon}_\star^l$ कॉन्ट्रास्टिव पॉलिसी पेयर से प्राप्त डिनोइजिंग स्कोर लक्ष्य हैं, जो फॉरवर्ड-प्रोसेस अनुमानों के बजाय वास्तविक बैकवर्ड डिनोइजिंग ट्रांजिशन को बनाए रखते हैं।

कॉन्ट्रास्टिव पॉलिसी पेयर के इंस्टांशिएशन (Instantiations)

पेपर कॉन्ट्रास्टिव पॉलिसी पेयर को इंस्टांशिएट करने के दो व्यावहारिक तरीके प्रस्तावित करता है:

डेटा-ड्रिवन कॉन्ट्रास्टिव पॉलिसी पेयर (DD-CPP):
- इसके लिए इमेज पेयर्स $(x_0^w, x_0^l, c)$ के प्रेफरेंस-लेबल वाले डेटासेट की आवश्यकता होती है।
- एक प्री-ट्रेंड इनिशियलाइजेशन से दो अलग-अलग मॉडल बनाए जाते हैं: पसंदीदा नमूनों पर एक "विनिंग" मॉडल $\phi^w$ और नापसंद नमूनों पर एक "लूजिंग" मॉडल $\phi^l$ ।
- सुपरविजन लक्ष्य इन विशिष्ट मॉडलों द्वारा अनुमानित डिनोइजिंग स्कोर हैं: $\boldsymbol{\epsilon}_\star^w \leftarrow \boldsymbol{\epsilon}_{\phi^w}(x_t, t, c)$ और $\boldsymbol{\epsilon}_\star^l \leftarrow \boldsymbol{\epsilon}_{\phi^l}(x_t, t, c)$ ।
ट्रेनिंग-फ्री कॉन्ट्रास्टिव पॉलिसी पेयर (TF-CPP):
- इसके लिए किसी अतिरिक्त प्रशिक्षण या प्रेफरेंस-लेबल वाले डेटा की आवश्यकता नहीं है।
- यह एक एकल प्री-ट्रेंड रेफरेंस मॉडल का उपयोग करता है।
- यह मूल प्रॉम्प्ट $c$ (पसंदीदा) और एक सिमेंटिक रूप से डिग्रेडेड वेरिएंट $c^-$ (नापसंद) का उपयोग करके एक कॉन्ट्रास्टिव पेयर बनाता है।
- पसंदीदा लक्ष्य $\boldsymbol{\epsilon}_{\text{ref}}(x_t, t, c)$ है, और नापसंद लक्ष्य $\boldsymbol{\epsilon}_{\text{ref}}(x_t, t, c^-)$ है।
- यह दृष्टिकोण इस अवलोकन का लाभ उठाता है कि बड़े टाइमस्टेप्स पर, रिवर्स अपडेट काफी हद तक कंडीशनिंग सिग्नल द्वारा संचालित होता है, जिससे $c^-$ बिना किसी विशिष्ट नापसंद इमेज $x_0^l$ को उत्पन्न किए भी एक सार्थक नेगेटिव स्कोर टारगेट प्रदान कर सकता है।

मुख्य योगदान

DDSPO फ्रेमवर्क: एक प्रेफरेंस ऑप्टिमाइजेशन फ्रेमवर्क जो फॉरवर्ड-प्रोसेस अनुमानों पर निर्भर रहने के बजाय, कॉन्ट्रास्टिव पॉलिसी पेयर के माध्यम से स्कोर स्पेस में इंटरमीडिएट डिनोइजिंग स्टेप्स पर सीधा सुपरविजन सक्षम करता है।
व्यावहारिक इंस्टांशिएशन: DD-CPP (लेबल किए गए डेटा से पॉलिसियाँ सीखना) और TF-CPP (प्रॉम्प्ट डिग्रेडेशन का उपयोग करके रेफरेंस मॉडल से कॉन्ट्रास्टिव दिशाओं का निर्माण) का परिचय, जिसमें दूसरे के लिए न तो रिवॉर्ड मॉडलिंग की आवश्यकता है और न ही मैनुअल एनोटेशन की।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो यह प्रदर्शित करते हैं कि स्टेपवाइज सुपरविजन, जो कॉन्ट्रास्टिव पॉलिसी पेयर्स से प्राप्त होता है, टेक्स्ट-इमेज एलाइनमेंट और सौंदर्य गुणवत्ता दोनों कार्यों के लिए फॉरवर्ड-प्रोसेस-आधारित सुपरविजन की तुलना में अधिक प्रभावी है।

प्रयोगात्मक परिणाम

लेखकों ने स्टेबल डिफ्यूजन वेरिएंट्स (SD-1.4, SD-1.5, SDXL) और DiT-आधारित मॉडल्स (SANA, SD3-M) का उपयोग करके टेक्स्ट-टू-इमेज एलाइनमेंट और सौंदर्य गुणवत्ता सुधार कार्यों पर DDSPO का मूल्यांकन किया।

टेक्स्ट-टू-इमेज एलाइनमेंट:
- TF-CPP (बिना मानव-एनोटेटेड डेटा के) का उपयोग करते हुए, DDSPO ने Diffusion DPO, DSPO और अन्य बेसलाइन्स की तुलना में GenEval और T2I-CompBench बेंचमार्क पर स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त किए।
- DDSPO ने बिना किसी मानव-एनोटेटेड प्रेफरेंस डेटा या रिवॉर्ड मॉडल के CompBench पर Itercomp और CaPO जैसे SOTA तरीकों को पछाड़ दिया।
- गुणात्मक परिणामों ने Diffusion DPO और DSPO की तुलना में कंडीशनल डिस्ट्रीब्यूशन के बीच स्पष्ट सेपरेशन और जटिल प्रॉम्प्ट्स के प्रति बेहतर पालन दिखाया।
सौंदर्य गुणवत्ता (Aesthetic Quality):
- Pick-a-Pic डेटासेट पर DD-CPP का उपयोग करते हुए, DDSPO ने SD-1.5 और SDXL पर HPSv2 और PickScore मेट्रिक्स में सुधार किया, जो Diffusion DPO और Diffusion KTO से बेहतर प्रदर्शन करता है।
- TF-CPP वेरिएंट (बिना मानव डेटा के) सुपरवइज्ड मेथड्स के साथ प्रतिस्पर्धी बना रहा।
एब्लेशन स्टडीज (Ablation Studies):
- विभिन्न प्रॉम्प्ट डिग्रेडेशन रणनीतियों (जैसे रैंडम टोकन रिमूवल बनाम LLM-आधारित रीराइटिंग) का परीक्षण किया गया। एलाइनमेंट के लिए रैंडम रिमूवल ने सबसे अच्छा प्रदर्शन किया, जबकि सौंदर्य गुणवत्ता के लिए अनुकूलित LLM-आधारित डिग्रेडेशन ने सबसे अच्छा प्रदर्शन किया।
- TF-CPP का एक कुशल वेरिएंट जिसने नेगेटिव टारगेट्स के लिए पसंदीदा इमेज का पुन: उपयोग किया (नापसंद इमेज के स्पष्ट उत्पादन से बचते हुए), पूर्ण सेटअप के समान प्रदर्शन दिखाया, जो फ्रेमवर्क की लचीलेपन को उजागर करता है।

महत्व और दावे

पेपर का दावा है कि DDSPO का प्राथमिक महत्व इसके मॉडल की वास्तविक बैकवर्ड डिनोइजिंग प्रक्रिया के साथ संरेखित स्टेपवाइज सुपरविजन प्रदान करने की क्षमता में निहित है। फॉरवर्ड-प्रोसेस सरोगेट्स पर निर्भर रहने के बजाय सीधे स्थानीय बैकवर्ड ट्रांजिशन ( $x_t \to x_{t-1}$ ) पर वरीयताएँ परिभाषित करके, DDSPO समृद्ध, ट्रांजिशन-लेवल सुपरविजन प्रदान करता है।

लेखक का कहना है कि यह दृष्टिकोण डिनोइजिंग ट्राजेक्टरी में अधिक मजबूत लर्निंग सिग्नल की ओर ले जाता है, जिसके परिणामस्वरूप सिमेंटिक एलाइनमेंट और सौंदर्य गुणवत्ता दोनों में निरंतर सुधार होता है। इसके अलावा, ट्रेनिंग-फ्री कॉन्ट्रास्टिव पॉलिसी पेयर (TF-CPP) यह प्रदर्शित करता है कि उच्च-गुणवत्ता वाला प्रेफरेंस ऑप्टिमाइजेशन, मानव-एनोटेटेड प्रेफरेंस डेटा एकत्र करने या रिवॉर्ड मॉडल को प्रशिक्षित करने की लागत के बिना भी प्राप्त किया जा सकता है, जो इस पद्धति को अत्यधिक स्केलेबल और डेटा-कुशल बनाता है। यह कार्य DDSPO को डिफ्यूजन और फ्लो-आधारित जनरेटिव मॉडल्स दोनों के लिए लागू करने योग्य एक सामान्य फ्रेमवर्क के रूप में स्थापित करता है।