🤖 machine learning

Beyond Pairwise Preferences: Listwise Reward-Aware Alignment for Diffusion Models

यह शोध पत्र डिफ्यूजन LAIR (Diffusion LAIR) प्रस्तुत करता है, जो एक नवीन लिस्टवाइज प्रिफरेंस ऑप्टिमाइज़ेशन (listwise preference optimization) विधि है जो पारंपरिक पेयरवाइज दृष्टिकोणों की तुलना में टेक्स्ट-टू-इमेज डिफ्यूजन मॉडल्स को अधिक प्रभावी ढंग से संरेखित करने के लिए निरंतर रिवॉर्ड स्कोर और एडवांटेज-वेटेड रिग्रेशन का लाभ उठाता है, जो विभिन्न जनरेशन और एडिटिंग बेंचमार्क पर उत्कृष्ट प्रदर्शन प्रदर्शित करता है।

मूल लेखक: Austin Wang, Jiaqi Han, Stefano Ermon, Yisong Yue

प्रकाशित 2026-05-27

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Austin Wang, Jiaqi Han, Stefano Ermon, Yisong Yue

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन थोड़े जिद्दी कलाकार (एक डिफ्यूजन मॉडल) को आपके विवरणों के आधार पर चित्र बनाना सिखा रहे हैं। आप चाहते हैं कि कलाकार ऐसे चित्र बनाए जो मनुष्यों को सुंदर और सटीक लगें।

पुराना तरीका: "यह बनाम वह" का खेल

लंबे समय तक, इस कलाकार को सिखाने का मानक तरीका "यह या वह" का खेल था।

आप कलाकार को "सूर्यास्त" के दो चित्र दिखाते हैं।
आप कहते हैं, "मुझे चित्र B की तुलना में चित्र A अधिक पसंद है।"
कलाकार सीखता है: "ठीक है, मुझे चित्र A की शैली को अधिक सामान्य और चित्र B की शैली को कम सामान्य बनाना चाहिए।"

समस्या: यह तरीका थोड़ा बर्बादी भरा है। क्या होगा अगर आप कलाकार को पाँच सूर्यास्त दिखा दें?

चित्र A अद्भुत है।
चित्र B ठीक-ठाक है।
चित्र C भयानक है।
चित्र D वास्तव में B से थोड़ा बेहतर है।
चित्र E सबसे खराब है।

पुराना "यह बनाम वह" तरीका आपको केवल दो (मान लीजिए A और E) चुनने के लिए मजबूर करता है और बाकी सबको अनदेखा कर देता है। यह उस मूल्यवान जानकारी को फेंक देता है कि चित्र D वास्तव में काफी अच्छा था, या चित्र C एक आपदा थी। यह भी अनदेखा करता है कि A, B की तुलना में कितना बेहतर है। क्या A, B से बस थोड़ा सा बेहतर है, या A एक उत्कृष्ट कृति है और B एक कचरा? पुराना तरीका सभी "जीत" को एक समान मानता है।

नया तरीका: डिफ्यूजन LAIR ("समूह स्कोरकार्ड")

लेखक इस नए तरीके का प्रस्ताव देते हैं जिसे Diffusion LAIR कहा जाता है। "यह बनाम वह" खेलने के बजाय, वे "पूरे समूह का स्कोरकार्ड" खेलते हैं।

यह कैसे काम करता है, यहाँ एक सरल उपमा दी गई है:

1. स्कोरकार्ड (रिवॉर्ड स्कोर)
केवल एक विजेता और एक हारने वाले को चुनने के बजाय, सिस्टम एक "जज" (रिवॉर्ड मॉडल) का उपयोग करता है जो समूह के प्रत्येक चित्र को एक संख्यात्मक स्कोर देता है।

चित्र A: 95/100
चित्र B: 60/100
चित्र C: 10/100
चित्र D: 70/100
चित्र E: 5/100

2. केंद्रित लाभ (औसत से ऊपर या नीचे कौन है?)
सिस्टम केवल कच्चे स्कोर को नहीं देखता है। यह गणना करता है कि प्रत्येक चित्र समूह के औसत की तुलना में कितना बेहतर या बदतर है।

यदि औसत स्कोर 48 है, तो चित्र A (95) को एक बड़ा सकारात्मक उछाल (boost) मिलता है।
चित्र C (10) को एक नकारात्मक दंड (penalty) मिलता है।
यह प्रत्येक चित्र के लिए एक "भार" (weight) बनाता है: "आप औसत से ऊपर हैं, इसलिए हम आपको और चाहते हैं!" या "आप औसत से नीचे हैं, इसलिए हम आपको कम चाहते हैं!"

3. कोमल धक्का (रूढ़िवादी अपडेट्स)
यह सबसे चतुर हिस्सा है। पुराने तरीके अक्सर कलाकार को बहुत अधिक नाटकीय रूप से बदलने के लिए मजबूर करते हैं, जिससे कलाकार सामान्य रूप से पेंट करना भूल सकता है (एक समस्या जिसे "डिस्ट्रीब्यूशन शिफ्ट" कहा जाता है)।
डिफ्यूजन LAIR एक सुरक्षा ब्रेक जोड़ता है। यह कहता है: "ठीक है, हम चाहते हैं कि आप अच्छे चित्रों में सुधार करें और बुरे चित्रों को कम करें, लेकिन अपनी शैली को बहुत अधिक जंगली तरीके से न बदलें।" यह गणितीय रूप से बदलाव के आकार को सीमित करता है, यह सुनिश्चित करता है कि कलाकार जमीन से जुड़ा रहे और फिर भी सीखता रहे।

यह क्यों मायने रखता है (परिणाम)

लेखकों ने इस नए तरीके का परीक्षण दो प्रसिद्ध कलाकारों (Stable Diffusion 1.5 और SDXL) पर किया। उन्होंने पाया कि:

बेहतर सीखना: समूह के केवल दो चित्रों के बजाय सभी चित्रों का उपयोग करके, कलाकार ने तेजी से और बेहतर तरीके से सीखा।
अधिक सूक्ष्मता: कलाकार ने "काफी अच्छा" और "अद्भुत" के बीच अंतर करना सीखा, न कि केवल "अच्छा" बनाम "बुरा"।
बहुमुखी प्रतिभा: यह तरीका नए चित्र बनाने, विभिन्न वस्तुओं को मिलाने (जैसे, "टोपी पहने हुए बिल्ली"), और निर्देशों के आधार पर मौजूदा फोटो को संपादित करने के लिए भी अच्छी तरह से काम करता है।

संक्षेप में

इस पुराने तरीके को एक ऐसे शिक्षक के रूप में सोचें जो केवल हमेशा कहता है, "तुमने अपने दोस्त से बेहतर किया," और बाकी कक्षा को अनदेखा कर देता है।
Diffusion LAIR एक ऐसे शिक्षक की तरह है जो पूरी कक्षा को ग्रेड देता है, देखता है कि कौन उत्कृष्ट प्रदर्शन कर रहा है और कौन संघर्ष कर रहा है, और पूरे समूह को मिलकर सुधार करने के लिए एक अनुकूलित, कोमल धक्का देता है, बिना किसी को भ्रमित या अभिभूत किए।

पेपर का दावा है कि यह दृष्टिकोण उन चित्रों को बनाता है जिन्हें मनुष्य अधिक पसंद करते हैं, बिना महंगे, जटिल प्रशिक्षण सत्रों के, केवल अपने पास मौजूद डेटा का स्मार्ट तरीके से उपयोग करके।

तकनीकी सारांश: डिफ्यूजन LAIR (Diffusion LAIR)

समस्या विवरण (Problem Statement)
टेक्स्ट-टू-इमेज डिफ्यूजन मॉडल्स को अलाइन करने के लिए वर्तमान प्राथमिकता अनुकूलन (preference optimization) विधियाँ, जैसे कि डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO) और इसके डिफ्यूजन-विशिष्ट संस्करण (जैसे, Diffusion-DPO, DSPO), मुख्य रूप से पेयरवाइज सुपरविजन (pairwise supervision) पर निर्भर करती हैं। ये विधियाँ प्रशिक्षण डेटा को एक दिए गए प्रॉम्प्ट के लिए बाइनरी "विजेता-हारने वाला" (winner-loser) तुलना में सीमित कर देती हैं। लेखक तर्क देते हैं कि यह कमी दो प्राथमिक कारणों से सीमित है:

डेटा संरचना (Data Structure): व्यावहारिक प्राथमिकता डेटासेट (जैसे, Pick-a-Pic) में अक्सर एक ही प्रॉम्प्ट के लिए कई कैंडिडेट इमेज होती हैं, जो एक स्वाभाविक लिस्टवाइज (listwise) संरचना बनाती है जिसे पेयरवाइज विधियाँ अनदेखा कर देती हैं।
सूचना की हानि (Information Loss): आधुनिक रिवॉर्ड मॉडल्स निरंतर स्कोर (continuous scores) प्रदान करते हैं। इन्हें एक एकल बाइनरी लेबल में बदलने से गैर-चयनित उम्मीदवारों की सापेक्ष गुणवत्ता और नमूनों के बीच रिवॉर्ड गैप के परिमाण की जानकारी लुप्त हो जाती है।
इसके अलावा, मौजूदा ऑनलाइन सुदृढीकरण शिक्षण (reinforcement learning - RL) दृष्टिकोण जो डिफ्यूजन अलाइनमेंट के लिए उपयोग किए जाते हैं, वे कम्प्यूटेशनल रूप से महंगे, पैरेललाइज करने में कठिन और अपने ऑन-पॉलिसी स्वभाव के कारण डिस्ट्रीब्यूशन शिफ्ट के प्रति संवेदनशील होते हैं। जबकि ऑफलाइन विधियाँ अधिक कुशल हैं, उन्होंने अभी तक लिस्टवाइज, रिवॉर्ड-स्कोर वाले डेटा में उपलब्ध समृद्ध सिग्नल का पूरी तरह से लाभ नहीं उठाया है।

कार्यप्रणाली: डिफ्यूजन LAIR (Methodology: Diffusion LAIR)
यह शोध पत्र डिफ्यूजन LAIR (Listwise Advantage-weighted Implicit Reward) प्रस्तावित करता है, जो एक ऑफलाइन प्रेफरेंस ऑप्टिमाइजेशन विधि है जो अलाइनमेंट को एक लिस्टवाइज, रिवॉर्ड-अवेयर समस्या के रूप में देखती है।

डेटा प्रतिनिधित्व (Data Representation): स्वतंत्र जोड़ों के बजाय, यह विधि एक प्रॉम्प्ट $c$ को $N_c$ कैंडिडेट इमेजेस $\{x^{(i)}_0\}$ के सेट और उनके संबंधित निरंतर रिवॉर्ड स्कोर $\{r_i\}$ के साथ प्रोसेस करती है।
एडवांटेज वेटिंग (Advantage Weighting): रिवॉर्ड स्कोर को सेंटर्ड एडवांटेज वेट्स ( $w_i$ ) में परिवर्तित किया जाता है। पहले, एक टेम्परेचर $\tau$ का उपयोग करके एक सॉफ्टमैक्स प्रोबेबिलिटी $p_i$ की गणना की जाती है। फिर, वेट्स को एक यूनिफॉर्म बेसलाइन के विरुद्ध सेंटर्ड किया जाता है:
$w_i = p_i - \frac{1}{N_c}$
यह सुनिश्चित करता है कि $\sum w_i = 0$ , जिससे ग्रुप औसत के सापेक्ष उच्च-रिवॉर्ड वाले नमूनों को सकारात्मक वेट और कम-रिवॉर्ड वाले नमूनों को नकारात्मक वेट दिया जाता है।
ऑप्टिमाइजेशन ऑब्जेक्टिव (Optimization Objective): यह विधि इम्पलिसिट रिवॉर्ड (implicit reward) पर एक एडवांटेज-वेटेड रिग्रेशन ऑब्जेक्टिव को ऑप्टिमाइज़ करती है। इम्पलिसिट रिवॉर्ड को एक फिक्स्ड रेफरेंस मॉडल ($ref $) के ऊपर वर्तमान मॉडल ($ \theta$) के डिनोइजिंग-लॉस सुधार के रूप में परिभाषित किया गया है:
$s_\theta(x_0, x_t, t, c, \epsilon) = \omega(\lambda_t) (l_{ref} - l_\theta)$
लॉस फंक्शन है:
$L_{LAIR} = \mathbb{E} \left[ -\sum_{i=1}^{N_c} w_i s^{(i)}_\theta + \frac{\lambda}{N_c} \sum_{i=1}^{N_c} (s^{(i)}_\theta)^2 \right]$
पहला पद मॉडल को उच्च-रिवॉर्ड वाले नमूनों के लिए इम्पलिसिट रिवॉर्ड बढ़ाने और कम-रिवॉर्ड वाले नमूनों के लिए इसे घटाने के लिए प्रोत्साहित करता है। दूसरा पद एक क्वाड्रेटिक पेनल्टी (quadratic penalty) है जो इम्पलिसिट रिवॉर्ड के परिमाण को रेगुलराइज करता है, जिससे रेफरेंस मॉडल से अत्यधिक विचलन को रोका जा सके।

सैद्धांतिक विश्लेषण (Theoretical Analysis)
लेखक इस ऑब्जेक्टिव का एक सैद्धांतिक लक्षण वर्णन प्रदान करते हैं:

क्लोज्ड-फॉर्म ऑप्टिमम (Closed-Form Optimum): ऑब्जेक्टिव इम्पलिसिट-रिवॉर्ड स्पेस में एक अद्वितीय, बाउंडेड क्लोज्ड-फॉर्म ऑप्टिमम प्राप्त करता है: $s^*_i = \frac{N_c}{2\lambda} w_i$ । यह स्पष्ट करता है कि रेगुलराइजेशन स्ट्रेंथ $\lambda$ सीधे प्रेफरेंस अपडेट के परिमाण को नियंत्रित करती है।
सरोगेट KL बाउंड (Surrogate KL Bound): विशिष्ट मान्यताओं (लॉग-रेशियो एप्रोक्सिमेशन और बाउंडेड फुल-सपोर्ट एक्सटेंशन) के तहत, लेखक प्रेरित वितरण (induced distribution) और रेफरेंस वितरण के बीच कुलबैक-लीब्लर (KL) डाइवर्जेंस पर एक बाउंड प्राप्त करते हैं: $D_{KL} \le \frac{\Delta_c}{\eta}$ । यह सुझाव देता है कि $\lambda$ प्रेफरेंस टिल्टिंग की शार्पनेस को नियंत्रित करता है, जिससे यह सुनिश्चित होता है कि अपडेट कंजर्वेटिव रहे।
पेयरवाइज पर बढ़त (Advantage over Pairwise): पेयरवाइज ऑब्जेक्टिव्स (जैसे, ब्रैडली-टेरी) के विपरीत, जो विजेता और हारने वाले के बीच मार्जिन को अधिकतम करने के लिए इम्पलिसिट रिवॉर्ड को अनंत तक ले जा सकते हैं, LAIR का लिस्टवाइज फॉर्मूलेशन पूरे कैंडिडेट सेट के आधार पर परिमित (finite), सापेक्ष लक्ष्य निर्धारित करता है, जिससे रैंकिंग स्ट्रक्चर और रिवॉर्ड स्पेसिंग सुरक्षित रहती है।

प्रायोगिक परिणाम (Experimental Results)
इस विधि का मूल्यांकन Pick-a-Pic v2 डेटासेट का उपयोग करके Stable Diffusion 1.5 (SD1.5) और Stable Diffusion XL (SDXL) पर किया गया।

सेटअप: इमेजेस को PickScore रिवॉर्ड मॉडल का उपयोग करके ऑफलाइन स्कोर किया गया। मॉडल्स को टेक्स्ट-टू-इमेज जनरेशन (HPD, Parti-prompts), कंपोजिशनल जनरेशन (GenEval), और इंस्ट्रक्शन-आधारित इमेज एडिटिंग (InstructPix2Pix) के लिए फाइन-ट्यून और इवैल्यूएट किया गया।
प्रदर्शन: Diffusion LAIR ने अधिकांश मेट्रिक्स पर मजबूत बेसलाइन्स (Diffusion-DPO, DSPO, Diffusion-KTO, MaPO) को पछाड़ दिया।
- SD1.5 पर, इसने Parti-prompt और HPD दोनों डेटासेट्स के लिए PickScore, HPS, Aesthetics, CLIP, और ImageReward पर उच्चतम स्कोर प्राप्त किया।
- SDXL पर, इसने समान रूप से MaPO और Diffusion-DPO सहित बेसलाइन्स को पीछे छोड़ दिया।
- सामान्यीकरण (Generalization): विशेष रूप से, केवल PickScore के साथ प्रशिक्षित होने के बावजूद, मॉडल ने अन्य मेट्रिक्स (जैसे, ImageReward) में महत्वपूर्ण सुधार दिखाया, जो बताता है कि लिस्टवाइज ऑब्जेक्टिव विशिष्ट रिवॉर्ड मॉडल के उपयोग से परे सामान्य सैंपल क्वालिटी में सुधार करता है।
- कंपोजिशन और एडिटिंग: विधि ने पेयरवाइज बेसलाइन्स की तुलना में GenEval (कंपोजिशनल रीजनिंग) और InstructPix2Pix (इमेज एडिटिंग) में निरंतर बढ़त प्रदर्शित की।
दक्षता (Efficiency): प्रशिक्षण प्रक्रिया ऑनलाइन RL बेसलाइन्स की तुलना में काफी अधिक कुशल थी और अन्य ऑफलाइन विधियों के बराबर या उनसे अधिक कुशल थी, जिसमें SD1.5 के लिए लगभग 24 GPU घंटे और SDXL के लिए 140 A100 GPU घंटे लगे।

महत्व और दावे (Significance and Claims)
यह पेपर दावा करता है कि Diffusion LAIR पेयरवाइज रिडक्शन की सीमाओं से आगे बढ़कर डिफ्यूजन मॉडल्स को अलाइन करने के लिए एक सरल और प्रभावी दिशा प्रदान करता है। इसके प्रमुख योगदान हैं:

लिस्टवाइज लर्निंग: यह डिफ्यूजन प्रेफरेंस ऑप्टिमाइजेशन के लिए रिवॉर्ड-स्कोर वाली इमेजेस के समूहों का सीधे लाभ उठाने वाली पहली विधि है, जो सापेक्ष सैंपल क्वालिटी की पूर्ण संरचना का उपयोग करती है।
सैद्धांतिक स्पष्टता: यह एक बाउंडेड क्लोज्ड-फॉर्म ऑप्टिमम प्रदान करता है, जो यह समझने में अंतर्दृष्टि देता है कि रेगुलराइजेशन, डिस्ट्रीब्यूशन शिफ्ट और अपडेट मैग्नीट्यूड को कैसे नियंत्रित करता है।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): यह जनरेशन, कंपोजिशन और एडिटिंग कार्यों में मजबूत प्रदर्शन प्रदर्शित करता है, जो सिद्ध करता है कि लिस्टवाइज, रिवॉर्ड-अवेयर ऑप्टिमाइजेशन पेयरवाइज विधियों की तुलना में व्यापक सुधार लाता है।

लेखक सीमाओं को नोट करते हैं, विशेष रूप से प्रशिक्षण के लिए उपयोग किए जाने वाले रिवॉर्ड मॉडल की गुणवत्ता और सैद्धांतिक KL बाउंड में आदर्श मान्यताओं पर निर्भरता। हालांकि, वे तर्क देते हैं कि विधि मानव-एनोटेटेड डेटासेट्स में सामान्यतः पाए जाने वाले शोर वाले (noisy) प्रेफरेंस लेबल्स के प्रति मजबूत है।

पुराना तरीका: "यह बनाम वह" का खेल

नया तरीका: डिफ्यूजन LAIR ("समूह स्कोरकार्ड")

यह क्यों मायने रखता है (परिणाम)

संक्षेप में

इसी तरह के और पेपर