🤖 machine learning

Towards General Preference Alignment: Diffusion Models at Nash Equilibrium

यह शोध पत्र डिफ्यूजन नैश प्रेफरेंस ऑप्टिमाइजेशन (Diff.-NPO) प्रस्तुत करता है, जो एक गेम-थ्योरेटिक फ्रेमवर्क है जो डिफ्यूजन मॉडल्स को स्वयं के विरुद्ध सेल्फ-प्ले को प्रोत्साहित करके बेहतर टेक्स्ट-टू-इमेज अलाइनमेंट प्राप्त करने में सक्षम बनाता है, जिससे पारंपरिक ब्रैडली-टेरी-आधारित प्रेफरेंस विधियों की सीमाओं को दूर किया जा सके।

मूल लेखक: Jiaming Hu, Jiamu Bai, Haoyu Wang, Debarghya Mukherjee, Ioannis Ch. Paschalidis

प्रकाशित 2026-05-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiaming Hu, Jiamu Bai, Haoyu Wang, Debarghya Mukherjee, Ioannis Ch. Paschalidis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली कलाकार है (डिफ्यूजन मॉडल) जो आपके विवरणों के आधार पर चित्र बना सकता है। हालाँकि इस कलाकार को पूरे इंटरनेट पर प्रशिक्षित किया गया था, इसलिए भले ही वे कुशल हैं, लेकिन उनकी शैली हमेशा वैसी नहीं होगी जैसी आप विशेष रूप से पसंद करते हैं। कभी-कभी वे एक बिल्ली बनाते हैं जो थोड़ी कुत्ते जैसी दिखती है, या एक सूर्यास्त बनाते हैं जो किसी सूप जैसा दिखता है।

इसे ठीक करने के लिए, हम आमतौर पर कलाकार को चित्रों के जोड़ों दिखाकर सिखाते हैं: "मुझे यह वाला उस वाले से बेहतर लगता है।" इसे प्रेफरेंस एलाइनमेंट (Preference Alignment) कहा जाता है।

पुराना तरीका: "स्कोरकीपर" की समस्या

अधिकांश वर्तमान विधियाँ (जैसे DPO) एक ऐसे तरीके से कलाकार को सिखाने की कोशिश करती हैं जैसे कि एक छिपा हुआ "स्कोरकीपर" (रिवॉर्ड मॉडल) मौजूद हो। वे यह मान लेते हैं कि यदि चित्र A, चित्र B से बेहतर है, और चित्र B, चित्र C से बेहतर है, तो चित्र A निश्चित रूप से C से बेहतर होगा।

लेख का तर्क है कि यह एक त्रुटिपूर्ण धारणा है। मानवीय पसंद जटिल और कभी-कभी चक्रीय होती है, जैसे कि पत्थर-कागज-कैंची (Rock-Paper-Scissors) का खेल:

आप कागज को कैंची से ऊपर चुन सकते हैं।
आप कैंची को पत्थर से ऊपर चुन सकते हैं।
लेकिन आप पत्थर को कागज से ऊपर भी चुन सकते हैं।

पुरानी विधियाँ इन विकल्पों को एक सीधी रेखा (A > B > C) में फिट करने की कोशिश करती हैं, जो वास्तविक मानवीय पसंद की जटिलता को नहीं पकड़ पातीं। वे एक ऐसे "स्कोरकीपर" पर भी निर्भर करती हैं जिसका अनुमान कंप्यूटर को लगाना पड़ता है, जो गलत हो सकता है।

नया तरीका: "स्पैरिंग पार्टनर" गेम (Diff.-NPO)

लेखक एक नया तरीका प्रस्तावित करते हैं जिसे Diff.-NPO (डिफ्यूजन नैश प्रेफरेंस ऑप्टिमाइज़ेशन) कहा जाता है। एक स्कोर का अनुमान लगाने के बजाय, वे प्रशिक्षण प्रक्रिया को कलाकार के दो संस्करणों के बीच एक खेल में बदल देते हैं:

वर्तमान कलाकार (The Current Artist): मॉडल का वह संस्करण जिसे हम सुधारने की कोशिश कर रहे हैं।
पिछला कलाकार (The Previous Artist): पिछले प्रशिक्षण चरण से मॉडल का संस्करण (एक प्रतिद्वंद्वी के रूप में कार्य करता है)।

खेल कैसे काम करता है:
कल्पना कीजिए कि वर्तमान कलाकार और पिछला कलाकार एक बॉक्सिंग रिंग में हैं। दोनों को एक ही प्रॉम्प्ट (जैसे, "एक बिल्ली बनाओ") मिलता है।

दोनों एक चित्र बनाते हैं।
एक रेफरी (प्रेफरेंस चेकर) दोनों को देखता है और निर्णय लेता है कि कौन सा बेहतर है।
वर्तमान कलाकार राउंड जीतने की कोशिश करता है, एक ऐसा चित्र बनाकर जिसे रेफरी पिछले कलाकार के चित्र की तुलना में अधिक पसंद करे।
महत्वपूर्ण बात यह है कि वर्तमान कलाकार को यह भी याद रखना होगा कि वह सामान्य रूप से अच्छी पेंटिंग करना न भूल जाए (मूल प्रशिक्षण के करीब रहना), अन्यथा वे केवल खेल जीतने के लिए अजीब और बेतुकी चीजें बनाना शुरू कर सकते हैं।

इसे नैश इक्विलिब्रियम (Nash Equilibrium) कहा जाता है। लक्ष्य उस बिंदु तक पहुँचना है जहाँ वर्तमान कलाकार इतना अच्छा हो जाए कि कोई अन्य रणनीति लगातार उसे हरा न सके। यह एक "सेल्फ-प्ले" लूप है जहाँ मॉडल खुद से लड़कर बेहतर होता है, न कि केवल एक स्थिर स्कोर को संतुष्ट करने की कोशिश करता है।

"स्वीट स्पॉट" संतुलन

लेखक एक विशेष "नॉब" (एक गणितीय अनुपात जिसे $\tau/\eta$ कहा जाता है) पेश करते हैं जो यह नियंत्रित करता है कि खेल कैसे खेला जाता है:

नॉब को एक तरफ घुमाएँ: कलाकार केवल "पिछले कलाकार" को हराने की कोशिश करता है। यह शुद्ध सेल्फ-प्ले की तरह है। यह आक्रामक है और तेजी से सीखता है, लेकिन कलाकार पटरी से उतर सकता है और सामान्य चीजें बनाना भूल सकता है।
नॉब को दूसरी तरफ घुमाएँ: कलाकार केवल एक "रेफरेंस आर्टिस्ट" (एक स्थिर, मूल संस्करण) को हराने की कोशिश करता है। यह सुरक्षित और स्थिर है, लेकिन कलाकार आगे बढ़ने में फंस सकता है क्योंकि लक्ष्य बहुत आसान या बहुत कठोर है।
स्वीट स्पॉट (The Sweet Spot): Diff.-NPO एक आदर्श मध्य मार्ग खोजता है। यह सुधार के लिए पिछले कलाकार का उपयोग करता है (ऑनलाइन लर्निंग) और मॉडल को जमीन से जोड़े रखने के लिए रेफरेंस आर्टिस्ट का उपयोग करता है (स्थिरता)।

जब उन्होंने इसे आज़माया तो क्या हुआ?

शोधकर्ताओं ने लोकप्रिय इमेज जनरेटर (Stable Diffusion 1.5 और SDXL) पर मानव प्राथमिकताओं के एक विशाल डेटासेट Pick-a-Pic का उपयोग करके इसका परीक्षण किया।

परिणाम: Diff.-NPO ने लगातार पुरानी विधियों को पछाड़ दिया।
प्रमाण: जब उन्होंने नए मॉडल को पुराने मॉडलों के खिलाफ एक "मुकाबले" में खड़ा किया, तो Diff.-NPO मॉडल अधिक बार जीता। इसने ऐसे चित्र बनाए जिन्हें मनुष्य (और स्वचालित जज) अधिक पसंद करते हैं।
दृश्य गुणवत्ता (Visual Quality): साइड-बाय-साइड तुलना में, Diff.-NPO के चित्र अधिक यथार्थवादी, प्रॉम्प्ट का बेहतर पालन करने वाले और पुरानी विधियों द्वारा बनाए गए चित्रों की तुलना में अधिक सुसंगत दिखे।

सारांश

सरल शब्दों में, लेख कहता है: "यह गणना करने की कोशिश छोड़ दें कि इंसान क्या पसंद करते हैं, क्योंकि मानवीय पसंद बहुत जटिल है। इसके बजाय, मॉडल को अपने अतीत के विरुद्ध एक खेल खेलने दें, जिसमें उसे पागल होने से बचाने के लिए एक सुरक्षा जाल भी हो। यह 'स्पैरिंग' दृष्टिकोण एक बेहतर, अधिक संरेखित (aligned) कलाकार बनाता है।"

तकनीकी सारांश: सामान्य प्राथमिकता संरेखण की ओर: नैश इक्विलिब्रियम पर डिफ्यूजन मॉडल

समस्या विवरण

रीइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) और इसका कम्प्यूटेशनल रूप से कुशल संस्करण, डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO), टेक्स्ट-टू-इमेज (T2I) डिफ्यूजन मॉडल्स को मानवीय प्राथमिकताओं के साथ संरेखित करने के लिए मानक बन गए हैं। हालाँकि, डिफ्यूजन संरेखण के लिए मौजूदा प्राथमिकता-आधारित विधियाँ काफी हद तक RLHF प्रतिमान को विरासत में लेती हैं, जो ब्रैडली-टेरी (BT) मॉडल द्वारा प्रेरित अंतर्निहित रिवॉर्ड सिग्नल्स पर निर्भर करती हैं। लेखक तर्क देते हैं कि BT मॉडल की ट्रांजिटिविटी (transitivity) की धारणा (यदि A > B और B > C, तो A > C) मानवीय प्राथमिकताओं की पूर्ण जटिलता को पकड़ने में विफल रहती है, जो कि ट्रांजिटिव (जैसे, रॉक-पेपर-सिजर्स चक्र) हो सकती हैं। इसके अलावा, वर्तमान विधियाँ अक्सर अनुकूलन (optimization) से पहले मानवीय प्राथमिकताओं को रिवॉर्ड-प्रेरित फंक्शन में बदल देती हैं, बजाय इसके कि प्राथमिकता संबंध को सीधे मॉडल किया जाए। यह शोध पत्र एक गेम-थ्योरेटिक परिप्रेक्ष्य, विशेष रूप से नैश लर्निंग फ्रॉम ह्यूमन फीडबैक (NLHF), को डिफ्यूजन संरेखण के लिए एक अधिक मजबूत ढांचा प्रदान करता है जो BT मॉडल की प्रतिबंधात्मक ट्रांजिटिविटी धारणाओं से बचता है।

कार्यप्रणाली: डिफ्यूजन नैश प्रेफरेंस ऑप्टिमाइजेशन (Diff.-NPO)

लेखक एक नैश इक्विलिब्रियम परिप्रेक्ष्य से व्युत्पन्न एक सामान्य प्राथमिकता अनुकूलन ढांचा, Diff.-NPO का प्रस्ताव करते हैं। BT-प्रेरित लाइकलीहुड को अधिकतम करने के बजाय, Diff.-NPO संरेखण को वर्तमान पॉलिसी ( $\pi$ ) और पिछली पॉलिसी ( $\pi_{prev}$ ) के बीच एक दो-खिलाड़ी ज़ीरो-सम गेम (two-player zero-sum game) के रूप में तैयार करता है, जिसे एक रेफरेंस पॉलिसी ( $\pi_{ref}$ ) द्वारा नियमित (regularized) किया जाता है।

मुख्य ढांचा

गेम-थ्योरेटिक फॉर्मूलेशन: उद्देश्य को एक मिनिमैक्स गेम (minimax game) के रूप में परिभाषित किया गया है जहाँ "मैक्स-प्लेयर" (वर्तमान पॉलिसी) उन सैंपल्स को उत्पन्न करने का प्रयास करता है जो "मिन-प्लेयर" (पिछली पॉलिसी) की तुलना में पसंद किए जाते हैं, जबकि दोनों को डिस्ट्रिब्यूशनल ड्रिफ्ट को रोकने के लिए एक रेफरेंस पॉलिसी ( $\pi_{ref}$ ) के करीब रहने के लिए नियमित किया जाता है।
ऑनलाइन मिरर डिसेंट (OMD): स्थिर लर्निंग डायनेमिक्स सुनिश्चित करने और ग्रीडी बेस्ट-रिस्पॉन्स अपडेट की अस्थिरता से बचने के लिए, यह विधि एंट्रॉपी रेगुलराइजेशन (Hedge) के साथ ऑप्टिमिस्टिक मिरर डिसेंट का उपयोग करती है। इससे एक सेल्फ-प्ले ऑब्जेक्टिव की ओर ले जाता है जहाँ पॉलिसी अपडेट पिछली पॉलिसी के प्रति एक बेस्ट रिस्पॉन्स है, जो रेफरेंस पॉलिसी द्वारा बाधित है।
लॉस फंक्शन का व्युत्पत्ति:
- यह विधि इमेज-लेवल प्राथमिकताओं को रिवर्स ट्राजेक्टरी स्पेस में ऊपर उठाती है।
- यह लॉग-रेशियो ऑफ ट्राजेक्टरी प्रोबेबिलिटीज के आधार पर एक पेयरवाइज लॉजिस्टिक लॉस (pairwise logistic loss) व्युत्पन्न करती है।
- अंतिम उद्देश्य, $L_{Diff.-NPO}$ , वर्तमान पॉलिसी ( $p_\theta$ ) को संदर्भ पॉलिसी ( $p_{ref}$ ) और पिछली पॉलिसी ( $p_{prev}$ ) दोनों के विरुद्ध कंट्रास्ट करता है।
- लॉस को इस प्रकार तैयार किया गया है:
  $L_{Diff.-NPO} = -\mathbb{E} \left[ \log \sigma \left( \beta \left[ \delta_\theta - \frac{\tau}{\eta}\delta_{ref} - \frac{\eta-\tau}{\eta}\delta_{prev} \right] \right) \right]$
  जहाँ $\delta$ टर्म्स पसंदीदा ( $x^+$ ) और अस्वीकृत ( $x^-$ ) सैंपल्स के बीच इम्प्लिसिट रिवॉर्ड्स (नॉइज़ प्रेडिक्शन एरर्स) के अंतर का प्रतिनिधित्व करते हैं।
- हाइपरपैरामीटर $\gamma = \tau/\eta$ रेफरेंस पॉलिसी (DPO-स्टाइल, $\gamma=1$ ) और पिछली पॉलिसी (शुद्ध सेल्फ-प्ले, $\gamma=0$ ) के बीच इंटरपोलेशन को नियंत्रित करता है।

मौजूदा विधियों से प्रमुख अंतर

बनाम Diffusion-DPO: जबकि Diffusion-DPO ऑफलाइन है और केवल एक फिक्स्ड रेफरेंस के विरुद्ध वर्तमान पॉलिसी को कंट्रास्ट करता है, Diff.-NPO स्वाभाविक रूप से ऑनलाइन और सेल्फ-प्ले ओरिएंटेड है, जो वर्तमान/पिछली पॉलिसी द्वारा जेनरेट किए गए सैंपल्स के विरुद्ध अपडेट का मूल्यांकन करता है।
बनाम INPO (Iterative Nash Policy Optimization): INPO के विपरीत, जो विशिष्ट जनसंख्या धारणाओं द्वारा न्यायसंगत एक स्क्वेर्ड लॉस का उपयोग करता है जो व्यावहारिक ऑरेकल-आधारित रैंकिंग में लागू नहीं हो सकती हैं, Diff.-NPO एक पेयरवाइज-लॉजिस्टिक लॉस का उपयोग करता है। यह तर्क दिया गया है कि यह उन मामलों में अधिक स्थिर है जहाँ प्राथमिकता जोड़े एक ऑरेकल (रैंकिंग जेनरेटेड सैंपल्स) द्वारा नियत रूप से क्रमबद्ध होते हैं, न कि एक संभावabilistic प्रेफरेंस डिस्ट्रीब्यूशन से सैंपल किए गए होते हैं।

मुख्य योगदान

सैद्धांतिक आधार: यह शोध पत्र नैश लर्निंग फ्रॉम ह्यूमन फीडबैक (NLHF) और डिफ्यूजन मॉडल संरेखण के बीच के अंतर को पाटता है, डिफ्यूजन संरेखण को एक सामान्य प्राथमिकता गेम के रूप में तैयार करता है जो ब्रैडली-टेरी धारणा से बचता है।
एल्गोरिदम प्रस्ताव: एक नया ऑन-पॉलिसी जनरल प्रेफरेंस ऑप्टिमाइजेशन एल्गोरिदम, Diff.-NPO का परिचय। यह मानक DPO और सेल्फ-प्ले प्रतिमानों को एक एकल फॉर्मूलेशन के भीतर एकीकृत करता है, जहाँ रेगुलराइजेशन कोएफिशिएंट इन दो रेजिम्स के बीच इंटरपोलेट करता है।
स्पष्ट मॉडलिंग धारणाएं: यह फ्रेमवर्क प्राथमिकता अनुकूलन के पीछे की धारणाओं को स्पष्ट करता है, उद्देश्य को संदर्भ पॉलिसी, पिछली पॉलिसी और प्राथमिकता सिग्नल से निर्मित एक टारगेट डिस्ट्रीब्यूशन को फिट करने के रूप में व्याख्यायित करता है।
प्रायोगिक सत्यापन: Stable Diffusion 1.5 (SD1.5) और SDXL पर Pick-a-Pic, Parti-Prompts, और HPSV2 डेटासेट्स का उपयोग करके व्यापक प्रयोग इसकी प्रभावशीलता को प्रदर्शित करते हैं।

प्रायोगिक परिणाम

लेखकों ने बेसलाइन्स जैसे Online-SFT, Online-DPO, SPIN, और Seppo के विरुद्ध Diff.-NPO का मूल्यांकन किया।

जीत की दर (Win Rates): Diff.-NPO ने सभी मूल्यांकन डेटासेट्स (Pick-a-Pic, Parti-Prompts, HPSV2) के लिए SD1.5 और SDXL दोनों के लिए लगातार उच्चतम औसत जीत दर प्राप्त की।
- SDXL के साथ Parti-Prompts पर, Diff-NPO ने Online-Diff-DPO के सापेक्ष ImageReward जीत दर में 8.6% और Aesthetic Score जीत दर में 10.8% का सुधार किया।
- इसने Pick-a-Pic और HPSV2 पर भी Online-DPO को पछाड़ दिया।
स्वचालित मेट्रिक्स: विधि ने बेसलाइन्स की तुलना में ऑटोमैटिक मेट्रिक्स (PickScore, HPSV2, CLIP, ImageReward, Aesthetic Score) में बेहतर प्रदर्शन दिखाया।
एब्लेशन स्टडीज (Ablation Studies):
- $\tau/\eta$ अनुपात: अध्ययन ने पुष्टि की कि एक मध्यवर्ती मान (विशेष रूप से $\tau/\eta = 1/2$ ) सबसे अच्छा प्रदर्शन देता है, जो इस परिकल्पना को मान्य करता है कि केवल रेफरेंस पॉलिसी (DPO) या केवल पिछली पॉलिसी (शुद्ध सेल्फ-प्ले) पर निर्भर रहना उप-इष्टतम (suboptimal) है।
- लॉस फंक्शन: पेयरवाइज-लॉजिस्टिक ऑब्जेक्टिव को स्क्वेर्ड डिस्टेंस ऑब्जेक्टिव (जैसा कि INPO में उपयोग किया जाता है) से बदलने के परिणामस्वरूप प्रदर्शन में भारी गिरावट आई, जो नियत ऑरेकल रैंकिंग के लिए लॉजिस्टिक लॉस के डिज़ाइन विकल्प का समर्थन करता है।
गुणात्मक विश्लेषण: विजुअल तुलनाओं ने संकेत दिया कि Diff.-NPO बेसलाइन्स की तुलना में बेहतर सिमेंटिक एलाइनमेंट, एनाटॉमिकल शुद्धता (जैसे, फुल-बॉडी पोर्ट्रेट), और विजुअल कोहेरेंस उत्पन्न करता है।

महत्व और दावे

शोध पत्र दावा करता है कि Diff.-NPO एक सेल्फ-प्ले स्टाइल ऑब्जेक्टिव के साथ रेफरेंस-पॉलिसी रेगुलराइजेशन के माध्यम से प्रत्यक्ष सापेक्ष प्राथमिकता संभावनाओं को अनुकूलित करके ऑनलाइन डिफ्यूजन संरेखण के लिए एक सरल और स्थिर दृष्टिकोण प्रदान करता है।

लेखक जोर देते हैं कि नैश-शैली का ऑनलाइन लर्निंग, डिफ्यूजन-मॉडल संरेखण के लिए रिवॉर्ड-सेंट्रिक फॉर्मुलेशन के लिए एक आशाजनक विकल्प है। ब्रैडली-टेरी मॉडल की ट्रांजिटिविटी धारणाओं से दूर जाकर, यह विधि प्राथमिकता संरेखण के लिए अधिक सामान्य परिप्रेक्ष्य प्रदान करती है। यह कार्य डिफ्यूजन मॉडल्स के लिए नैश-शैली के लर्निंग के लिए एक आधार स्थापित करता है, यह प्रदर्शित करते हुए कि गेम-थ्योरेटिक लेंस के माध्यम से DPO और सेल्फ-प्ले को एकीकृत करने से बेहतर संरेखण गुणवत्ता प्राप्त हो सकती है।

शोध पत्र एक सीमा को विनम्रतापूर्वक नोट करता है: वर्तमान प्राथमिकता निर्माण पांच स्कोरिंग मॉडल्स के औसत रैंक पर निर्भर करता है, और अधिक व्यापक सेट ऑफ स्कोरिंग मॉडल्स को शामिल करने से अधिक व्यापक सिग्नल मिल सकता है। भविष्य के कार्य में फ्रेमवर्क को मजबूत ऑनलाइन डेटा-कलेक्शन रणनीतियों और व्यापक डिफ्यूजन जनरेशन और एडिटिंग कार्यों तक विस्तारित करने की योजना है।