💻 computer science

DeDPO: Debiased Direct Preference Optimization for Diffusion Models

यह शोध पत्र डिबायस्ड डायरेक्ट प्रिफरेंस ऑप्टिमाइज़ेशन (DeDPO) का प्रस्ताव करता है, जो एक अर्ध-पर्यवेक्षित (semi-supervised) ढांचा है जो सिंथेटिक AI फीडबैक में व्यवस्थित पूर्वाग्रहों को ठीक करने के लिए कारण संबंधी अनुमान (causal inference) तकनीकों को एकीकृत करता है, जिससे डिफ्यूजन मॉडल पूरी तरह से मानव-लेबल वाले प्रशिक्षण के तुलनीय या उससे बेहतर संरेखण प्रदर्शन प्राप्त कर सकते हैं और साथ ही डेटा लागत को महत्वपूर्ण रूप से कम कर सकते हैं।

मूल लेखक: Khiem Pham, Quang Nguyen, Tung Nguyen, Jingsen Zhu, Michele Santacatterina, Dimitris Metaxas, Ramin Zabih

प्रकाशित 2026-02-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Khiem Pham, Quang Nguyen, Tung Nguyen, Jingsen Zhu, Michele Santacatterina, Dimitris Metaxas, Ramin Zabih

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली कलाकार (एक डिफ्यूजन मॉडल) को आपके विवरण के आधार पर चित्र बनाना सिखा रहे हैं। वह कलाकार पहले से ही सुंदर चित्र बनाने में बहुत कुशल है, लेकिन कभी-कभी वह उन सूक्ष्म विवरणों को भूल जाता है जिनकी आपको परवाह है, जैसे कि रोशनी को सही करना या यह सुनिश्चित करना कि बिल्ली एक कुत्ते की तरह नहीं बल्कि एक बिल्ली की तरह दिखे।

इसे ठीक करने के लिए, आपको आमतौर पर मानव आलोचकों (human critics) की एक टीम रखनी पड़ती है जो दो चित्रों को देखती है और कहती है, "मुझे यह वाला ज्यादा पसंद है।" इसे डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO) कहा जाता है। यह बहुत अच्छा काम करता है, लेकिन लाखों चित्रों को जज करने के लिए हजारों मनुष्यों को नियुक्त करना बेहद महंगा और धीमा है। यह ऐसा है जैसे आपको केवल एक मजबूत लकड़ी की बाड़ की जरूरत हो, लेकिन आप सोने की परत वाली बाड़ के लिए पैसे खर्च कर रहे हों।

समस्या: "सस्ता" आलोचक

पैसे बचाने के लिए, शोधकर्ताओं ने मानव निर्णयों के बजाय AI आलोचकों (अन्य कंप्यूटर प्रोग्रामों) का उपयोग करने की कोशिश की। उन्होंने सोचा, "जब हम कंप्यूटर का मुफ्त में उपयोग कर सकते हैं, तो इंसानों को क्यों भुगतान करें?"

लेकिन इसमें एक पेंच है। ये AI आलोचक पूर्ण नहीं होते। वे गलतियाँ करते हैं, उनके अजीब पूर्वाग्रह होते हैं, और कभी-कभी वे केवल अनुमान लगाते हैं। यदि आप अपने कलाकार को केवल इन त्रुटिपूर्ण AI मतों से प्रशिक्षित करते हैं, तो कलाकार भ्रमित हो जाता है और अजीब गलतियाँ करने लगता है। यह एक ऐसे GPS को सुनकर गाड़ी चलाना सीखने जैसा है जो कभी-कभी आपको झील में गाड़ी चलाने के लिए कहता है।

समाधान: DeDPO (द "स्मार्ट टीचर")

इस पेपर के लेखकों ने, DeDPO, एक चतुर तरीका निकाला जिससे वे अपने गलतियों से भ्रमित हुए बिना इन सस्ते, अपूर्ण AI आलोचकों का उपयोग कर सकें। उन्होंने दो विचारों को मिलाया:

मानवों की एक छोटी टीम: आपके पास "गोल्ड स्टैंडर्ड" उत्तर देने के लिए वास्तविक मनुष्यों का एक छोटा समूह है।
AI आलोचकों की एक विशाल सेना: आप चित्रों के एक विशाल ढेर को जज करने के लिए सस्ते AI का उपयोग करते हैं।

जादुई ट्रिक: "डिबायस्ड" (Debiased) सुधार
आमतौर पर, यदि आप मानव और AI मतों को मिलाते हैं, तो AI की गलतियाँ पूरे सिस्टम को नीचे खींच लेती हैं। DeDPO एक गणितीय "सुधार फिल्टर" (जिसे कॉज़ल इन्फरेंस नामक क्षेत्र से लिया गया है) का उपयोग करता है ताकि इस शोर को ठीक किया जा सके।

इसे इस प्रकार समझें:

AI आलोचक एक शोर भरा रेडियो स्टेशन है। यह संगीत तो बजाता है, लेकिन इसमें बहुत अधिक स्टेटिक (शोर) है।
मानव आलोचक एक पूर्ण, स्पष्ट रिकॉर्डिंग है।
DeDPO एक स्मार्ट साउंड इंजीनियर है। वह पूरे कॉन्सर्ट के दौरान शोर वाले रेडियो (AI) को सुनता है, लेकिन उसके पास कुछ प्रमुख गानों के लिए वह पूर्ण रिकॉर्डिंग (मानव) भी होती है।

साउंड इंजीनियर यह समझने के लिए पूर्ण रिकॉर्डिंग का उपयोग करता है कि रेडियो संगीत को कैसे विकृत (distort) कर रहा है। एक बार जब वह विरूपण के पैटर्न को जान लेता है, तो वह बाकी शोर भरे रेडियो प्रसारण से उस स्टेटिक को "घटा" (subtract) सकता है। अचानक, सस्ता AI फीडबैक लगभग उतने ही अच्छे स्तर पर पहुँच जाता है जितना कि महंगा मानव फीडबैक।

व्यवहार में यह कैसे काम करता है

पेपर ने दो प्रसिद्ध इमेज जनरेटर्स (SD1.5 और SDXL) पर इसका परीक्षण किया। उन्होंने मॉडल को दिया:

25% डेटा वास्तविक मानव लेबल ( "पूर्ण रिकॉर्डिंग") के साथ।
75% डेटा AI-जनरेटेड लेबल ("शोर वाला रेडियो") के साथ।

परिणाम:

मानक विधि (DPO): जब उन्होंने विशेष सुधार के बिना मानव और AI लेबल को मिला दिया, तो मॉडल और खराब हो गया। AI से आया शोर मानव मार्गदर्शन पर हावी हो गया।
DeDPO: मॉडल ने पूरी तरह से सीखा। वास्तव में, इसने उतना ही अच्छा प्रदर्शन किया, और कभी-कभी 100% मानव लेबल पर प्रशिक्षित मॉडलों से भी बेहतर प्रदर्शन किया।

यह क्यों महत्वपूर्ण है

लेखकों ने सिद्ध किया है कि AI कला को मानवीय मूल्यों के अनुरूप बनाने के लिए आपको मानवों की एक सेना रखने की आवश्यकता नहीं है। आप एक बहुत बड़ी मात्रा में सस्ते AI फीडबैक को "कैलिब्रेट" करने के लिए थोड़े से मानव सहयोग का उपयोग कर सकते हैं।

उपमा: यह एक विशेषज्ञ शेफ द्वारा सूप के एक बड़े बर्तन को चखने जैसा है ताकि यह बताया जा सके कि इसमें नमक की आवश्यकता है या नहीं। एक बार जब शेफ वह एक सुधार दे देता है, तो आप बाकी बर्तन के लिए स्वचालित सीजनिंग मशीन पर भरोसा कर सकते हैं।
परिणाम: यह AI अलाइनमेंट (AI को सहायक और सुरक्षित बनाना सिखाना) को बजट बिगाड़े बिना या मानव फीडबैक की प्रतीक्षा किए बिना स्केल करना संभव बनाता है।

संक्षेप में, DeDPO एक ऐसी विधि है जो AI को "सस्ते" फीडबैक से सीखने देती है, जिसमें वह "महंगे" मानव ज्ञान का उपयोग करके शोर को साफ करता है, जिसके परिणामस्वरूप उच्च-गुणवत्ता वाली, संरेखित (aligned) AI कला प्राप्त होती है, बिना उच्च लागत के।

तकनीकी सारांश: DeDPO: डिफ्यूजन मॉडल्स के लिए डिबायस्ड डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (Debiased Direct Preference Optimization)

1. समस्या विवरण (Problem Statement)

डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) डिफ्यूजन मॉडल्स को मानवीय प्राथमिकताओं (human preferences) के साथ संरेखित करने के लिए एक मानक विधि बन गया है, जो एक अलग रिवॉर्ड मॉडल की आवश्यकता को समाप्त करके रिइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) का एक कुशल विकल्प प्रदान करता है। हालाँकि, DPO एक महत्वपूर्ण स्केलेबिलिटी बाधा का सामना करता है: यह बड़े पैमाने पर, उच्च गुणवत्ता वाले मानव प्राथमिकता लेबल पर निर्भर करता है, जिन्हें प्राप्त करना अत्यधिक महंगा और समय लेने वाला है।

सिंथेटिक प्राथमिकताओं (AI मॉडल्स द्वारा उत्पन्न) का उपयोग करके इस समस्या को हल करने के हालिया प्रयास अक्सर विफल हो जाते हैं क्योंकि ये सिंथेटिक लेबल शोर युक्त (noisy), वास्तविक मानव निर्णय के साथ असंगत, या व्यवस्थित पूर्वाग्रह (systematic bias) वाले हो सकते हैं। इस प्रकार के अपूर्ण फीडबैक पर सीधे प्रशिक्षण देने से संरेखण (alignment) अस्थिर हो जाता है और प्रदर्शन गिर जाता है। मुख्य चुनौती कम लागत वाले सिंथेटिक डेटा के बड़े आयतन का लाभ उठाने की है, जबकि केवल मानव लेबल के एक छोटे सेट का उपयोग करके इसके अंतर्निहित शोर और पूर्वाग्रह को ठीक किया जा सके।

2. कार्यप्रणाली: डिबायस्ड DPO (DeDPO)

लेखक DeDPO का प्रस्ताव करते हैं, जो एक सेमी-सुपरवाइज्ड फ्रेमवर्क है जो कॉज़ल इन्फरेंस (causal inference) से एक डिबायस्ड एस्टीमेशन तकनीक को DPO ऑब्जेक्टिव में एकीकृत करता है। यह विधि उस सेटिंग में काम करती है जहाँ डेटा का एक छोटा सेट ग्राउंड-ट्रुथ मानव प्राथमिकताओं के साथ लेबल किया गया है, और एक बड़ा सेट लागत प्रभावी AI फीडबैक (जैसे, विज़न-लैंग्वेज मॉडल्स या सेल्फ-ट्रेनिंग) द्वारा उत्पन्न सिंथेटिक प्राथमिकताओं के साथ लेबल किया गया है।

2.1. DPO को बाइनरी क्लासिफिकेशन के रूप में पुनर्गठित करना

लेखक पहले मानक डिफ्यूजन-DPO लॉस को एक बाइनरी क्लासिफिकेशन समस्या के रूप में पुनर्व्याख्यायित करते हैं। एक इमेज पेयर $(x_0, x_1)$ और प्रॉम्प्ट $c$ के लिए, एक प्रेफरेंस लेबल $z$ इंगित करता है कि कौन सी इमेज पसंद की गई है। DPO लॉस को एक बाइनरी क्रॉस-एन्ट्रॉपी लॉस $L(G_\theta(y), z)$ के रूप में फिर से लिखा जाता है, जहाँ $G_\theta$ मॉडल का इम्प्लिसिट मार्जिन प्रेडिक्टर है।

2.2. डिबायस्ड लॉस फंक्शन (The Debiased Loss Function)

एक साधारण सेमी-सुपरवाइज्ड दृष्टिकोण में, कोई केवल लापता मानव लेबल्स को सिंथेटिक लेबल्स $\hat{G}(y)$ के साथ प्रतिस्थापित कर सकता है, जिससे एक बायस्ड आउटकम रिग्रेशन (OR) एस्टीमेटर प्राप्त होता है। इसके बजाय, DeDPO एक डिबायस्ड लॉस (Eq. 8) प्रस्तावित करता है जो लेबल किए गए और बिना लेबल वाले डेटा को जोड़ता है:

$L_{DeDPO}(\theta) = \mathbb{E}_{n_l+n_u} [L(G_\theta(y), \hat{G}(y))] + \mathbb{E}_{n_l} [L(G_\theta(y_l), z_l) - L(G_\theta(y_l), \hat{G}(y_l))]$

जहाँ:

$n_l$ और $n_u$ लेबल किए गए और बिना लेबल वाले नमूनों की संख्या हैं।
$z_l$ ग्राउंड-ट्रुथ मानव लेबल है।
$\hat{G}(y)$ सिंथेटिक लेबल है।

सुधार की प्रक्रिया (Mechanism of Correction):

बिना लेबल वाला डेटा (Unlabeled Data): लॉस सिंथेटिक छद्म-लेबल्स (pseudo-labels) $\hat{G}(y)$ को सीधे सुपरविजन सिग्नल के रूप में उपयोग करता है।
लेबल किया गया डेटा (Labeled Data): लॉस एक सुधार पद (correction term) $(z_l - \hat{G}(y_l))$ पेश करता है जो छद्म-लेबल को वास्तविक मानव लेबल की ओर स्थानांतरित करता है। यह सुधार एक इम्पोर्टेंस वेट $\frac{n_l + n_u}{n_l}$ द्वारा प्रवर्धित होता है, जो लेबल किए गए डेटा की कमी को दर्शाता है।
सैद्धांतिक गुण (Theoretical Properties):
1. अनबायस्डनेस (Unbiasedness): DeDPO लॉस का एक्सपेक्टेशन (expectation), पॉपुलेशन-लेवल DPO लॉस के बराबर होता है, चाहे सिंथेटिक लेबल सही हों या नहीं। यदि सिंथेटिक लेबल पूर्ण हैं, तो यह सभी डेटा का उपयोग करता है; यदि वे पूरी तरह से गलत हैं, तो यह एसिम्प्टोटिक रूप से केवल लेबल किए गए डेटा का उपयोग करने की ओर लौट जाता है।
2. सिंथेटिक मॉडल कन्वर्जेंस के प्रति मजबूती (Robustness to Synthetic Model Convergence): लेखक सिद्ध करते हैं कि लक्षित डिफ्यूजन मॉडल $\theta$ इष्टतम कन्वर्जेंस दर प्राप्त कर सकता है, भले ही सिंथेटिक प्रेफरेंस मॉडल $\hat{G}$ बहुत धीमी दर पर कन्वर्ज हो (विशेष रूप से, एरर टर्म सिंथेटिक मॉडल के एरर के चौथे पावर पर निर्भर करता है)। यह सिस्टम को तब भी मजबूत बनाता है जब सिंथेटिक एनोटेटर अपूर्ण हो।

2.3. सिंथेटिक प्रेफरेंस स्रोत (Synthetic Preference Sources)

यह फ्रेमवर्क सिंथेटिक लेबल्स के लिए दो प्राथमिक स्रोतों का समर्थन करता है:

सेल्फ-ट्रेनिंग (Self-Training): पिछले इटरेशन्स से वर्तमान पॉलिसी $\theta$ के इम्प्लिसिट रिवॉर्ड मार्जिन का उपयोग करके लेबल्स जेनरेट करना। लेखक नोट करते हैं कि ओवरफिटिंग से बचने के लिए, सिंथेटिक मॉडल को आदर्श रूप से DPO ट्रेनिंग सेट से स्वतंत्र डेटा पर प्रशिक्षित किया जाना चाहिए।
प्री-ट्रेन्ड विज़न-लैंग्वेज मॉडल्स (VLMs): इमेज पेयर्स को एनोटेट करने के लिए Qwen या CLIP जैसे मॉडल्स का उपयोग करना। पेपर के सेटिंग में इसे प्राथमिकता दी जाती है क्योंकि यह उसी लेबल किए गए डेटा पर सेल्फ-ट्रेनिंग से जुड़ी 'इंडिपेंडेंस वायलेशन' से बचता है।

3. मुख्य योगदान (Key Contributions)

डिफ्यूजन के लिए डिबायस्ड एस्टीमेशन: यह पेपर डिफ्यूजन मॉडल्स में प्रेफरेंस ऑप्टिमाइज़ेशन की समस्या के लिए कॉज़ल इन्फरेंस से डिबायस्ड एस्टीमेशन तकनीकों के पहले अनुप्रयोग को पेश करता है।
सेमी-सुपरवाइज्ड एलाइनमेंट: यह एक अलग रिवॉर्ड मॉडल की आवश्यकता के बिना, मानव लेबल्स के एक छोटे अंश (जैसे, 25%) को बड़े सिंथेटिक लेबल्स के कॉर्पस द्वारा संवर्धित करके डिफ्यूजन मॉडल्स को संरेखित करने के लिए एक मजबूत फ्रेमवर्क स्थापित करता है।
सैद्धांतिक गारंटी: लेखक सैद्धांतिक प्रमाण प्रदान करते हैं जो दर्शाते हैं कि प्रस्तावित लॉस अनबायस्ड है और लर्निंग प्रक्रिया सिंथेटिक प्रेफरेंस मॉडल की त्रुटियों के प्रति मजबूत है, बशर्ते कि सिंथेटिक मॉडल स्वतंत्र डेटा पर प्रशिक्षित हो।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने SD1.5 और SDXL बैकबोन का उपयोग करके FiFA-5K और HPDv2 डेटासेट्स पर DeDPO का मूल्यांकन किया।

फुली सुपरवाइज्ड DPO बनाम प्रदर्शन: 25% मानव और 75% सिंथेटिक लेबल्स के साथ प्रशिक्षित DeDPO ने लगातार 100% मानव लेबल्स पर प्रशिक्षित DPO के प्रदर्शन के बराबर या उससे थोड़ा बेहतर प्रदर्शन किया।
- SD1.5 के साथ FiFA-5K पर, DeDPO ने 21.91 का PickScore और 27.80 का HPSv2 प्राप्त किया, जो फुली सुपरवाइज्ड DPO बेसलाइन (21.88 PS, 27.79 HPSv2) से अधिक है।
- SDXL पर, DeDPO ने फुली सुपरवाइज्ड प्रदर्शन के बराबर प्रदर्शन किया (22.83 PS बनाम 22.84 PS)।
शोर के प्रति मजबूती (Robustness to Noise): इसके विपरीत, सिंथेटिक लेबल्स को DPO के साथ मिलाने का एक साधारण दृष्टिकोण (बिना डिबायसिंग के) लगातार खराब प्रदर्शन करता रहा, जिससे पता चलता है कि यदि सुधारा न जाए तो केवल सिंथेटिक डेटा जोड़ने से संरेखण बिगड़ सकता है।
स्केलेबिलिटी: जैसे-जैसे बिना लेबल वाले सिंथेटिक डेटासेट का आकार बढ़ा (98K पेयर्स तक), DeDPO ने स्थिर प्रदर्शन बनाए रखा, जबकि वैनिला DPO का प्रदर्शन शोर युक्त लेबल्स के संचय के कारण काफी गिर गया।
गुणात्मक सुधार (Qualitative Improvements): विजुअल तुलनाओं ने दिखाया कि DeDPO, कम मानव लेबल्स या साधारण सिंथेटिक मिक्सिंग वाले मॉडल्स की तुलना में सूक्ष्म विवरणों और कंपोजिशनल बाधाओं (जैसे, जटिल प्रॉम्प्ट्स में विशिष्ट ऑब्जेक्ट्स) को बेहतर ढंग से कैप्चर करता है।
AI-एज़-ए-जज (AI-as-a-Judge): मानव-अलाइन्ड AI जजों (Gemini 2.5 Flash) ने जनरल प्रेफरेंस और विजुअल अपील के लिए DeDPO को फुली सुपरवाइज्ड DPO पर ~57% मामलों में और सेमी-सुपरवाइज्ड DPO पर ~76% मामलों में प्राथमिकता दी।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि DeDPO डिफ्यूजन मॉडल्स के लिए ह्यूमन-AI एलाइनमेंट के लिए एक स्केलेबल और लागत प्रभावी समाधान प्रदान करता है। डिबायस्ड एस्टीमेशन को एकीकृत करके, यह विधि कम लागत वाले, शोर युक्त सिंथेटिक फीडबैक को एक विश्वसनीय ट्रेनिंग सिग्नल में सफलतापूर्वक बदल देती है।

लेखक दावा करते हैं कि DeDPO:

डेटा बाधा को दूर करता है: यह मानव लेबल्स के एक छोटे अंश का उपयोग करके उच्च-गुणवत्ता वाला संरेखण सक्षम बनाता है, जिससे अत्यधिक लागत के बिना बड़े पैमाने पर प्रेफरेंस ऑप्टिमाइज़ेशन संभव हो जाता है।
मजबूती सुनिश्चित करता है: यह सिंथेटिक एनोटेटर्स (सेल्फ-ट्रेनिंग और VLMs सहित) में निहित विविधताओं और शोर के प्रति लचीला है, जो AI-जेनरेटेड प्रेफरेंसेस पर प्रशिक्षण के दौरान होने वाली अस्थिरता को रोकता है।
स्टेट-ऑफ-द-आर्ट दक्षता प्राप्त करता है: यह पूरी तरह से मानव-लेबल वाले डेटासेट्स पर प्रशिक्षित मॉडल्स के बराबर, और कभी-कभी उनसे बेहतर प्रदर्शन प्राप्त करता है, जो कुशल प्रेफरेंस ऑप्टिमाइज़ेशन के लिए एक नया मानक स्थापित करता है।

यह कार्य निष्कर्ष निकालता है कि उचित रूप से डिबायस्ड सिंथेटिक फीडबैक, व्यापक मानव लेबलिंग के लिए एक व्यवहार्य और विश्वसनीय विकल्प है, जो जनरेटिव मॉडल्स को मानवीय मूल्यों के साथ संरेखित करने के लिए एक व्यावहारिक मार्ग प्रदान करता है।