💻 computer science

Arena as Offline Reward: Efficient Fine-Grained Preference Optimization for Diffusion Models

यह शोध पत्र ArenaPO का प्रस्ताव करता है, जो एक रिवॉर्ड-मॉडल-मुक्त फाइन-ट्यूनिंग विधि है जो क्षमता वितरणों (capability distributions) पर लेटेंट-वेरिएबल इन्फरेंस से प्राप्त ऑफलाइन एरिना स्कोर का लाभ उठाती है ताकि सूक्ष्म-स्तरीय प्राथमिकता फीडबैक प्रदान किया जा सके, जिससे पारंपरिक बाइनरी DPO दृष्टिकोणों की तुलना में डिफ्यूजन मॉडल्स का अधिक कुशल और प्रभावी संरेखण (alignment) प्राप्त किया जा सके।

मूल लेखक: Zhikai Li, Yue Zhao, Edward Zhongwei Zhang, Xuewen Liu, Jing Zhang, Qingyi Gu, Zhen Dong

प्रकाशित 2026-05-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhikai Li, Yue Zhao, Edward Zhongwei Zhang, Xuewen Liu, Jing Zhang, Qingyi Gu, Zhen Dong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कलाकार (एक कंप्यूटर प्रोग्राम जिसे "डिफ्यूजन मॉडल" कहा जाता है) को ऐसे चित्र बनाना सिखा रहे हैं जो वास्तव में मनुष्यों को पसंद आएं। आप कलाकार को दो पेंटिंग दिखाते हैं और पूछते हैं, "इनमें से कौन सा बेहतर है?"

पुराने तरीके: "हाँ/नहीं" वाला जज और "किराए का आलोचक"

लंबे समय तक, कलाकार को सिखाने के दो मुख्य तरीके थे:

"किराए का आलोचक" (RLHF): आप एक पेशेवर कला आलोचक (एक "रिवॉर्ड मॉडल") को पेंटिंग्स देखने के लिए काम पर रखते हैं जो उन्हें एक विस्तृत स्कोर देता है, जैसे "10 में से 8.5"। यह बहुत सटीक है, लेकिन एक आलोचक को काम पर रखना और प्रशिक्षित करना महंगा, धीमा और बहुत अधिक संसाधनों की मांग करने वाला काम है। यह एक भारी बैकपैक लेकर मैराथन दौड़ने जैसा है।
"हाँ/नहीं" वाला जज (DPO): समय बचाने के लिए, शोधकर्ताओं ने एक सरल विधि अपना ली। उन्होंने बस पूछा, "क्या चित्र A, चित्र B से बेहतर है?" कंप्यूटर केवल एक सरल "हाँ" या "नहीं" सीखता है। यह तेज़ और कुशल है, लेकिन यह एक जटिल भाषा को केवल "हाँ" और "नहीं" का उपयोग करके सीखने जैसा है। आप इस बात को मिस कर देते हैं कि एक चित्र दूसरे से कितना बेहतर है। यदि चित्र A एक उत्कृष्ट कृति (masterpiece) है और चित्र B एक साधारण लकीर है, तो कंप्यूटर इसे भी उसी तरह सीखता है जैसे कि चित्र A केवल थोड़ा ही बेहतर था।

नया विचार: "एरिना" (Arena) स्कोरकार्ड

इस शोध पत्र के लेखकों ने एक चतुर मध्य मार्ग निकाला है। वे "हाँ/नहीं" जज की गति और "किराए के आलोचक" की समृद्ध विस्तृत जानकारी चाहते थे, लेकिन बिना वास्तव में किसी आलोचक को काम पर रखे।

उन्होंने इसे एक टूर्नामेंट उपमा (Analogy) का उपयोग करके कैसे किया, यहाँ बताया गया है:

चरण 1: "मॉडल एरिना" का निर्माण करना

एक विशाल टूर्नामेंट की कल्पना करें जहाँ हर AI आर्ट जनरेटर एक योद्धा है। केवल यह कहने के बजाय कि "योद्धा A ने योद्धा B को हराया," शोधकर्ताओं ने प्रत्येक AI के कौशल स्तर को अनिश्चितता के एक बादल (Gaussian distribution) के रूप में माना।

इसे मौसम के पूर्वानुमान की तरह समझें। बजाय इसके कि यह कहा जाए कि "तापमान 70°F होगा," पूर्वानुमान कहता है, "यह संभवतः 68°F और 72°F के बीच है।"
हजारों पिछले मुकाबलों (किसने किसे हराया, डेटासेट में) को देखकर, सिस्टम प्रत्येक AI के लिए इन "कौशल बादलों" को अपडेट करता है। यह न केवल यह सीखता है कि कौन अच्छा है, बल्कि यह भी कि वह उस कौशल के बारे में कितना आश्वस्त है।

चरण 2: "जादुई कैलकुलेटर" (Latent-Variable Inference)

अब, जब सिस्टम चित्रों का एक विशिष्ट जोड़ा देखता है (एक AI A से और एक AI B से) और जानता है कि मानव ने AI A को चुना है, तो वह केवल यह नहीं कहता कि "A जीत गया।"

यह एक विशेष गणितीय ट्रिक (जो "ट्रंकेटेड नॉर्मल डिस्ट्रीब्यूशन" पर आधारित है) का उपयोग करता है और पूछता है: "यह देखते हुए कि AI A आमतौर पर AI B से थोड़ा बेहतर होता है, लेकिन आज AI A जीता, तो यह विशेष चित्र कितना बेहतर था?"

उपमा: दो धावकों की कल्पना करें। धावक A आमतौर पर धावक B से 1 सेकंड से जीतता है। आज, धावक A जीता। सिस्टम गणना करता है: "क्या यह एक करीबी दौड़ थी (1 सेकंड) या एक बड़ी जीत (10 सेकंड)?"
यह "कौशल बादलों" और जीत होने के तथ्य का उपयोग करके एक सटीक "क्वालिटी गैप" (गुणवत्ता अंतराल) संख्या का अनुमान लगाता है। यह संख्या कलाकार को ठीक-ठीक बताती है कि जीतने वाला चित्र वास्तव में कितना बेहतर था।

चरण 3: नए स्कोर के साथ सिखाना

अंत में, सिस्टम इस सटीक "क्वालिटी गैप" संख्या का उपयोग कलाकार को प्रशिक्षित करने के लिए करता है।

केवल यह कहने के बजाय कि "विजेता की तरह अधिक चित्र बनाओ," यह कहता है, "विजेता की तरह अधिक चित्र बनाओ, और याद रखो कि इस बार विजेता 4.8 अंक बेहतर था।"
यह कलाकार को एक साधारण "हाँ/नहीं" वोट की तुलना में बहुत अधिक विस्तृत पाठ देता है, लेकिन यह पूरी तरह से ऑफलाइन (मौजूदा डेटा का उपयोग करके) होता है, बिना वास्तविक समय में किसी धीमे और महंगे आलोचक की आवश्यकता के।

परिणाम

शोधकर्ताओं ने दो बड़े मानव वरीयता डेटासेट्स (Pick-a-Pic v2 और HPD v3) पर इस नई पद्धति का परीक्षण किया।

परिणाम: उनकी विधि (ArenaPO) ने पुराने "हाँ/नहीं" तरीकों की तुलना में लगातार बेहतर चित्र बनाए।
प्रमाण: जब उन्होंने अपने नए AI को मूल, अप्रशिक्षित AI के खिलाफ खड़ा किया, तो उनका संस्करण 79% बार जीता। इसने विभिन्न गुणवत्ता जांचों में अन्य शीर्ष विधियों जैसे Diffusion-DPO और SDPO को भी पछाड़ दिया।

संक्षेप में

यह शोध पत्र ArenaPO का प्रस्ताव करता है, जो AI आर्ट जनरेटरों को तेजी से और बेहतर तरीके से सीखने का एक तरीका है। केवल यह पूछने के बजाय कि "कौन बेहतर है?" (जो बहुत सरल है) या एक धीमे आलोचक को काम पर रखने के बजाय (जो बहुत महंगा है), उन्होंने एक आभासी टूर्नामेंट बनाया ताकि यह गणना की जा सके कि एक चित्र दूसरे से कितना बेहतर है। वे इस सटीक "जीत के अंतर" का उपयोग AI को सिखाने के लिए करते हैं, जिसके परिणामस्वरूप कम कंप्यूटिंग शक्ति के साथ उच्च गुणवत्ता वाले चित्र प्राप्त होते हैं।

तकनीकी सारांश: एरिना एज़ ऑफलाइन रिवॉर्ड (ArenaPO)

समस्या विवरण

यद्यपि मानव प्राथमिकताओं (human preferences) के साथ टेक्स्ट-टू-इमेज (T2I) डिफ्यूजन मॉडल्स को संरेखित करने के लिए रिइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) ने प्रभावी ढंग से काम किया है, लेकिन यह ऑनलाइन इन्फरेंस के लिए एक स्पष्ट रिवॉर्ड मॉडल को प्रशिक्षित करने और तैनात करने की आवश्यकता के कारण कम्प्यूटेशनल रूप से अक्षम है। डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) एक अधिक कुशल विकल्प के रूप में उभरा है जो बिना किसी स्पष्ट रिवॉर्ड मॉडलिंग के स्टेटिक ऑफलाइन डेटासेट्स का लाभ उठाता है। हालाँकि, मानक DPO बाइनरी फीडबैक (चुने गए बनाम अस्वीकृत जोड़े) तक सीमित है, जिसके परिणामस्वरूप मोटे तौर पर (coarse-grained) अनुकूलन होता है। व्यवहार में, इमेज जोड़ों के बीच गुणवत्ता के अंतर काफी भिन्न होते हैं; सभी "चुने गए" (chosen) इमेजेस को "अस्वीकृत" (rejected) इमेजेस की तुलना में समान रूप से श्रेष्ठ मानने से प्राथमिकता के परिमाण (magnitude) की अनदेखी होती है, जो संभावित रूप से उप-इष्टतम संरेखण (suboptimal alignment) की ओर ले जा सकता है। मुख्य चुनौती यह है कि बिना किसी स्पष्ट, कम्प्यूटेशनल रूप से महंगे रिवॉर्ड मॉडल पर निर्भर हुए, कुशल DPO फ्रेमवर्क में सूक्ष्म-स्तरीय प्राथमिकता संकेतों (fine-grained preference signals) को कैसे शामिल किया जाए।

कार्यप्रणाली: ArenaPO

लेखक ArenaPO का प्रस्ताव करते हैं, जो DPO प्रशिक्षण को बढ़ाने के लिए "मॉडल एरिना" (Model Arena) से सूक्ष्म-स्तरीय ऑफलाइन रिवॉर्ड्स निकालने वाला एक फ्रेमवर्क है। यह विधि तीन अलग-अलग चरणों में कार्य करती है:

1. मॉडल एरिना निर्माण

इमेजेस को अलग-थलग मानने के बजाय, लेखक एक "मॉडल एरिना" का निर्माण करते हैं जहाँ प्रत्येक इमेज का स्रोत मॉडल एक प्रतिस्पर्धी होता है।

संभाव्यता मॉडलिंग (Probabilistic Modeling): थर्स्टोन के केस V सिद्धांत (Thurstone's Case V theory) का अनुसरण करते हुए, प्रत्येक मॉडल की क्षमता को एक निश्चित बिंदु के रूप में नहीं, बल्कि एक गॉसियन वितरण $\theta \sim \mathcal{N}(\mu, \sigma^2)$ के रूप में मॉडल किया गया है, जहाँ $\mu$ औसत क्षमता का प्रतिनिधित्व करता है और $\sigma$ अनिश्चितता का प्रतिनिधित्व करता है।
बायेसियन अपडेटिंग (Bayesian Updating): डेटासेट को युग्मवार तुलनाओं (pairwise comparisons) की एक श्रृंखला के रूप में देखा जाता है। एनोटेटेड पेयरवाइज प्रेफरेंसेस के माध्यम से, प्रत्येक मॉडल के क्षमता वितरण को बायेसियन इन्फरेंस का उपयोग करके पुनरावृत्ति रूप से अपडेट किया जाता है। बाइनरी लेबल (जीत/हार) प्रायर वितरण (prior distribution) को अपडेट करने के लिए लाइकलीहुड फंक्शन के रूप में कार्य करता है, जो मॉडल की वास्तविक क्षमता को दर्शाने वाले पोस्टीरियर वितरण (posterior distribution) की ओर अभिसरण करता है।

2. क्वालिटी गैप अनुमान के लिए लेटेंट-वेरिएबल इन्फरेंस

डेटासेट में किसी भी इमेज जोड़े $(y_w, y_l)$ के लिए, यह विधि बिना रिवॉर्ड मॉडल के पूर्ण गुणवत्ता अंतराल (absolute quality gap) का अनुमान लगाती है।

फॉर्मूलेशन: एक इमेज की गुणवत्ता को उसके स्रोत मॉडल के क्षमता वितरण से लिए गए एकल नमूने के रूप में माना जाता है। समस्या को देखे गए इवेंट $Q_w > Q_l$ के दिए गए होने पर गुणवत्ता अंतर $Q_D = Q_w - Q_l$ के पोस्टीरियर एक्सपेक्टेशन (posterior expectation) का अनुमान लगाने के रूप में तैयार किया गया है।
ट्रंकेटेड नॉर्मल डिस्ट्रीब्यूशन (Truncated Normal Distribution): चूंकि दो स्वतंत्र गॉसियन वेरिएबल्स के बीच का अंतर भी गॉसियन होता है, और अवलोकन एक एकतरफा बाधा ( $Q_D > 0$ ) लागू करता है, इसलिए लेखक ट्रंकेटेड नॉर्मल डिस्ट्रीब्यूशन के गुणों का उपयोग करते हैं।
क्लोज्ड-फॉर्म सॉल्यूशन: अनुमानित गुणवत्ता अंतराल $Q_D^*$ की गणना कंडीशनल एक्सपेक्टेशन $E[Q_D | Q_D > 0]$ के रूप में की जाती है। यह मान प्रायर मीन अंतर ( $\mu_w - \mu_l$ ) और अनिश्चितता ( $\sigma_w, \sigma_l$ ) तथा देखे गए बाइनरी प्रेफरेंस से प्राप्त सुधार शब्द (correction term) दोनों को समाहित करता है। यह $Q_D^*$ एक सूक्ष्म-स्तरीय, इंस्टेंस-विशिष्ट रिवॉर्ड सिग्नल के रूप में कार्य करता है।

3. सूक्ष्म-स्तरीय (Fine-Grained) DPO प्रशिक्षण

अनुमानित गुणवत्ता अंतराल को डिफ्यूजन-DPO ऑब्जेक्टिव में एकीकृत किया जाता है।

मार्जिन-आधारित ब्रैडली-टेरी मॉडल: केवल एक साधारण बाइनरी ऑर्डरिंग लागू करने के बजाय, प्रेफरेंस प्रोबेबिलिटी को एक मार्जिन के साथ मॉडल किया जाता है: $p(y_w \succ y_l) = \sigma(r(y_w) - r(y_l) - Q_D^*)$ ।
लॉस फंक्शन: मानक DPO लॉस को $Q_D^*$ को एक स्केलिंग फैक्टर (एक गुणांक $\gamma$ द्वारा भारित) के रूप में शामिल करने के लिए संशोधित किया गया है। यह पॉलिसी को न केवल यह सीखने के लिए प्रोत्साहित करता है कि कौन सी इमेज बेहतर है, बल्कि यह भी कि वह कितनी बेहतर है, जिससे वह प्रेफरेंस गैप के परिमाण से मेल खा सके।
दक्षता (Efficiency): पूरी पाइपलाइन ऑफलाइन है। एरिना निर्माण और क्वालिटी गैप अनुमान प्रशिक्षण से पहले ही गणना किए जाते हैं, जिसमें किसी अतिरिक्त ऑनलाइन इन्फरेंस या रिवॉर्ड मॉडल प्रशिक्षण की आवश्यकता नहीं होती है, जिससे DPO की कम्प्यूटेशनल दक्षता बनी रहती है।

मुख्य योगदान

ArenaPO फ्रेमवर्क: एक ऐसे तरीके का प्रस्ताव जो DPO के लिए रिफाइंड फीडबैक प्रदान करने के लिए ऑफलाइन रिवॉर्ड के रूप में एरिना स्कोर का लाभ उठाता है, जो बिना किसी स्पष्ट रिवॉर्ड मॉडल के RLHF की समृद्ध रिवॉर्ड सिग्नल और DPO की दक्षता दोनों को प्राप्त करता है।
लेटेंट-वेरिएबल इन्फरेंस: केवल मॉडल क्षमता वितरण और बाइनरी प्रेफरेंसेस का उपयोग करके इमेज जोड़ों के बीच पूर्ण गुणवत्ता अंतराल का अनुमान लगाने के लिए ट्रंकेटेड नॉर्मल डिस्ट्रीब्यूशन पर आधारित एक नवीन इन्फरेंस पद्धति का परिचय।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): Pick-a-Pic v2 और HPD v3 डेटासेट्स पर व्यापक प्रयोगों से पता चलता है कि ArenaPO कई मूल्यांकन मेट्रिक्स (PickScore, HPS, Aesthetic, CLIP, ImageReward) में मौजूदा बेसलाइन्स (Diffusion-DPO, MaPO, DSPO, और SDPO सहित) को लगातार पछाड़ता है।

प्रायोगिक परिणाम

लेखकों ने Stable Diffusion 1.5 और Stable Diffusion XL का उपयोग करके Pick-a-Pic v2 और HPD v3 डेटासेट्स पर ArenaPO का मूल्यांकन किया।

प्रदर्शन लाभ: ArenaPO ने सभी परीक्षण किए गए बेंचमार्क पर स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त किए। उदाहरण के लिए, Stable Diffusion 1.5 के साथ Pick-a-Pic v2 डेटासेट पर, ArenaPO ने PickScore को 0.2143 (SDPO) से बढ़ाकर 0.2151 और ImageReward को 0.5546 से बढ़ाकर 0.6063 कर दिया।
जीत की दर (Win-Rate): मूल Stable Diffusion 1.5 के विरुद्ध हेड-टू-हेड तुलना में, ArenaPO ने 79.0% की जीत दर हासिल की, जो अन्य DPO वेरिएंट्स से काफी बेहतर है।
एब्लेशन स्टडीज (Ablation Studies):
- फाइन-ग्रेन्ड बनाम यूनिफॉर्म मार्जिन: एडेप्टिव $Q_D^*$ के स्थान पर एक फिक्स्ड यूनिफॉर्म मार्जिन का उपयोग करने से काफी कम प्रदर्शन हुआ, जो सूक्ष्म-स्तरीय, एडेप्टिव रिवॉर्ड की आवश्यकता को प्रमाणित करता है।
- स्केलेबिलिटी: ArenaPO को अन्य उन्नत तरीकों (जैसे, DSPO) के साथ संयोजित करने से और अधिक प्रदर्शन लाभ प्राप्त हुआ, जो दर्शाता है कि यह दृष्टिकोण डीकप्ल्ड और अन्य ऑप्टिमाइजेशन रणनीतियों के साथ संगत है।
- हाइपरपैरामीटर संवेदनशीलता: पाया गया कि स्केलिंग गुणांक $\gamma$ अपेक्षाकृत असंवेदनशील था, जिसका इष्टतम प्रदर्शन $1 \times 10^{-3}$ पर था।

महत्व और दावे

पेपर का दावा है कि ArenaPO प्रभावी रूप से DPO की दक्षता और RLHF की समृद्धि के बीच के अंतर को पाटता है। मॉडल क्षमताओं को वितरण के रूप में मॉडल करके और लेटेंट-वेरिएबल इन्फरेंस का उपयोग करके, यह विधि बिना रिवॉर्ड मॉडल के ओवरहेड के मौजूदा बाइनरी डेटासेट्स से सूक्ष्म-स्तरीय प्रेफरेंस जानकारी निकालती है। लेखक दावा करते हैं कि यह दृष्टिकोण अधिक प्रभावी संरेखण की ओर ले जाता है, जिससे मॉडल्स को न केवल प्रेफरेंस की दिशा बल्कि उस प्रेफरेंस की तीव्रता को भी सीखने में मदद मिलती है। इस पद्धति को T2I डिफ्यूजन मॉडल्स को बेहतर बनाने के लिए एक व्यावहारिक, स्केलेबल समाधान के रूप में प्रस्तुत किया गया है, जहाँ ऑनलाइन रिवॉर्ड मॉडलिंग के लिए कम्प्यूटेशनल संसाधन सीमित होते हैं।