💻 computer science

Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training

यह शोध पत्र \textsc{SURE} का प्रस्ताव करता है, जो एक एकीकृत लेटेंट-स्पेस फ्रेमवर्क है जो सैंपल-अनुकूलित अनिश्चितता अनुमानों के साथ रिवॉर्ड वितरण को सीखकर डिफ्यूजन मॉडल पोस्ट-ट्रेनिंग को बढ़ाता है ताकि पिक्सेल-स्पेस डिकोडिंग की आवश्यकता के बिना अनुकूलन के लिए विश्वसनीय, सघन फीडबैक प्रदान किया जा सके।

मूल लेखक: Rui Li, Yuanzhi Liang, Ke Hao, Ziqiao Weng, Haibin Huang, Chi Zhang, XueLong Li

प्रकाशित 2026-08-07

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Rui Li, Yuanzhi Liang, Ke Hao, Ziqiao Weng, Haibin Huang, Chi Zhang, XueLong Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट कलाकार को पेंटिंग करना सिखा रहे हैं। आप तब तक इंतज़ार नहीं करना चाहते जब तक कि रोबोट पूरी उत्कृष्ट कृति (masterpiece) न बना ले और फिर आप उसे कहें, "नहीं, वह कुत्ता एक आलू जैसा दिख रहा है।" आप चाहते हैं कि वह कैनवास पर रंग मिलाते समय ही उसे संकेत देते रहें। यह डिफ्यूजन मॉडल्स (diffusion models) की दुनिया है, जो एक प्रकार का AI है जो स्थिर शोर (static noise) को धीरे-धीरे स्पष्ट चित्रों में बदलकर चित्र और वीडियो बनाता है। इन रोबोट्स को वह पेंट करने के लिए जो इंसान वास्तव में पसंद करते हैं, हमें एक "रिवॉर्ड सिस्टम" (इनाम प्रणाली) की आवश्यकता होती है—एक ऐसा शिक्षक जो अच्छे आर्ट के लिए अंक दे और बुरे आर्ट के लिए अंक काटे।

पारंपरिक रूप से, यह शिक्षक तब तक इंतज़ार करता है जब तक रोबोट पेंटिंग पूरी नहीं कर लेता, फिर अंतिम तस्वीर को देखता है, और फिर एक स्कोर देता है। लेकिन यह धीमा और महंगा है क्योंकि रोबोट को संकेत पाने के लिए पूरी छवि बनाने का इंतज़ार करना पड़ता है। नए तरीके शिक्षकों को आधे-अधूरे स्केच (जिन्हें "लेटेंट्स" कहा जाता है) को झाँकने और पहले फीडबैक देने की अनुमति देते हैं। हालाँकि, इसमें एक पेच है: ये शिक्षक आमतौर पर केवल एक संख्या चिल्लाकर बताते हैं, जैसे "10 में से 8," बिना यह बताए कि वे अपनी बात को लेकर कितने आश्वस्त हैं। यदि शिक्षक अंदाज़े लगा रहा है लेकिन फिर भी उच्च स्कोर चिल्लाता है, तो रोबोट भ्रमित हो सकता है और उस नकली स्कोर के पीछे भागने के लिए अजीब चीजें बनाना शुरू कर सकता है। यह पेपर इस समस्या को हल करता है कि रोबोट को अपने शिक्षक पर भरोसा करना कैसे सिखाया जाए, और कब उसे अनदेखा करना है।

समस्या: अति-आत्मविश्वासी शिक्षक

एक सख्त कला शिक्षक की कल्पना करें जो आपके स्केच को ग्रेड दे रहा है। अतीत में, यह शिक्षक आपके आधे-अधूरे ड्राइंग को देखता और बस कहता, "अच्छा काम किया!" या "बुरा काम किया!" और एक संख्या देता। समस्या यह है कि शिक्षक कभी-कभी नहीं जानता कि वे क्या कह रहे हैं। हो सकता है कि स्केच इतना धुंधला हो कि शिक्षक केवल अंदाज़ा लगा रहा हो, लेकिन फिर भी वह उच्च स्कोर चिल्लाता है। यदि आप, छात्र, आँख बंद करके उस उच्च स्कोर का पालन करते हैं, तो आप बार-बार वही गलती कर सकते हैं, यह सोचकर कि आप बहुत अच्छा कर रहे हैं जबकि वास्तव में आप पटरी से उतर रहे होते हैं। AI की दुनिया में, इसे "रिवॉर्ड हैकिंग" (reward hacking) कहा जाता है, जहाँ AI बेहतर आर्ट बनाने के बजाय केवल एक उच्च स्कोर पाने के लिए कोई खामी ढूंढ लेता है।

इस पेपर के पीछे के शोधकर्ताओं ने, जो अपने सिस्टम को SURE (Sample-Adaptive Latent Rewards for Uncertainties-Guided Diffusion Post-Training) कहते हैं, महसूस किया कि मौजूदा शिक्षक एक महत्वपूर्ण जानकारी मिस कर रहे थे: आत्मविश्वास (confidence)। उन्हें एक ऐसे तरीके की आवश्यकता थी जिससे शिक्षक कह सके, "मैं 90% आश्वस्त हूँ कि यह एक अच्छी ड्राइंग है," या "मैं केवल 20% आश्वस्त हूँ, इसलिए मेरी बात पर बहुत अधिक ध्यान न दें।"

समाधान: एक शिक्षक जो अपनी शंका स्वीकार करता है

लेखकों ने इसे ठीक करने के लिए एक दो-भाग वाला सिस्टम बनाया।

भाग 1: अनिश्चितता-जागरूक शिक्षक (SURE-LRM)
सबसे पहले, उन्होंने एक नए प्रकार का रिवॉर्ड मॉडल बनाया। केवल एक स्कोर देने के बजाय, यह मॉडल एक स्कोर और इस बात का माप भी देता है कि वह स्कोर कितना डगमगा रहा है। इसे एक मौसम पूर्वानुमान की तरह समझें। एक सामान्य शिक्षक कहता है, "बारिश होगी।" नया SURE-LRM शिक्षक कहता है, "बारिश होगी, और मैं 95% आश्वस्त हूँ," या "शायद बारिश हो, लेकिन मैं केवल 40% आश्वस्त हूँ क्योंकि बादल अजीब हैं।"

उन्होंने इस शिक्षक को एक विशेष विधि का उपयोग करके प्रशिक्षित किया जहाँ यह छवियों के जोड़ों (एक अच्छी, एक बुरी) को देखता है और न केवल यह सीखता है कि कौन सी बेहतर है, बल्कि यह भी कि "अच्छाई" कितनी भिन्न होती है। यदि शिक्षक एक बिखरा हुआ, भ्रमित करने वाला स्केच देखता है, तो वह उच्च "अनिश्चितता" स्कोर देना सीख जाता है। यदि वह एक स्पष्ट, स्पष्ट उत्कृष्ट कृति देखता है, तो वह कम अनिश्चितता स्कोर देता है। महत्वपूर्ण रूप से, पेपर दिखाता है कि यह शिक्षक केवल मानक "अच्छे बनाम बुरे" उदाहरणों को देखकर अपना आत्मविश्वास स्तर सीख सकता है, बिना किसी मानवीय लेबलिंग के कि वे कितने आश्वस्त थे।

भाग 2: स्मार्ट छात्र (SURE-REFL)
इसके बाद, उन्होंने SURE-REFL नामक एक प्रशिक्षण पद्धति बनाई जो इस नए शिक्षक का उपयोग करती है। जब AI कलाकार सीख रहा होता है, तो वह ड्राइंग प्रक्रिया के कई चरणों में शिक्षक से फीडबैक मांगता है। आमतौर पर, AI हर फीडबैक को लेगा और आँख बंद करके उसका पालन करने की कोशिश करेगा। लेकिन SURE-REFL के साथ, AI पहले शिक्षक के "कॉन्फिडेंस मीटर" को देखता है।

यदि शिक्षक कहता है, "स्कोर: 8/10, आत्मविश्वास: कम," तो AI सोचता है, "ठीक है, मैं सुनूँगा, लेकिन मैं इसके आधार पर अपनी पूरी पेंटिंग नहीं बदलूँगा।" यदि शिक्षक कहता है, "स्कोर: 8/10, आत्मविश्वास: उच्च," तो AI सोचता है, "समझ गया! मैं निश्चित रूप से ऐसा ही और करूँगा।" सिस्टम मूल रूप से फीडबैक को तौलता है: उच्च आत्मविश्वास को भारी वजन दिया जाता है, और कम आत्मविश्वास को हल्का वजन। यह AI को शिक्षक के अंदाज़ों से भ्रमित होने से रोकता है।

उन्होंने क्या पाया

शोधकर्ताओं ने इमेज जनरेटर (जैसे बिल्लियों के चित्र बनाना) और वीडियो जनरेटर (जैसे छोटी मूवी क्लिप बनाना) दोनों पर इस सिस्टम का परीक्षण किया।

बेहतर शिक्षक: नया SURE-LRM शिक्षक पिछले तरीकों की तुलना में मानव प्राथमिकताओं का बेहतर अनुमान लगाने में सक्षम था। 2,000 इमेज पेयर्स के परीक्षण में, जब उन्होंने केवल उन भविष्यवाणियों को रखा जहाँ शिक्षक सबसे अधिक आश्वस्त था (सबसे कम अनिश्चितता वाले 50%), तो सटीकता लगभग 79.4% से बढ़कर 90.1% हो गई। यह साबित करता है कि शिक्षक का "कॉन्फिडेंस मीटर" वास्तव में यह बता रहा था कि कौन सी भविष्यवाणियाँ विश्वसनीय थीं।
स्थिर शिक्षण: जब उन्होंने AI को प्रशिक्षित करने के लिए SURE-REFL का उपयोग किया, तो सीखने की प्रक्रिया बहुत अधिक स्थिर रही। पुराने तरीकों के परीक्षणों में, AI का स्कोर तो ऊपर जाता था लेकिन वास्तविक आर्ट की गुणवत्ता नीचे गिर जाती थी (जो रिवॉर्ड हैकिंग का संकेत है)। SURE-REFL के साथ, स्कोर और वास्तविक गुणवत्ता लंबे समय तक एक साथ चलते रहे।
शीर्ष प्रदर्शन: अंतिम परिणामों में, SURE-REFL पद्धति ने इमेज और वीडियो दोनों के लिए मानक बेंचमार्क पर उच्चतम स्कोर प्राप्त किया। वीडियो जेनरेशन के लिए, इसने 0.8357 का कुल गुणवत्ता स्कोर प्राप्त किया, जो अगले सबसे अच्छे तरीके से 0.0109 अधिक था।

यह क्यों मायने रखता है

यह पेपर सुझाव देता है कि AI को बेहतर आर्ट बनाने के लिए सिखाने की कुंजी केवल एक स्मार्ट शिक्षक होना नहीं है, बल्कि एक ऐसा शिक्षक होना है जिसे पता हो कि वह कब नहीं जानता। AI को शिक्षक के डगमगाते अंदाज़ों को अनदे로 करने और केवल उनके प्रति आश्वस्त होने की अनुमति देकर, सिस्टम उसे केवल उच्च स्कोर पाने के लिए अजीब, टूटी हुई कला बनाने के धोखे से बचने में मदद करता है। यह उन AI कलाकारों को बनाने की दिशा में एक कदम है जो न केवल रचनात्मक हैं बल्कि विश्वसनीय भी हैं, जो शोर (noise) से भ्रमित हुए बिना फीडबैक से सीखते हैं।

तकनीकी सारांश: अनिश्चितता-निर्देशित डिफ्यूजन पोस्ट-ट्रेनिंग के लिए सैंपल-एडेप्टिव लेटेंट रिवॉर्ड्स (SURE)

1. समस्या विवरण

मानवीय प्राथमिकताओं (human preferences) के साथ संरेखित करने के लिए विजुअल डिफ्यूजन मॉडल्स को पोस्ट-ट्रेन करने के लिए आमतौर पर डिकोड किए गए RGB आउटपुट्स का मूल्यांकन करना पड़ता है, जिसके लिए फीडबैक लूप के भीतर बार-बार और खर्चीले VAE डिकोडिंग की आवश्यकता होती है। जबकि "डिफ्यूजन-नेटिव" लेटेंट रिवॉर्ड मॉडल्स (LRMs) शोर वाले लेटेंट्स (noisy latents) को सीधे स्कोर करने के लिए उभरे हैं—जो डिकोडिंग लागत को बचाते हैं और इंटरमीडिएट-स्टेट सुपरविजन को सक्षम करते हैं—मौजूदा दृष्टिकोणों में दो महत्वपूर्ण सीमाएँ हैं:

स्केलर आउटपुट में अनिश्चितता का अभाव: वर्तमान लेटेंट रिवॉर्ड मॉडल्स केवल एक स्केलर स्कोर आउटपुट करते हैं। वे प्रत्येक भविष्यवाणी की अनिश्चितता का अनुमान लगाने में विफल रहते हैं। फलस्वरूप, जनरेटर विश्वसनीय और अविश्वसनीय फीडबैक के बीच अंतर नहीं कर पाता है।
स्थिर अनिश्चितता धारणाएँ (Static Uncertainty Assumptions): पूर्ववर्ती कार्य जैसे DiNa-LRM, शोर के स्तर (timestep) के आधार पर अनिश्चितता असाइन करता है। यह मानता है कि एक ही टाइमस्टेप पर सभी सैंपल्स समान विश्वसनीयता साझा करते हैं। हालांकि, यह शोध तर्क देता है कि रिवॉर्ड की कठिनाई कंटेंट-डिपेंडेंट भी होती है; एक "शोर वाला" सैंपल जिसमें स्पष्ट विषय हो, वह अस्पष्ट कंटेंट वाले "साफ" सैंपल की तुलना में अधिक अनुमानित (predictable) हो सकता है।
अनुकूलन जोखिम (Optimization Risks): अनिश्चितता अनुमान के बिना, जनरेटर अविश्वसनीय स्थानीय फीडबैक के आधार पर अनुकूलन कर सकता है, जिससे "रिवॉर्ड हैकिंग" (जहाँ मॉडल गुणवत्ता सुधारने के बजाय रिवॉर्ड फंक्शन का शोषण करता है) और अस्थिर प्रशिक्षण गतिकी (training dynamics) की ओर ले जाता है।

2. कार्यप्रणाली (Methodology)

लेखक SURE (Sample-Adaptive Latent Reward for Uncertainty-Guided Diffusion Post-Training) का प्रस्ताव करते हैं, जो एक एकीकृत ढांचा है जिसमें दो घटक शामिल हैं: SURE-LRM (रिवॉर्ड मॉडल) और SURE-REFL (पोस्ट-ट्रेनिंग एल्गोरिदम)।

2.1 SURE-LRM: सैंपल-एडेप्टिव लेटेंट रिवॉर्ड मॉडल

SURE-LRM को न केवल एक रिवॉर्ड स्कोर, बल्कि प्रत्येक शोर वाले लेटेंट के लिए एक पूर्ण गॉसियन यूटिलिटी डिस्ट्रीब्यूशन (Gaussian utility distribution) की भविष्यवाणी करने के लिए डिज़ाइन किया गया है, जो प्रॉम्प्ट और टाइमस्टेप पर आधारित है।

आर्किटेक्चर: यह VAE डिकोडिंग के बिना शोर वाले लेटेंट्स, प्रॉम्प्ट्स और टाइमस्टेप्स को प्रोसेस करने के लिए टारगेट जनरेटर के डिफ्यूजन ट्रांसफार्मर (DiT) बैकबोन का पुन: उपयोग करता है (इमेज और वीडियो दोनों के लिए)।
प्रेडिक्शन टारगेट्स: एक शोर वाले लेटेंट $z_\sigma$ $z_{σ}$ के लिए, मॉडल निम्नलिखित की भविष्यवाणी करता है:
- एक मीन रिवॉर्ड $\mu_\theta$ ।
- एक सैंपल-एडेप्टिव रेसिडुअल वेरिएंस पैरामीटर $a_\theta$ ।
वेरिएंस मॉडलिंग: कुल प्रेडिक्टिव वेरिएंस $v_\eta(\sigma)$ , एक शोर-निर्भर प्रायर $v_0(\sigma)$ (जो शोर बढ़ने के साथ औसत सूचना हानि को कैप्चर करता है) और एक सीखे गए, सैंपल-विशिष्ट रेसिडुअल वेरिएंस $v_{\eta, res} = \text{softplus}(a_\theta) + \epsilon_v$ का योग है।
ट्रेनिंग ऑब्जेक्टिव: इसे मानक पेयरवाइज प्रेफरेंस ( $z^+ \succ z^-$ $z^{+} ≻ z^{-}$ ) पर हेटेरोसेडास्टिक प्रेफरेंस ऑब्जेक्टिव का उपयोग करके प्रशिक्षित किया जाता है:
- लाइक्लीहुड लॉस ( $L_{pref}$ ): थर्स्टन रैंडम-यूटिलिटी मॉडल पर आधारित, यह उस संभावना को ऑप्टिमाइज़ करता है कि पसंदीदा सैंपल का यूटिलिटी अधिक होगा। ग्रेडिएंट्स स्वाभाविक रूप से मॉडल को अनिश्चितता (वेरिएंस) बढ़ाने के लिए प्रोत्साहित करते हैं जब रैंकिंग गलत या अस्पष्ट होती है, और वेरिएंस कम करने के लिए जब रैंकिंग आत्मविश्वासी और सही होती है।
- रेगुलराइजेशन:
  - वेरिएंस रेगुलराइजेशन ( $L_{var}$ ): मॉडल को केवल अनिश्चितता बढ़ाकर (वेरिएंस इन्फ्लेशन) सभी रैंकिंग त्रुटियों को समझाने से रोकता है।
  - मार्जिन रेगुलराइजेशन ( $L_{margin}$ ): पसंदीदा और अस्वीकृत स्कोर के बीच न्यूनतम अलगाव सुनिश्चित करता है।
  - एंकर लॉस ( $L_{anchor}$ ): समग्र स्कोर स्केल को स्थिर करता है।

2.2 SURE-REFL: अनिश्चितता-निर्देशित डेंस रिवॉर्ड फीडबैक लर्निंग

एक बार SURE-LRM प्रशिक्षित हो जाने के बाद, इसके पैरामीटर्स को फ्रीज कर दिया जाता है। SURE-REFL इस मॉडल का उपयोग लेटेंट स्पेस में जनरेटर के पोस्ट-ट्रेनिंग को गाइड करने के लिए करता है।

लोकल फीडबैक मैकेनिज्म: पूरे डिनोइजिंग ग्राफ के माध्यम से बैकप्रोपैगेट करने के बजाय, SURE-REFL डिनोइजिंग ट्राजेक्टरी के चयनित ट्रांजिशन ( $j$ ) पर फ्रीज्ड रिवॉर्ड मॉडल को क्वेरी करता है।
अनिश्चितता-निर्देशित वेटिंग:
1. मॉडल ट्रांजिशन $j$ पर स्टेट के लिए मीन रिवॉर्ड $\mu$ और रेसिडुअल वेरिएंस की भविष्यवाणी करता है।
2. कुल वेरिएंस को एक रिलायबिलिटी वेट $\rho = V^{-1/2}$ (इनवर्स स्टैंडर्ड डेविएशन) में बदल दिया जाता है।
3. यह वेट डिटैच्ड (स्टॉप-ग्रेडिएंट) है, जिसका अर्थ है कि जनरेटर वेट से सीखता है लेकिन इस स्टेप के दौरान रिवॉर्ड मॉडल के अनिश्चितता अनुमानों को अपडेट नहीं करता है।
4. निष्पक्ष तुलना सुनिश्चित करने के लिए एक ही ट्रांजिशन पर मूल्यांकित किए गए सैंपल्स के बीच वेट्स को नॉर्मलाइज किया जाता है।
ऑप्टिमाइजेशन: जनरेटर को एक वेटेड रिवॉर्ड ऑब्जेक्टिव का उपयोग करके अपडेट किया जाता है जहाँ कम अनुमानित वेरिएंस (उच्च विश्वसनीयता) वाले सैंपल्स ग्रेडिएंट में अधिक योगदान देते हैं। यह डेंस फीडबैक प्रत्येक ट्रांजिशन पर स्थानीय रूप से लागू होता है, जिससे फुल ग्राफ रिटेंशन या पिक्सेल-स्पेस डिकोडिंग की आवश्यकता नहीं होती है।

3. मुख्य योगदान

सैंपल-एडेप्टिव अनिश्चितता का फॉर्मूलेशन: यह पेपर लेटेंट स्पेस में रिवॉर्ड अनिश्चितता को एक सीखने योग्य डिस्ट्रीब्यूशन के रूप में फॉर्मुलेट करता है, जो अतिरिक्त मानवीय कॉन्फिडेंस एनोटेशन की आवश्यकता के बिना मानक पेयरवाइज प्रेफरेंस से प्राप्त होता है।
SURE-LRM: एक लेटेंट रिवॉर्ड मॉडल जो सैंपल-डिपेंडेंट अनिश्चितता सीखता है, यह प्रदर्शित करते हुए कि एक ही टाइमस्टेप के सैंपल्स के आधार पर उनकी विश्वसनीयता अलग-अलग हो सकती है।
SURE-REFL: इमेज और वीडियो दोनों के लिए एक एकीकृत पोस्ट-ट्रेनिंग विधि जो डिटैच्ड अनिश्चितता का उपयोग करके डेंस लोकल फीडबैक को वेट करती है, जिससे VAE डिकोडिंग और फुल डिनोइजिंग ग्राफ रिटेंशन की आवश्यकता समाप्त हो जाती है।
सैद्धांतिक अंतर्दृष्टि: लेखक वेरिएंस ग्रेडिएंट्स को व्युत्पन्न करते हैं ताकि यह दिखाया जा सके कि कैसे प्रेफरेंस लॉस अनिश्चितता सीखने के लिए एक आंतरिक सिग्नल प्रदान करता है।

4. प्रयोगात्मक परिणाम

4.1 रिवॉर्ड मॉडल सटीकता (SURE-LRM)

इमेज बेंचमार्क: SURE-LRM ने तीन बैकबोन (SD3.5, Z-Image-Turbo, FLUX.1-dev) पर चार बेंचमार्क (ImageReward, HPD v2, HPD v3, GenAI-Bench) में स्टेट-ऑफ-द-आर्ट (SOTA) पेयरवाइज प्रेफरेंस सटीकता हासिल की, जो VLM-आधारित पिक्सेल रिवॉर्ड्स सहित मजबूत बेसलाइन से बेहतर है।
वीडियो बेंचमार्क: VisionRewardDB और T2V Ranking पर, SURE-LRM ने उच्चतम सटीकता प्राप्त की, जो डिकोडेड-वीडियो इवैल्यूएटर्स और वीडियो-विशिष्ट रिवॉर्ड मॉडल्स को भी पीछे छोड़ देती है।
अनिश्चितता डायग्नोस्टिक्स: प्रयोगों ने पुष्टि की कि सीखा गया रेसिडुअल वेरिएंस प्रेडिक्शन एरर्स के साथ सह-संबंधित है। गलत रैंकिंग वाले सैंपल्स में काफी अधिक रेसिदुअल वेरिएंस (औसत रूप से 24.26% अधिक) देखा गया। कम अनुमानित वेरिएस द्वारा सैंपल्स को फिल्टर करने से पेयरवाइज सटीकता 79.40% से बढ़कर 90.10% हो गई।

4.2 पोस्ट-ट्रेनिंग प्रदर्शन (SURE-REFL)

इमेज जनरेशन: SURE-REFL ने SD3.5, Z-Image-Turbo, और FLUX.1-dev पर HPSv2.1, ImageReward, और PickScore मेट्रिक्स में सर्वश्रेष्ठ प्रदर्शन किया, जो Flow-GRPO, ViPO, और DiNa-LRM जैसे बेसलाइन से बेहतर है।
वीडियो जनरेशन: VBench पर, SURE-REFL ने Wan2.1-14B वीडियो जनरेटर के लिए क्वालिटी, सिमेंटिक, और टोटल मेट्रिक्स में उच्चतम स्कोर प्राप्त किया, जो DanceGRPO, ViPO, Video-DPO, और HY-PRFL से बेहतर है।
स्थिरता और रिवॉर्ड हैकिंग: ऑप्टिमाइजेशन डायनेमिक्स ने दिखाया कि जबकि बेसलाइन (जैसे DiNa-LRM-REFL) में रिवॉर्ड हैकिंग देखी गई (जहाँ स्वतंत्र क्वालिटी मेट्रिक्स जैसे HPSv3 गिरने के बावजूद रिवॉर्ड स्कोर बढ़ रहे थे), SURE-REFL ने लंबे समय तक ऑप्टिमाइज्ड रिवॉर्ड और स्वतंत्र क्वालिटी मेट्रिक्स के बीच संरेखण बनाए रखा।

4.3 एब्लेशन स्टडीज

रिवॉर्ड मॉडल के लॉस कंपोनेंट्स का एब्लेशन पुष्टि करता है कि सभी टर्म्स आवश्यक हैं। $L_{var}$ (वेरिएंस रेगुलराइजेशन) को हटाने से सटीकता में सबसे बड़ी गिरावट आई, जो वेरिएंस इन्फ्लेशन को नियंत्रित करने की आवश्यकता को प्रमाणित करता है।

5. महत्व और दावे

यह पेपर दावा करता है कि SURE, लेटेंट रिवॉर्ड मॉडलिंग में "रिलायबिलिटी गैप" को संबोधित करके विजुअल डिफ्यूजन मॉडल्स को संरेखित करने के लिए एक एकीकृत, कुशल ढांचा प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

दक्षता (Efficiency): पूरी तरह से लेटेंट स्पेस में काम करके, यह फीडबैक लूप के दौरान कंप्यूटेशनल ओवरहेड को कम करता है।
मजबूती (Robustness): सैंपल-एडेप्टिव अनिश्चितता को स्पष्ट रूप से मॉडल और उपयोग करके, यह जनरेटर को शोर वाले या अस्पष्ट फीडबैक पर ओवरफिट होने से रोकता है, जिससे रिवॉर्ड हैकिंग कम होता है और प्रशिक्षण स्थिरता में सुधार होता है।
सामान्यीकरण (Generality): यह फ्रेमवर्क मोडैलिटी-अग्नोस्टिक है, जो इमेज और वीडियो जनरेशन दोनों कार्यों के लिए समान अनिश्चितता-वेटिंग लॉजिक को सफलतापूर्वक लागू करता है।

लेखक निष्कर्ष निकालते हैं कि मानक पेयरवाइज प्रेफरेंस से सैंपल-डिपेंडेंट अनिश्चितता सीखना, डिफ्यूजन पोस्ट-ट्रेनिंग में डेंस रिवॉर्ड फीडबैक की विश्वसनीयता में सुधार करने के लिए एक व्यवहार्य और प्रभावी रणनीति है।