🤖 AI

Lookahead Sample Reward Guidance for Test-Time Scaling of Diffusion Models

यह शोध पत्र LiDAR प्रस्तुत करता है, जो डिफ्यूजन मॉडल्स के लिए एक कुशल टेस्ट-टाइम स्केलिंग विधि है जो मार्जिनल सैंपल्स और फ्यू-स्टेप लुकअहेड सैंपलिंग का उपयोग करके क्लोज्ड-फॉर्म अपेक्षित भविष्य के रिवॉर्ड गाइडेंस की गणना करता है ताकि मौजूदा ग्रेडिएंट गाइडेंस दृष्टिकोणों की तुलना में 9.5x की गति वृद्धि के साथ उच्च मानव-संरेखित जनरेशन गुणवत्ता प्राप्त की जा सके।

मूल लेखक: Yeongmin Kim, Donghyeok Shin, Byeonghu Na, Minsang Park, Richard Lee Kim, Il-Chul Moon

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yeongmin Kim, Donghyeok Shin, Byeonghu Na, Minsang Park, Richard Lee Kim, Il-Chul Moon

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली कलाकार (एक डिफ्यूजन मॉडल) है जो शून्य से सुंदर चित्र बना सकता है। आप उसे "एक काली मोटरसाइकिल पर पीला पक्षी" जैसा प्रॉम्प्ट देते हैं, और वह पेंटिंग करना शुरू कर देता है। वह टीवी के शोर (static noise) जैसे एक कैनवास से शुरुआत करता है और धीरे-धीरे इसे एक स्पष्ट छवि में बदल देता है।

हालाँकि, कभी-कभी कलाकार थोड़ा भटक जाता है। वह शायद एक ऐसा पक्षी बना दे जो मुर्गे जैसा दिखता हो, या एक ऐसी मोटरसाइकिल जो टोस्टर जैसी दिखती हो। तकनीकी रूप से वे "पेंटिंग" के नियमों का पालन कर रहे हैं, लेकिन वे आपकी विशिष्ट दृष्टि (vision) से पूरी तरह मेल नहीं खा रहे हैं।

यह पेपर इस बारेв कलाकार को पेंटिंग करते समय ही मार्गदर्शन करने का एक नया तरीका पेश करता है, जिसमें कलाकार को फिर से प्रशिक्षित करने या नया शिक्षक नियुक्त करने की आवश्यकता नहीं है। इस विधि का नाम LiDAR (लुकअहेड सैंपल रिवॉर्ड गाइडेंस) है।

यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ समझाया गया है:

1. समस्या: "बैकवर्ड रोलआउट" बहुत धीमा है

कलाकार की गलतियों को सुधारने के लिए, पिछले तरीकों ने बहुत विस्तृत होने की कोशिश की। वे कहते थे, "आइए अभी रुकते हैं, कल्पना करें कि यह पेंटिंग कितने अलग-अलग तरीकों से पूरी हो सकती है, देखें कि कौन सी सबसे अच्छी दिखती है, और फिर वर्तमान पेंटिंग को उस सबसे अच्छे संस्करण की ओर मोड़ दें।"

दोष: हर एक ब्रशस्ट्रोक के लिए यह "100 अलग-अलग तरीके" करना बहुत समय लेने वाला है। यह ऐसा है जैसे कलाकार को अगला स्ट्रोक तय करने के लिए पूरी पेंटिंग को 100 बार पूरा करने के लिए कहना। यह बहुत महंगा और धीमा है।

2. पुराना शॉर्टकट: "भविष्य का अनुमान लगाना"

अन्य तरीकों ने तेज़ होने के लिए एक शॉर्टकट का उपयोग किया। वे वर्तमान बिखरी हुई पेंटिंग को देखते थे और अनुमान लगाते थे, "अगर हम इसे थोड़ा स्मूथ कर दें, तो अंतिम तस्वीर कैसी दिखेगी?" फिर वे उस अनुमान की तुलना एक रिवॉर्ड सिस्टम (एक स्कोर कि चित्र कितना अच्छा है) से करते थे।

दोष: यह अनुमान अक्सर गलत होता है। यदि कलाकार अभी भी "बिखरे हुए शोर" के चरण में है, तो अनुमान एक खराब सन्निकटन (approximation) होता है। यदि आप एक खराब अनुमान के आधार पर कलाकार को बहुत अधिक धकेलते हैं, तो पेंटिंग अजीब या विकृत हो सकती है। इसके अलावा, इस विधि के लिए अक्सर कलाकार को अपने ही मस्तिष्क (न्यूरल बैकप्रोपैगेशन) के माध्यम से "पीछे की ओर सोचने" की आवश्यकता होती है, जो गणनात्मक रूप से भारी है।

3. LiDAR समाधान: "लुकअहेड" रणनीति

इस पेपर के लेखकों ने एक चतुर तरकीब निकाली। वर्तमान बिखरी हुई पेंटिंग से भविष्य की भविष्यवाणी करने के बजाय, वे कुछ अलग करते हैं:

चरण A: "लुकअहेड" स्केच (फेज 1)
मुख्य पेंटिंग शुरू होने से पहले, कलाकार आपके प्रॉम्प्ट के आधार पर कुछ रफ ड्राफ्ट (मान लीजिए 50) जल्दी से स्केच करता है। ये "लुकअहेड सैंपल्स" हैं। ये एकदम सटीक नहीं हैं, लेकिन वे संकेत देते हैं कि अंतिम छवि कैसी हो सकती है।

रिवॉर्ड: एक जज (रिवॉर्ड फंक्शन) इन 50 रफ ड्राफ्ट्स को देखता है और उन्हें स्कोर देता है। "इस ड्राफ्ट में एक शानदार पक्षी है, लेकिन मोटरसाइकिल अजीब है। इसमें एक परफेक्ट मोटरसाइकिल है।"

चरण B: कंपास के साथ मुख्य पेंटिंग (फेज 2)
अब, कलाकार शून्य से वास्तविक पेंटिंग शुरू करता है। काम करते समय, वे न केवल अपने वर्तमान बिखरे हुए कैनवास को देखते हैं, बल्कि वे पहले बनाए गए उन 50 रफ ड्राफ्ट्स को भी देखते हैं।

जादू: पेंटिंग प्रक्रिया एक सरल नियम द्वारा निर्देशित होती है: "उन रफ ड्राफ्ट्स की ओर अपना ब्रश चलाएं जिन्हें उच्च स्कोर मिले हैं, और उनसे दूर हटें जिन्हें कम स्कोर मिले हैं।"

यह विशेष क्यों है?

कोई बैकट्रैकिंग नहीं: कलाकार को पूरी पेंटिंग को 50 बार फिर से सिम्युलेट करने की आवश्यकता नहीं है। वे बस पहले से बने रफ ड्राफ्ट्स का उपयोग एक मानचित्र के रूप में करते हैं।
भारी गणित की आवश्यकता नहीं: पेपर का दावा है कि यह विधि जटिल न्यूरल नेटवर्क गणनाओं के बजाय सरल गणित (जैसे दूरी मापना) का उपयोग करके मार्गदर्शन की गणना करती है। यह उत्तर खोजने के लिए सुपरकंप्यूटर के बजाय एक साधारण कंपास का उपयोग करने जैसा है।
गति: क्योंकि उन्होंने रफ ड्राफ्ट्स को तेजी से बनाया (एक फास्ट सॉल्वर का उपयोग करके), पूरी प्रक्रिया बहुत तेज है। पेपर का दावा है कि यह वर्तमान सर्वोत्तम तरीकों की तुलना में 9.5 गुना तेज़ है और समान उच्च गुणवत्ता प्राप्त करता है।

उदाहरण: मानचित्र के साथ हाइकिंग (Hiking)

पुरानी विधि (ग्रेडिएंट गाइडेंस): आप कोहरे में हाइकिंग कर रहे हैं। सबसे अच्छे रास्ते को खोजने के लिए, आप हर उस संभावित रास्ते की कल्पना करने की कोशिश करते हैं जो आप ले सकते हैं, प्रत्येक के स्कोर की गणना करते हैं, और फिर अपना कदम समायोजित करते हैं। यह थका देने वाला और धीमा है।
LiDAR विधि: हाइकिंग शुरू करने से पहले, आप ड्रोन भेजकर आगे के इलाके की 50 त्वरित तस्वीरें लेते हैं। आप मानचित्र पर सबसे अच्छे स्थानों को चिह्नित करते हैं। हाइकिंग करते समय, आप बस अपने मानचित्र को देखते हैं और "अच्छी" तस्वीरों की ओर और "खराब" तस्वीरों से दूर चलते हैं। आपको भविष्य की कल्पना करने की आवश्यकता नहीं है; आप बस पहले से बने मानचित्र का अनुसरण करते हैं।

परिणाम

इस पेपर का परीक्षण लोकप्रिय इमेज जनरेटर्स (जैसे SDXL) पर किया गया।

गुणवत्ता: छवियां प्रॉम्प्ट का पालन करने में (जैसे वस्तुओं की संख्या सही होना, रंगों का मिलान करना) पिछले तरीकों की तुलना में बेहतर थीं।
दक्षता: यह काफी तेज़ था और इसने बहुत कम कंप्यूटर मेमोरी का उपयोग किया।
बहुमुखी प्रतिभा: यह तब भी अच्छी तरह से काम करता है जब "रफ ड्राफ्ट्स" बहुत त्वरित और सरल थे, जिससे सिद्ध हुआ कि एक शानदार अंतिम परिणाम पाने के लिए आपको पूर्ण प्रीव्यू की आवश्यकता नहीं है।

संक्षेप में, LiDAR डिफ्यूजन मॉडल को ड्राइंग शुरू करने से पहले संभावित भविष्य का एक "चीट शीट" देने का एक तरीका है, जिससे यह बिना किसी भारी गणना के, तेजी से और कुशलता से खुद को सर्वोत्तम परिणाम की ओर मोड़ सकता है।

तकनीकी सारांश: डिफ्यूजन मॉडल के टेस्ट-टाइम स्केलिंग के लिए लुकअहेड सैंपल रिवॉर्ड गाइडेंस (LiDAR)

समस्या विवरण (Problem Statement)

डिफ्यूजन मॉडल्स ने इमेज, वीडियो और लैंग्वेज के क्षेत्र में उल्लेखनीय जनरेटिव प्रदर्शन हासिल किया है; हालाँकि, जनरेटेड सैंपल्स अक्सर मानवीय इरादों (human intent) के साथ पूरी तरह से संरेखित होने में विफल रहते हैं। जबकि मानवीय प्राथमिकताओं को कैप्चर करने वाले रिवॉर्ड फंक्शन्स मौजूद हैं, उन्हें सैंपलिंग प्रक्रिया में एकीकृत करना महत्वपूर्ण चुनौतियाँ पेश करता है। टेस्ट-टाइम स्केलिंग का मुख्य उद्देश्य रिवॉर्ड-टिल्टेड डिस्ट्रीब्यूशन $p_\theta^r(x_0|c) \propto p_\theta(x_0|c) \exp(\lambda \cdot r(x_0, c))$ से सैंपल करना है।

इसे प्राप्त करने के लिए इंटरमीडिएट पार्टिकल्स $x_t$ के लिए एक्स्पेक्टेड फ्यूचर रिवॉर्ड (EFR), $r_t^\lambda(x_t, c)$ की गणना करना आवश्यक है ताकि रिवर्स डिफ्यूजन प्रोसेस को निर्देशित किया जा सके। मौजूदा विधियाँ गंभीर सीमाओं का सामना करती हैं:

बैकवर्ड रोलआउट (Backward Rollout): EFR का अनुमान लगाने के लिए $x_t$ से $x_0$ तक सीधे सैंपलिंग करना कम्प्यूटेशनल रूप से अत्यधिक महंगा है, क्योंकि इसमें हर टाइमस्टेप पर इटरेटिव डिनोइजिंग की आवश्यकता होती है।
ट्वीडी-आधारित सन्निकटन (Tweedie-based Approximations): ग्रेडिएंट गाइडेंस और सीक्वेंशियल मोंटे कार्लो (SMC) जैसी विधियाँ EFR का अनुमान लगाने के लिए फर्स्ट-ऑर्डर टेलर एप्रोक्सिमेशन (Tweedie's formula) पर निर्भर करती हैं। ये बायस (bias) पैदा करते हैं, विशेष रूप से जब रिवॉर्ड सिग्नल की स्ट्रेंथ ( $\lambda$ ) अधिक हो, और अक्सर न्यूरल नेटवर्क के माध्यम से बैकप्रोपैगेशन (ग्रेडिएंट गाइडेंस में) की आवश्यकता होती है या हाई-डायमेंशनल स्पेस में सैंपल कोलैप्स (SMC में) का शिकार होते हैं।

कार्यप्रणाली: LiDAR सैंपलिंग

लेखक LiDAR (Lookahead Sample Reward Guidance) का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जो इंटरमीडिएट पार्टिकल $x_t$ और EFR के बीच न्यूरल डिपेंडेंसी को अलग (decouple) कर देता है, जिससे क्लोज्ड-फॉर्म, डेरिवेटिव-फ्री गाइडेंस संभव हो पाती है।

1. एक्स्पेक्टेड फ्यूचर रिवॉर्ड का पुनर्गठन (Reformulation of Expected Future Reward)

पेपर EFR के लिए एक नया फॉर्मूलेशन (Theorem 3.1) व्युत्पन्न करता है जो EFR को न्यूरल नेटवर्क्स के माध्यम से वर्तमान पार्टिकल $x_t$ पर निर्भर करने के बजाय, केवल प्री-ट्रेन्ड डिफ्यूजन मॉडल से प्राप्त मार्जनल सैंपल्स (marginal samples) और फॉरवर्ड परटर्बेशन कर्नेल का उपयोग करके व्यक्त करता है:
$r_t^\lambda(x_t, c) = \log \mathbb{E}_{p_\theta(x_0|c)} \left[ \frac{p(x_t|x_0)}{\mathbb{E}_{p_\theta(x_0|c)}[p(x_t|x_0)]} \exp(\lambda \cdot r(x_0, c)) \right]$
यह "फॉरवर्ड रोलआउट" दृष्टिकोण किसी भी $x_t$ के लिए EFR की गणना करने की अनुमति देता है, जिससे गाइडेंस स्टेप के दौरान स्कोर नेटवर्क $s_\theta$ या रिवॉर्ड मॉडल के माध्यम से बैकप्रोपैगेशन की आवश्यकता समाप्त हो जाती है।

2. कुशल लुकअहेड सैंपलिंग (Efficient Lookahead Sampling)

हर प्रॉम्प्ट के लिए मार्जनल सैंपल्स जेनरेट करने की लागत को कम करने के लिए, लेखक एक कुशल लुकअहेड सैंपलिंग रणनीति पेश करते हैं। पूर्ण, धीमे डिफ्यूजन प्रोसेस के बजाय, वे एक फास्ट जनरेटर $q(x_0|c)$ का उपयोग करते हैं, जैसे कि एक फ्यू-स्टेप ODE सॉल्वर (जैसे, DPM-Solver) या एक डिस्टिल्ड मॉडल, ताकि $n$ लुकअहेड सैंपल्स $\{\hat{x}_0^i\}_{i=1}^n$ का एक सेट जेनरेट किया जा सके। इन सैंपल्स को रिवॉर्ड वैल्यूज़ $r(\hat{x}_0^i, c)$ के साथ एनोटेट किया जाता है।

3. क्लोज्ड-फॉर्म डेरिवेटिव-फ्री गाइडेंस (Closed-Form Derivative-Free Guidance)

लुकअहेड सैंपल्स के इस परिमित सेट का उपयोग करते हुए, लेखक एम्पिरिकल लुकअहेड रिवॉर्ड के ग्रेडिएंट के लिए एक क्लोज्ड-फॉर्म एक्सप्रेशन (Theorem 3.3) व्युत्पन्न करते हैं। गाइडेंस टर्म वर्तमान पार्टिकल $x_t$ को हाई-रिवॉर्ड लुकअहेड सैंपल्स की ओर ले जाता है और लो-रिवॉर्ड सैंपल्स से दूर धकेलता है:
$\nabla_{x_t} \hat{r}_t^\lambda(x_t, c) = \sum_{i=1}^n (w_i^r - w_i) \frac{\hat{x}_0^i}{\sigma_t^2}$
जहाँ $w_i^r$ और $w_i$ , रिवॉर्ड वैल्यूज़ और $x_t$ एवं लुकअहेड सैंपल्स $\hat{x}_0^i$ के बीच की दूरी के आधार पर सॉफ्टमैक्स वेट्स हैं। इस फॉर्मूलेशन में किसी न्यूरल डिफरेंशिएशन की आवश्यकता नहीं होती है।

4. सैद्धांतिक स्केलिंग लॉज़ (Theoretical Scaling Laws)

पेपर इस विधि के लिए स्केलिंग लॉज़ स्थापित करता है:

लुकअहेड एक्यूरेसी ( $\delta$ ): टारगेट डिस्ट्रीब्यूशन और LiDAR-जेनरेटेड डिस्ट्रीब्यूशन के बीच टोटल वेरिएशन डिस्टेंस $O(1/\sqrt{\delta})$ के रूप में घटता है, जहाँ $\delta$ लुकअहेड सॉल्वर में डिसक्रेटाइजेशन स्टेप्स की संख्या है।
सैंपल साइज ( $n$ ): एम्पिरिकल रिवॉर्ड एस्टीमेट का वेरिएंस $O(1/\sqrt{n})$ के रूप में घटता है, जिसका अर्थ है कि लुकअहेड सैंपल्स की संख्या बढ़ाने से एप्रोक्सिमेशन एक्यूरेसी में सुधार होता है।

मुख्य परिणाम (Key Results)

SD v1.5, SDXL, FLUX (फ्लो मैचिंग), और UDLM (डिस्क्रीट डिफ्यूजन) पर ImageReward, CLIP, HPS, और GenEval मेट्रिक्स का उपयोग करके प्रयोग किए गए।

परफॉर्मेंस बनाम एफिशिएंसी: SDXL पर, LiDAR GenEval पर नवीनतम ग्रेडिएंट गाइडेंस मेथड्स (DATE) के समान प्रदर्शन प्राप्त करता है, लेकिन इन्फरेंस टाइम में 9.5× की तेजी के साथ।
मेमोरी एफिशिएंसी: ग्रेडिएंट गाइडेंस मेथड्स के विपरीत जिन्हें बैकप्रोपैगेशन के कारण ~3× अधिक मेमोरी की आवश्यकता होती है, LiDAR का मेमोरी उपयोग वेनिला सैंपलिंग के लगभग समान है, क्योंकि लक्ष्य सैंपलिंग स्टेज (Algorithm 2) के लिए ग्रेडिएंट गणना की आवश्यकता नहीं होती है।
रिवॉर्ड हैकिंग के प्रति मजबूती (Robustness to Reward Hacking): जबकि ग्रेडिएंट गाइडेंस मेथड्स अक्सर ImageReward के लिए ऑप्टिमाइज़ करते समय CLIP और HPS जैसे मेट्रिक्स में गिरावट (रिवॉर्ड हैकिंग) दिखाते हैं, LiDAR सभी मेट्रिक्स को एक साथ सुधारता है। यह लुकअहेड सैंपल्स में ImageReward और अन्य मेट्रिक्स के बीच सहसंबंध (correlation) के कारण है, जो स्वाभाविक रूप से सैंपलर को एक संतुलित दिशा में गाइड करता है।
ऑर्थोगोनल सुधार (Orthogonal Improvements): LiDAR उन मॉडल्स के साथ भी अतिरिक्त प्रदर्शन लाभ प्रदान करता है जिन्हें पहले से ही Direct Preference Optimization (DPO) के साथ फाइन-ट्यून किया गया है, जो ट्रेनिंग-आधारित अलाइनमेंट के प्रति इसकी ऑर्थोगोनैलिटी को दर्शाता है।
स्केलेबिलिटी: विधि लुकअहेड सैंपल्स ( $n$ ) और सॉल्वर स्टेप्स ( $\delta$ ) की संख्या के साथ प्रभावी ढंग से स्केल करती है, और इसे SMC और Best-of-N जैसी अन्य तकनीकों के साथ जोड़ा जा सकता है।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि LiDAR मौजूदा टेस्ट-टाइम स्केलिंग मेथड्स की दक्षता और रिवॉर्ड-हैकिंग सीमाओं को व्यवस्थित रूप से संबोधित करता है। फॉरवर्ड रोलआउट और मार्जनल सैंपल्स पर निर्भर EFR कंप्यूटेशन को पुनर्गठित करके, लेखक एक डेरिवेटिव-फ्री गाइडेंस सक्षम करते हैं जो कम्प्यूटेशनल रूप से कुशल और सैद्धांतिक रूप से सुदृढ़ है।

लेखक इस बात पर जोर देते हैं कि LiDAR मौजूदा बेसलाइन्स की तुलना में बेहतर एफिशिएंसी-परफॉर्मेंस ट्रेड-ऑफ प्राप्त करता है। विशेष रूप से, यह न्यूरल बैकप्रोपैगेशन के कम्प्यूटेशनल ओवरहेड और SMC के सैंपल कोलैप्स इश्यूज से बचता है, और टेलर-एप्रोक्सिमेशन-आधारित मेथड्स की तुलना में अधिक सटीक EFR एस्टीमेट प्रदान करता है। यह कार्य सुझाव देता है कि इंटरमीडिएट पार्टिकल की न्यूरल डिपेंडेंसी से रिवॉर्ड सिग्नल को अलग करना (decoupling), स्केलेबल, ह्यूमन-अलाइन्ड जनरेटिव मॉडलिंग की दिशा में एक व्यवहार्य मार्ग है।