💻 computer science

The Reward Was in Your Data All Along: Correcting Flow Matching with Discriminator-Guided RL

यह शोध पत्र डिस्क्रिमिनेटर-गाइडेड आरएल (DRL) का प्रस्ताव करता है, जो एक ऐसी विधि है जो फ्लो मैचिंग मॉडल्स को सुधारने के लिए एक प्रीट्रेंड रिप्रेजेंटेशन स्पेस में प्रशिक्षित डिस्क्रिमिनेटर का लाभ उठाकर एक इष्टतम रिवॉर्ड सिग्नल प्रदान करती है, जिससे महंगे ह्यूमन प्रिफरेंस डेटा पर निर्भर किए बिना इमेज फिडेलिटी और सिमेंटिक कोहेरेंस में महत्वपूर्ण सुधार होता है।

मूल लेखक: Nicolas Beltran-Velez, Felix Friedrich, Zhang Xiaofeng, Reyhane Askari-Hemmat, Xiaochuang Han, Adriana Romero-Soriano, Michal Drozdzal

प्रकाशित 2026-06-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nicolas Beltran-Velez, Felix Friedrich, Zhang Xiaofeng, Reyhane Askari-Hemmat, Xiaochuang Han, Adriana Romero-Soriano, Michal Drozdzal

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट कलाकार को पेंटिंग करना सिखा रहे हैं। आप उसे वास्तविक परिदृश्यों (landscapes), जानवरों और वस्तुओं की दस लाख तस्वीरें दिखाते हैं। रोबोट इन तस्वीरों में पिक्सेल के "प्रवाह" (flow) की नकल करके सीखने की कोशिश करता है, यह अनुमान लगाने की कोशिश करता है कि एक छवि दूसरी छवि में कैसे बदलती है। यह आधुनिक AI इमेज जनरेटर को प्रशिक्षित करने का मानक तरीका है।

हालाँकि, इस शोध पत्र के लेखकों ने एक अजीब समस्या देखी: लाखों तस्वीरें देखने के बाद भी, रोबोट की पेंटिंग्स अक्सर "अजीब" लगती हैं। हाथों में बहुत अधिक उंगलियां हो सकती हैं, चेहरे धुंधले हो सकते हैं, या वस्तुएं पिघली हुई लग सकती हैं। ये वे खामियां थीं जो प्रशिक्षण तस्वीरों में स्पष्ट रूप से मौजूद थीं, फिर भी रोबोट उन्हें पूरी तरह से सीखने में विफल रहा।

इसे ठीक करने के लिए, शोधकर्ता आमतौर पर रीइन्फोर्समेंट लर्निंग (RL) की ओर रुख करते हैं। इसे एक मानव कला समीक्षक को काम पर रखने के रूप में सोचें। रोबोट एक तस्वीर बनाता है, समीक्षक कहता है, "मुझे यह पसंद है, लेकिन वह बहुत अधिक चमकदार है," और रोबोट अपने आप को समायोजित करता है। समस्या यह है कि मानव समीक्षकों को काम पर रखना महंगा, धीमा है और उनकी राय व्यक्तिपरक (subjective) होती है (वे शायद केवल इसलिए चमकीले रंगों को पसंद करते हैं क्योंकि वे अच्छे मूड में हैं, न कि इसलिए कि छवि यथार्थवादी है)।

लेखक एक साहसिक प्रश्न पूछते हैं: हमें रोबोट को यह सिखाने के लिए मानव समीक्षक की आवश्यकता क्यों है कि "यथार्थवाद" (realism) कैसा दिखता है, जबकि रोबोट ने पहले ही लाखों वास्तविक तस्वीरें देख ली हैं?

उनका तर्क है कि रोबोट का प्रारंभिक प्रशिक्षण तरीका (जिसे "फ्लो मैचिंग" कहा जाता है) ऐसा है जैसे केवल एक मानचित्र देखकर गाड़ी चलाना सीखना। आप सड़क के नियमों को जानते हैं, लेकिन आपने वास्तव में कार को फिसलते हुए या सड़क को मुड़ते हुए महसूस नहीं किया है। गणित कागज़ पर पूरी तरह से काम करता है, लेकिन वास्तविक दुनिया में, छोटी त्रुटियां जमा हो जाती हैं, और रोबंगी सड़क से उतर जाता है।

समाधान: "डिस्क्रिमिनेटर" कोच

लेखक एक नया तरीका प्रस्तावित करते हैं जिसे डिस्क्रिमिनेटर-गाइडेड आरएल (DRL) कहा जाता है। एक मानव को काम पर रखने के बजाय, वे रोबोट को एक ऐसा "कोच" देते हैं जो एक वास्तविक फोटो और एक नकली फोटो के बीच अंतर पहचानने में विशेषज्ञ है, लेकिन एक ट्विस्ट के साथ: यह कोच पिक्सेल को सीधे नहीं देखता है। यह छवि के अर्थ (meaning) को देखता है।

यह कैसे काम करता है, एक सरल उपमा का उपयोग करते हुए:

"अर्थ" वाले चश्मे: कल्पना करें कि रोबोट और कोच दोनों विशेष चश्मे (जिसे "प्रीट्रेंड रिप्रेजेंटेशन स्पेस", जैसे DINOv2 कहा जाता है) पहनते हैं। ये चश्मे रंग या पिक्सेल नहीं देखते; वे अवधारणाओं (concepts) को देखते हैं। वे "एक कुत्ता," "एक कार," "एक चेहरा" देखते हैं। वे इस सूक्ष्म विवरण को अनदेखा कर देते हैं कि क्या कोई पिक्सेल थोड़ा अधिक लाल या नीला है।
कोच का काम: कोच इन चश्मों के माध्यम से एक वास्तविक फोटो और एक रोबोट-निर्मित फोटो को देखता है। वह पूछता है: "क्या यह एक असली कुत्ता दिखता है, या यह एक रोबोट का कुत्ते का अनुमान है?" उसे मानवीय पसंद (जैसे "क्या यह कुत्ता प्यारा है?") की परवाह नहीं है; उसे केवल इस बात की परवाह है कि क्या यह एक असली कुत्ता है?
पुरस्कार (Reward): यदि रोबट की फोटो इन चश्मों के माध्यम से एक असली कुत्ते की तरह दिखती है, तो कोच उसे उच्च स्कोर देता है। यदि यह अजीब दिखता है, तो स्कोर कम होता है।
सीखना: रोबोट इस स्कोर का उपयोग अपनी पेंटिंग शैली को समायोजित करने के लिए करता है। वह यह सीखने के लिए अपनी छवियों को वास्तविक डेटा के "आकार" (shape) से मेल खाने के लिए ढालता है, न कि केवल पिक्सेल की दुनिया में।

यह एक बड़ी बात क्यों है

शोध पत्र दिखाता है कि यह तरीका अविश्वसनीय रूप से अच्छा काम करता है, यहाँ तक कि बिना किसी मानव के कभी यह कहे कि "मुझे यह पसंद है।"

यह "ड्रिफ्ट" (Drift) को ठीक करता है: ठीक वैसे ही जैसे एक छात्र जो केवल पाठ्यपुस्तक की नकल करने के बजाय एक शिक्षक की गलतियों से सीखता है, रोबोट वास्तविक डेटा के "आदर्श" वितरण के साथ अपनी तुलना करके अपनी गलतियों को सुधारना सीखता है।
यह सस्ता और तेज़ है: आपको छवियों को रेट करने के लिए मनुष्यों को भुगतान करने की आवश्यकता नहीं है। "कोच" केवल एक गणितीय उपकरण है जो डेटा पर ही प्रशिक्षित है।
यह छवियों को अधिक स्पष्ट (sharper) बनाता है: उनके प्रयोगों में, इस प्रशिक्षण के बाद रोबोट द्वारा उत्पन्न की गई छवियां काफी अधिक यथार्थवादी थीं। हाथ सीधे थे, चेहरे स्पष्ट थे, और वस्तुएं पिघली हुई नहीं दिखती थीं।
यह एक बेहतर आधार निर्धारित करता है: यदि आप बाद में मानवीय प्राथमिकताओं (जैसे "कुत्ते को खुश दिखने दें") को जोड़ना चाहते हैं, तो इस "DRL" रोबोट के साथ शुरू करने से दूसरा चरण बहुत आसान और अधिक प्रभावी हो जाता है। रोबोट पहले से ही वास्तविकता की बुनियादी बातों में महारत हासिल कर चुका है, इसलिए मानव समीक्षक को केवल व्यक्तित्व को ट्यून करने की आवश्यकता होती है।

निष्कर्ष

पत्र का दावा है कि बेहतर चित्र बनाने का "पुरस्कार" डेटा में हमेशा से छिपा हुआ था। प्रारंभिक प्रशिक्षण विधि केवल इसे खोजने के लिए बहुत अनाड़ी थी। एक ऐसे "कोच" का उपयोग करके जो केवल पिक्सेल के बजाय वास्तविकता की संरचना (विशेष चश्मों के माध्यम से) को समझता है, रोबोट खुद को एक बेहतर कलाकार बनाने के लिए शिक्षित कर सकता है, बिना किसी महंगे मानव फीडबैक की आवश्यकता के कि "वास्तविक" क्या दिखता है।

मुख्य बात: आपको रोबोट को यह बताने के लिए मानव की आवश्यकता नहीं है कि एक असली बिल्ली कैसी दिखती है यदि आप रोबोट को एक ऐसा उपकरण दे सकते हैं जो गणितीय रूप से एक असली बिल्ली और एक नकली बिल्ली के बीच अंतर कर सके। यह पत्र सिद्ध करता है कि ऐसा करने से रोबोट की कला काफी बेहतर हो जाती है।

तकनीकी सारांश: फ्लो मैचिंग के लिए डिस्क्रिमिनेटर-गाइडेड RL

समस्या विवरण (Problem Statement)

फ्लो-आधारित और स्कोर-मैचिंग मॉडल जनरेटिव मॉडलिंग के लिए एक प्रमुख प्रतिमान (paradigm) बन गए हैं क्योंकि ये सिमुलेशन-मुक्त, रिग्रेशन-आधारित प्रशिक्षण उद्देश्यों का उपयोग करते हैं। हालांकि, इन मॉडलों को आमतौर पर एक बहु-चरणीय पाइपलाइन में प्रशिक्षित किया जाता है: पहले, एक बेस मॉडल को फ्लो या स्कोर मैचिंग (FSM) का उपयोग करके डेटा वितरण $q$ पर फिट किया जाता है; दूसरा, एक वांछित रिवॉर्ड $r(x)$ द्वारा परिभाषित वांछनीय क्षेत्रों की ओर मॉडल को झुकाने के लिए सुदृढीकरण शिक्षण (Reinforcement Learning - RL) लागू किया जाता है।

यह शोध पत्र इस प्रतिमान में एक संरचनात्मक विसंगति (structural mismatch) की पहचान करता है। जबकि FSM लॉस, ट्रेनिंग-टाइम मार्जिनल्स के तहत वेलोसिटी या स्कोर फील्ड्स पर $\ell_2$ रिग्रेशन एरर को कम करते हैं, वे अक्सर डेटा वितरण के अंतर्निहित गुणों को पुनः प्राप्त करने में विफल रहते हैं—जैसे कि दृश्य यथार्थवाद (visual realism), सुसंगत वस्तु संरचना, या भौतिक रूप से सही गति—जो सैद्धांतिक रूप से डेटा में मौजूद होते हैं। फलस्वरूप, अभ्यासकर्ता इन गुणों को पुनः प्राप्त करने के लिए प्रेफरेंस-आधारित RL पर निर्भर करते हैं। यह दृष्टिकोण दो कारणों से समस्याग्रस्त है:

संरचनात्मक विफलता (Structural Failure): यह आश्चर्यजनक है कि मॉडल मैचिंग लॉस के माध्यम से डेटा से इन गुणों को सीधे क्यों नहीं सीख पाते और उन्हें रिकवर करने के लिए RL की आवश्यकता क्यों पड़ती है।
लागत और मिश्रण (Cost and Conflation): रिवॉर्ड्स को प्रशिक्षित करने के लिए आमतौर पर महंगे मानव प्राथमिकता डेटा (human preference data) की आवश्यकता होती है, जो वस्तुनिष्ठ डेटा यथार्थवाद को व्यक्तिपरक एनोटेटर की प्रवृत्तियों के साथ मिला देता है।

लेखकों का तर्क है कि इन गुणों को पकड़ने में मैचिंग ऑब्जेक्टिव्स की विफलता एक "ट्रेन-टेस्ट मिसमैच" (जहाँ त्रुटियाँ प्रशिक्षण मार्जिनल्स के बजाय मॉडल के रोलआउट वितरण के साथ संचित होती हैं) और एक "ज्यामिति मिसमैच" (जहाँ वेलोसिटी स्पेस में छोटी त्रुटियां सैंपल क्वालिटी/रिवॉर्ड स्पेस में बड़ी त्रुटियों का कारण बन सकती हैं) के कारण होती है।

कार्यप्रणाली: डिस्क्रिमिनेटर-गाइडेड RL (DRL)

यह शोध पत्र डिस्क्रिमिनेटर-गाइडेड RL (DRL) का प्रस्ताव करता है, जो मानव प्राथमिकता डेटा पर निर्भर किए बिना फ्लो मैचिंग मॉडलों को सुधारने की एक विधि है। मुख्य अंतर्दृष्टि यह है कि एक बेस मॉडल $p_{base}$ को लक्षित वितरण $q$ के साथ संरेखित करने के लिए इष्टतम रिवॉर्ड, लॉग-डेंसिटी अनुपात $\log(q(x)/p_{base}(x))$ है। चूंकि यह अनुपात अगम्य (intractable) है, इसलिए DRL इसे एक डिस्क्रिमिनेटर का उपयोग करके अनुमानित करता है।

DRL पाइपलाइन दो चरणों से मिलकर बनी है:

चरण 1: रिप्रेजेंटेशन स्पेस में रिवॉर्ड एस्टीमेशन

पिक्सेल स्पेस में सीधे डिस्क्रिमिनेटर को प्रशिक्षित करने के बजाय (जो सांख्यिकीय रूप से कठिन और अर्थपूर्ण रूप से अविश्वसनीय है), DRL एक प्री-ट्रेंड सेल्फ-सुपरवाइज्ड लर्निंग (SSL) रिप्रेजेंटेशन स्पेस में डिस्क्रिमिनेटर को प्रशिक्षित करता है।

एक फ्रोजन एनकोडर $\phi$ (जैसे, DINOv2) छवियों को एक फीचर स्पेस $Z$ में मैप करता है।
एक डिस्क्रिमिनेटर $D$ को उनके एनकोडेड रिप्रेजेंटेशन $\phi(x)$ का उपयोग करके वास्तविक डेटा सैंपल्स $x \sim q$ और बेस मॉडल सैंपल्स $x_{fake} \sim p_{base}$ के बीच अंतर करने के लिए प्रशिक्षित किया जाता है।
रिवॉर्ड फंक्शन को डिस्क्रिमिनेटर के लॉजिट के रूप में परिभाषित किया गया है: $\hat{r}(x) = \log(D(\phi(x)) / (1 - D(\phi(x))))$ ।
सैद्धांतिक औचित्य: रिवॉर्ड को SSL स्पेस तक सीमित करके, DRL एक कन्सट्रेंड ऑप्टिमाइज़ेशन समस्या को हल करता है: यह वितरण $p$ को $p_{base}$ के सबसे करीब (KL डाइवर्जेंस में) पाता है, ताकि $\phi$ के माध्यम से $p$ का पुशफॉरवर्ड $q$ के पुशफॉरवर्ड के साथ मेल खाए। यह सुनिश्चित करता है कि सुधार उन अर्थपूर्ण अक्षों (semantically meaningful axes) के साथ किए जाएं जो एनकोडर के लिए दृश्यमान हैं।

चरण 2: एडजॉइंट मैचिंग के माध्यम से KL-रेगुलराइज्ड RL

अनुमानित रिवॉर्ड $\hat{r}$ का उपयोग KL-रेगुलराइज्ड RL के माध्यम से बेस मॉडल को फाइन-ट्यून करने के लिए किया जाता है।

उद्देश्य फाइन-ट्यून किए गए मॉडल और बेस मॉडल के बीच ट्रेजेक्टरी डिस्ट्रीब्यूशन के बीच KL डाइवर्जेंस को कम करते हुए अपेक्षित रिवॉर्ड को अधिकतम करना है।
लेखक एडजॉइंट मैचिंग (Adjoint Matching) का उपयोग करते हैं, जो फ्लो मॉडल्स के लिए एक अत्याधुनिक एल्गोरिदम है, जो सैंपलिंग प्रक्रिया के माध्यम से ग्रेडिएंट प्रोपेगेशन का उपयोग करके ट्रेजेक्टरी-लेवल ऑब्जेक्टिव को ऑप्टिमाइज़ करता है।
अनबायस्ड एंडपॉइंट टिल्टिंग के लिए आवश्यक मेमोरीलेस SDE के साथ स्थिर प्रशिक्षण सुनिश्चित करने के लिए, लेखक एक लोकल लीनियर इंटीग्रेटर (Local Linear Integrator) पेश करते हैं। यह इंटीग्रेटर मानक यूलर-मारियूरा (Euler-Maruyama) डिस्क्रीटाइजेशन की तुलना में $t=0$ के पास संख्यात्मक कठोरता (numerical stiffness) को अधिक प्रभावी ढंग से संभालता है।

मुख्य योगदान

मैचिंग सीमाओं का सैद्धांतिक विश्लेषण: पेपर एक औपचारिक विश्लेषण प्रदान करता है जो दिखाता है कि फ्लो/स्कोर मैचिंग लॉस, ट्रेन-टेस्ट डिस्ट्रीब्यूशन शिफ्ट और वेलोसिटी-स्पेस ज्योमेट्री एवं सैंपल-स्पेस रिवॉर्ड ज्योमेट्री के बीच मिसअलाइनमेंट के कारण रिवॉर्ड गैप्स (रुचि के गुणों) पर नियंत्रण की गारंटी नहीं देते हैं।
डिस्क्रिमिनेटर-गाइडेड RL (DRL): एक अभिनव ढांचा जो एक फ्रोजन SSL रिप्रेजेंटेशन स्पेस में प्रशिक्षित डिस्क्रिमिनेटर का उपयोग करके रिवॉर्ड सिग्नल उत्पन्न करता है। यह मॉडल को मानव प्राथमिकता लेबल के बिना डेटा गुणों को पुनः प्राप्त करने की अनुमति देता है।
लोकल लीनियर इंटीग्रेटर: मेमोरीलेस SDE के लिए एक नया संख्यात्मक इंटीग्रेटर, जो शुरुआती समय के नॉर्म ब्लो-अप को रोकता है और सैंपलिंग गुणवत्ता एवं प्रशिक्षण स्थिरता दोनों में सुधार करता है।
अनुभवजन्य सत्यापन (Empirical Validation): विभिन्न आर्किटेक्चर (SiT, JiT, REPA, RAE) और फीचर स्पेस (DINOv2, DINOv3, SigLIP, Inception) पर DRL के प्रभाव का प्रदर्शन।

परिणाम

लेखकों ने चार ImageNet-प्री-ट्रेंड फ्लो मॉडल्स पर DRL का मूल्यांकन किया। मुख्य निष्कर्ष निम्नलिखित हैं:

डिस्ट्रिब्यूशनल अलाइनमेंट: DRL फ्रेट (Fréchet) डिस्टेंस (FD) को काफी कम कर देता है। उदाहरण के लिए, SiT पर, DINOv3 स्पेस में गाइडेंस-फ्री FD 88.2 से गिरकर 19.3 हो गया। सभी मॉडल्स और फीचर स्पेस में, DRL ने बिना CFG के निरंतर अलाइनमेंट में सुधार किया।
बिना प्रेफरेंस डेटा के इमेज क्वालिटी: DRL ने बिना किसी ट्रेनिंग के भी होल्ड-आउट ह्यूमन-प्रेफरेंस रिवॉर्ड मॉडल्स (ImageReward, HPSv2, PickScore, Aesthetics) पर स्कोर में सुधार किया। यह सुझाव देता है कि DRL सफलतापूर्वक उन "यथार्थवाद" गुणों को पुनः प्राप्त करता है जिन्हें मानक मैचिंग लॉस मिस कर देते हैं।
प्रेफरेंस अलाइनमेंट के लिए बेहतर आधार: जब DRL का उपयोग बाद के प्रेफरेंस-आधारित RL (PRL) के लिए शुरुआती बिंदु के रूप में किया जाता है, तो यह रिवॉर्ड और इमेज फिडेलिटी के बीच एक बेहतर पारेटो फ्रंटियर (Pareto frontier) प्रदान करता है। DRL डेटा से प्राप्त होने वाले संरचनात्मक सुधारों को अवशोषित कर लेता है, जिससे PRL को निम्न-स्तरीय आर्टिफैक्ट्स (जैसे अत्यधिक चमक) को ठीक करने के बजाय वास्तविक व्यक्तिपरक प्राथमिकताओं पर ध्यान केंद्रित करने की अनुमति मिलती है।
डिस्टिलेशन गैप: प्रयोगों ने दिखाया कि एक स्टैंडर्ड फ्लो मैचिंग के माध्यम से एक DRL टीचर के सैंपल्स पर प्रशिक्षित स्टूडेंट मॉडल, टीचर के प्रदर्शन को दोहराने में विफल रहा, भले ही उसने 50 मिलियन सैंपल्स देखे हों। यह पुष्टि करता है कि इन गुणों को पुनः प्राप्त करने के लिए RL ऑब्जेक्टिव स्वयं आवश्यक है, न कि केवल सैंपल्स।

महत्व और दावे

पेपर का दावा है कि फ्लो-आधारित मॉडल्स के लिए RL पोस्ट-ट्रेनिंग को केवल बाहरी प्राथमिकताओं को अनुकूलित करने के उपकरण के रूप में नहीं, बल्कि प्रशिक्षण डेटा की संरचना को पुनः प्राप्त करने के लिए एक पूरक तंत्र (complementary mechanism) के रूप में देखा जाना चाहिए, जिसे मानक मैचिंग-आधारित ऑब्जेक्टिव्स अपूर्ण रूप से कैप्चर करते हैं।

एक प्री-ट्रेंड रिप्रेजेंटेशन स्पेस में डिस्क्रिमिनेटर का उपयोग करके, DRL एक ऐसा रिवॉर्ड सिग्नल प्रदान करता है जो:

डेटा गुणों के अनुरूप है: यह व्यक्तिपरक मानवीय प्राथमिकताओं के बजाय सीधे डेटा वितरण को लक्षित करता है।
ज्यामितीय रूप से सुदृढ़ है: यह रिवॉर्ड लैंडस्केप पर सीधे ऑप्टिमाइज़ करके वेलोसिटी-स्पेस ज्योमेट्री की बाधाओं को दरकिनार करता है।
कुशल है: इसके लिए बहुत कम कंप्यूट की आवश्यकता होती है और यह डेटा संग्रह की लागत से बचता है।

लेखक निष्कर्ष निकालते हैं कि मैचिंग ऑब्जेक्टिव्स और RL विरोधाभासी लक्ष्यों वाले तरीके नहीं हैं, बल्कि प्रशिक्षण डेटा की उपयोगिता को अधिकतम करने के लिए दो पूरक उपकरण हैं। यह कार्य सुझाव देता है कि उच्च-गुणवत्ता वाले जेनरेशन के लिए "रिवॉर्ड" अक्सर "डेटा में पहले से ही मौजूद होता है", लेकिन इसे पूरी तरह से साकार करने के लिए एक ऑन-पॉलिसी, रिवॉर्ड-गाइडेड तंत्र की आवश्यकता होती है।