🤖 machine learning

MIRO: MultI-Reward cOnditioned pretraining improves T2I quality and efficiency

यह शोध पत्र MIRO का प्रस्ताव करता है, जो एक मल्टी-रिवॉर्ड कंडिशन्ड प्रीट्रेनिंग विधि है जो कई रिवार्ड्स से उपयोगकर्ता की प्राथमिकताओं को सीधे सीखकर टेक्स्ट-टू-इमेज जनरेशन की गुणवत्ता और प्रशिक्षण दक्षता को बढ़ाता है, जिससे यह प्रमुख बेंचमार्क पर मौजूदा पोस्ट-ट्रेनिंग प्रतिमानों (पैराडाइम्स) से बेहतर प्रदर्शन करता है।

मूल लेखक: Nicolas Dufour, Lucas Degeorge, Arijit Ghosh, Vicky Kalogeiton, David Picard

प्रकाशित 2026-05-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nicolas Dufour, Lucas Degeorge, Arijit Ghosh, Vicky Kalogeiton, David Picard

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ MIRO पेपर का विवरण दिया गया है, जिसे अकादमिक शब्दावली से बदलकर रोजमर्रा की भाषा में रचनात्मक उपमाओं (analogies) के माध्यम से समझाया गया है।

समस्या: "तीन-चरणों वाली फैक्ट्री" का बॉटलनेक (रुकावट)

कल्पना कीजिए कि आप एक रोबोट शेफ को एक बेहतरीन भोजन बनाना सिखाना चाहते हैं। वर्तमान में, उद्योग का मानक एक भुलक्कड़ तीन-चरणीय प्रक्रिया का पालन करता है:

कच्ची रसोई (प्रीट्रेनिंग - Pretraining): आप रोबोट को एक अस्त-व्यस्त रसोई में फेंक देते हैं जहाँ हर तरह की सामग्री मौजूद है—सड़ी हुई सब्जियां, जला हुआ टोस्ट और मिशेलिन-स्टार व्यंजन। रोबोट यह सीख जाता है कि खाना दिखने में कैसा होता है, लेकिन उसे यह नहीं पता कि स्वाद कैसा होता है।
फ़िल्टर (फाइन-ट्यूनिंग - Fine-tuning): आप एक सख्त आलोचक को काम पर रखते हैं जो सारा "खराब" खाना फेंक देता है। अब रोबोट केवल अच्छी चीजें ही देखता है। लेकिन खराब भोजन को फेंककर, आपने उन सबक को भी खो दिया है कि कुछ चीजें क्यों खराब होती हैं। रोबोट खाना पकाने की पूरी रेंज की समझ खो देता है।
रिवॉर्ड गेम (RLHF): अंत में, आप एक खेल खेलते हैं जहाँ रोबोट एक व्यंजन बनाता है, और आप उसे एक एकल स्कोर देते हैं (जैसे, "स्वादिष्टता")। रोबोट इस एक स्कोर को अधिकतम करने की कोशिश करता है। समस्या क्या है? वह बार-बार एक ही प्रकार का व्यंजन बनाना शुरू कर सकता है क्योंकि उच्च स्कोर प्राप्त करने का यह सबसे आसान तरीका है। वह अपनी रचनात्मकता (विविधता) खो देता है और अन्य महत्वपूर्ण चीजों को नजरअंदाज कर सकता है, जैसे कि क्या वह व्यंजन वास्तव में आपके अनुरोध से मेल खाता है (सिमेंटिक फिडेलिटी)।

परिणाम: एक ऐसा रोबोट जो सीखने में धीमा है, डेटा बर्बाद करता है, और उबाऊ, दोहराव वाले परिणाम देता है।

समाधान: MIRO (द "स्मार्ट लेबल" अप्रोच)

लेखक MIRO (MultI-Reward cOnditioned pretraining) का प्रस्ताव करते हैं। तीन-चरणीय फैक्ट्री के बजाय, वे एक एकल, अधिक स्मार्ट प्रशिक्षण पद्धति का उपयोग करते हैं।

इसे ऐसे सोचें: खराब भोजन को फेंकने या खेल के बाद स्कोरिंग राउंड खेलने के बजाय, वे कच्ची रसोई में मौजूद हर एक सामग्री पर एक बहु-रंगीन स्टिकर चिपका देते हैं।

एक रंग "सौंदर्य (Aesthetic Beauty)" का प्रतिनिधित्व करता है।
दूसरा "मानव पसंद (How much humans like it)" का प्रतिनिधित्व करता है।
तीसरा "क्या यह रेसिपी विवरण से मेल खाता है?" का प्रतिनिधित्व करता है।
चौथा "क्या यह वैज्ञानिक रूप से सटीक है?" का प्रतिनिधित्व करता है।

रोबोट शेफ इन स्टिकरों को देखते हुए खाना बनाना सीखता है। वह सीखता है कि सामग्रियों का यह विशिष्ट संयोजन "उच्च सौंदर्य" स्टिकर की ओर ले जाता है, जबकि वह संयोजन "उच्च सटीकता" स्टिकर की ओर ले जाता है। वह "खराब" सामग्रियों को फेंकता नहीं है; वह बस यह सीखता है कि उनके अलग-अलग स्टिकर प्रोफाइल होते हैं।

यह कैसे काम करता है: "डायल" की उपमा

पुराने सिस्टम में, रोबोट एक विशिष्ट आलोचक को खुश करने वाला भोजन बनाने के लिए सीमित था। MIRO में, रोबोट सभी अलग-अलग प्रकार के गुणवत्ता स्टिकरों और सामग्रियों के बीच के संबंध को एक साथ सीखता है।

प्रशिक्षण के अंत में, जब आप रोबोट को अपने लिए खाना बनाने के लिए कहते हैं, तो आप केवल यह नहीं कहते "एक स्टेक बनाओ।" आप एक कंट्रोल पैनल पर डायल (Dials) घुमा सकते हैं:

"सौंदर्य" (Beauty) डायल को ऊपर करें।
"सटीकता" (Accuracy) डायल को नीचे करें।
"मानव पसंद" (Human Preference) डायल को बीच में रखें।

रोबोट इन डायल का उपयोग करके वास्तविक समय में अपनी कुकिंग को निर्देशित करने के लिए करता है। वह जानता है कि आपकी विशिष्ट गुणवत्ता के संतुलन को प्राप्त करने के लिए रेसिपी को कैसे समायोजित करना है।

यह बेहतर क्यों है? (मुख्य लाभ)

यह बहुत तेज़ है (द शॉर्टकट):
क्योंकि रोबोट पहले दिन से ही "स्टिकर" (रिवॉर्ड सिग्नल) से सीख रहा है, इसलिए वह एक अच्छी छवि क्या बनाती है, यह बहुत तेजी से सीख जाता है। पेपर का दावा है कि MIRO पारंपरिक पद्धति की तुलना में 19 गुना अधिक तेजी से कन्वर्ज (converge) होता है। यह शेफ को अंदाज़ा लगाने देने के बजाय उसे एक 'चीट शीट' देने जैसा है।
छोटा लेकिन शक्तिशाली (द अंडरडॉग):
MIRO एक अपेक्षाकृत छोटा मॉडल (0.36 बिलियन पैरामीटर्स) उपयोग करता है। इसके छोटे आकार के बावजूद, यह कई बेंचमार्क पर FLUX-dev (12 बिलियन पैरामीटर्स) जैसे विशाल मॉडलों को हरा देता है। यह प्रशिक्षण के लिए 370 गुना कम कंप्यूटिंग पावर का उपयोग करते हुए हासिल किया गया है। यह एक छोटी, कुशल स्पोर्ट्स कार द्वारा एक बड़ी, ईंधन की बर्बादी करने वाली ट्रक को दौड़ में हराने के समान है।
कोई "रिवॉर्ड हैकिंग" नहीं (द चीटर प्रिवेंशन):
पुराने सिस्टम में, यदि आप केवल "सौंदर्य" को पुरस्कृत करते हैं, तो रोबोट धुंधले, रंगीन धब्बे बनाना शुरू कर सकता है क्योंकि वे सुंदरता पर उच्च स्कोर करते हैं लेकिन वास्तविकता में कुछ भी नहीं दिखते। इसे "रिवॉर्ड हैकिंग" कहा जाता है।
चूंकि MIRO एक साथ कई स्टिकर (सौंदर्य, सटीकता, पसंद) देखता है, इसलिए रोबोट धोखाधड़ी नहीं कर सकता। यदि वह एक धुंधला धब्बा बनाता है, तो उसे उच्च सौंदर्य स्कोर मिल सकता है, लेकिन उसे बहुत खराब सटीकता स्कोर मिलेगा। मल्टी-स्टिकर सिस्टम रोबोट को सभी गुणों को संतुलित करने के लिए मजबूर करता है, जिससे बेहतर, अधिक ईमानदार छवियां बनती हैं।
यह सब कुछ सुरक्षित रखता है (द नो वेस्ट पॉलिसी):
पारंपरिक तरीके "कम गुणवत्ता" वाले डेटा को फेंक देते हैं। MIRO सभी डेटा का उपयोग करता है। वह खराब छवियों से भी सीखता है, यह समझते हुए कि वे क्यों खराब हैं। यह दुनिया की विविधता को बनाए रखता है, जिससे रोबोट किसी एक विशेष शैली की छवि के प्रति जुनूनी होने से बच जाता है।

निष्कर्ष

MIRO प्रक्रिया के अंत में "गुणवत्ता नियंत्रण" चरण को शुरुआत में लाकर खेल बदल देता है। मॉडल को उसके प्रारंभिक प्रशिक्षण के दौरान ही कई प्रकार की गुणवत्ता को एक साथ समझने के लिए सिखाकर, यह एक ऐसा सिस्टम बनाता है जो है:

प्रशिक्षण के लिए तेज़।
चलाने के लिए सस्ता।
उपयोगकर्ता के लिए अधिक नियंत्रणीय (डायल के माध्यम से)।
बहुत बड़े और महंगे मॉडलों की तुलना में उच्च गुणवत्ता वाला।

यह मॉडल को एक मास्टर की आज्ञा मानने के लिए मजबूर करने के बारे में नहीं है, बल्कि इसे यह समझने के बारे में है कि एक छवि को "अच्छा" बनाने वाले पूरे स्पेक्ट्रम में क्या होता है।

तकनीकी सारांश: MIRO: मल्टी-रिवॉर्ड कंडिशन्ड प्रीट्रेनिंग (MultI-Reward cOnditioned Pretraining) T2I गुणवत्ता और दक्षता में सुधार करता है

समस्या विवरण
वर्तमान अत्याधुनिक टेक्स्ट-टू-इमेज (T2I) जनरेटर आमतौर पर तीन-चरणीय प्रशिक्षण प्रतिमान (paradigm) का पालन करते हैं: (1) शोर युक्त वेब डेटा पर प्रीट्रेनिंग, (2) क्यूरेटेड सबसेट्स पर सुपरवाइज्ड फाइन-ट्यूनिंग, और (3) ह्यूमन फीडबैक से रिइन्फोर्समेंट लर्निंग (RLHF) या समान एलाइनमेंट तकनीकें। लेखक तर्क देते हैं कि यह पाइपलाइन महत्वपूर्ण लागत उत्पन्न करती है: प्रीट्रेनिंग, लाइकलीहुड मैक्सिमाइजेशन (likelihood maximization) को उपयोगकर्ता प्राथमिकताओं से अलग कर देती है; फाइन-ट्यूनिंग सूचनात्मक "निम्न-गुणवत्ता" वाले डेटा को त्याग देती है, जिससे स्ट्रक्चरल सिग्नल का नुकसान होता है; और RLHF, एक एकल स्केलर रिवॉर्ड पर डिस्ट्रीब्यूशन को कोलैप्स कर देता है, जिससे विविधता (मोड कोलैप्स) और सिमेंटिक फिडेलिटी (semantic fidelity) को नुकसान पहुँचता है और प्रशिक्षण के समय रिवॉर्ड ट्रेड-ऑफ्स लॉक हो जाते हैं। फलस्वरूप, उपयोगकर्ता एक ऐसे ऑपरेटिंग पॉइंट से बंधे होते हैं जो ट्रेनर्स द्वारा निर्धारित होता है, न कि उनके नियंत्रण में।

कार्यप्रणाली (Methodology)
लेखक MIRO (मल्टी-रिवॉर्ड कंडिशन्ड प्रीट्रेनिंग) का प्रस्ताव करते हैं, जो एक फ्रेमवर्क है जो कई रिवॉर्ड स्कोर के वेक्टर पर मॉडल को कंडिशन करके प्रीट्रेनिंग चरण में ही एलाइनमेंट को सीधे एकीकृत करता है।

डेटासेट ऑग्मेंटेशन: प्रीट्रेनिंग डेटासेट को $N$ पूरक रिवॉर्ड मॉडल्स (जैसे, AestheticScore, HPSv2, ImageReward, PickScore, VQAScore, JINA CLIP, और SciCore) के एनोटेशन के साथ संवर्धित (augment) किया गया है। प्रत्येक इमेज-टेक्स्ट पेयर $(x, c)$ के लिए, एक रिवॉर्ड वेक्टर $s$ की गणना की जाती है। रॉ स्कोर्स को नॉर्मलाइज और डिस्क्रीट लेवल्स में बिन (bin) किया जाता है ताकि गुणवत्ता स्पेक्ट्रम के पूरे विस्तार में संतुलित प्रतिनिधित्व सुनिश्चित हो सके।
मल्टी-रिवॉर्ड कंडिशन्ड फ्लो मैचिंग: लेखक जनरेटिव फ्रेमवर्क के रूप में फ्लो मैचिंग का उपयोग करते हैं। मॉडल एक कंडिशनल वेलोसिटी फील्ड $v_\theta(x_t, c, \hat{s})$ सीखता है, जहाँ $\hat{s}$ बिन किया गया रिवॉर्ड वेक्टर है। प्रशिक्षण उद्देश्य प्रेडिक्टेड वेलोसिटी और ट्रू वेलोसिटी $(\epsilon - x)$ के बीच के अंतर को कम करना है, जो टेक्स्ट प्रॉम्प्ट और वांछित रिवॉर्ड लेवल्स दोनों पर कंडिशन है। यह मॉडल को केवल उच्च-गुणवत्ता वाले सैंपल्स को फ़िल्टर करने के बजाय, पूरे डेटा डिस्ट्रीब्यूशन में रिवॉर्ड लेवल्स और विजुअल विशेषताओं के बीच मैपिंग सीखने की अनुमति देता है।
रिवॉर्ड-गाइडेड इन्फरेंस: इन्फरेंस के समय, MIRO मल्टी-रिवॉर्ड क्लासिफायर-फ्री गाइडेंस (CFG) के माध्यम से सूक्ष्म नियंत्रण सक्षम करता है। एक पॉजिटिव रिवॉर्ड टारगेट $\hat{s}_+$ (उच्च गुणवत्ता) और एक नेगेटिव टारगेट $\hat{s}_-$ (निम्न गुणवत्ता) पर कंडिशन करके, गाइडेंस वेक्टर जनरेशन को उन क्षेत्रों की ओर निर्देशित करता है जहाँ हाई-टू-लो रिवॉर्ड्स के लॉग-ऑड्स रेशियो को अधिकतम किया जाता है। लेखक एक सैद्धांतिक व्याख्या प्रदान करते हैं जो दिखाती है कि यह "रिवॉर्ड-टिल्टेड" डिस्ट्रीब्यूशन से सैंपलिंग करने के अनुरूप है, जो प्रभावी रूप से रिवॉर्ड्स के लॉग-ऑड्स पर इम्प्लिसिट ग्रेडिएंट एसेंट (implicit gradient ascent) करता है।

मुख्य योगदान

एकीकृत फ्रेमवर्क: MIRO प्रीट्रेनिंग के दौरान सीधे $p(x|c, s)$ सीखकर अलग से फिल्टरिंग या पोस्ट-हॉक RLHF चरणों की आवश्यकता को समाप्त करता है।
दक्षता और प्रदर्शन: एक 0.36B-पैरामीटर वाला MIRO मॉडल कंपोजिशनल बेंचमार्क (GenEval) और यूजर-प्रेफरेंस मेट्रिक्स (PickScore, ImageReward, HPSv2) पर स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करता है, जो काफी बड़े मॉडल्स जैसे FLUX-dev (12B पैरामीटर्स) को भी पीछे छोड़ देता है।
कन्वर्जेंस स्पीड: MIRO, डेंस मल्टी-डायमेंशनल क्वालिटी सुपरविजन के कारण बेसलाइन प्रीट्रेनिंग की तुलना में एस्थेटिक्स और प्रेफरेंस मेट्रिक्स पर 19× तेजी से कन्वर्ज होता है।
नियंत्रणीयता (Controllability): रिवॉर्ड वेक्टर इन्फरेंस के समय एक नियंत्रणीय इनपुट के रूप में कार्य करता है, जिससे उपयोगकर्ता बिना रिट्रेनिंग के विभिन्न गुणवत्ता आयामों (जैसे, एस्थेटिक्स बनाम सिमेंटिक एलाइनमेंट) के बीच ट्रेड-ऑफ को एडजस्ट कर सकते हैं।

परिणाम

प्रशिक्षण दक्षता: 16M-इमेज डेटासेट पर, MIRO बेसलाइन प्रदर्शन स्तरों तक नाटकीय रूप से तेजी से पहुँचता है: AestheticScore के लिए 19× स्पीडअप, HPSv2 के लिए 6.2×, और PickScore के लिए 3.5×।
कंपोजिशनल एलाइनमेंट: MIRO बेसलाइन की तुलना में GenEval स्कोर में 9.6% का सुधार (57 बनाम 52) करता है, जिसमें कलर एट्रिब्यूशन (+31%) और टू ऑब्जेक्ट्स (+24%) जैसे चुनौतीपूर्ण कार्यों में महत्वपूर्ण लाभ है।
SOTA के साथ तुलना: MIRO (0.36B), GenEval (68 बनाम 67) और PartiPrompts मेट्रिक्स पर FLUX-dev (12B) को पछाड़ देता है, जबकि 370× कम ट्रेनिंग कंप्यूट (4.16 TFLOPs बनाम 1540 TFLOPs) की आवश्यकता होती है।
इन्फरेंस दक्षता: टेस्ट-टाइम स्केलिंग (सैंपल-एंड-सेलेक्ट) के साथ मिलकर, MIRO बेहतर सैंपल एफिशिएंसी प्रदर्शित करता है। उदाहरण के लिए, MIRO के 8 सैंपल्स, बेसलाइन के 128 सैंपल्स के प्रदर्शन के बराबर होते हैं (ImageReward पर 16× एफिशिएंसी गेन)।
रिवॉर्ड हैकिंग का शमन: सिंगल-रिवॉर्ड मॉडल्स के विपरीत जो एक मेट्रिक के मुकाबले दूसरे को ओवर-ऑप्टिमाइज़ कर सकते हैं (जैसे, उच्च एस्थेटिक्स लेकिन खराब सिमेंटिक एलाइनमेंट), MIRO का मल्टी-रिवॉर्ड कंडिशनिंग सभी मेट्रिक्स पर संतुलित प्रदर्शन बनाए रखता है।

महत्व
यह पेपर दावा करता है कि MIRO पोस्ट-हॉक एलाइनमेंट से एकीकृत, रिवॉर्ड-अवेयर प्रीट्रेनिंग की ओर एक बदलाव का प्रतिनिधित्व करता है। पूर्ण डेटा डिस्ट्रीब्यूशन को संरक्षित करके और कई गुणवत्ता आयामों एवं विजुअल फीचर्स के बीच संबंध को सीखकर, MIRO पारंपरिक RLHF पाइपलाइनों के लिए एक अधिक कुशल, विविध और नियंत्रणीय विकल्प प्रदान करता है। लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण न केवल गुणवत्ता और गति में सुधार करता है, बल्कि उपयोगकर्ताओं को इन्फरेंस के समय रिवॉर्ड ट्रेड-ऑफ पर सिद्धांत आधारित नियंत्रण भी प्रदान करता है, जो वर्तमान एलाइनमेंट विधियों की कठोरता को संबोधित करता है।

समस्या: "तीन-चरणों वाली फैक्ट्री" का बॉटलनेक (रुकावट)

समाधान: MIRO (द "स्मार्ट लेबल" अप्रोच)

यह कैसे काम करता है: "डायल" की उपमा

यह बेहतर क्यों है? (मुख्य लाभ)

निष्कर्ष

इसी तरह के और पेपर