💻 computer science

Improving Text-to-Image Generation with Intrinsic Self-Confidence Rewards

यह शोध पत्र SOLACE को प्रस्तुत करता है, जो टेक्स्ट-टू-इमेज जनरेशन के लिए एक पूर्णतः अनसुपरवाइज्ड (unsupervised) पोस्ट-ट्रेनिंग फ्रेमवर्क है, जो बाहरी रिवॉर्ड मॉडल या एनोटेटेड डेटासेट के बिना मॉडल के प्रदर्शन को अनुकूलित करने के लिए नॉइज़ रिकवरी से प्राप्त अंतर्निहित सेल्फ-कॉन्फिडेंस सिग्नल्स का लाभ उठाता है।

मूल लेखक: Seungwook Kim, Minsu Cho

प्रकाशित 2026-03-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Seungwook Kim, Minsu Cho

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली लेकिन थोड़ा अस्त-व्यस्त कलाकार है जिसका नाम SD3.5 है। यह कलाकार आपके विवरणों के आधार पर चित्र बनाने में अद्भुत है (जैसे कि "इंद्रधनुषी गुलाब वाला एक नीला पेड़")। हालाँकि, कभी-कभी कलाकार थोड़ा भ्रमित हो जाता है, रंगों को मिला देता है, या पेंटिंग में किसी साइन पर टेक्स्ट सही ढंग से लिखना भूल जाता है।

इसे ठीक करने के लिए, सामान्य तरीका एक सख्त कला समीक्षक (एक बाहरी रिवॉर्ड मॉडल) को काम पर रखना है जो हर पेंटिंग को देखे, उसे एक स्कोर दे, और कलाकार को बताए, "नहीं, पेड़ को और हरा होना चाहिए," या "तुम 'Hello' शब्द लिखना भूल गए।" समस्या यह है कि इन समीक्षकों को काम पर रखना महंगा और धीमा है, और कभी-कभी कलाकार "सिस्टम को चकमा देने" (गेम द सिस्टम) लगता है—ऐसी अजीब, बेमतलब की चीजें बनाकर समीक्षक को खुश करना जो बस एक उच्च स्कोर प्राप्त कर लेती हैं, बजाय इसके कि वे वास्तव में बेहतर पेंटिंग करना सीखें।

पेश है SOLACE।

इस पेपर के लेखक, Seungwook Kim और Minsu Cho ने एक चतुर नया विचार निकाला है: क्या होगा अगर कलाकार खुद ही अपना समीक्षक बन जाए?

मुख्य विचार: "आत्म-विश्वास" की परीक्षा

एक बाहरी जज को काम पर रखने के बजाय, SOLACE कलाकार को अपनी अंतरात्मा की आवाज (gut feeling) पर भरोसा करना सिखाता है। यह कैसे काम करता है, यहाँ एक सरल उपमा दी गई है:

1. "डिनोइजिंग" (Denoising) का खेल
कल्पना कीजिए कि कलाकार एक चित्र बनाता है, लेकिन फिर हम एक स्पंज लेते हैं और उस पर थोड़ा सा रैंडम शोर (noise/static) फैला देते है।

पुराना तरीका: हम एक बाहरी समीक्षक से पूछते हैं, "क्या यह चित्र अच्छा है?"
SOLACE का तरीका: हम कलाकार से पूछते हैं, "क्या तुम इस धुंधले चित्र को देख सकते हो और मुझे ठीक-ठीक बता सकते हो कि मैंने इसमें कौन सा मूल शोर (noise) जोड़ा था?"

2. आत्मविश्वास स्कोर (Confidence Score)
यदि कलाकार अपने ही काम पर फैलाए गए शोर का सटीक अनुमान लगा सकता है, तो इसका मतलब है कि वह अपने मूल पेंटिंग को लेकर बहुत आश्वस्त (confident) है। वह जानता है कि चित्र को वास्तव में कैसा दिखना चाहिए।

उच्च आत्मविश्वास (अच्छा): कलाकार कहता है, "मुझे पता है कि वह शोर क्या था! मुझे यकीन है कि मेरी पेंटिंग सही है।" -> रिवॉर्ड (पुरस्कार)!
कम आत्मविश्वास (बुरा): कलाकार हकलाते हुए कहता है, "अह, मुझे यकीन नहीं है कि वह शोर क्या था... शायद मैंने कोई गलती कर दी?" -> कोई रिवॉर्ड नहीं।

यह गेम-चेंजर क्यों है?

1. अब महंगे समीक्षकों की जरूरत नहीं
आपको कलाकार को बताने के लिए मानव एनोटेटरों या जटिल AI जजों की टीम की आवश्यकता नहीं है। कलाकार स्वयं फीडबैक उत्पन्न करता है। यह एक संगीतकार के अभ्यास करने जैसा है जो तुरंत जान जाता है कि उसने सही नोट बजाया है या नहीं, बजाय इसके कि वह शिक्षक द्वारा ग्रेड दिए जाने का इंतजार करे।

2. "चीटिंग" को रोकना
जब कलाकार एक सख्त बाहरी समीक्षक को खुश करने की कोशिश करते हैं, तो वे अक्सर "चीटिंग" (रिवर्ड हैकिंग) करने लगते हैं। वे ऐसी पेंटिंग बना सकते हैं जो अजीब दिखती है लेकिन समीक्षक को उच्च स्कोर देने के लिए धोखा देती है।
चूंकि SOLACE कलाकार के अपने आंतरिक तर्क का उपयोग करता है, इसलिए कलाकार धोखा नहीं दे सकता। यदि वे कुछ बेमतलब पेंट करते हैं, तो वे खुद को "डिनोइज" (denoise) नहीं कर पाएंगे, इसलिए उन्हें रिवॉर्ड नहीं मिलेगा। यह उन्हें दुनिया की समझ को वास्तव में बेहतर बनाने के लिए मजबूर करता है।

3. कठिन कार्यों में बेहतर
पेपर दिखाता है कि जब कलाकार इस "आत्म-विश्वास" पर भरोसा करता है, तो वह उन चीजों में आश्चर्यजनक रूप से अच्छा हो जाता है जो आमतौर पर AI के लिए कठिन होती हैं:

गिनती (Counting): तीन या पांच के बजाय ठीक "चार कुर्सियाँ" बनाना।
टेक्स्ट (Text): साइन पर "Hello" को सही ढंग से लिखना बजाय किसी निरर्थक शब्द के।
संबंध (Relationships): "मैट के अंदर बिल्ली" के बजाय "मैट पर बिल्ली" रखना।

परिणाम: एक स्व-सुधार लूप (Self-Improving Loop)

SOLACE को एक दर्पण के रूप में सोचें।

कलाकार अपने काम को देखता है।
वह पूछता है, "क्या यह मुझे समझ में आता है?"
यदि उत्तर है "हाँ, मैं हर विवरण को फिर से बना सकता हूँ," तो उसे पीठ थपथपाई जाती है और वह इसे फिर से करने का प्रयास करता है।
समय के साथ, कलाकार अधिक सुसंगत, अधिक सटीक और निर्देशों का पालन करने में बेहतर होता जाता है, और वह भी बिना बाहरी दुनिया से मदद मांगे।

संक्षेप में:
यह पेपर SOLACE को पेश करता है, एक ऐसी विधि जो AI इमेज जनरेटर को महंगे, बाहरी जजों पर निर्भर रहने के बजाय अपने "अंतर्मन के अहसास" (आत्म-विश्वास) पर भरोसा करके सीखने देती है। AI से यह पूछकर कि, "क्या तुम अपनी गलतियों को समझा सकते हो?", AI बेहतर पेंटिंग करना, बेहतर गिनती करना और बेहतर टेक्स्ट लिखना सीख जाता है, जबकि वह सिस्टम को चकमा देने के जाल से भी बच जाता है।

यहाँ शोध पत्र "Improving Text-to-Image Generation with Intrinsic Self-Confidence Rewards" (SOLACE) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डिफ्यूजन और फ्लो-मैचिंग मॉडल्स के साथ टेक्स्ट-टू-इमेज (T2I) जनरेशन में महत्वपूर्ण प्रगति हुई है। हालाँकि, इन मॉडल्स को मानवीय प्राथमिकताओं के साथ संरेखित करने, संरचनात्मक सटीकता (compositional accuracy) में सुधार करने और टेक्स्ट फिडेलिटी सुनिश्चित करने के लिए अक्सर रीइन्फोर्समेंट लर्निंग (RL) के माध्यम से पोस्ट-ट्रेनिंग की आवश्यकता होती है। वर्तमान दृष्टिकोणों को तीन प्रमुख चुनौतियों का सामना करना पड़ता है:

बाहरी रिवॉर्ड्स पर निर्भरता (Reliance on External Rewards): अधिकांश विधियाँ बाहरी रिवॉर्ड मॉडल्स (जैसे, PickScore जैसे मानव प्राथमिकता मॉडल, OCR वैलिडेटर्स, या सुरक्षा फिल्टर) पर निर्भर करती हैं। इनके लिए बड़े पैमाने पर एनोटेटेड डेटासेट्स की आवश्यकता होती है, जो कम्प्यूटेशनल जटिलता बढ़ाते हैं (प्रशिक्षण के दौरान कई मॉडल्स चलाना) और इन्हें स्केल करना महंगा होता है।
रिवॉर्ड हैकिंग (Reward Hacking): संकीर्ण बाहरी रिवॉर्ड्स के लिए अनुकूलन (optimization) अक्सर "रिवॉर्ड हैकिंग" की ओर ले जाता है, जहाँ मॉडल विशिष्ट मेट्रिक्स पर उच्च स्कोर प्राप्त करने के लिए रिवॉर्ड फंक्शन का फायदा उठाता है, जबकि अन्य क्षमताओं (जैसे, संरचना या यथार्थवाद में विफलता के बावजूद अर्थहीन चित्र बनाना) को कम कर देता है।
आंतरिक संकेतों का कम उपयोग (Underutilization of Intrinsic Signals): जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) में आंतरिक संकेतों (जैसे, आत्म-विश्वास) का अन्वेषण किया गया है, T2I जनरेशन में निरंतर डिनोइजिंग ट्रेजेक्टरीज की प्रकृति और डिस्क्रीट लाइकलीहुड्स (likelihoods) की कमी के कारण इनका उपयोग कम किया गया है।

2. कार्यप्रणाली: SOLACE (Methodology: SOLACE)

लेखक SOLACE (Self-Originating LAtent Confidence Estimation) प्रस्तावित करते हैं, जो एक ऐसा पोस्ट-ट्रेनिंग फ्रेमवर्क है जो बाहरी क्रिटिक्स के स्थान पर पूरी तरह से जेनेरेटिव मॉडल से प्राप्त आंतरिक आत्म-विश्वास सिग्नल (intrinsic self-confidence signal) का उपयोग करता है।

मुख्य अवधारणा (Core Concept)

परिकल्पना यह है कि एक अच्छी तरह से प्रशिक्षित डिफ्यूजन/फ्लो-मैचिंग मॉडल के पास वास्तविक छवियों और टेक्स्ट-इमेज संरेखण (alignment) पर मजबूत प्रायर्स (priors) होते हैं। इसलिए, मॉडल की अपनी जनरेट की गई आउटपुट्स से इंजेक्ट किए गए शोर (noise) को सटीकता से रिकवर करने की क्षमता, उस जनरेशन की गुणवत्ता और निष्ठा (faithfulness) के लिए एक प्रॉक्सी के रूप में कार्य करती है। उच्च आत्म-विश्वास (कम रिकंस्ट्रक्शन एरर) उच्च-गुणवत्ता वाली, संरेखित छवियों के साथ सह-संबंधित है।

तकनीकी वर्कफ़्लो (Technical Workflow)

जनरेशन (Generation): एक टेक्स्ट प्रॉम्प्ट $c$ के लिए, पॉलिसी मॉडल $\pi_\theta$ $G$ लेटेंट आउटपुट्स $\{z_0^{(i)}\}$ का एक समूह सैंपल करता है।
री-नोइजिंग (Re-noising/Probing): पिक्सेल स्पेस में डिकोड करने के बजाय, विधि चुनिले टाइमस्टेप्स $t \in \mathcal{T}$ $t \in T$ पर साझा सेट $K$ $K$ नॉइज़ प्रोब्स $\{\epsilon^{(m)}\}$ ${ϵ^{(m)}}$ का उपयोग करके जनरेट किए गए लेटेंट्स $z_0^{(i)}$ $z_{0}^{(i)}$ को री-नोज़ करती है।
- $z_t^{(i,m)} = (1-t)z_0^{(i)} + t\epsilon^{(m)}$
सेल्फ-डिनोइजिंग (Self-Denoising): मॉडल री-नोज़्ड लेटेंट $z_t^{(i,m)}$ $z_{t}^{(i, m)}$ से इंजेक्ट किए गए शोर $\epsilon^{(m)}$ $ϵ^{(m)}$ की भविष्यवाणी करने का प्रयास करता है।
- प्रेडिक्टेड नॉइज़ मॉडल के वेलोसिटी फील्ड से प्राप्त किया जाता है: $\hat{\epsilon}_\theta = v_\theta(z_t^{(i,m)}, t, c) + z_0^{(i)}$ ।
रिवॉर्ड गणना (Reward Calculation): रिवॉर्ड को प्रेडिक्टेड नॉइज़ और वास्तविक इंजेक्ट किए गए नॉइज़ के बीच मीन स्क्वेयर्ड एरर (MSE) के नेगेटिव लॉग के रूप में कंप्यूट किया जाता है।
- $R_{SOLACE} = -\log(\text{MSE} + \delta)$
- यह स्केलर रिवॉर्ड कई प्रोब्स और टाइमस्टेप्स पर एकत्रित किया जाता है।
अनुकूलन (Optimization): मॉडल को Flow-GRPO (Flow Matching के लिए Group Relative Policy Optimization) का उपयोग करके फाइन-ट्यून किया जाता है। इस आंतरिक रिवॉर्ड का उपयोग $G$ सैंपल्स के समूह के भीतर एडवांटेज की गणना करने के लिए किया जाता है, जिससे पॉलिसी को आत्म-विश्वास को अधिकतम करने के लिए ऑप्टिमाइज़ किया जाता है।

प्रमुख स्थिरीकरण तकनीकें (Key Stabilization Techniques)

मॉडल को "रिवॉर्ड हैकिंग" (जैसे, खाली चित्र बनाना जिन्हें डिनोइज़ करना आसान हो) में गिरने से रोकने के लिए, लेखक निम्नलिखित का उपयोग करते हैं:

सफिक्स ट्रेनिंग (Suffix Training): अनुकूलन को डिनोइजिंग ट्रेजेक्टरी के अंतिम हिस्से (जैसे, अंतिम 60% स्टेप्स) तक सीमित रखा जाता है, जहाँ डिनोइजिंग कार्य सूचनात्मक रहता है लेकिन कम शोषण योग्य (exploitable) होता है।
CFG-मुक्त स्कोरिंग (CFG-Free Scoring): जबकि विविधता के लिए सैंपलिंग में क्लासिफायर-फ्री गाइडेंस (CFG) का उपयोग किया जाता है, आत्म-विश्वास रिवॉर्ड बिना CFG के कैलकुलेट किया जाता है ताकि बेस कंडीशनल मॉडल को ऑप्टिमाइज़ किया जा सके, न कि किसी गाइडेड प्रॉक्सी को।
ऑनलाइन गणना (Online Calculation): रिवॉर्ड उसी मॉडल द्वारा कंप्यूट किया जाता है जिसे प्रशिक्षित किया जा रहा है ( $\pi_\theta$ ), न कि किसी फिक्स्ड रेफरेंस द्वारा, जिससे मॉडल के बेहतर होने के साथ रिवॉर्ड सिग्नल विकसित हो सके।

3. मुख्य योगदान (Key Contributions)

आंतरिक रिवॉर्ड फ्रेमवर्क (Intrinsic Reward Framework): SOLACE का परिचय, जो T2I के लिए पहला पोस्ट-ट्रेनिंग फ्रेमवर्क है जो पूरी तरह से मॉडल की इंजेक्ट किए गए शोर को रिकवर करने की आंतरिक क्षमता पर निर्भर करता है, जिससे बाहरी रिवॉर्ड मॉडल्स या मानव एनोटेशन की आवश्यकता समाप्त हो जाती है।
सैद्धांतिक अंतर्दृष्टि (Theoretical Insight): यह प्रदर्शन कि एक मॉडल की आत्म-निश्चितता (शोर रिकवरी क्षमता) ऑब्जेक्टिव मेट्रिक्स जैसे कि कंपोजिशनल जनरेशन, टेक्स्ट रेंडरिंग और टेक्स्ट-इमेज एलाइनमेंट के साथ मजबूती से सह-संबंधित है।
पूरकता (Complementarity): प्रमाण कि SOLACE को पहले से ही बाहरी रिवॉर्ड्स के साथ प्रशिक्षित मॉडल्स के ऊपर स्टैक किया जा सकता है, जिससे गैर-लक्ष्य क्षमताओं (कंपोजिशनलिटी, टेक्स्ट) में और सुधार होता है और रिवॉर्ड हैकिंग कम होती है।
दक्षता (Efficiency): एक ऐसा ट्रेनिंग पाइपलाइन जो RL के दौरान अलग-अलग इवैलुएटर्स (OCR, सेफ्टी, प्रेफरेंस मॉडल्स) चलाने के कम्प्यूटेशनल ओवरहेड से बचता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन कई बेंचमार्क पर SD3.5-M (और सप्लीमेंट्री में SD3.5-L/FLUX.1-Dev) पर किया गया:

कंपोजिशनल जनरेशन (GenEval): SOLACE ने प्रदर्शन में महत्वपूर्ण सुधार किया (जैसे, 0.65 से 0.71), जो कम पैरामीटर्स होने के बावजूद बड़े SD3.5-L मॉडल के लगभग बराबर पहुँच गया।
टेक्स्ट रेंडरिंग (OCR): टेक्स्ट सटीकता में पर्याप्त वृद्धि हासिल की (0.61 से 0.67), जो यह दर्शाता है कि आत्म-विश्वास विशिष्ट टेक्स्ट स्ट्रिंग्स को रेंडर करने की मॉडल की क्षमता के साथ संरेखित है।
टेक्स्ट-इमेज एलाइनमेंट (CLIP-Score): एलाइनमेंट स्कोर में सुधार हुआ, जो प्रॉम्प्ट सिमेंटिक्स के बेहतर पालन को दर्शाता है।
मानव प्राथमिकता (Human Preference): मानव प्राथमिकता मेट्रिक्स (PickScore, HPSv2, ImageReward) में मामूली लेकिन निरंतर सुधार दिखाया, बिना उन्हें ट्रेनिंग सिग्नल के रूप में उपयोग किए।
एब्लेशन स्टडीज (Ablation Studies):
- नॉइज़ प्रोब्स: एंटिथेटिक पेयरिंग के साथ $K=8$ ने इष्टतम परिणाम दिए।
- CFG: रिवॉर्ड कैलकुलेशन के दौरान CFG का उपयोग करने से प्रदर्शन गिर गया; स्कोरिंग के लिए इसे अक्षम (disable) किया जाना चाहिए।
- ऑनलाइन बनाम ऑफलाइन: ऑनलाइन गणना (प्रशिक्षण मॉडल का उपयोग करके) ऑफलाइन (एक फिक्स्ड रेफरेंस का उपयोग करके) से बेहतर रही।
- ट्रेनिंग कोलैप्स: टाइमस्टेप्स के सफिक्स ( $\rho=0.6$ ) तक ट्रेनिंग को सीमित करना महत्वपूर्ण था ताकि मॉडल को साधारण, टेक्सचरलेस इमेज बनाने से रोका जा सके।

गुणात्मक परिणाम (Qualitative Results): विजुअल तुलनाएं दिखाती हैं कि SOLACE-प्रशिक्षित मॉडल बेसलाइन की तुलना में बेहतर ऑब्जेक्ट काउंट, स्थानिक संबंध (spatial relationships) और पठनीय टेक्स्ट वाले चित्र उत्पन्न करते हैं, भले ही उन्हें बिना बाहरी रिवॉर्ड के प्रशिक्षित किया गया हो।

5. महत्व और प्रभाव (Significance and Impact)

स्केलेबिलिटी (Scalability): SOLACE बड़े मानव प्राथमिकता डेटासेट्स एकत्र करने या महंगे रिवॉर्ड मॉडल्स को प्रशिक्षित करने की बाधा के बिना T2I मॉडल्स को संरेखित करने का एक स्केलेबल रास्ता प्रदान करता है।
मजबूती (Robustness): एक आंतरिक सिग्नल का उपयोग करके, यह विधि संकीर्ण बाहरी क्रिटिक्स से जुड़े रिवॉर्ड हैकिंग के जोखिम को कम करती है।
सामान्यीकरण (Generalizability): यह दृष्टिकोण आर्किटेक्चर-अज्ञेइक (SD3.5 और FLUX.1 दोनों पर प्रदर्शित) है और इसे बाहरी रिवॉर्ड्स के साथ जोड़ा जा सकता है ताकि एक "सर्वश्रेष्ठ दोनों का" (best of both worlds) परिदृश्य बनाया जा सके, जहाँ बाहरी रिवॉर्ड्स विशिष्ट लक्ष्यों का मार्गदर्शन करते हैं जबकि आंतरिक रिवॉर्ड्स सामान्य गुणवत्ता और संरेखण बनाए रखते हैं।
भविष्य की दिशाएँ (Future Directions): शोध पत्र वीडियो और 3D जनरेशन (टेम्पोरल कंसिस्टेंसी) तक विस्तार करने और अधिक सटीक टास्क-टारगेटेड रिवॉर्ड शेपिंग के लिए आंतरिक संकेतों को अलग करने का सुझाव देता है।

संक्षेप में, SOLACE T2I पोस्ट-ट्रेनिंग में एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है, जो यह सिद्ध करता है कि एक जेनेरेटिव मॉडल आत्म-विश्वास अनुमान के माध्यम से अपने आउटपुट की प्रभावी ढंग से आलोचना और सुधार कर सकता है, जिससे अधिक मजबूत, संरेखित और उच्च-गुणवत्ता वाला इमेज जनरेशन संभव होता है।