🤖 machine learning

Adversarial Learning of Classifier-Free Guidance Schedules

यह शोध पत्र एक एडवर्सरियल लर्निंग फ्रेमवर्क प्रस्तावित करता है जो घनत्व अनुपात अनुमान (density ratio estimation) के रूप में समस्या को फ्रेम करके डिफ्यूजन समय, कंडीशनिंग और नॉइजी सैंपल्स के फलन के रूप में क्लासिफायर-फ्री गाइडेंस शेड्यूल्स को गतिशील रूप से अनुकूलित करता है, जिससे टेक्स्ट-टू-इमेज जनरेशन में स्टेटिक और ह्यूरिस्टिक विधियों से बेहतर प्रदर्शन होता है।

मूल लेखक: Ashwini Pokle, Alexandre Galashov, Arnaud Doucet, Mauricio Delbracio, Valentin De Bortoli

प्रकाशित 2026-08-17

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ashwini Pokle, Alexandre Galashov, Arnaud Doucet, Mauricio Delbracio, Valentin De Bortoli

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को आपके बोले गए विवरणों के आधार पर चित्र बनाना सिखाने की कोशिश कर रहे हैं। आप उसे कहते हैं, "एक काले कुत्ते का नक्शे पर सोते हुए चित्र बनाओ," और वह एक खाली कैनवास से शुरू करता है जो टीवी के स्टैटिक शोर (static TV snow) जैसा दिखता है। रोबोट फिर धीरे-धीरे उस शोर को साफ करता है, चरण-दर-चरण, उस बर्फ (noise) को एक स्पष्ट छवि में बदल देता है। आधुनिक "डिफ्यूजन" (diffusion) मॉडल इसी तरह काम करते हैं। लेकिन यहाँ एक पेचीदा बात है: रोबोट को थोड़ा सा धक्के या दबाव की आवश्यकता होती है ताकि यह सुनिश्चित हो सके कि वह आपकी बातों को सुन रहा है और केवल एक यादृच्छिक (random) कुत्ता या एक यादृच्छिक नक्शा नहीं बना रहा है। इस धक्के को "गाइडेंस" (guidance) कहा जाता है। इसे एक टूर गाइड की तरह समझें जो पट्टे (leash) को थामे हुए है। यदि गाइड बहुत धीरे खींचता है, तो रोबमाट भटक जाता है और आपके निर्देशों को अनदेखा कर देता है। यदि गाइड बहुत ज़ोर से खींचता है, तो रोबोट भ्रमित हो जाता है, छवि अत्यधिक संतृप्त (oversaturated) और अजीब हो जाती है, या यह वास्तविकता के कार्टून संस्करण जैसा दिखने लगता है।

लंबे समय तक, वैज्ञानिकों ने एक "एक ही आकार सबके लिए" (one-size-fits-all) वाला दृष्टिकोण इस्तेमाल किया: उन्होंने पूरी पेंटिंग प्रक्रिया के लिए गाइड के खींचने की शक्ति को एक एकल, निश्चित संख्या पर सेट कर दिया। यह एक टूर गाइड को यह बताने जैसा था कि उसे पैदल चलने के पहले सेकंड से लेकर आखिरी सेकंड तक ठीक उसी बल के साथ खींचना है। हालांकि यह ठीक-ठाक काम करता था, लेकिन अक्सर इसके परिणाम अव्यवस्थित होते थे क्योंकि पेंटिंग के विभिन्न चरणों को अलग-अलग मात्रा में मदद की आवश्यकता होती है। छवि के कुछ हिस्सों को हल्के धक्के की आवश्यकता होती है, जबकि अन्य को एक सख्त हाथ की। बड़ा सवाल यह था: क्या हम गाइड को यह सिखा सकते हैं कि वह बिल्कुल इस बात पर निर्भर करते हुए अपनी खींचने की शक्ति को गतिशील रूप से बदले कि रोबोट उस विशिष्ट क्षण में वास्तव में क्या कर रहा है?

यह शोध पत्र रोबोट के गाइड को खींचने का तरीका सिखाने के लिए एक चतुर नया तरीका प्रस्तावित करता है। यह तय करने के बजाय कि मानव को कब ज़ोर से या कब धीरे खींचने का शेड्यूल मैन्युअल रूप से डिज़ाइन करना चाहिए, लेखक इसे "असली चीज़ का अनुमान लगाने" के खेल के माध्यम से सीखने देते हैं। उन्होंने एक सिस्टम बनाया जहाँ एक "डिस्क्रिमिनेटर" (discriminator - एक स्मार्ट जज) वास्तविक फोटो और रोबोट द्वारा वर्तमान में बनाई जा रही पेंटिंग के बीच अंतर करने की कोशिश करता है। रोबोट का गाइड अपनी खींचने की शक्ति को समायोजित करना सीखता है ताकि रोबोट की पेंटिंग इतनी वास्तविक फोटो जैसी दिखे कि जज उनके बीच अंतर न कर सके। इस खेल को खेलकर, गाइड सीख जाता है कि प्रक्रिया के हर एक चरण में उसे कितनी खींचना है, जो विशेष रूप से उस छवि और आपके द्वारा दिए गए विशिष्ट शब्दों के अनुकूल हो। परिणाम बताते हैं कि यह विधि छवियों को न केवल अधिक यथार्थवादी बनाती है बल्कि आपके मूल विवरण के बहुत करीब भी रखती है।

"एक ही आकार सबके लिए" वाले पट्टे की समस्या

कल्पना कीजिए कि आप एक पार्क में कुत्ते को टहला रहे हैं। कभी-कभी कुत्ता शांत होता है, और आप ढीले पट्टे के साथ चल सकते हैं। अन्य समय में, कुत्ते को कोई गिलहरी दिख जाती है और उसे भागने से रोकने के लिए एक मजबूत पकड़ की आवश्यकता होती है। यदि आप पूरे समय पट्टे को बिल्कुल एक ही कसावट पर रखते हैं, तो आप या तो कुत्ते को यातायात में जाने दे सकते हैं (बहुत ढीला) या कुत्ते का दम घोंट सकते हैं (बहुत टाइट)।

AI इमेज जनरेशन की दुनिया में, यह "लीश" (le leash) गाइडेंस वेट (जिसे अक्सर $\omega$ कहा जाता है) है। वर्षों से, शोधकर्ता एक स्थिर मान (constant value) का उपयोग करते रहे हैं, जो आमतौर पर पूरी छवि बनाने के दौरान 7.5 होता है। यह काम तो करता है, लेकिन यह पूर्ण नहीं है। कभी-कभी AI बहुत उत्साहित हो जाता है और रंग नियॉन और अत्यधिक संतृप्त (oversaturated) हो जाते हैं; अन्य समय में यह आपके प्रॉम्प्ट के विवरणों को अनदेखा कर देता है।

वैज्ञानिकों ने "शेड्यूल्स" (schedules) बनाकर इसे ठीक करने की कोशिश की—मैन्युअल नियम जो कहते हैं, "शुरुआत में ज़ोर से खींचें, फिर बीच में धीरे खींचें।" लेकिन ये नियम एक सामान्य मानचित्र की तरह हैं: उन्हें यह नहीं पता कि आपका विशिष्ट कुत्ता चिहुआहुआ है या ग्रेट डेन। वे हर छवि के लिए एक ही नियम लागू करते हैं, चाहे टेक्स्ट प्रॉम्प्ट कितना भी जटिल क्यों न हो या वर्तमान छवि कैसी भी हो।

नई रणनीति: "असली बनाम नकली" का खेल

इस शोध पत्र के लेखकों ने नियमों का अनुमान लगाना बंद करने का निर्णय लिया और इसके बजाय उन्होंने AI को एक खेल के माध्यम से इन्हें सीखने दिया। उन्होंने एडवर्सरियल लर्निंग (adversarial learning) की अवधारणा का उपयोग किया, जो दो नेटवर्क के बीच बिल्ली और चूहे के खेल जैसा है:

जेनरेटर (कलाकार): यह वह हिस्सा है जो छवि बनाता है और तय करता है कि हर चरण में पट्टे को कितनी ज़ोर से खींचना है (गाइडेंस वेट)।
डिस्क्रिमिनेटर (जज): यह एक स्मार्ट आलोचक है जिसे एक छवि को देखकर यह कहने के लिए प्रशिक्षित किया गया है कि, "क्या यह डेटासेट से एक वास्तविक फोटो है, या यह AI का वर्तमान प्रयास है?"

यहाँ जादू का नुस्खा है: लेखक चाहते हैं कि AI की "गाइडेड" छवि हर एक क्षण में वास्तविक फोटो के वितरण (distribution) से पूरी तरह मेल खाए। वे इसे मार्जिनल कंसिस्टेंसी (marginal consistency) कहते हैं।

कलाकार को सिखाने के लिए, उन्होंने एक लूप बनाया:

जज एक वास्तविक फोटो और AI की वर्तमान "गाइडेड" फोटो को देखता है।
जज उनके बीच अंतर करने की कोशिश करता है।
कलाकार अपने गाइडेंस वेट को एडजस्ट करके जज को मूर्ख बनाने की कोशिश करता है।
यदि जज अंतर नहीं कर पाता है, तो कलाकार अच्छा काम कर रहा है।

इस खेल को खेलकर, कलाकार एक गतिशील शेड्यूल सीखता है। वह सीखता है कि "एक बिल्ली" जैसे सरल प्रॉम्प्ट के लिए उसे हल्के खिंचाव की आवश्यकता हो सकती है, लेकिन "एक नक्शे पर सो रहे काले कुत्ते" जैसे जटिल प्रॉम्प्ट के लिए, उसे यह अलग तरह से खींचना होगा कि कुत्ते के फर या नक्शे के विवरण बन रहे हैं।

उन्होंने क्या पाया

टीम ने विभिन्न आकारों के मॉडलों का उपयोग करके एक मानक टेक्स्ट-टू-इमेज कार्य (MS-COCO) पर इस नए तरीके का परीक्षण किया। उन्होंने अपने "लर्निंग गाइड" की तुलना पुराने निरंतर लीश (constant leash) और मैन्युअल शेड्यूल से की।

परिणाम उत्साहजनक थे। उनकी विधि, जिसे वे GAN + MC (Marginal Consistency के साथ Generative Adversarial Network) कहते हैं, ने लगातार ऐसी छवियां बनाईं जिन्हें मनुष्य अधिक पसंद करते हैं। विशेष रूप से:

बेहतर संरेखण (Alignment): छवियां टेक्स्ट प्रॉम्प्ट से बेहतर मेल खाती हैं। उदाहरण के लिए, जब "नक्शे की किताब पर लेटे काले कुत्ते" को चित्रित करने के लिए कहा गया, तो उनके तरीके का उपयोग करने वाला AI वास्तव में कुत्ते को किताब के साथ इंटरैक्ट करते हुए दिखाता है, जबकि अन्य तरीके कभी-कभी विवरण चूक जाते हैं या कुत्ते को जेनेरिक बना देते हैं।
उच्च सौंदर्य स्कोर (Aesthetic Scores): मानव मूल्यांकनकर्ताओं के लिए छवियां अधिक सुंदर और प्राकृतिक दिखीं।
समझौता (Trade-off): एक छोटी सी कमी थी। उनके तरीके के लिए "FID" स्कोर (एक मीट्रिक जो मापता है कि छवि के आंकड़े वास्तविक फोटो के कितने करीब हैं) कुछ बेसलाइन्स की तुलना में थोड़ा अधिक (खराब) था। लेखक बताते हैं कि यह एडवर्सियल ट्रेनिंग और रिवॉर्ड सिग्नल के उपयोग का एक ज्ञात दुष्प्रभाव है; मॉडल प्रशिक्षण डेटा के सटीक सांख्यिकीय फिंगरप्रिंट से मेल खाने के बजाय "कूल" दिखने और प्रॉम्प्ट से मेल खाने को प्राथमिकता देता है। हालाँकि, इस मामले में कि मनुष्य वास्तव में क्या देखना पसंद करते हैं, उनकी विधि जीत गई।

यह क्यों महत्वपूर्ण है

यह शोध पत्र सुझाव देता है कि हमें यह खुद डिजाइन करने की आवश्यकता नहीं है कि AI को पेंट करने के लिए नियम कैसे बनाने चाहिए। इसके बजाय, हम एक ऐसा सिस्टम सेट कर सकते हैं जहाँ AI निर्माण के हर एक क्षण के लिए एकदम सही "लीश टेंशन" (leash tension) सीख सके।

लेखक नोट करते हैं कि हालांकि यह बहुत अच्छा काम करता है, इसमें कुछ सीमाएं भी हैं। जो "गाइड" उन्होंने प्रशिक्षित किया है, वह उस प्रकार के AI मॉडल के लिए विशिष्ट है जिस पर उसे प्रशिक्षित किया गया था; आप इस गाइड को बस ले नहीं सकते और इसे किसी पूरी तरह से अलग रोबोट पर बिना रिट्रेनिंग के उपयोग नहीं कर सकते। साथ ही, प्रशिक्षण प्रक्रिया थोड़ी जटिल है और इसके लिए सावधानीपूर्वक संतुलन की आवश्यकता होती है। लेकिन फिलहाल, यह सुझाव देता है कि AI को "असली बनाम नकली" के खेल के माध्यम से अपना स्वयं का गाइडेंस शेड्यूल सीखने देना, AI कला को हमारे शब्दों के प्रति अधिक आज्ञाकारी और हमारी आँखों के लिए अधिक सुंदर बनाने का एक शक्तिशाली तरीका है।

तकनीकी सारांश: क्लासिफायर-फ्री गाइडेंस शेड्यूल्स का एडवर्सरियल लर्निंग

समस्या विवरण (Problem Statement)
आधुनिक टेक्स्ट-टू-इमेज (T2I) डिफ्यूजन और फ्लो मैचिंग मॉडल उच्च छवि निष्ठा (fidelity) और प्रॉम्प्ट संरेखण (alignment) प्राप्त करने के लिए क्लासिफायर-फ्री गाइडेंस (CFG) पर बहुत अधिक निर्भर करते हैं। मानक अभ्यास सभी टाइमस्टेप्स, सैंपल्स और कंडीशनिंग इनपुट्स के लिए एक स्थिर, वैश्विक गाइडेंस वेट ( $\omega \approx 7.5$ ) का उपयोग करता है। लेखक तर्क देते हैं कि यह स्थिर दृष्टिकोण उप-इष्टतम (suboptimal) है; डिफ्यूजन प्रक्षेपवक्र (trajectory) के विभिन्न अवस्थाओं को अलग-अलग स्तर के गाइडेंस से लाभ हो सकता है, और एक निरंतर उच्च वेट अक्सर ओवर-सैचुरेशन जैसे आर्टिफैक्ट्स पेश करता है। हालांकि समय-परिवर्तनीय (time-varying) शेड्यूल्स मौजूद हैं, वे आमतौर पर हाथ से डिज़ाइन किए गए (hand-designed), अनुप्रयोग-निर्भर और विशिष्ट टेक्स्ट प्रॉम्प्ट या वर्तमान शोर वाले सैंपल की जटिलता के प्रति उदासीन होते हैं। डायनेमिक गाइडेंस सीखने के पिछले प्रयासों (जैसे, गैलशोव एट अल., 2026) को सैंपल क्वालिटी (FID) और टेक्स्ट अलाइनमेंट के बीच संतुलन बनाने में संघर्ष करना पड़ा है, जो अक्सर अपने उद्देश्यों की उच्च भिन्नता के कारण अलाइनमेंट मेट्रिक्स पर निरंतर CFG से आगे निकलने में विफल रहे हैं।

कार्यप्रणाली (Methodology)
यह शोध पत्र डिफ्यूजन समय ( $t$ ), कंडीशनिंग ( $c$ ), और वर्तमान शोर वाले सैंपल ( $x_s$ ) के फलन (function) के रूप में एक गाइडेंस शेड्यूल सीखने का प्रस्ताव करता है। मुख्य सैद्धांतिक बदलाव सख्त सेल्फ-कंसिस्टेंसी से एक कमजोर मार्जनल कंसिस्टेंसी (marginal consistency) स्थिति की ओर बढ़ना है। लक्ष्य यह सुनिश्चित करना है कि गाइडेड पार्टिकल्स का मार्जनल डिस्ट्रीब्यूशन ( $p_{s,\omega}^t$ ) प्रत्येक टाइमस्टेप $t$ पर वास्तविक डेटा डिस्ट्रीब्यूशन ( $p_t$ ) से मेल खाता हो।

इसे लागू करने के लिए, लेखक इस समस्या को एक जनरेटिव एडवरसैरियल नेटवर्क (GAN) ढांचे के भीतर एक डेंसिटी रेशियो एस्टीमेशन (density ratio estimation) कार्य के रूप में फ्रेम करते हैं:

एडवर्सरियल ऑब्जेक्टिव (Adversarial Objective):
- डिस्क्रिमिनेटर ( $d_\phi$ ): "असली" मार्जनल सैंपल्स (जो समय $t$ पर डेटा डिस्ट्रीब्यूशन से सीधे लिए गए हैं) और "नकली" गाइडेड सैंपल्स (जो वर्तमान गाइडेंस वेट का उपयोग करके समय $s$ से $t$ तक एक गाइडेड स्टेप लेकर उत्पन्न किए गए हैं) के बीच अंतर करने के लिए प्रशिक्षित किया जाता है। डिस्क्रिमिनेटर लॉग-डेंसिटी रेशियो $\log(p_t(x_t) / p_{s,\omega}^t(x_t))$ का अनुमान लगाता है।
- जेनरेटर (गाइडेंस नेटवर्क $\omega_\psi$ ): एक हल्का मल्टी-लेयर पर्सेप्ट्रॉन (MLP) जो इष्टतम गाइडेंस वेट $\omega$ की भविष्यवाणी करता है। इसे डिस्क्रिमिनेटर के आउटपुट को मैक्सिमाइज करने (अनुमानित KL डाइवर्जेंस को मिनिमाइज करने) के लिए प्रशिक्षित किया जाता है, जो प्रभावी रूप से वास्तविक मार्जनल डिस्ट्रीब्यूशन से मेल खाने वाले सैंपल्स बनाने के लिए सीखता है।
नेटवर्क पैरामीट्राइजेशन (Network Parametrization):
- कम्प्यूटेशनल दक्षता और मजबूती सुनिश्चित करने के लिए, गाइडेंस नेटवर्क कच्चे हाई-डायमेंशनल लेटेंट्स को इनपुट के रूप में नहीं लेता है। इसके बजाय, यह कोऑर्डिनेट-इनवेरिएंट ज्योमेट्रिक स्टैटिस्टिक्स का उपयोग करता है, जिसमें कंडीशनल वेलोसिटी का लॉग-नॉर्म, CFG दिशा, लेटेंट और गाइडेंस दिशा के बीच कोसाइन सिमिलरिटी, और डेटा मैनिफोल्ड से लॉग डिस्टेंस शामिल हैं।
- नेटवर्क स्मूथ इंटरपोलेशन को सुगम बनाने के लिए टाइम स्टेप्स के फूरियर एम्बेडिंग्स (Fourier embeddings) को भी शामिल करता है।
लॉस फंक्शन्स (Loss Functions):
- डिस्क्रिमिनेटर लॉस: स्मूथ रेशियो एस्टीमेशन सुनिश्चित करने के लिए R1 ग्रेडिएंट पेनल्टी के साथ स्टैंडर्ड बाइनरी क्रॉस-एन्ट्रॉपी।
- जेनरेटर लॉस: तीन टर्म्स से बना है:
  - एडवर्सरियल लॉस: जेनरेटेड सैंपल्स को पहचानने की डिस्क्रिमिनेटर की क्षमता को कम करना।
  - रेगुलराइजेशन: गाइडेंस वेट के विस्फोट या ओवर-करेक्शन को रोकने के लिए $L_2$ पेनल्टी।
  - रिवॉर्ड लॉस: बेहतर टेक्स्ट अलाइनमेंट के लिए स्पष्ट रूप से पुश करने के लिए एक रिवॉर्ड फंक्शन (जैसे, CLIP स्कोर) का नेगेटिव एक्सपेक्टेशन।
ट्रेनिंग स्ट्रैटेजी (Training Strategy):
- प्रशिक्षण टू-टाइम-स्केल अपडेट रूल (TTUR) का उपयोग करके एक एडवर्सरियल प्रतिमान का पालन करता है।
- महत्वपूर्ण रूप से, यह विधि "असली" और "नकली" पाथ के लिए स्वतंत्र इमेज-कंडीशनिंग पेयर्स का उपयोग करती है। यह डिस्क्रिमिनेटर को यह मूल्यांकन करने के लिए मजबूर करता है कि गाइडेड पार्टिकल्स का डिस्ट्रीब्यूशन ग्लोबल डेटा डिस्ट्रीब्यूशन से मेल खाता है या नहीं, न कि किसी एकल प्रक्षेपवक्र (trajectory) में विशिष्ट शोर पैटर्न को पहचानने के लिए।

मुख्य योगदान (Key Contributions)

मार्जनल कंसिस्टेंसी फॉर्मूलेशन: लेखक मार्जनल कंसिस्टेंसी कंडीशन पर आधारित गाइडेंस शेड्यूल्स सीखने का प्रस्ताव करते हैं, जो गाइडेड डिस्ट्रीब्यूशन को हर टाइमस्टेप पर वास्तविक डेटा डिस्ट्रीब्यूशन से मेल खाने के लिए प्रोत्साहित करता है, बजाय सख्त सेल्फ-कंसिस्टेंसी के।
गाइडेंस के लिए एडवर्सरियल फ्रेमवर्क: वे एक GAN-आधारित दृष्टिकोण पेश करते हैं जहाँ एक डिस्क्रिमिनेटर डेंसिटी रेश्यो का अनुमान लगाता है ताकि एक हल्का जेनरेटर ट्रेन किया जा सके जो डायनेमिक, स्टेट-डिपेंडेंट गाइडेंस स्केल्स की भविष्यवाणी करता है।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): यह विधि T2I बेंचमार्क पर कॉन्स्टेंट गाइडेंस, ह्यूरिस्टिक डायनेमिक शेड्यूल्स (जैसे, लिमिटेड इंटरवल गाइडेंस और क्लैम्प-लीनियर) और पूर्ववर्ती लर्नड गाइडेंस मेथड्स (MMD-आधारित) की तुलना में बेहतर प्रदर्शन करती है।

परिणाम (Results)
MMDiT-XS (740M) और MMDiT-S (1.05B) बैकबोन का उपयोग करके MS-COCO 2014 डेटासेट (512x512) पर मूल्यांकन:

अलाइनमेंट और क्वालिटी: प्रस्तावित "GAN + MC" विधि कॉन्स्टेंट CFG और ह्यूरिस्टिक बेसलाइन्स की तुलना में CLIP (टेक्स्ट अलाइनमेंट), एस्थेटिक, HPSv2 (ह्यूमन प्रेफरेंस स्कोर), और PickScore में लगातार बेहतर स्कोर प्राप्त करती है।
FID ट्रेड-ऑफ: यह विधि कुछ बेसलाइन्स की तुलना में FID (फ्रैचेट इनसेप्शन डिस्टेंस) में मामूली वृद्धि करती है। लेखक इसे हाई-गाइडेंस रिजीम्स में Inception-v3 स्टैटिस्टिक्स और ह्यूमन एस्थेटिक प्रेफरेंस के बीच ज्ञात मिसअलाइनमेंट के लिए जिम्मेदार ठहराते हैं, यह नोट करते हुए कि उनका तरीका सिमेंटिक फीचर्स और विजुअल "पॉप" को प्राथमिकता देता है।
गुणात्मक सुधार (Qualitative Improvements): विजुअल परिणाम बेहतर प्रॉम्प्ट एडहेरेंस दिखाते हैं, जो सूक्ष्म विवरणों (जैसे, ऑब्जेक्ट्स के बीच विशिष्ट इंटरैक्शन) को कैप्चर करते हैं जिन्हें बेसलाइन मेथड्स अक्सर सरल बना देते हैं या छोड़ देते हैं।
एब्लेशन (Ablations): गाइडेंस नेटवर्क में वर्तमान नॉइज़ी सैंपल ( $x_s$ ) को इनपुट के रूप में जोड़ने से अलाइनमेंट मेट्रिक्स में सुधार होता है लेकिन FID बढ़ जाता है, जो सिमेंटिक अलाइनमेंट और लो-लेवल स्टैटिस्टिकल फिडेलिटी के बीच एक ट्रेड-ऑफ का सुझाव देता है।

महत्व और सीमाएं (Significance and Limitations)
पेपर का दावा है कि मार्जनल कंसिस्टेंसी के माध्यम से डायनेमिक, कंडीशनिंग-डिपेंडेंट शेड्यूल सीखना मॉडल्स को इमेज रियलिज्म और प्रॉम्प्ट एडहेरेंस के बीच के ट्रेड-ऑफ को बेहतर ढंग से नेविगेट करने की अनुमति देता है। यह दृष्टिकोण मॉडल कैपेसिटी के साथ प्रभावी ढंग से स्केल करता है और मैन्युअल रूप से इंजीनियर किए गए शेड्यूल्स की तुलना में अधिक विश्वसनीय गाइडेंस सिग्नल प्रदान करता है।

हालांकि, लेखक कई सीमाओं को स्वीकार करते हैं:

ट्रेनिंग कॉम्प्लेक्सिटी: एडवर्सरियल ट्रेनिंग प्रक्रिया जटिल है और इसके लिए सावधानीपूर्वक ऑप्टिमाइजेशन रणनीतियों (जैसे, TTUR) की आवश्यकता होती है।
बैकबोन स्पेसिफिसिटी: सीखा गया शेड्यूलर प्री-ट्रेंड फ्लो मैचिंग मॉडल (जैसे, MMDiT) के लोकल ज्योमेट्रिक स्टैटिस्टिक्स के लिए विशिष्ट है और बिना रिट्रेनिंग के विभिन्न आर्किटेक्चर पर जीरो-शॉट ट्रांसफर नहीं किया जा सकता है।
रिवॉर्ड सिग्नल: वर्तमान कार्यान्वयन रिवॉर्ड टर्म के लिए CLIP पर निर्भर करता है, और लेखक नोट करते हैं कि CLIP की सीमाओं को दूर करने के लिए वैकल्पिक रिवॉर्ड सिग्नल्स की खोज करना भविष्य के कार्य की दिशा है।

"एक ही आकार सबके लिए" वाले पट्टे की समस्या

नई रणनीति: "असली बनाम नकली" का खेल

उन्होंने क्या पाया

यह क्यों महत्वपूर्ण है

इसी तरह के और पेपर