🤖 AI

MixFlow Training: Alleviating Exposure Bias with Slowed Interpolation Mixture

यह शोध पत्र MixFlow को प्रस्तुत करता है, जो एक नवीन प्रशिक्षण दृष्टिकोण है जो "स्लोड इंटरपोलेशन मिक्सचर" (slowed interpolation mixture) रणनीति का लाभ उठाकर डिफ्यूजन मॉडल्स में एक्सपोज़र बायस को कम करता है ताकि प्रशिक्षण और परीक्षण स्थितियों को बेहतर ढंग से संरेखित किया जा सके, जिससे ImageNet पर अत्याधुनिक इमेज जनरेशन परिणाम प्राप्त होते हैं।

मूल लेखक: Hui Li, Fu-Yun Wang, Haoyuan Xia, Jiayue Lyu, Kaihui Cheng, Siyu Zhu, Jingdong Wang

प्रकाशित 2026-07-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hui Li, Fu-Yun Wang, Haoyuan Xia, Jiayue Lyu, Kaihui Cheng, Siyu Zhu, Jingdong Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक तस्वीर बनाने के लिए सिखा रहे हैं, जिसमें वह एक नॉब (knob) को धीरे-धीरे घुमाता है जो स्टैटिक शोर (static noise) के बादल को एक स्पष्ट छवि में बदल देता है। आधुनिक "डिफ्यूजन" (diffusion) मॉडल इसी तरह काम करते हैं। वे एक फोटो को देखकर, उसमें स्टैटिक शोर जोड़कर, और फिर उस शोर को चरण-दर-चरण हटाने का अनुमान लगाकर सीखते हैं।

यहाँ समस्या यह है: ट्रेनिंग (सीखने के चरण) के दौरान, रोबोट थोड़ा बेईमानी करता है। हर बार जब वह अगले कदम का अनुमान लगाने की कोशिश करता है, तो उसे पिछले चरण के एकदम परफेक्ट वर्जन को दिखाया जाता है। यह बिल्कुल वैसा ही है जैसे कोई छात्र एक परीक्षा दे रहा हो जहाँ शिक्षक उसके द्वारा अपना उत्तर लिखने से पहले ही पिछले प्रश्न का सही उत्तर फुसफुसा देता है।

लेकिन टेस्टिंग (जब रोबमाट वास्तव में एक नई तस्वीर बनाता है) के दौरान, शिक्षक फुसफुसाना बंद कर देता है। रोबोट को अगला कदम उठाने के लिए अपने ही पिछले अनुमान का उपयोग करना पड़ता है। यदि वह शुरुआत में एक छोटी सी गलती करता है, तो वह गलती आगे बढ़ती जाती है, बड़ी होती जाती है, और अंततः तस्वीर अजीब या धुंधली दिखने लगती है। इसे "एक्सपोज़र बायस" (exposure bias) कहा जाता है—रोबोट ट्रेनिंग के दौरान परफेक्ट डेटा के संपर्क में रहता है, लेकिन जब वह अकेला होता है, तो वह मैसी (messy) डेटा के साथ होता है।

द "स्लो फ्लो" डिस्कवरी (The "Slow Flow" Discovery)

इस पेपर के लेखकों ने गौर किया कि जब वे रोबोट को चित्र बनाते हुए देख रहे थे, तो कुछ अजीब हो रहा था। उन्होंने पाया कि जब रोबोट प्रक्रिया के एक निश्चित क्षण पर ("टाइम T" मान लीजिए) एक शोर वाली तस्वीर बनाता है, तो उस शोर का परफेक्ट वर्जन (जिसे रोबोट को देखना चाहिए था) वास्तव में प्रक्रिया के एक पिछले समय का था, एक ऐसा समय जब उसमें अधिक शोर था।

इसे ऐसे समझें: कल्पना कीजिए कि आप एक दौड़ में भाग ले रहे हैं। 10 सेकंड के निशान पर, आप पीछे मुड़कर देखते हैं और महसूस करते हैं कि आपका "परफेक्ट" पोजीशन वाला हिस्सा वास्तव में 8 सेकंड के निशान पर हुआ था। आप प्रभावी रूप से "धीमे" (slower) हो गए हैं। रोबोट का बनाया गया रास्ता असली (ground truth) रास्ते से पीछे रह गया है, और अधिक शोर वाले "धीमे" अवस्था में फँस गया है।

द मिक्सफ्लो सॉल्यूशन (The MixFlow Solution)

दौड़ खत्म होने के बाद रोबोट के दौड़ने के तरीके को ठीक करने के बजाय (जो अन्य तरीकों ने करने की कोशिश की), लेखकों ने यह तय किया कि रोबोट को दौड़ना कैसे सिखाया जाए। उन्होंने एक नई ट्रेनिंग विधि पेश की जिसे MixFlow कहा जाता है।

स्टैंडर्ड ट्रेनिंग में, रोबोट केवल उसी सटीक क्षण के परफेक्ट शोर को देखता है जब उसे होना चाहिए। MixFlow में, रोबोट को "मिश्रित" (mixture) परफेक्ट नॉयस देखने के लिए प्रशिक्षित किया जाता है। वह वर्तमान क्षण के परफेक्ट शोर को देखता है, लेकिन साथ ही उन "धीमे" (slowed) क्षणों के परफेक्ट शोर को भी देखता है जिनमें अधिक शोर है।

उपमा (Analogy):
कल्पना कीजिए कि आप साइकिल चलाना सीख रहे हैं।

स्टैंडर्ड ट्रेनिंग: आप केवल एक पूरी तरह से समतल, चिकनी सड़क पर अभ्यास करते हैं। जब आप वास्तविक दुनिया में ऊबड़-खाबड़ रास्तों और हवा के साथ बाहर जाते हैं, तो आप टकरा जाते हैं क्योंकि आप उस 'लैग' (lag) के लिए तैयार नहीं थे।
MixFlow ट्रेनिंग: आप चिकनी सड़क पर अभ्यास करते हैं, लेकिन आप एक थोड़ी ऊबड़-खाबड़, "धीमी" वर्जन वाली सड़क पर भी अभ्यास करते हैं जो उस लैग की नकल करती है जिसे आप बाद में महसूस करेंगे। आप ट्रेनिंग के सुरक्षित चरण के दौरान ही उस "धीमेपन" के अहसास को संभालने के लिए तैयार होते हैं।

इस "स्लोड इंटरपोलेशन मिक्सचर" (slowed interpolation mixture) पर प्रशिक्षण प्राप्त करके, रोबोट यह संभालने के लिए सीख जाता है कि उसके अपने अनुमान असली ग्राउंड ट्रुथ की तुलना में थोड़े "धीमे" और अधिक शोर वाले होंगे। इससे वह अपने ही पिछले अनुमानों पर निर्भर होने पर भ्रमित होना बंद कर देता है।

उन्होंने क्या खारिज किया (What They Ruled Out)

लेखक बहुत सावधानी से यह परीक्षण करने में लगे थे कि क्या काम नहीं करता है। उन्होंने "इनपुट परटर्बेशन" (Input Perturbation) नामक एक विधि का परीक्षण किया, जिसमें गलतियों का अनुकरण करने के लिए ट्रेनिंग डेटा में रैंडम शोर जोड़ा जाता है। उन्होंने पाया कि यदि आप बिना समझे केवल रैंडम शोर जोड़ते हैं, तो आप अनजाने में रोबोट को ऐसे "फास्ट" (कम शोर वाले) डेटा के साथ सिखा सकते हैं जो वास्तविकता से मेल नहीं खाता, या ऐसे "स्लो" डेटा के साथ जो बहुत ज्यादा अलग है। उनके प्रयोगों ने दिखाया कि बिना सोचे-समझे शोर जोड़ना अक्सर चीजों को बदतर बना देता है, जबकि उनका विशिष्ट "धीमा" मिश्रण ही असली कुंजी है।

उन्होंने ड्राइंग प्रक्रिया के दौरान (इन्फरेंस में) स्टेप्स को बदलकर समस्या को ठीक करने के तरीके की भी तुलना की। उन्होंने पाया कि हालांकि ये बदलाव थोड़ा मदद करते हैं, लेकिन वे उस कार को मोड़ने की कोशिश करने जैसा है जो पहले से ही भटक रही है; इंजन (ट्रेनिंग) को पहले से ठीक करना बेहतर है।

परिणाम: हम कितने आश्वस्त हैं? (The Results: How Sure Are We?)

लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने वास्तविक इमेज डेटासेट्स पर बड़े पैमाने पर प्रयोग किए।

प्रमाण: उन्होंने ImageNet डेटासेट (जिसमें 1,000 विभिन्न वस्तुओं की श्रेणियों की 1.2 मिलियन छवियां हैं) का उपयोग करके कई टॉप-टियर इमेज जनरेटर्स (जैसे SiT, REPA, और RAE) पर अपने MixFlow मेथड का परीक्षण किया।
आंकड़े: 256 × 256 पिक्सेल की छवियों पर, उनके MixFlow मॉडल ने 1.43 (बिना गाइडेंस के) और 1.10 (गाइडेंस के साथ) का स्कोर प्राप्त किया। बड़ी 512 × 512 छवियों पर, इसने 1.55 (बिना गाइडेंस के) और 1.10 (गाइडेंस के साथ) हासिल किया।
- नोट: इस क्षेत्र में, कम "FID" स्कोर बेहतर होता है। ये नंबर अविश्वसनीय रूप से कम हैं, जिसका अर्थ है कि उत्पन्न की गई छवियां वास्तविक तस्वीरों से लगभग अछूती (indistinguishable) हैं।
टेक्स्ट-टू-इमेज: उन्होंने एक टेक्स्ट-टू-इमेज मॉडल (SD 3.5) पर भी इसका परीक्षण किया। जब उन्हें जटिल दृश्य, जैसे "पांच स्वादिष्ट पिज्जा" या "एक घड़ी के बाईं ओर एक पक्षी" बनाने के लिए कहा गया, तो MixFlow वर्जन ने स्टैंडर्ड वर्जन की तुलना में निर्देशों का बहुत बेहतर पालन किया, गिनती और स्थिति को सही ढंग से पकड़ा।

पेपर सुझाव देता है कि यह दृष्टिकोण एक महत्वपूर्ण प्रगति है क्योंकि यह सीधे त्रुटि संचय (error accumulation) के मूल कारण को संबोधित करता है। यह कोई जादू नहीं है; यह एक स्मार्ट तरीका है। "धीमे" डेटा के साथ अभ्यास करके, यह बहुत अधिक मजबूत हो जाता है जब इसे अपने दम पर चित्र बनाने होते हैं।

संक्षेप में, पेपर दिखाता है कि ट्रेनिंग डाइट में "धीमे" डेटा को शामिल करके, डिफ्यूजन मॉडल अपने ही पैरों में उलझना बंद कर सकते हैं और एक बहुत अधिक सुचारू दौड़ शुरू कर सकते हैं।

तकनीकी सारांश: मिक्सफ्लो (MixFlow) ट्रेनिंग

समस्या विवरण (Problem Statement)

यह शोधपत्र डिफ्यूजन और फ्लो मैचिंग मॉडल्स में होने वाले ट्रेनिंग-टेस्टिंग विसंगति (training-testing discrepancy), जिसे आमतौर पर एक्सपोज़र बायस (exposure bias) के रूप में जाना जाता है, को संबोधित करता है। ट्रेनिंग के दौरान, प्रेडिक्शन नेटवर्क प्रत्येक टाइमस्टेप पर ग्राउंड-ट्रुथ नॉइजी डेटा (नॉइज़ और डेटा का एक इंटरपोलेशन) को इनपुट के रूप में प्राप्त करते हैं। इसके विपरीत, टेस्टिंग (सैंपलिंग) के दौरान, नेटवर्क पिछले स्टेप से उत्पन्न नॉइजी डेटा प्राप्त करता है। यह विसंगति प्रेडिक्शन एरर, एरर संचय (error accumulation) और सैंपलिंग ड्रिफ्ट (sampling drift) की ओर ले जाती है। जबकि पिछले समाधानों ने सैंपलिंग प्रक्रिया को संशोधित करने (जैसे, टाइम-शिफ्ट सैम्पलर्स, एप्सिलॉन स्केलिंग) या ट्रेनिंग के दौरान इनपुट पर व्यवधान (perturbations) लगाने पर ध्यान केंद्रित किया है, यह कार्य इस समस्या को सीधे कम करने के लिए एक नवीन प्रशिक्षण प्रक्रिया प्रस्तावित करता है।

कार्यप्रणाली: मिक्सफ्लो (Methodology: MixFlow)

प्रस्तावित मिक्सफ्लो (MixFlow) दृष्टिकोण "स्लो फ्लो" (Slow Flow) घटना के अवलोकन से प्रेरित है। अनुभवजन्य विश्लेषण (Empirical analysis) से पता चलता है कि सैंपलिंग टाइमस्टेप $t$ पर जनरेट किए गए नॉइजी डेटा के निकटतम ग्राउंड-ट्रुथ नॉइजी डेटा अक्सर एक उच्च-नॉइज़ वाले टाइमस्टेप (एक "स्लोड टाइमस्टेप", $m_t \leq t$ ) से संबंधित होता है। दूसरे शब्दों में, जनरेट किया गया डेटा ग्राउंड ट्रुथ प्रक्षेपवक्र (trajectory) से पीछे रह जाता है।

इस अवलोकन का लाभ उठाने के लिए, मिक्सफ्लो निम्नलिखित तरीके से प्रशिक्षण प्रक्रिया को संशोधित करता है:

स्लोड इंटरपोलेशन मिश्रण (Slowed Interpolation Mixture): केवल एक सिंगल इंटरपोलेशन $x_t$ पर प्रेडिक्शन नेटवर्क $u_\theta$ को प्रशिक्षित करने के बजाय, मिक्सफ्लो "स्लोड" टाइमस्टेप्स की एक रेंज से इंटरपोलेशन के मिश्रण का उपयोग करता है।
- इनपुट नॉइजी डेटा को $\mathcal{X}_t = \{x_{m_t} \mid m_t \in [(1-\gamma)t, t]\}$ के सेट से लिया जाता है, जहाँ $m_t$ एक उच्च-नॉइज़ (धीमा) टाइमस्टेप है।
- रेंज का आकार $t$ के सापेक्ष रैखिक है, जिसे एक गुणांक $\gamma$ द्वारा नियंत्रित किया जाता है।
संशोधित लॉस फंक्शन (Modified Loss Function): ट्रेनिंग ऑब्जेक्टिव प्रेडिक्शन नेटवर्क को स्लोड इंटरपोलेशन $x_{m_t}$ को इनपुट के रूप में उपयोग करके अनुकूलित करता है, जबकि टारगेट स्लोड टाइमस्टेप $m_t$ पर ग्राउंड-ट्रुथ वेलोसिटी बनी रहती है:
$\mathbb{E}_{t, x_0, x_1, m_t} [\| u_\theta(x_{m_t}, t) - u^*(x_{m_t}, m_t) \|_2^2]$
महत्वपूर्ण रूप से, नेटवर्क को पास किया गया इनपुट टाइमस्टेप ट्रेनिंग टाइमस्टेप $t$ ही रहता है, न कि $m_t$ ।
सैंपलिंग रणनीति (Sampling Strategy):
- स्लोड टाइमस्टेप ( $m_t$ ): रेंज $[(1-\gamma)t, t]$ से यूनिफॉर्मली (uniformly) सैंपल किया जाता है।
- ट्रेनिंग टाइमस्टेप ( $t$ ): यह सुनिश्चित करने के लिए कि $(x_{m_t}, t)$ के जोड़े सभी संभावित संयोजनों में यूनिफॉर्मली सैंपल किए जाएं, ट्रेनिंग टाइमस्टेप $t$ को यूनिफॉर्म डिस्ट्रीब्यूशन के बजाय Beta(2, 1) डिस्ट्रीब्यूशन ( $p(t) \propto t$ ) से सैंपल किया जाता है।
कार्यान्वयन (Implementation): यह विधि लाइटवेट है, जिसके लिए मौजूदा ट्रेनिंग पाइपलाइन्स में केवल मामूली कोड संशोधनों (जैसे, RAE के लिए 5 लाइनें) की आवश्यकता होती है। यह प्री-ट्रेंड मॉडल्स के लिए एक पोस्ट-ट्रेनिंग रणनीति के रूप में कार्य करता है।

मुख्य योगदान (Key Contributions)

स्लो फ्लो की पहचान: यह पेपर अनुभवजन्य रूप से प्रदर्शित करता है कि टाइमस्टेप $t$ पर जनरेट किया गया नॉइजी डेटा एक धीमे (उच्च-नॉइज़) टाइमस्टेप के ग्राउंड-ट्रुथ डेटा के सबसे करीब होता है, जो प्रस्तावित ट्रेनिंग संशोधन के लिए एक सैद्धांतिक आधार प्रदान करता है।
मिक्सफ्लो ट्रेनिंग एल्गोरिदम: एक नवीन ट्रेनिंग स्कीम जो ट्रेनिंग डिस्ट्रीब्यूशन को टेस्टिंग डिस्ट्रीब्यूशन के साथ बेहतर ढंग से संरेखित (align) करने के लिए स्लोड इंटरपोलेशन के मिश्रण का उपयोग करती है, जिससे एक्सपोज़र बायस प्रभावी रूप से कम हो जाता है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: यह दृष्टिकोण विभिन्न मॉडल आर्किटेक्चर (SiT, REPA, RAE) और जनरेशन कार्यों (क्लास-कंडीशनल और टेक्स्ट-टू-इमेज) में महत्वपूर्ण सुधार प्राप्त करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने क्लास-कंडीशनल इमेज जनरेशन (ImageNet) और टेक्स्ट-टू-इमेज जनरेशन (Stable Diffusion 3.5) पर मिक्सफ्लो का मूल्यांकन किया।

क्लास-कंडीशनल जनरेशन (ImageNet)

RAE मॉडल्स: RAE मॉडल्स पर लागू मिक्सफ्लो ने नए स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त किए:
- 256 × 256: 1.43 FID (बिना गाइडेंस के) और 1.10 FID (गाइडेंस के साथ)।
- 512 × 512: 1.55 FID (बिना गाइडेंस के) और 1.10 FID (गाइडेंस के साथ)।
SiT और REPA: SiT (B और XL साइज) और REPA मॉडल्स में निरंतर सुधार देखे गए। उदाहरण के लिए, गाइडेंस के साथ SiT-B/2 का gFID 4.46 से सुधरकर 3.91 हो गया।
सैंपलिंग स्टेप्स: मिक्सफ्लो से होने वाले लाभ कम सैंपलिंग स्टेप्स (जैसे, 20 स्टेप्स) के साथ अधिक स्पष्ट थे, जो यह सुझाव देता है कि यह मोटे (coarse) सैंपलिंग में निहित एप्रोक्सिमेशन एरर को प्रभावी ढंग से संबोधित करता है।
तुलना: मिक्सफ्लो ने अन्य एक्सपोज़र बायस न्यूनीकरण विधियों, जिनमें इनपुट परटर्बेशन, एप्सिलॉन स्केलिंग और टाइम-शिफ्ट सैम्पलर्स शामिल हैं, को पछाड़ दिया।

टेक्स्ट-टू-इमेज जनरेशन

Stable Diffusion 3.5 पर लागू होने पर, मिक्सफ्लो ने 40 और 10 सैंपलिंग स्टेप्स दोनों के लिए सभी मूल्यांकित मेट्रिक्स (GenEval, DPG-Bench, T2I-CompBench) में प्रदर्शन में सुधार किया।
गुणात्मक परिणामों (Qualitative results) ने काउंटिंग एक्यूरेसी, स्थानिक संबंधों (spatial relationships) और ऑब्जेक्ट शेप एडहेरेंस में सुधार दिखाया।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि मिक्सफ्लो "स्लो फ्लो" घटना को ध्यान में रखते हुए ट्रेनिंग डिस्ट्रीब्यूशन को संशोधित करके एक्सपोज़र बायस की समस्या का एक सरल लेकिन प्रभावी समाधान प्रदान करता है। लेखक इस बात पर जोर देते हैं कि:

ट्रेनिंग बनाम इन्फरेंस: इन्फरेंस-टाइम एडजस्टमेंट के विपरीत, मिक्सफ्लो ट्रेनिंग ऑब्जेक्टिव को बदलकर मूल कारण को संबोधित करता है, जिससे मॉडल ट्रेनिंग और टेस्टिंग के बीच डिस्ट्रीब्यूशन शिफ्ट के प्रति मजबूत बनता है।
अनुकूलता (Compatibility): यह विधि विभिन्न बैकबोन आर्किटेक्चर (SiT, DiT), इंटरपोलेशन स्कीम्स (लीनियर, वेरिएंस-प्रिजर्विंग), और उन्नत ट्रेनिंग प्रतिमानों (REPA, RAE) के साथ संगत है।
दक्षता (Efficiency): यह न्यूनतम कम्प्यूटेशनल ओवरहेड के साथ स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करता है, जिसमें केवल कुछ लाइनों के कोड संशोधन की आवश्यकता होती है और यह एक कुशल पोस्ट-ट्रेनिंग स्टेप के रूप में कार्य करता है।

लेखक निष्कर्ष निकालते हैं कि मिक्सफ्लो जनरेशन की गुणवत्ता को महत्वपूर्ण रूप से बढ़ाता है, विशेष रूप से उच्च-रिज़ॉल्यूशन और कम-स्टेप सैंपलिंग परिदृश्यों में, जो डिफ्यूजन-आधारित इमेज जनरेशन के लिए नए बेंचमार्क स्थापित करता है।