💻 computer science

Improving Diffusion Generalization with Weak-to-Strong Segmented Guidance

यह शोध पत्र एक 'वीक-टू-स्ट्रॉन्ग' (Weak-to-Strong) सिद्धांत को पेश करके डिफ्यूजन मॉडल्स की संचित ग्रेडिएंट त्रुटियों (accumulated gradient errors) के कारण होने वाली सामान्यीकरण सीमाओं (generalization limitations) को संबोधित करता है, जो SGG नामक एक हाइब्रिड गाइडेंस विधि से प्रेरित है, जो इन्फरेंस के दौरान मौजूदा ट्रेनिंग-फ्री वेरिएंट्स से बेहतर प्रदर्शन करती है और ट्रेनिंग ऑब्जेक्टिव में एकीकृत होने पर सामान्यीकरण में सुधार करती है।

मूल लेखक: Liangyu Yuan, Yufei Huang, Mingkun Lei, Tong Zhao, Ruoyu Wang, Changxi Chi, Yiwei Wang, Chi Zhang

प्रकाशित 2026-03-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Liangyu Yuan, Yufei Huang, Mingkun Lei, Tong Zhao, Ruoyu Wang, Changxi Chi, Yiwei Wang, Chi Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन थोड़े भ्रमित कलाकार को एक विवरण के आधार पर चित्र बनाना सिखा रहे हैं, जैसे कि "एक बुलबुले के पास भ्रमित दिख रहा एक गोल्डन रिट्रीवर पिल्ला।"

कलाकार (डिफ्यूजन मॉडल) एक कैनवास से शुरुआत करता है जो स्टैटिक शोर (जैसे टीवी का शोर/static) से ढका होता है। उन्हें धीरे-धीरे, चरण-दर-चरण, शोर को हटाकर चित्र को प्रकट करना होता है। यह एक लंबी, पुनरावृत्ति वाली प्रक्रिया है।

समस्या: "ड्रिफ्ट" (The "Drift")

समस्या यह है कि कलाकार को एक बार में शोर के एक छोटे से हिस्से को ठीक करने के लिए प्रशिक्षित किया जाता है। वे हमेशा पूरी बड़ी तस्वीर नहीं देख पाते। जैसे-जैसे वे काम करते हैं, वे चरण 10 में एक छोटी सी गलती कर सकते हैं। क्योंकि वे पीछे मुड़कर नहीं देखते, वह छोटी सी गलती चरण 11 में बढ़ जाती है, फिर चरण 12 में। जब तक वे समाप्त करते हैं, कुत्ते के तीन पैर हो सकते हैं, या बुलबुला एक विशाल चट्टान बन सकता है। इसे संचित त्रुटि (accumulated error) कहा जाता है।

इसे ठीक करने के लिए, हम आमतौर पर एक "गाइड" (Guide) का उपयोग करते हैं।

गाइड A (CFG): यह गाइड एक सख्त शिक्षक की तरह है जो कहता है, "तुम कुत्ता भूल गए! सुनिश्चित करो कि यह एक कुत्ता ही हो!" यह मुख्य विषय को सही रखने के लिए बहुत अच्छा है, लेकिन यह इतना सख्त हो सकता है कि चित्र कठोर, उबाऊ या अत्यधिक संतृप्त (over-saturated) दिखने लगता है।
गाइड B (AG): यह गाइड एक छात्र की तरह है जो मदद करने की कोशिश कर रहा है लेकिन उतना कुशल नहीं है। वे कहते हैं, "हे, शायद कुत्ता यहाँ थोड़ा अजीब लग रहा है, चलो एक अलग बनावट (texture) आजमाते हैं।" यह विविधता और विवरण जोड़ता है, लेकिन यदि छात्र बहुत अधिक भ्रमित है, तो वे सुझाव दे सकते हैं कि कुत्ता वास्तव में एक बिल्ली है।

पेपर का बड़ा विचार: "सेगमेंटेड गाइडेंस" (SGG)

लेखकों ने महसूस किया कि कोई भी गाइड पूरी यात्रा के लिए एकदम सही नहीं है।

प्रक्रिया के शुरुआती चरण में (उच्च शोर/High Noise): चित्र केवल एक धुंधलापन है। आपको गाइड A (सख्त शिक्षक) की आवश्यकता है ताकि यह सुनिश्चित हो सके कि कलाकार जानता है कि वह क्या पेंट कर रहा है। क्या यह कुत्ता है? कार है? या पेड़ है? आपको तुरंत बड़े विचार को लॉक करने की आवश्यकता है।
प्रक्रिया के अंतिम चरण में (कम शोर/Low Noise): चित्र लगभग पूरा हो चुका है। अब आपको इस बात की चिंता करने की आवश्यकता नहीं है कि "क्या यह एक कुत्ता है?" अब आपको गाइड B (छात्र) की आवश्यकता है जो बारीक विवरणों में मदद करे: बालों की बनावट, आँख में चमक, और जिस तरह से रोशनी बुलबुले पर पड़ती है।

SGG (सेगमेंटेड गाइडेंस) एक गाइड की टीम को काम पर रखने जैसा है जो पेंटिंग के बीच में अपनी भूमिका बदल देती है:

चरण 1: "सख्त शिक्षक मोड।" हम मजबूत गाइड का उपयोग यह सुनिश्चित करने के लिए करते हैं कि कुत्ता वास्तव में एक कुत्ता हो, न कि एक बिल्ली।
चरण 2: "विवरण-उन्मुख मोड।" हम बारीकियों और रोशनी को निखारने के लिए कमजोर, अधिक रचनात्मक गाइड पर स्विच करते हैं, बिना कुत्ते के आकार को बिगाड़े।

इस काम को विभाजित करके, अंतिम चित्र सटीक (यह निश्चित रूप से एक कुत्ता है) और सुंदर (इसमें बेहतरीन बनावट है और यह कठोर नहीं है) दोनों होता है।

दूसरा बड़ा विचार: कलाकार को आत्मनिर्भर बनाने के लिए प्रशिक्षण देना

आमतौर पर, ये गाइड केवल कलाकार के प्रशिक्षित होने के बाद, वास्तविक पेंटिंग (inference) के दौरान उपयोग किए जाते हैं। इसमें अतिरिक्त समय और कंप्यूटिंग शक्ति लगती है क्योंकि आपको हर कदम पर गाइड से मदद मांगनी पड़ती है।

लेखकों ने पूछा: "क्या होगा अगर हम कलाकार को प्रशिक्षण के दौरान ही अपना खुद का गाइड बनने के लिए सिखा दें?"

उन्होंने "कमजोर-से-मजबूत" (Weak-to-Strong) सिद्धांत को सीधे कलाकार के प्रशिक्षण पाठ्यक्रम में शामिल कर दिया।

केवल कलाकार को कुत्ते की तस्वीर दिखाने के बजाय, उन्होंने उन्हें कुत्ते की एक तस्वीर दिखाई और साथ ही साथ उसी कुत्ते का एक थोड़ा भ्रमित संस्करण भी दिखाया।
उन्होंने कलाकार से कहा: "आपका काम भ्रम को ठीक करना और चित्र को पूर्ण बनाना है।"

परिणाम: कलाकार सीखते समय ही अपनी गलतियों को सुधारना सीख जाता है। जब वे अंततः बिना किसी मदद के चित्र बनाने जाते हैं, तो उन्हें अब अतिरिक्त गाइडों की आवश्यकता नहीं होती। वे पहले से ही अपनी गलतियों को पहचानने में सक्षम होते हैं। यह अंतिम पेंटिंग प्रक्रिया को तेज़ और सस्ता बनाता है, जबकि उच्च गुणवत्ता वाले परिणाम भी देता है।

संक्षेप में (Summary in a Nutshell)

समस्या: AI इमेज जेनरेटर छोटी गलतियाँ करते हैं जो जमा होकर अंतिम चित्र को खराब कर देती हैं।
पुराना समाधान: एक "गाइड" का उपयोग करके उन्हें ठीक करना, लेकिन मौजूदा गाइड या तो बहुत सख्त (उबाऊ) हैं या बहुत ढीले (अव्यवस्थित) हैं।
नया समाधान (SGG): बुनियादी बातों को सही करने के लिए शुरुआत में एक सख्त गाइड का उपयोग करें, फिर विवरण जोड़ने के लिए अंत में एक रचनात्मक गाइड पर स्विच करें।
बोनस: उन्होंने AI को यह स्विचिंग रणनीति प्रशिक्षण के दौरान ही सिखाई, जिससे AI स्मार्ट हो जाता है और उसे बाद में उतनी मदद की आवश्यकता नहीं होती है।

यह एक छात्र को गाड़ी चलाना सिखाने जैसा है: पहले, आप स्टीयरिंग व्हील को कसकर पकड़ते हैं ताकि वे लेन में रहें (चरण 1)। एक बार जब वे सीधी सड़क पर होते हैं, तो आप उन्हें मोड़ और सड़क की बनावट के सूक्ष्म अंतर महसूस करने देते हैं (चरण 2)। और अंततः, आप उन्हें यह दोनों काम करने के लिए सिखाते हैं ताकि वे अकेले सुरक्षित रूप से गाड़ी चला सकें।

यहाँ शोध पत्र "Improving Diffusion Generalization with Weak-to-Strong Segmented Guidance" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डिफ्यूजन मॉडल (और फ्लो मैचिंग मॉडल) एक पुनरावृत्ति परिशोधन प्रक्रिया (iterative refinement process) के माध्यम से चित्र उत्पन्न करते हैं। हालाँकि, एक मौलिक बेमेल (misalignment) मौजूद है जो स्थानीय, सिमुलेशन-मुक्त प्रशिक्षण उद्देश्य (local, simulation-free training objective) और वैश्विक, पुनरावृत्ति नमूनाकरण प्रक्षेपवक्र (global, iterative sampling trajectory) के बीच होता है। यह विसंगति, जिसे एक्सपोज़र बायस (exposure bias) के रूप में जाना जाता है, नमूनाकरण (sampling) के दौरान ग्रेडिएंट त्रुटियों के संचय का कारण बनती है। फलस्वरूप, अनगाइडेड (unguided) मॉडल अक्सर सामान्यीकरण करने में विफल रहते हैं, जिससे आउट-ऑफ-डिस्ट्रीब्यूशन या दृष्टिगत रूप से असंतोषजनक नमूने उत्पन्न होते हैं।

इसे कम करने के लिए, इन्फरेंस के समय गाइडेंस तकनीक (Guidance Techniques) का उपयोग किया जाता है:

क्लासिफायर-फ्री गाइडेंस (CFG): यह कंडीशनल और अनकंडीशनल प्रेडिक्शन के बीच एक्सट्रपलेशन करता है। यह मजबूत (robust) है लेकिन अक्सर नमूना विविधता (sample diversity) का त्याग कर देता है (मोड-सीकिंग व्यवहार) और इससे ओवरसैचुरेशन हो सकता है।
ऑटोगाइडेंस (AG) / कंडीशन-एग्नोस्टिक गाइडेंस (Condition-Agnostic Guidance): यह एक "कमजोर" लेकिन कंडीशन-अलाइन्ड मॉडल (जैसे कि मुख्य मॉडल का छोटा नेटवर्क या विचलित संस्करण) का उपयोग करता है जो मुख्य मॉडल को गाइड करता है। जबकि यह इंट्रा-क्लास विवरणों में सुधार करता है, यह जटिल, बड़े पैमाने के कार्यों (जैसे टेक्स्ट-टू-इमेज) में विफल रहता है जहाँ मॉडल अंडरफिटेड होता है, जिससे आर्टिफैक्ट्स या गलत क्लास जनरेशन होता है।

मुख्य चुनौती: CFG और AG के बीच चयन करने के लिए कोई स्पष्ट परिचालन व्यवस्था (operational regime) नहीं है। CFG उच्च-स्तरीय सिमेंटिक एलाइनमेंट (इंटर-क्लास सेपरेशन) में उत्कृष्ट है लेकिन सूक्ष्म विवरणों (fine-grained diversity) में विफल रहता है। AG इंट्रा-क्लास रिफाइनमेंट में उत्कृष्ट है लेकिन तब विफल हो जाता है जब मॉडल कंडीशन मैनिफोल्ड को विश्वसनीय रूप से कैप्चर नहीं कर पाता। मौजूदा विधियाँ इन्हें परस्पर अनन्य (mutually exclusive) मानती हैं या बिना किसी सैद्धांतिक आधार के उन्हें केवल संयोजित करती हैं।

2. कार्यप्रणाली (Methodology)

लेखक वीक-टू-स्ट्रोंग (W2S) सिद्धांत पर आधारित एक फ्रेमवर्क प्रस्तावित करते हैं, जिसमें सेगमेंटेड गाइडेंस (SGG) नामक एक हाइब्रिड विधि पेश की गई है और इसे प्रशिक्षण चरण तक विस्तारित किया गया है।

A. सैद्धांतिक विश्लेषण: वीक-टू-स्ट्रोंग सिद्धांत

यह शोध पत्र मार्गदर्शन विधियों को इस आधार पर दो वर्गों में वर्गीकृत करता है कि "कमजोर सिग्नल" कैसे निर्मित किया जाता है:

कंडीशन-डिपेंडेंट गाइडेंस (CDG): कमजोर सिग्नल कंडीशन को हटाकर बनाया जाता है (जैसे, CFG: $v_{weak} = v(x_t, t, \emptyset)$ )।
कंडीशन-एग्नोस्टिक गाइडेंस (CAG): कमजोर सिग्नल को कंडीशन को बनाए रखते हुए मॉडल को डिग्रेड करके बनाया जाता है (जैसे, AG: $v_{weak} = \tilde{v}(x_t, t, c)$ )।

सिंथेटिक प्रयोगों (रिकर्सिव गौसियन मिश्रण) और ImageNet पर त्रुटि विश्लेषण के माध्यम से, लेखक प्रभावशीलता को प्रभावित करने वाले दो प्रमुख कारकों की पहचान करते हैं:

कंडीशन ग्रेनुलैरिटी (Condition Granularity): कंडीशन की जटिलता (जैसे, क्लासेज की संख्या)।
फिटिंग कैपेसिटी (Fitting Capacity): मॉडल डेटा वितरण को कितनी अच्छी तरह फिट करता है।

मुख्य अंतर्दृष्टि (Key Insight):

CDG (CFG) उच्च शोर स्तरों (शुरुआती सैंपलिंग स्टेप्स) पर सबसे प्रभावी है। यह मॉडल को सही ग्लोबल मैनिफोल्ड खोजने और क्लासेज को अलग करने में मदद करता है (इंटर-क्लास सेपरेशन)।
CAG (AG) निम्न शोर स्तरों (देर के सैंपलिंग स्टेप्स) पर सबसे प्रभावी है। यह सही मैनिफोल्ड के भीतर विवरणों को परिष्कृत (refine) करता है बिना विविधता को कम किए (इंट्रा-क्लास रिफाइनमेंट)।

B. सेगमेंटेड गाइडेंस (SGG)

SGG एक हाइब्रिड इन्फरेंस-टाइम मैकेनिज्म है जो शोर के स्तर (टाइम स्टेप $t$ ) के आधार पर CDG और CAG के बीच गतिशील रूप से स्विच करता है।

उच्च शोर ( $t > \tau$ ): सही कंडीशनल मैनिफोल्ड की ओर प्रक्षेपवक्र को निर्देशित करने के लिए CDG (CFG) का उपयोग करता है।
निम्न शोर ( $t \le \tau$ ): इंट्रा-क्लास विवरणों को रिफाइन करने और विविधता को बनाए रखने के लिए CAG (जैसे, SLG या AG) पर स्विच करता है।

गाइडेड वेलोसिटी को इस प्रकार परिभाषित किया गया है:
$v_w(x_t, t, c) = v(x_t, t, c) + (w-1) \cdot g(x_t, t, c)$
जहाँ गाइडेंस दिशा $g$ थ्रेशोल्ड $\tau$ द्वारा सेगमेंटेड है:
$g(x_t, t, c) = \begin{cases} v(x_t, t, c) - v(x_t, t, \emptyset) & \text{यदि } t > \tau \quad (\text{CDG}) \\ v(x_t, t, c) - \tilde{v}(x_t, t, c) & \text{यदि } t \le \tau \quad (\text{CAG}) \end{cases}$

C. प्रशिक्षण एकीकरण (Training Integration)

लेखक अनगाइडेड मॉडल की सामान्यीकरण क्षमता में सुधार करने के लिए, इन्फरेंस पर अतिरिक्त गाइडेंस लागत पर निर्भरता कम करने हेतु W2S सिद्धांत को प्रशिक्षण उद्देश्य (training objective) में स्थानांतरित करते हैं।

संशोधित उद्देश्य: मानक वेलोसिटी मैचिंग टारगेट $u = \epsilon - x_0$ को कमजोर सिग्नल से प्राप्त गाइडेंस टर्म के साथ बढ़ाया गया है: $u_{W2S} = u + w \cdot g(x_t, t, c)$ ।
प्रशिक्षण के लिए कमजोर सिग्नल निर्माण:
- CDG: अनकंडीशनल ब्रांच का उपयोग करता है (मॉडल गाइडेंस के समान)।
- CAG: एक ब्रांच (BR) विधि प्रस्तावित करता है जहाँ एक सहायक आउटपुट को इंटरमीडिएट ट्रांसफार्मर लेयर से ब्रांच किया जाता है। यह अलग से कमजोर मॉडल (AG) प्रशिक्षित करने या लेयर्स को विचलित (SLG) करने की तुलना में अत्यधिक कुशल है, जो प्रशिक्षण के दौरान अस्थिर पाया गया था।
SGG प्रशिक्षण: प्रशिक्षण उद्देश्य $\tau$ पर CDG सिग्नल और BR सिग्नल के बीच स्विच करता है, जो इन्फरेंस रणनीति की नकल करता है।

3. प्रमुख योगदान (Key Contributions)

परिचालन व्यवस्था विश्लेषण (Operational Regime Analysis): व्यवस्थित रूप से विश्लेषण और प्रदर्शन किया कि CDG और CAG के विशिष्ट, पूरक प्रभावी क्षेत्र (noise levels और condition granularity के आधार पर) हैं।
सेगमेंटेड गाइडेंस (SGG): एक सरल, हाइब्रिड गाइडेंस रणनीति प्रस्तावित की जो ग्लोबल स्ट्रक्चर (शुरुआती स्टेप्स) के लिए CDG और लोकल डिटेल्स (देर के स्टेप्स) के लिए CAG का लाभ उठाती है, जो मौजूदा स्टैंडअलोन विधियों से बेहतर है।
प्रशिक्षण-समय एकीकरण: अनगाइडेड मॉडल की सामान्यीकरण क्षमता में सुधार करने के लिए सफलतापूर्वक W2S सिद्धांत को प्रशिक्षण उद्देश्य में शामिल किया। यह कम गाइडेंस कॉल्स (या बिना गाइडेंस) के साथ उच्च-गुणवत्ता वाले नमूने उत्पन्न करने की अनुमति देता है।
कुशल कमजोर सिग्नल निर्माण: प्रशिक्षण-समय CAG के लिए ब्रांच (BR) विधि पेश की, जो न्यूनतम कंप्यूटेशनल ओवरहेड के साथ प्रदर्शन लाभ प्रदान करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इन्फरेंस-टाइम प्रदर्शन

परीक्षण किए गए मॉडल: SD3-Medium और SD3.5-Medium।
डेटासेट: MS-COCO-1K और LAION-5B-1K।
मेट्रिक्स: HPSv2.1 (ह्यूमन प्रेफरेंस/कंडीशन एडहेरेंस) और एस्थेटिक स्कोर (Aesthetic Score)।
निष्कर्ष:
- CFG उच्च कंडीशन एडहेरेंस प्राप्त करता है लेकिन कम एस्थेटिक स्कोर।
- SLG (एक CAG वेरिएंट) उच्च एस्थेटिक स्कोर प्राप्त करता है लेकिन कम कंडीशन एडहेरेंस।
- SGG दोनों का सर्वश्रेष्ठ संयोजन प्राप्त करता है, जो दोनों मेट्रिक्स में सभी बेसलाइन्स (CFG, SLG, CFG+SLG, S2-Guidance, आदि) को पछाड़ देता है।
- उदाहरण: SD3.5/MS-COCO पर, SGG ने 29.736 का HPSv2.1 और 5.717 का एस्थेटिक स्कोर प्राप्त किया, जो CFG (29.199 / 5.279) और SLG (27.295 / 5.714) से बेहतर है।

प्रशिक्षण-समय प्रदर्शन

परीक्षण किए गए मॉडल: ImageNet (256x256) पर SiT-B/2।
सेटिंग्स: कंडीशनल और अनकंडीशनल जनरेशन दोनों।
निष्कर्ष:
- प्रशिक्षण में W2S गाइडेंस को एकीकृत करने से अनगाइडेड मॉडल का सामान्यीकरण काफी बढ़ जाता है।
- SGG (Training): कंडीशनल सेटिंग्स में सर्वश्रेष्ठ FID (4.58) और sFID (4.95) प्राप्त किया, जो बेसलाइन (FID 31.22) और अन्य W2S वेरिएंट्स (AG, BR, MG) से बेहतर है।
- दक्षता: BR वेरिएंट ने केवल ~2% प्रशिक्षण ओवरहेड जोड़ा जबकि FID में महत्वपूर्ण सुधार (31.22 से 16.02) किया।
- प्रशिक्षित SGG मॉडल इन्फरेंस के दौरान बिना गाइडेंस के भी उच्च-गुणवत्ता वाले परिणाम देता है, जिससे महंगे गाइडेंस कॉल्स की आवश्यकता कम हो जाती है।

5. महत्व (Significance)

यह शोध पत्र डिफ्यूजन मॉडलों में सैद्धांतिक मार्गदर्शन सिद्धांतों और व्यावहारिक कार्यान्वयन के बीच के अंतर को पाटता है।

सैद्धांतिक स्पष्टता: यह शोर स्तरों (high noise vs. low noise) के आधार पर उनके विशिष्ट परिचालन क्षेत्रों को परिभाषित करके CFG और AG के बीच चयन करने की अस्पष्टता को हल करता है।
व्यावहारिक प्रभाव: SGG मौजूदा डिफ्यूजन मॉडलों (जैसे SD3/3.5) के लिए बिना पुनः प्रशिक्षण के एक "प्लग-एंड-प्ले" सुधार प्रदान करता है, जो प्रॉम्प्ट एडहेरेंस और इमेज क्वालिटी दोनों को महत्वपूर्ण रूप से बढ़ाता है।
प्रशिक्षण दक्षता: गाइडेंस लॉजिक को प्रशिक्षण उद्देश्य में शामिल करके, लेखक एक ऐसे पथ को प्रदर्शित करते हैं जो स्वाभाविक रूप से मजबूत मॉडल बनाने की ओर ले जाता है जिन्हें इन्फरेंस के दौरान कम कंप्यूटेशन की आवश्यकता होती है, जो डिफ्यूजन मॉडलों को स्केल करने के लिए एक महत्वपूर्ण कदम है।
सामान्यीकरण क्षमता: दृष्टिकोण को टेक्स्ट-टू-इमेज और टेक्स्ट-टू-वीडियो दोनों कार्यों पर मान्य किया गया है, जो विभिन्न मोडैलिटीज में व्यापक अनुप्रयोग का सुझाव देता है।