💻 computer science

Unconditional Priors Matter! Improving Conditional Generation of Fine-Tuned Diffusion Models

यह शोध पत्र यह प्रदर्शित करता है कि फाइन-ट्यून किए गए डिफ्यूजन मॉडल्स में खराब तरीके से सीखे गए अनकंडीशनल नॉइज़ को एक उच्च-गुणवत्ता वाले बेस मॉडल (या यहाँ तक कि एक अलग डिफ्यूजन मॉडल) द्वारा अनुमानित नॉइज़ से बदलने से कंडीशनल जनरेशन की गुणवत्ता में महत्वपूर्ण सुधार होता है।

मूल लेखक: Prin Phunyaphibarn, Phillip Y. Lee, Jaihoon Kim, Minhyuk Sung

प्रकाशित 2026-02-11

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Prin Phunyaphibarn, Phillip Y. Lee, Jaihoon Kim, Minhyuk Sung

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही विशिष्ट कार्य के लिए एक विशेष पेशेवर को काम पर रख रहे हैं—मान लीजिए, एक मास्टर केक डेकोरेटर (Master Cake Decorator)।

समस्या: "विशेषज्ञ का अंधा बिंदु" (The Specialist's Blind Spot)

जब आप पहली बार इस डेकोरेटर को काम पर रखते हैं, तो वे एक "सामान्य बेकर" (General Baker) होते हैं। उन्हें ब्रेड, कुकीज़ और केक के हर प्रकार को बनाने का व्यापक ज्ञान है। उनके पास इस बात की एक समृद्ध समझ है कि "भोजन" कैसा दिखता है।

फिर, आप उन्हें "वेडिंग केक स्पेशलिस्ट" बनने के लिए गहन प्रशिक्षण देते हैं। वे लेस पैटर्न, शुगर फ्लावर्स और टियर्ड स्ट्रक्चर के बारे में सब कुछ सीखते हैं। हालांकि, इस गहन प्रशिक्षण के दौरान, कुछ अजीब होता है: वे वेडिंग केक बनाने पर इतने केंद्रित हो जाते हैं कि वे ब्रेड का एक साधारण, स्वादिष्ट लोफ बनाना भी भूल जाते हैं। यदि आप उनसे बिना किसी निर्देश के बस "कुछ भोजन" बनाने को कहें, तो वे आपको कुछ अजीब, धूसर (gray) या संरचनात्मक रूप से अर्थहीन चीज़ थमा सकते हैं। उन्होंने अपनी "सामान्य सहज बुद्धि" (general intuition) खो दी है।

AI की दुनिया में, यही वह होता है जो डिफ्यूजन मॉडल्स (Diffusion Models) के साथ होता है। जब हम एक शक्तिशाली सामान्य मॉडल (जैसे Stable Diffusion) को एक विशिष्ट कार्य करने के लिए फाइन-ट्यून करते हैं (जैसे फोटो एडिट करना या 3D दृश्य बनाना), तो मॉडल अक्सर सामान्य रूप से उच्च गुणवत्ता वाली छवियां बनाना "भूल" जाता है। इस "भूलने की प्रक्रिया" को शोधकर्ता डिग्रेडेड अनकंडीशनल प्रायर्स (degraded unconditional priors) कहते हैं।

परिणाम: "गाइडेंस" ग्लिच (The "Guidance" Glitch)

AI मॉडल्स को निर्देशों का पालन करने के लिए, हम क्लासिफायर-फ्री गाइडेंस (Classifier-Free Guidance - CFG) नामक तकनीक का उपयोग करते हैं।

इसे एक GPS सिस्टम के रूप में सोचें जो दो चीजों की तुलना करके काम करता है:

"यदि मैं निर्देशों का पालन करूँ तो मैं कहाँ जा रहा हूँ?" (द कंडीशनल पाथ)
"यदि मेरे पास कोई निर्देश न हो तो मैं कहाँ जाऊँगा?" (द अनकंडीशनल पाथ)

AI इन दोनों रास्तों के बीच के अंतर को ट्रैक पर रहने के लिए गणना करता है। लेकिन क्योंकि हमारा "विशेषज्ञ डेकोरेटर" बुनियादी भोजन बनाना भूल गया है, इसलिए उनका "कोई निर्देश नहीं" वाला रास्ता टूटा हुआ और अर्थहीन है। जब GPS एक "शानदार वेडिंग केक" और "अर्थहीन धूसर कचरे" के बीच अंतर की गणना करने की कोशिश करता है, तो गणित गड़बड़ा जाता है, और अंतिम परिणाम विकृत, अत्यधिक संतृप्त (overly saturated), या बस "अजीब" दिखने लगता है।

समाधान: "एक्सपर्ट कंसल्टेंट" (The "Expert Consultant")

शोधकर्ताओं ने महसूस किया कि कुछ शानदार: आपको विशेषज्ञ को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। आपको बस उन्हें एक बेहतर दिशा-सूचक (compass) देने की आवश्यकता है।

विशेषज्ञ को उनके अपने टूटे हुए "कोई निर्देश नहीं" वाले रास्ते का उपयोग करने देने के बजाय, शोधकर्ता एक "जनरल कंसल्टेंट" (General Consultant) लाने का सुझाव देते हैं—एक अलग, मूल, उच्च-गुणवत्ता वाला मॉडल जिसने कभी विशेष प्रशिक्षण नहीं लिया और जो अभी भी दुनिया के बारे में सब कुछ जानता है।

नया फॉर्मूला इस प्रकार काम करता है:
जब विशेषज्ञ काम कर रहा होता है, तो AI पूछता है:

विशेषज्ञ: "इन विशिष्ट निर्देशों के आधार पर, छवि कैसी दिखनी चाहिए?"
कंसल्टेंट: "बिना किसी निर्देश के, एक उच्च-गुणवत्ता वाली, सुंदर छवि कैसी दिखती है?"

विशेषज्ञ के विशिष्ट ज्ञान को कंसल्टेंट के सामान्य विवेक के साथ जोड़कर, AI को दोनों तरफ का सर्वश्रेष्ठ मिलता है। आपको वह सटीक कार्य मिलता है जो आपने मांगा था (वेडिंग केक), लेकिन यह उच्च-गुणवत्ता वाले, यथार्थवादी टेक्सचर और लाइटिंग (भोजन का सामान्य ज्ञान) की नींव पर बना होता है।

यह क्यों महत्वपूर्ण है (The "Magic" Results)

शोधकर्ताओं ने कई प्रसिद्ध AI मॉडल्स (जैसे कि वीडियो जनरेशन और 3D ऑब्जेक्ट क्रिएशन में उपयोग किए जाने वाले मॉडल) पर इसका परीक्षण किया और पाया कि:

यह "ट्रेनिंग-फ्री" है: आपको AI को फिर से प्रशिक्षित करने में लाखों डॉलर खर्च करने की आवश्यकता नहीं है। आप बस जनरेशन प्रक्रिया के दौरान एक दूसरा मॉडल प्लग इन कर देते हैं।
यह बहुमुखी (Versatile) है: यह तब भी काम करता है जब "कंसल्टेंट" मॉडल पूरी तरह से अलग प्रकार का AI आर्किटेक्चर हो।
यह विकृतियों को ठीक करता है: यह छवियों को "फ्राईड" (अत्यधिक संतृप्त) दिखने या अजीब, पिघली हुई आकृतियों वाले होने से रोकता है, जिससे वीडियो स्मूथ और फोटो अधिक यथार्थवादी बनते हैं।

संक्षेप में: किसी विशेषज्ञ को बेहतर प्रदर्शन करने के लिए, उन्हें सब कुछ फिर से सिखाने की कोशिश न करें; बस उन्हें एक सामान्य व्यक्ति (generalist) का सामान्य ज्ञान उधार लेने दें।

तकनीकी सारांश: अनकंडीशनल प्रायर्स (Unconditional Priors) महत्वपूर्ण हैं!

शीर्षक: Unconditional Priors Matter! Improving Conditional Generation of Fine-Tuned Diffusion Models
लेखक: प्रिन फुनियाफिबन, फिलिप वाई. ली, जयहून किम, मिन्ह्यूक सुंग (KAIST)

1. समस्या: अनकंडीशनल प्रायर्स का क्षरण (Degradation of Unconditional Priors)

यह शोध पत्र क्लासिफायर-फ्री गाइडेंस (Classifier-Free Guidance - CFG) आधारित कंडीशनल डिफ्यूजन मॉडल्स में एक महत्वपूर्ण, अक्सर अनदेखी की जाने वाली समस्या को संबोधित करता है।

मानक अभ्यास में, एक ही नेटवर्क को कंडीशनल नॉइज़ ( $\epsilon_\theta(x_t, c)$ ) और अनकंडीशनल नॉइज़ ( $\epsilon_\theta(x_t, \emptyset)$ ) दोनों की भविष्यवाणी करने के लिए फाइन-ट्यून किया जाता है। यह आमतौर पर प्रशिक्षण के दौरान कंडीशनिंग सिग्नल को बेतरतीब ढंग से हटाने (जैसे कि 5-20% समय) के माध्यम से प्राप्त किया जाता है। लेखक इस दृष्टिकोण में दो प्रमुख खामियां देखते हैं:

क्षमता की बाधा (Capacity Bottleneck): क्योंकि एक ही नेटवर्क को जटिल कंडीशनल डिस्ट्रीब्यूशन और उससे भी अधिक जटिल अनकंडीशनल डिस्ट्रीब्यूशन दोनों को सीखना होता है, इसलिए अनकंडीशनल मामले के लिए "बैंडविड्थ" सीमित हो जाती है।
प्रायर्स का क्षरण (Prior Degradation): एक बेस मॉडल (जैसे Stable Diffusion) को किसी विशिष्ट, संकीर्ण कार्य (जैसे नोवेल व्यू सिंथेसिस या इमेज एडिटिंग) पर फाइन-ट्यून करने से मॉडल अपना समृद्ध, सामान्य-उद्देश्य वाला अनकंडीशनल ज्ञान खो देता है।

परिणाम: चूंकि CFG जनरेशन को "गाइड" करने के लिए कंडीशनल और अनकंडीशनल नॉइज़ के बीच के अंतर पर निर्भर करता है, इसलिए एक खराब (निम्न-गुणवत्ता/विकृत) अनकंडीशनल प्रायर, अंतिम कंडीशनल आउटपुट में महत्वपूर्ण गिरावट का कारण बनता है, जो कलर सैचुरेशन, आकार की विकृति, या सिमेंटिक विवरण की हानि के रूप में प्रकट होता है।

2. कार्यप्रणाली: अनकंडीशनल नॉइज़ रिप्लेसमेंट (Unconditional Noise Replacement)

लेखक एक ट्रेनिंग-फ्री (training-free) समाधान प्रस्तावित करते हैं जो मौजूदा प्री-ट्रेन्ड मॉडल्स के उच्च-गुणवत्ता वाले अनकंडीशनल प्रायर्स का लाभ उठाता है।

मुख्य विचार: फाइन-ट्यून किए गए मॉडल के अपने (क्षयित) अनकंडीशनल नॉइज़ प्रेडिक्शन का उपयोग करने के बजाय, इसे उस मॉडल के नॉइज़ प्रेडिक्शन से बदल दें जिसके पास बेहतर अनकंडीशनल प्रायर है।

गणितीय सूत्र (Mathematical Formulation):
मानक CFG में, गाइडेड नॉइज़ है:
$\epsilon_\theta^{(\gamma)}(x_t, c) = \epsilon_\theta(x_t, \emptyset) + \gamma(\epsilon_\theta(x_t, c) - \epsilon_\theta(x_t, \emptyset))$

लेखक संशोधित CFG (Modified CFG) का प्रस्ताव करते हैं:
$\epsilon_{\theta, \psi}^{(\gamma)}(x_t, c) = \epsilon_\psi(x_t, \emptyset) + \gamma(\epsilon_\theta(x_t, c) - \epsilon_\psi(x_t, \emptyset))$
जहाँ:

$\epsilon_\theta$ फाइन-ट्यून किए गए कंडीशनल मॉडल से नॉइज़ है।
$\epsilon_\psi$ मजबूत प्रायर्स वाले प्री-ट्रेन्ड मॉडल से नॉइज़ है (जो मूल बेस मॉडल या पिक्सआर्ट- $\alpha$ (PixArt- $\alpha$ ) जैसा पूरी तरह से अलग आर्किटेक्चर भी हो सकता है)।

मुख्य अंतर्दृष्टि (Key Insight): "रिप्लेसमेंट" मॉडल ( $\psi$ ) को फाइन-ट्यून किए गए मॉडल ( $\theta$ ) के समान आर्किटेक्चर या यहाँ तक कि समान ट्रेनिंग हिस्ट्री की आवश्यकता नहीं है, जब तक कि उसका अनकंडीशनल डिस्ट्रीब्यूशन $p_\psi(x_t)$ वास्तविक डेटा डिस्ट्रीब्यूशन का बेहतर अनुमान लगाता हो।

3. मुख्य योगदान

एक मौलिक खामी की पहचान: वे प्रदर्शित करते हैं कि फाइन-ट्यूनिंग के दौरान अनकंडीशनल प्रायर्स का क्षरण खराब कंडीशनल जनरेशन क्वालिटी का प्राथमिक चालक है।
ट्रेनिंग-फ्री समाधान: वे एक प्लग-एंड-प्ले विधि प्रदान करते हैं जिसके लिए किसी री-ट्रेनिंग, आर्किटेक्चरल बदलाव, या अतिरिक्त ट्रेनिंग डेटा की आवश्यकता नहीं है।
क्रॉस-आर्किटेक्चर संगतता (Cross-Architecture Compatibility): वे सिद्ध करते हैं कि रिप्लेसमेंट मॉडल का अलग आर्किटेक्चर हो सकता है (उदाहरण के लिए, UNet को गाइड करने के लिए डिफ्यूजन ट्रांसफॉर्मर/DiT का उपयोग करना)।
बहुमुखी प्रतिभा (Versatility): यह विधि इमेज-टू-इमेज, टेक्स्ट-टू-इमेज, इमेज-टू-वीडियो और नोवेल व्यू सिंथेसिस सहित विविध मोडैलिटीज में काम करती है।

4. प्रयोगात्मक परिणाम

लेखकों ने पांच प्रमुख कंडीशनल मॉडल्स पर विधि को मान्य किया:

Zero-1-to-3 (नोवेल व्यू सिंथेसिस): लाइटिंग में सुधार, कलर सैचुरेशन में कमी, और आकार की विकृतियों को ठीक किया। मात्रात्मक मेट्रिक्स (LPIPS, PSNR, SSIM) ने महत्वपूर्ण लाभ दिखाए, विशेष रूप से जब SD2.1 को प्रायर के रूप में उपयोग किया गया।
Versatile Diffusion (इमेज वेरिएशंस): उच्च कंडीशन अलाइनमेंट (CLIP-I) बनाए रखते हुए बेहतर FID और FDDINOv2 स्कोर दिखाया। इसने अत्यधिक सैचुरेशन और ऑब्जेक्ट डिस्टॉर्शन को प्रभावी ढंग से ठीक किया।
DiT (क्लास-कंडीशनल): प्रदर्शित किया कि ट्रांसफॉर्मर-आधारित आर्किटेक्चर के लिए भी, बेस मॉडल का प्रायर उपयोग करने से FID में सुधार होता है, विशेष रूप से जब फाइन-ट्यूनिंग डेटासेट बड़े हों।
DynamiCrafter (इमेज-टू-वीडियो): टेम्पोरल कंसिस्टेंसी और एस्थेटिक क्वालिटी में सुधार किया, जिससे कम विकृतियों (जैसे हाथ और चेहरे) वाले वीडियो प्राप्त हुए।
InstructPix2Pix (इमेज एडिटिंग): ओरिजिनल सब्जेक्ट की पहचान को बेहतर ढंग से सुरक्षित रखते हुए, एडिट्स की निष्ठा (टेक्स्ट निर्देशों के साथ अलाइनमेंट) को बढ़ाया।

5. महत्व और सीमाएं

महत्व:
यह कार्य CFG ट्रेनिंग के दृष्टिकोण को बदल देता है। यह सुझाव देता है कि हमें अनिवार्य रूप से अनकंडीशनल और कंडीशनल नॉइज़ को संयुक्त रूप से सीखने की आवश्यकता नहीं है। यह संभावित रूप से अधिक कुशल फाइन-ट्यूनिंग प्रक्रियाओं की अनुमति दे सकता है जहाँ मॉडल केवल कंडीशनल मैपिंग सीखने पर ध्यान केंद्रित करता है, और "अनकंडीशनल" घटक के लिए बाहरी मॉडल्स पर भरोसा करता है।

सीमाएं:

मेमोरी/स्पीड: इसके लिए VRAM में दूसरा मॉडल लोड करने की आवश्यकता होती है, जिससे मेमोरी का उपयोग बढ़ जाता है। दूसरे मॉडल के लिए आवश्यक अतिरिक्त फॉरवर्ड पास के कारण इन्फरेंस टाइम में भी थोड़ी वृद्धि होती है।
दायरा (Scope): यह विधि एडॉप्टर-आधारित तरीकों जैसे कंट्रोलनेट (ControlNet) के लिए कम प्रभावी है, जो उसी स्तर के अनकंडीशनल प्रायर क्षरण से ग्रस्त नहीं होते हैं।