🤖 machine learning

Exploring Diffusion Models' Corruption Stage in Few-Shot Fine-tuning and Mitigating with Bayesian Neural Networks

यह शोध पत्र संकुचित शिक्षण वितरण (narrowed learning distribution) के कारण 'फ्यू-शॉट फाइन-ट्यून्ड डिफ्यूजन मॉडल्स' में एक "करप्शन स्टेज" की पहचान करता है और इस वितरण को व्यापक बनाने के लिए वेरिएशनल इन्फरेंस (variational inference) के साथ एक बेयसियन न्यूरल नेटवर्क दृष्टिकोण प्रस्तावित करता है, जिससे बिना किसी अतिरिक्त इन्फरेंस लागत के इमेज फिडेलिटी, गुणवत्ता और विविधता में सुधार होता है और करप्शन कम होता है।

मूल लेखक: Xiaoyu Wu, Jiaru Zhang, Yang Hua, Bohan Lyu, Hao Wang, Tao Song, Haibing Guan

प्रकाशित 2026-03-10

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xiaoyu Wu, Jiaru Zhang, Yang Hua, Bohan Lyu, Hao Wang, Tao Song, Haibing Guan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी तस्वीर: एक अकेली फोटो से एक कलाकार को सिखाना

कल्पना कीजिए कि आपके पास एक विश्व प्रसिद्ध चित्रकार है (डिफ्यूजन मॉडल) जिसने लाखों पेंटिंग्स का अध्ययन करके वर्षों बिताए हैं। वे कुछ भी चित्रित कर सकते हैं: बिल्लियाँ, कारें, सूर्यास्त, आप जो चाहें।

अब, आप चाहते हैं कि यह चित्रकार आपकी विशिष्ट पालतू बिल्ली को चित्रित करना सीख जाए, लेकिन आपके पास उसे दिखाने के लिए केवल एक फोटो है। इसे "फ्यू-शॉट फाइन-ट्यूनिंग" (Few-Shot Fine-Tuning) कहा जाता है।

लक्ष्य चित्रकार को इतना सिखाना है कि वह आपकी बिल्ली को पहचान सके, बिना उसे बाकी सब कुछ चित्रित करने से रोके।

समस्या: "भ्रम की अवस्था" (द करप्शन स्टेज - The Corruption Stage)

शोधकर्ताओं ने पाया कि जब आप बहुत कम उदाहरणों के साथ चित्रकार को सिखाने की कोशिश करते हैं, तो कुछ अजीब होता है। सीखने की प्रक्रिया एक सीधी रेखा में नहीं चलती; यह एक अजीब लूप में जाती है:

चरण 1 ( "आहा!" वाला क्षण): शुरू में, चित्रकार बेहतर होता जाता है। वे आपकी बिल्ली जैसा दिखने लगते हैं। बहुत बढ़िया!
चरण 2 ("करप्शन स्टेज" या भ्रष्टाचार का चरण): अचानक, चीजें गलत हो जाती हैं। चित्रकार उस एक फोटो पर बहुत अधिक केंद्रित हो जाता है। बिल्ली के सार को सीखने के बजाय, वे पिक्सेल (pixels) को रटने लगते हैं।
- उपमा: कल्पना कीजिए कि चित्रकार उस एक फोटो के प्रति इतना जुनूनी हो जाता है कि वह आपकी बिल्ली के ऊपर स्टैटिक नॉइज़ (जैसे टीवी पर आने वाली बर्फ जैसी झिलमिलाहट) या अजीब, ग्लिच वाले पैटर्न बनाने लगता है। छवि बिखरी हुई और टूटी हुई दिखती है। शोधकर्ता इसे "करप्शन स्टेज" कहते हैं।
चरण 3 ("रोबोट" चरण): यदि आप प्रशिक्षण जारी रखते हैं, तो चित्रकार शोर (noise) बनाना बंद कर देता है, लेकिन अब वह केवल उसी एक सटीक फोटो को ही बना सकता है। यदि आप उससे "सोती हुई आपकी बिल्ली" बनाने को कहें, तो वह नहीं कर पाएगा। वह केवल फोटो की नकल कर सकता है। उसने अपनी रचनात्मकता खो दी है और एक फोटोकॉपी मशीन बन गया है।

ऐसा क्यों होता है?
शोधकर्ताओं ने महसूस किया कि चित्रकार का "मस्तिष्क" (सीखा हुआ वितरण/distribution) बहुत संकी भरा हो गया। वे संभावनाओं के एक पूरे ब्रह्मांड को एक छोटे से डिब्बे (सिर्फ एक फोटो) में फिट करने की कोशिश कर रहे थे। क्योंकि डिब्बा बहुत छोटा था, चित्रकार घबरा गया और शोर (noise) का भ्रम पैदा करने लगा और अंततः केवल फोटो की नकल करने में ही सिमट गया।

समाधान: "इमेजिनेशन बूस्टर" (बेयसियन न्यूरल नेटवर्क - Bayesian Neural Networks)

इसे ठीक करने के लिए, लेखकों ने एक तकनीक पेश की जिसे बेयसियन न्यूरल नेटवर्क (BNNs) कहा जाता है।

उपमा:
चित्रकार को फोटो को पूरी तरह से रटने के बजाय, BNNs चित्रकार को अनिश्चितता को स्वीकार करना सिखाते हैं।

BNNs के बिना: चित्रकार सोचता है, "मुझे इस जगह पर बिल्कुल यही पिक्सेल बनाना है।" इससे संकीर्ण और ग्लिच वाली करप्शन स्टेज आती है।
BNNs के साथ: चित्रकार सोचता है, "मैं 100% निश्चित नहीं हूँ कि यह पिक्सेल बिल्कुल कहाँ जाता है, लेकिन मुझे यकीन है कि यह इस क्षेत्र में कहीं होगा।"

नियमों को संभावनाओं (संभावनाओं की एक रेंज के साथ अनुमान) के रूप में मानकर, न कि निश्चित तथ्यों के रूप में, चित्रकार को अपना "मस्तिष्क" हमेशा खुला रखने के लिए मजबूर किया जाता है। वे केवल एक फोटो को रट नहीं सकते क्योंकि उन्हें लगातार थोड़ा "गलत" या "रैंडम" होने की अनुमति दी जाती है।

परिणाम:

"करप्शन स्टेज" (अजीब शोर) गायब हो जाती है क्योंकि चित्रकार बहुत सटीक होने के बारे में घबराता नहीं है।
चित्रकार आपकी बिल्ली के विचार/कॉन्सेप्ट को सीखता है, न कि केवल पिक्सेल को।
आप उनसे "अंतरिक्ष में आपकी बिल्ली" या "सुपरहीरो के रूप में आपकी बिल्ली" बनाने के लिए कह सकते हैं, और वे वास्तव में ऐसा कर पाएंगे, क्योंकि उन्होंने बिल्ली के विचार को सीखा है, न कि केवल उस तस्वीर को।

यह क्यों महत्वपूर्ण है

कोई अतिरिक्त लागत नहीं: सबसे अच्छी बात यह है कि यह "इमेजिनेशन बूस्टर" केवल सीखने के चरण के दौरान काम करता है। जब आप बाद में वास्तव में चित्रकार को कोई छवि बनाने के लिए कहते हैं, तो वे पहले की तरह ही तेजी से काम करते हैं। यह एक ट्रेनिंग व्हील (साइकिल के साथ लगने वाले सहायक पहिए) की तरह है जो चलने के बाद गायब हो जाता है।
हर जगह काम करता है: उन्होंने विभिन्न प्रकार के AI मॉडल और विभिन्न कार्यों (वस्तुओं को चित्रित करने बनाम लोगों को चित्रित करने) पर इसका परीक्षण किया, और यह हर बार सफल रहा।
बेहतर गुणवत्ता: छवियां अधिक स्पष्ट हैं, वास्तविक विषय की तरह दिखती हैं, और आपके टेक्स्ट निर्देशों का बेहतर पालन करती हैं।

एक वाक्य में सारांश

पेपर ने पाया कि बहुत कम फोटो के साथ AI को सिखाने से वह ग्लिच (glitch) करने लगता है और फंस जाता है, लेकिन AI को थोड़ा "अनिश्चित" और लचीला बनाकर (बेयसियन तरीकों का उपयोग करके), हम इन ग्लिच को रोक सकते हैं और बहुत बेहतर, अधिक रचनात्मक परिणाम प्राप्त कर सकते हैं।

यहाँ शोध पत्र "Exploring Diffusion Models' Corruption Stage in Few-Shot Fine-tuning and Mitigating with Bayesian Neural Networks" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र डिफ्यूजन मॉडल्स (DMs) के फ्यू-शॉट फाइन-ट्यूनिंग (Few-Shot Fine-tuning) में एक महत्वपूर्ण समस्या को संबोधित करता है। जबकि फ्यू-शॉट फाइन-ट्यूनिंग (जैसे DreamBooth, LoRA) सीमित डेटा के साथ व्यक्तिगत इमेज जनरेशन की अनुमति देती है, लेखक प्रशिक्षण प्रक्रिया के दौरान एक अप्रत्याशित और हानिकारक घटना की पहचान करते हैं:

"करप्शन स्टेज" (The "Corruption Stage"): फाइन-ट्यूनिंग के दौरान, इमेज फिडेलिटी (fidelity) शुरू में सुधरती है। हालाँकि, इसके बाद यह अप्रत्याशित रूप से खराब (deteriorate) हो जाती है, जिसकी विशेषता उत्पन्न छवियों में शोर वाले पैटर्न (noisy patterns) और आर्टिफैक्ट्स का उभरना है। केवल इस चरण के बाद ही फिडेलिटी वापस आती है, लेकिन मॉडल अक्सर गंभीर ओवरफिटिंग (severe overfitting) की स्थिति में पहुँच जाता है, जहाँ यह केवल प्रशिक्षण छवियों को बिल्कुल सटीक रूप से पुनरुत्पादित कर सकता है, जिससे विविध सामग्री उत्पन्न करने की क्षमता खो जाती है।
मूल कारण (Root Cause): लेखकों का अनुमान है कि यह करप्शन एक संकीर्ण सीखी गई वितरण (narrowed learned distribution) से उत्पन्न होता है। फ्यू-शॉट परिदृश्यों में, मॉडल का सीखा हुआ मैनिफोल्ड ( $I_\theta$ ) सीमित प्रशिक्षण डेटा के आसपास बहुत अधिक बाधित हो जाता है, जिससे मॉडल में अस्थिरता पैदा होती है जब वह उन इनपुट को डीनॉइज़ (denoise) करने का प्रयास करता है जो प्रशिक्षण वितरण से थोड़ा भी भिन्न होते हैं।

2. कार्यप्रणाली (Methodology)

प्रस्तावित समाधान में, बिना किसी अतिरिक्त इन्फरेंस लागत के सीखी गई वितरण को अप्रत्यक्ष रूप से व्यापक बनाने के लिए फाइन-ट्यूनिंग प्रक्रिया में बेयसियन न्यूरल नेटवर्क (Bayesian Neural Networks - BNNs) को लागू करना शामिल है।

A. करप्शन स्टेज का ह्यूरिस्टिक मॉडलिंग (Heuristic Modeling of the Corruption Stage)

लेखक पहले करप्शन स्टेज को समझाने के लिए एक ह्यूरिस्टिक मॉडल विकसित करते हैं:

वन-शॉट मॉडलिंग (One-Shot Modeling): वे फाइन-ट्यून किए गए DM को एक मल्टीवेरिएट गौसियन वितरण (multivariate Gaussian distribution) को अनुमानित करने वाले मॉडल के रूप में देखते हैं। वे व्युत्पन्न करते हैं कि अनुमानित मूल छवि $\hat{x}_0$ , प्रशिक्षण छवि $x'$ और एक एरर टर्म $\delta_t$ का एक फलन है।
एरर टर्म (The Error Term): एरर टर्म $\delta_t$ , कॉन्फिडेंस पैरामीटर $\sigma_1$ द्वारा स्केल किया गया, नॉइजी इनपुट और प्रशिक्षण डेटा के बीच के अंतर के समानुपाती है।
करप्शन का तंत्र (Mechanism of Corruption):
- प्रशिक्षण के शुरुआती/मध्य चरण में, $\sigma_1$ अपेक्षाकृत उच्च होता है। यदि इनपुट नॉइज़ प्रशिक्षण डेटा से पूरी तरह मेल नहीं खाती है, तो एरर टर्म $\delta_t$ बढ़ जाता है, जिससे "करप्शन" (शोर वाले पैटर्न) होता है।
- जैसे-जैसे प्रशिक्षण जारी रहता है, $\sigma_1$ गिर जाता है (मॉडल अति-आत्मविश्वासी हो जाता है), एरर टर्म लुप्त हो जाता है, और मॉडल केवल प्रशिक्षण छवि को याद कर लेता है (ओवरफिटिंग)।
निष्कर्ष: करप्शन इसलिए होता है क्योंकि मॉडल के पास स्टोकैस्टिसिटी (stochasticity) को संभालने के लिए एक मजबूत वितरण की कमी होती है जब सीखा गया मैनिफोल्ड बहुत छोटा होता है।

B. बेयसियन न्यूरल नेटवर्क (BNN) एकीकरण

इसे कम करने के लिए, लेखक मानक नियतात्मक मापदंडों (deterministic parameters) को रैंडम वेरिएबल्स से बदल देते हैं, जो मापदंडों के पोस्टीरियर वितरण $P(\theta|D)$ को मॉडल करते हैं।

वेरिएशनल इन्फरेंस (Variational Inference): वे पोस्टीरियर का अनुमान लगाने के लिए एक मीन-फील्ड वेरिएशनल डिस्ट्रीब्यूशन $Q_W(\theta)$ (गौसियन) का उपयोग करते हैं।
लॉस फंक्शन (Loss Function): प्रशिक्षण उद्देश्य को ELBO से प्राप्त किया गया है, जिसे दो पदों में विभाजित किया गया है:
1. डिफ्यूजन लॉस एक्सपेक्टेशन ( $L_{DM}$ ): पैरामीटर वितरण पर अपेक्षित डिफ्यूजन लॉस।
2. रेगुलराइजेशन ( $L_r$ ): वेरिएशनल डिस्ट्रीब्यूशन और प्रायर (प्री-ट्रेन्ड DM वेट्स) के बीच KL-डाइवर्जेंस टर्म।
- फॉर्मूला: $W^* = \arg\min_W \mathbb{E}_{\theta \sim Q_W(\theta)} [L_{DM}] + \lambda L_r$
अप्रत्यक्ष डेटा ऑग्मेंटेशन (Implicit Data Augmentation): एक वितरण से मापदंडों को सैंपल करके, मॉडल को एक एकल पॉइंट एस्टीमेट के बजाय एक बड़े, अधिक मजबूत वितरण को सीखने के लिए मजबूर किया जाता है। यह एक अंतर्निहित डेटा ऑग्मेंटेशन के रूप में कार्य करता है, जो मॉडल को उस संकीर्ण मैनिफोल्ड में ढहने से रोकता है जो करप्शन का कारण बनता है।
इन्फरेंस दक्षता (Inference Efficiency): इन्फरेंस के दौरान, मॉडल सीखे गए पैरामीटर वितरण के केवल मीन (mean) $\mu_\theta$ का उपयोग करता है। यह सुनिश्चित करता है कि मानक फाइन-ट्यूनिंग की तुलना में कोई अतिरिक्त इन्फरेंस लागत नहीं लगती है।

3. मुख्य योगदान (Key Contributions)

करप्शन स्टेज की खोज: यह शोध पत्र फ्यू-शॉट DM फाइन-ट्यूनिंग में "करप्शन स्टेज" की पहचान और लक्षण वर्णन करने वाला पहला पेपर है, जहाँ ओवरफिटिंग शुरू होने से पहले इमेज क्वालिटी अस्थायी रूप से खराब हो जाती है।
सैद्धांतिक स्पष्टीकरण: वे एक ह्यूरिस्टिक गणितीय मॉडल प्रदान करते हैं जो समझाता है कि यह क्यों होता है (संकीर्ण सीखी गई वितरण और उच्च एरर स्केलिंग) और प्रशिक्षण पुनरावृत्तियों (iterations) के दौरान यह कैसे विकसित होता है।
BNN-आधारित शमन (Mitigation): वे DMs में BNNs का एक अभिनव अनुप्रयोग प्रस्तावित करते हैं। पारंपरिक BNNs के विपरीत जो अक्सर गणनात्मक रूप से भारी होते हैं, उनका दृष्टिकोण:
- अप्रत्यक्ष रूप से सीखी गई वितरण को व्यापक बनाता है।
- लर्निंग टारगेट को डिफ्यूजन लॉस एक्सपेक्टेशन और एक रेगुलराइजेशन टर्म में विभाजित करता है।
- मौजूदा विधियों (DreamBooth, LoRA, OFT) के साथ संगत है।
- कोई अतिरिक्त इन्फरेंस लेटेंसी (latency) पेश नहीं करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन Stable Diffusion v1.5 (और v1.4/v2.0 पर परीक्षण) का उपयोग करके DreamBooth (ऑब्जेक्ट-ड्रिवन) और CelebA-HQ (सब्जेक्ट-ड्रिवन) डेटासेट पर किया गया।

मात्रात्मक मेट्रिक्स (Quantitative Metrics):
- इमेज फिडेलिटी: Dino और Clip-I स्कोर (प्रशिक्षण विषयों के साथ समानता मापने के लिए) में महत्वपूर्ण सुधार।
- टेक्स्ट अलाइनमेंट: बेहतर Clip-T स्कोर (प्रॉम्प्ट के साथ अलाइनमेंट)।
- इमेज क्वालिटी: Clip-IQA (नो-रेफरेंस क्वालिटी) में पर्याप्त लाभ, जिसका सीधा श्रेय करप्शन आर्टिफैक्ट्स की कमी को दिया गया है।
- विविधता (Diversity): बेहतर Lpips स्कोर, जो दर्शाता है कि मॉडल ओवरफिटिंग के बजाय जेनेरेटिव विविधता बनाए रखता है।
दृश्य परिणाम (Visual Results): दृश्य तुलना दर्शाती है कि मानक फाइन-ट्यूनिंग करप्शन चरण के दौरान दृश्य शोर पैटर्न (noise patterns) उत्पन्न करती है, जबकि BNN-फाइन-ट्यून किए गए मॉडल पूरे प्रशिक्षण के दौरान साफ, उच्च-फिडेलिटी छवियां उत्पन्न करते हैं।
यूजर स्टडी (User Study): 101 प्रतिभागियों के अध्ययन में, BNN-एन्हांस्ड मॉडल सब्जेक्ट फिडेलिटी, टेक्स्ट अलाइनमेंट और इमेज क्वालिटी के लिए बेसलाइन्स की तुलना में 65-70% मामलों में पसंद किए गए।
एब्लेशन स्टडीज (Ablation Studies):
- विधि विभिन्न DM संस्करणों और प्रशिक्षण पुनरावृत्ति गणनाओं में काम करती है।
- केवल विशिष्ट परतों (जैसे, नॉर्मलाइजेशन लेयर्स) पर BNN लागू करने से पैरामीटर संशोधन ~0.02% तक कम हो जाता है, जबकि मजबूत प्रदर्शन बना रहता है।
- हाइपरपैरामीटर $\lambda$ विविधता और फिडेलिटी के बीच ट्रेड-ऑफ को ट्यून करने की अनुमति देता है।

5. महत्व (Significance)

सैद्धांतिक अंतर्दृष्टि: यह शोध पत्र फ्यू-शॉट फाइन-ट्यूनिंग की गतिशीलता को समझने के लिए एक महत्वपूर्ण सैद्धांतिक लेंस प्रदान करता है, जो केवल अनुभवजन्य अवलोकन से आगे बढ़कर प्रशिक्षण विफलताओं के पीछे के "क्यों" की व्याख्या करता है।
व्यावहारिक प्रभाव: यह BNNs का एक सरल, प्लग-एंड-प्ले समाधान प्रदान करता है जो व्यक्तिगत AI जनरेशन टूल्स की विश्वसनीयता में काफी सुधार करता है।
दक्षता: यह सुनिश्चित करके कि कोई इन्फरेंस ओवरहेड नहीं है, यह विधि उत्पादन वातावरण (production environments) में तुरंत तैनात करने योग्य है, जिससे उच्च-गुणवत्ता वाला व्यक्तिगत AI, गति से समझौता किए बिना सुलभ हो जाता है।
सामान्यीकरण (Generalizability): यह दृष्टिकोण LoRA और OFT जैसी प्रमुख पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) तकनीकों के साथ संगत है, जो सुझाव देता है कि यह भविष्य में जेनेरेटिव मॉडल अनुकूलन का एक मानक घटक बन सकता है।