🤖 AI

Uni-DAD: Unified Distillation and Adaptation of Diffusion Models for Few-step Few-shot Image Generation

Uni-DAD एक एकीकृत सिंगल-स्टेज फ्रेमवर्क पेश करता है जो ड्यूल-डोमेन डिस्ट्रीब्यूशन-मैचिंग डिस्टिलेशन को मल्टी-हेड GAN लॉस के साथ जोड़कर कम-चरणों और कम-नमूनों वाले इमेज जनरेशन के लिए डिफ्यूजन मॉडल्स को एक साथ डिस्टिल और एडेप्ट करता है, ताकि पारंपरिक टू-स्टेज पाइपलाइन्स की तुलना में बेहतर गुणवत्ता और विविधता प्राप्त की जा सके।

मूल लेखक: Yara Bahram, Melodie Desbos, Mohammadhadi Shateri, Eric Granger

प्रकाशित 2026-03-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yara Bahram, Melodie Desbos, Mohammadhadi Shateri, Eric Granger

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक मास्टर शेफ (Diffusion Model) है जो अविश्वसनीय, उच्च-गुणवत्ता वाले व्यंजन बना सकता है। लेकिन एक समस्या है: इस शेफ को एक अकेला व्यंजन तैयार करने के लिए 100 कदम उठाने पड़ते हैं, जिससे यह बहुत धीमा हो जाता है।

अब, कल्पना कीजिए कि आप चाहते हैं कि यह मास्टर शेफ केवल कुछ संदर्भ तस्वीरों का उपयोग करके एक विशिष्ट नए प्रकार का व्यंजन (जैसे "बेबी फूड" या "कैट फूड") बनाना सीखे।

समस्या:

धीमा शेफ: यदि आप मास्टर शेफ को यह नया व्यंजन सीखने के लिए कहते हैं, तो वे अभी भी 100 कदम ही लेंगे। बहुत धीमा!
तेज़ प्रशिक्षु (Fast Apprentice): आप एक तेज़ प्रशिक्षु (एक "डिस्टिल्ड" मॉडल) को मास्टर की नकल करने के लिए प्रशिक्षित कर सकते हैं। लेकिन यह प्रशिक्षु केवल मास्टर के मूल व्यंजनों को जानता है। यदि आप उनसे "बेबी फूड" बनाने के लिए कहते हैं, तो वे मास्टर के मूल सूप का एक अजीब, धुंधला संस्करण बना सकते हैं।
पुराना तरीका (दो-चरणीय/Two-Stage): पहले, लोग इसे दो चरणों में हल करने की कोशिश करते थे:
- चरण A: प्रशिक्षु को तेज़ बनने के लिए सिखाएं।
- चरण B: तेज़ प्रशिक्षु को नया व्यंजन सिखाएं।
- परिणाम: यह एक छात्र को पहले तेज़ दौड़ना सिखाने और फिर उसे तैरना सिखाने जैसा है। छात्र अक्सर भ्रमित हो जाता है, अपनी गति खो देता है, या एक अनाड़ी धावक की तरह तैरने लगता है। गुणवत्ता खराब हो जाती है।

समाधान: Uni-DAD
लेखकों ने Uni-DAD बनाया है, जो एक "वन-स्टॉप शॉप" प्रशिक्षण विधि है। प्रशिक्षु को दो अलग-अलग कक्षाओं में पढ़ाने के बजाय, उन्होंने प्रशिक्षु को एक विशेष बूट कैंप में रखा है जहाँ वे एक ही समय में तेज़ बनना और नए व्यंजन के अनुकूल होना सीखते हैं।

Uni-DAD कैसे काम करता है, इसके लिए एक सरल उपमा यहाँ दी गई है:

बूट कैंप में तीन कोच

प्रशिक्षु (Student) को प्रशिक्षित करने के लिए, Uni-DAD तीन अलग-अलग "कोच" का उपयोग करता है जो एक साथ फीडबैक देते हैं:

1. "रूट्स" कोच (मूल शिक्षक/The Source Teacher)

कौन: मूल मास्टर शेफ।
काम: यह कोच कहता है, "अपनी जड़ों को मत भूलो! भोजन की सामान्य संरचना बनाए रखो। खाने को बिखरने मत दो।"
क्यों: यह सुनिश्चित करता है कि नई छवियां रैंडम शोर (noise) की तरह न दिखें। यह मूल मॉडल की "विविधता" और उच्च गुणवत्ता को बनाए रखता है।

2. "न्यू मेनू" कोच (लक्ष्य शिक्षक/The Target Teacher)

कौन: एक कोच जो नए व्यंजन को जानता है (जैसे, बेबी फूड)।
काम: यह कोच कहता है, "इन कुछ तस्वीरों को देखो! हमें खाना ऐसा दिखना चाहिए जैसे यह विशिष्ट बेबी फूड है, न कि सूप।"
क्यों: यह मॉडल को नए स्टाइल के अनुकूल होने में मदद करता है, भले ही वह नया स्टाइल मूल से बहुत अलग हो (जैसे चेहरे से बदलकर बिल्लियों तक)।

3. "क्रिटिक" कोच (मल्टी-हेड GAN/The Critic)

कौन: एक सख्त फूड क्रिटिक जिसके पास आवर्धक लेंस (magnifying glass) है।
काम: यह क्रिटिक हर कोण से प्रशिक्षु के व्यंजन को देखता है (क्लोज-अप, ज़ूम आउट, बनावट, रंग)। वे चिल्लाते हैं, "यह असली नहीं लग रहा! टेक्सचर गलत है!"
क्यों: क्योंकि हमारे पास नए व्यंजन की केवल कुछ ही तस्वीरें हैं, प्रशिक्षु उन्हें पूरी तरह से याद करने की कोशिश कर सकता है और रचनात्मक होना छोड़ सकता है (overfitting)। क्रिटिक प्रशिक्षु को ऐसे नए व्यंजन बनाने के लिए मजबूर करता है जो अभी भी वास्तविक दिखें, जिससे वे केवल दी गई कुछ तस्वीरों की नकल करने के बजाय कुछ नया बना सकें।

जादुई ट्रिक: यह सब एक साथ करना

पुराने "दो-चरणीय" तरीके में, आप प्रशिक्षु को तेज़ बनना सिखाते थे, फिर उनका मेनू बदलने की कोशिश करते थे। जब तक वे नया मेनू सीखते, वे या तो तेज़ होना भूल जाते, या अच्छा खाना बनाना भूल जाते।

Uni-DAD एक मल्टीटास्किंग मास्टरक्लास की तरह है।

प्रशिक्षु एक व्यंजन बनाने की कोशिश करता है।
रूट्स कोच कहता है, "संरचना बनाए रखें।"
न्यू मेनू कोच कहता है, "इसे बच्चे जैसा दिखाएं।"
क्रिटिक कहता, "इसे स्पष्ट और वास्तविक बनाएं, धुंधला नहीं।"

प्रशिक्षु तीनों कोचों को एक ही समय में संतुष्ट करने के लिए तुरंत अपने खाना पकाने के तरीके को समायोजित करता है।

यह क्यों महत्वपूर्ण है

गति (Speed): अंतिम परिणाम एक ऐसा मॉडल है जो 100 के बजाय 3 स्टेप्स में चित्र बना सकता है। यह 3 घंटे की धीमी कुकिंग क्लास से 5 मिनट के स्वादिष्ट माइक्रोवेव मील तक जाने जैसा है।
गुणवत्ता (Quality): यह केवल गति ही नहीं बढ़ाता; यह वास्तव में पिछले तरीकों की तुलना में छवियों को बेहतर बनाता है क्योंकि यह गति, रचनात्मकता और यथार्थवाद के बीच पूर्ण संतुलन बनाता है।
लचीलापन (Flexibility): यह तब भी काम करता है जब आप स्टाइल को थोड़ा बदलते हैं (जैसे चेहरे से चश्मे तक) या पूरी तरह से (चेहरे से बिल्लियों तक)।

संक्षेप में: Uni-DAD एक स्मार्ट प्रशिक्षण प्रणाली है जो AI को एक साथ तेज़ और अनुकूलन योग्य (adaptable) बनने के लिए सिखाती है, ताकि वह पलक झपकते ही उच्च-गुणवत्ता वाली, व्यक्तिगत छवियां बना सके, भले ही उसने पहले कभी उस विशिष्ट विषय को न देखा हो।

यहाँ शोध पत्र "Uni-DAD: Unified Distillation and Adaptation of Diffusion Models for Few-step Few-shot Image Generation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डिफ्यूजन मॉडल्स (DMs) ने इमेज जनरेशन में अत्याधुनिक (SoTA) प्रदर्शन हासिल किया है, लेकिन नए डोमेन को लागू करते समय उन्हें दो महत्वपूर्ण सीमाओं का सामना करना पड़ता है:

उच्च कम्प्यूटेशनल लागत (High Computational Cost): मानक DMs को सैकड़ों टाइम-स्टेप्स (जैसे, $T \approx 1000$ ) के दौरान पुनरावृत्त डैनोइजिंग (iterative denoising) की आवश्यकता होती है, जिससे इन्फरेंस धीमा हो जाता है और यह रियल-टाइम अनुप्रयोगों के लिए अनुपयुक्त हो जाता है।
अनुकूलन में डेटा की कमी (Data Scarcity in Adaptation): केवल कुछ ही छवियों ( $N \le 10$ ) का उपयोग करके नए डोमेन (Few-Shot Image Generation - FSIG) या विशिष्ट विषयों (Subject-Driven Personalization - SDP) में डिफ्यूजन मॉडल्स को अनुकूलित करना अक्सर ओवरफिटिंग, विविधता की हानि, या "मोड कोलैप्स" (mode collapse) की ओर ले जाता है।

वर्तमान सीमाएँ: मौजूदा समाधान आमतौर पर दो-चरणीय पाइपलाइन (two-stage pipelines) पर निर्भर करते हैं:

डिस्टिल-देन-अडैप्ट (Distill-then-Adapt): पहले एक तेज़ स्टूडेंट मॉडल को डिस्टिल करता है, फिर उसे अनुकूलित करता है। यह अक्सर "ओवर-स्मूथ" (over-smoothed) आउटपुट देता है क्योंकि स्टूडेंट अपनी अनुकूलन क्षमता को संतृप्त (saturate) कर देता है, और मूल डिफ्यूजन लॉस के तहत फाइन-ट्यूनिंग करने से डिस्टिलेशन के लाभ समाप्त हो जाते हैं।
अडैप्ट-देन-डिस्टिल (Adapt-then-Distill): पहले टीचर को अनुकूलित करता है, फिर उसे डिस्टिल करता है। इसमें कम-शॉट (few-shot) टारगेट डेटा के प्रति अनुकूलन चरण के दौरान ओवरफिटिंग का जोखिम होता है और डिस्टिलेशन के दौरान हस्तांतरणीय स्रोत जानकारी (transferable source information) का नुकसान होता है।

दोनों दृष्टिकोण जटिल हैं, गुणवत्ता में गिरावट के प्रति संवेदनशील हैं, और गति, विविधता एवं लक्ष्य यथार्थवाद (target realism) के लिए संयुक्त रूप से अनुकूलित करने में विफल रहते हैं।

2. कार्यप्रणाली: Uni-DAD (Methodology: Uni-DAD)

लेखक Uni-DAD का प्रस्ताव करते हैं, जो एक सिंगल-स्टेज पाइपलाइन है जो डिफ्यूजन मॉडल डिस्टिलेशन और अनुकूलन को एकीकृत करती है। यह एक उच्च-गुणवत्ता वाले, धीमे टीचर DM को एक तेज़, कुछ-चरणों वाले स्टूडेंट में संकुचित करता है और साथ ही इसे कुछ-शॉट (few-shot) टारगेट डोमेन के लिए अनुकूलित करता है।

मुख्य आर्किटेक्चर (Core Architecture)

यह विधि स्टूडेंट जनरेटर ( $G$ ) को अनुकूलित करने के लिए दो पूरक प्रशिक्षण संकेतों को जोड़ती है:

A. डुअल-डोमेन डिस्ट्रीब्यूशन मैचिंग डिस्टिलेशन (DMD)

अवधारणा (Concept): केवल सोर्स टीचर ( $\epsilon_{src}$ ) के साथ स्टूडेंट को मैच करने के बजाय, Uni-DAD स्टूडेंट को सोर्स टीचर और एक वैकल्पिक ऑनलाइन टारगेट टीचर ( $\epsilon_{trg}$ ) के भारित संयोजन (weighted combination) के साथ मैच करता है।
तंत्र (Mechanism):
- $\epsilon_{src}$ : बड़े पैमाने के डेटा (जैसे, FFHQ) पर प्रशिक्षित एक फ्रोजन सोर्स-डोमेन टीचर। यह विविध, हस्तांतरणीय ज्ञान (जैसे, पोज़, बैकग्राउंड, सामान्य संरचना) को सुरक्षित रखता है।
- $\epsilon_{trg}$ : $\epsilon_{src}$ से शुरू किया गया एक ऑनलाइन टीचर जिसे कम-शॉट टारगेट सेट ( $Y$ ) पर फाइन-ट्यून किया गया है। यह स्टूडेंट को टारगेट डोमेन के विशिष्ट संरचनात्मक वितरण की ओर निर्देशित करता है।
- उद्देश्य (Objective): ग्रेडिएंट अपडेट एक भारित योग है:
  $\nabla_\theta L_{DMD}^{trg+src} = (1-a)\nabla_\theta L_{DMD}^{src} + a\nabla_\theta L_{DMD}^{trg}$
  जहाँ $a \in [0, 1]$ टारगेट डोमेन के प्रभाव को संतुलित करता है। यह स्टूडेंट को दोनों वितरणों के बीच एक "साझा क्षेत्र" (common area) की ओर निर्देशित करता है, जो छोटे टारगेट सेट के प्रति ओवरफिटिंग को रोकता है जबकि संरचनात्मक अनुकूलन सुनिश्चित करता है।

B. मल्टी-हेड जेनेरेटिव एडवरसैरियल नेटवर्क (GAN) लॉस

अवधारणा (Concept): कम-शॉट शासन (few-shot regime) में तीक्ष्ण यथार्थवाद (sharp realism) को लागू करने और प्रशिक्षण को स्थिर करने के लिए, एक मल्टी-हेड GAN का उपयोग किया जाता है।
तंत्र (Mechanism):
- डिस्क्रिमिनेटर ( $D$ ): एक "फेक टीचर" ( $\epsilon_{fk}$ ) के एनकोडर और मिडिल ब्लॉक्स का पुन: उपयोग करता है जो स्टूडेंट के विकसित होते वितरण को ट्रैक करता है। फीचर एक्सट्रैक्टर के प्रत्येक ब्लॉक पर लीनियर हेड्स (Linear heads) संलग्न किए जाते हैं।
- मल्टी-स्केल डिस्क्रिमिनेशन (Multi-Scale Discrimination): यह डिस्क्रिमिनेटर को कई फीचर स्केल्स (स्थानीय और वैश्विक) पर वास्तविक टारगेट इमेज और स्टूडेंट जनरेशन के बीच अंतर करने की अनुमति देता है।
- लाभ (Benefit): यह मल्टी-स्केल दृष्टिकोण बहुत कम डेटासेट ( $N \le 10$ ) पर प्रशिक्षण के दौरान होने वाली ओवरफिटिंग और मोड कोलैप्स को काफी कम करता है।

C. ट्रेनिंग लूप (Training Loop)
प्रशिक्षण प्रत्येक इटरेशन के बीच तीन अपडेट्स के बीच बदलता रहता है:

स्टूडेंट ( $G$ ): डुअल-डोमेन DMD लॉस और GAN जनरेटर लॉस के माध्यम से अनुकूलित किया जाता है।
फेक टीचर और डिस्क्रिमिनेटर ( $\epsilon_{fk}, D$ ): $\epsilon_{fk}$ को स्टूडेंट के आउटपुट (MSE) से मेल खाने के लिए अपडेट किया जाता है, और $D$ को वास्तविक टारगेट इमेज और स्टूडेंट जनरेशन के बीच अंतर करने के लिए अपडेट किया जाता है।
टारगेट टीचर ( $\epsilon_{trg}$ ): (वैकल्पिक) टारगेट सेट पर MSE के माध्यम से अपडेट किया जाता है ताकि टारगेट वितरण को बेहतर ढंग से मॉडल किया जा सके।

3. प्रमुख योगदान (Key Contributions)

प्रथम सिंगल-स्टेज पाइपलाइन: Uni-DAD डिफ्यूजन मॉडल्स को एकल प्रशिक्षण लूप में डिस्टिल और अडैप्ट करने वाला पहला तरीका है, जो क्रमिक दो-चरणीय पाइपलाइनों की आवश्यकता को समाप्त करता है।
डुअल-डोमेन DMD: एक नया उद्देश्य पेश करता है जो सोर्स विविधता को बनाए रखते हुए स्ट्रक्चरल रूप से दूर के टारगेट डोमेन के अनुकूल होने के लिए दोनों सोर्स और टारगेट टीचर्स का लाभ उठाता है।
कम-शॉट के लिए मल्टी-हेड GAN: विशेष रूप से अत्यधिक कम-शॉट शासन ( $N \le 10$ ) में प्रशिक्षण को स्थिर करने और ओवरफिटिंग को कम करने के लिए डिज़ाइन किया गया मल्टी-स्केल डिस्क्रिमिनेटर आर्किटेक्चर प्रस्तावित करता है।
चेकपॉइंट एगोस्टिकिज्म (Checkpoint Agnosticism): यह ढांचा लचीला है; यह स्टूडेंट को प्री-डिस्टिल्ड मॉडल के साथ शुरू कर सकता है या बिना पुनः प्रशिक्षण के प्री-अडैप्टेड मॉडल को टारगेट टीचर के रूप में उपयोग कर सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन दो व्यापक बेंचमार्क पर किया गया:

FSIG (Few-Shot Image Generation): FFHQ पर गाइडेड DDPM का उपयोग करते हुए, बेबीज़, सनग्लासेस, मेटफेसेस (MetFaces) और कैट्स (Cats) के 10-शॉट सेट्स के लिए अनुकूलित किया गया।
SDP (Subject-Driven Personalization): ड्रीमबूथ (DreamBooth) बेंचमार्क (30 विषय, 4-6 इमेज प्रत्येक) पर स्टेबल डिफ्यूजन v1.5 का उपयोग किया गया।

मुख्य निष्कर्ष:

गुणवत्ता बनाम गति (Quality vs. Speed): Uni-DAD बेहतर या तुलनीय गुणवत्ता (FID, CLIP-I, DINO स्कोर) प्राप्त करता है जबकि काफी कम सैंपलिंग स्टेप्स (1 से 4 स्टेप्स बनाम 25–1000 स्टेप्स) का उपयोग करता है।
दो-चरणीय पाइपलाइनों से बेहतर प्रदर्शन: Uni-DAD दोनों इमेज क्वालिटी और विविधता में Distill-then-Adapt और Adapt-then-Distill बेसलाइन्स से लगातार बेहतर प्रदर्शन करता है।
- Distill-then-Adapt बेसलाइन्स ने ओवर-स्मूथ, कम-डिटेल वाली इमेज बनाईं।
- Adapt-then-Distill बेसलाइन्स ओवरफिटिंग और सोर्स विविधता की हानि से ग्रस्त थे।
विविधता संरक्षण (Diversity Preservation): कई डिस्टिल्ड मॉडल्स के विपरीत जो विविधता के पतन (diversity collapse) से जूझते हैं, Uni-DAD 1-स्टेप सैंपलिंग के साथ भी उच्च इंट्रा-डोमेन विविधता (Intra-LPIPS द्वारा मापा गया) बनाए रखता है।
कम्प्यूटेशनल दक्षता (Computational Efficiency):
- इन्फरेंस: सैंपलिंग समय को 35–63 मिनट (5k इमेज के लिए) से घटाकर **4.2 मिनट** कर दिया।
- प्रशिक्षण: दो-चरणीय पाइपलाइनों (3+ GPU घंटे) की तुलना में कम प्रशिक्षण कंप्यूट (2.2–2.8 GPU घंटे) की आवश्यकता होती है।

5. महत्व और प्रभाव (Significance and Impact)

Uni-DAD संसाधन-बाधित अनुप्रयोगों के लिए डिफ्यूजन मॉडल्स को तैनात करने के लिए एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है।

रियल-टाइम पर्सनलाइजेशन: 1–4 स्टेप्स में उच्च-गुणवत्ता वाली, विविध जनरेशन को सक्षम करके, यह व्यक्तिगत इमेज जनरेशन को रियल-टाइम अनुप्रयोगों (जैसे, मोबाइल ऐप्स, इंटरैक्टिव डिज़ाइन टूल्स) के लिए व्यवहार्य बनाता है।
डोमेन शिफ्ट के प्रति मजबूती: डुअल-डोमेन दृष्टिकोण मॉडल्स को विशाल सोर्स डेटासेट से सीखी गई जेनेरेटिव क्षमताओं को खोए बिना स्ट्रक्चरल रूप से दूर के डोमेन (जैसे, चेहरों से बिल्लियों तक) के अनुकूल होने की अनुमति देता है।
सरलता: डिस्टिलेशन और अनुकूलन को एकीकृत करके, यह इंजीनियरिंग पाइपलाइन को सरल बनाता है, अलग-अलग चरणों को प्रबंधित करने की जटिलता को हटाता है और चरणों के बीच त्रुटि प्रसार (error propagation) के जोखिम को कम करता है।

निष्कर्षतः, Uni-DAD यह प्रदर्शित करता है कि डिस्टिलेशन और अनुकूलन एक दूसरे के पूरक हैं, न कि परस्पर अनन्य (mutually exclusive) चरण, जिन्हें डेटा-दुर्लभ स्थितियों में तेज़, उच्च-निष्ठा और विविध इमेज जनरेशन प्राप्त करने के लिए एक साथ अनुकूलित किया जा सकता है।