💻 computer science

Universal Few-Shot Spatial Control for Diffusion Models

यह शोध पत्र यूनिवर्सल फ्यू-शॉट कंट्रोल (UFC) का प्रस्ताव करता है, जो एक बहुमुखी एडेप्टर है जो पूर्व-प्रशिक्षित डिफ्यूजन मॉडल्स को केवल कुछ ही एनोटेटेड उदाहरणों का उपयोग करके उच्च प्रदर्शन के साथ नवीन स्थानिक अनुकूलन कार्यों (spatial conditioning tasks) में सामान्यीकरण करने में सक्षम बनाता है, जिससे मौजूदा विधियों की अनुकूलन क्षमता और प्रशिक्षण लागत की सीमाओं को दूर किया जा सके।

मूल लेखक: Kiet T. Nguyen, Chanhyuk Lee, Donggyun Kim, Dong Hoon Lee, Seunghoon Hong

प्रकाशित 2026-01-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kiet T. Nguyen, Chanhyuk Lee, Donggyun Kim, Dong Hoon Lee, Seunghoon Hong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक जादुई कलाकार (एक AI) है जो आपके शब्दों के आधार पर चित्र बनाने में अविश्वसनीय रूप से कुशल है। यदि आप कहते हैं, "एक चटाई पर बिल्ली," तो वह एक सुंदर बिल्ली बनाता है। लेकिन यदि आप बहुत विशिष्ट होना चाहते हैं—जैसे "एक बिल्ली बिल्कुल यहाँ बैठी है, उस दिशा में देख रही है, और उसके कानों का आकार विशेष है"—तो कलाकार भ्रमित हो जाता है। केवल शब्द उस तरह के सूक्ष्म नियंत्रण के लिए पर्याप्त सटीक नहीं होते।

आमतौर पर, इस कलाकार को निर्देश देने का एक नया तरीका सिखाने के लिए (जैसे कि एक विशिष्ट आउटलाइन या डेप्थ मैप बनाना), आपको शिक्षकों की एक पूरी नई टीम रखनी पड़ती है और हजारों उदाहरणों के साथ महीनों प्रशिक्षण देना पड़ता है। यह महंगा और धीमा है। यदि आप कल कलाकार को एक नया प्रकार का निर्देश (जैसे कि एक 3D वायरफ्रेम) सिखाना चाहते हैं, तो आपको पूरे प्रशिक्षण की प्रक्रिया को फिर से शुरू करना होगा।

पेपर का समाधान: "यूनिवर्सल फ्यू-शॉट कंट्रोल" (UFC)

यह पेपर एक नया तरीका पेश करता है जिसे UFC कहा जाता है, जो कलाकार के लिए एक "सुपर-ट्यूटर" (महा-शिक्षक) की तरह काम करता है। एक नया कौशल सीखने के लिए हजारों उदाहरणों की आवश्यकता के बजाय, UFC एक नए प्रकार के स्थानिक नियंत्रण (spatial control) को केवल 30 उदाहरणों (एक बहुत छोटी संख्या) के साथ सीख सकता है।

यह कैसे काम करता है, सरल उपमाओं का उपयोग करके यहाँ दिया गया है:

1. "सादृश्य" की ट्रिक (मैचिंग मैकेनिज्म)

कल्पना कीजिए कि आप कलाकार को एक ब्लूप्रिंट (एक नया कंडीशन जिसे उसने पहले कभी नहीं देखा है) के आधार पर घर बनाना सिखाना चाहते हैं। आपके पास हजारों ब्लूप्रिंट नहीं हैं। आपके पास केवल घरों के 30 फोटो और उनके ब्लूप्रिंट हैं।

ब्लूप्रिंट के नियमों को शून्य से याद करने के बजाय, UFC आपके क्वेरी (वह नया ब्लूप्रिंट जिसे आप उपयोग करना चाहते हैं) को देखता है और पूछता है: "मेरे 30 उदाहरण ब्लूप्रिंट्स में से कौन सा हिस्सा इस नए वाले जैसा दिखता है?"

यह इमेज और ब्लूप्रिंट को छोटे-छोटे पहेली के टुकड़ों (पैचेस) में तोड़ देता है।
यह आपके नए ब्लूप्रिंट के पहेली के टुकड़ों को 30 उदाहरणों के पहेली के टुकड़ों से मिलाता है।
फिर यह कहता है, "ठीक है, इस नए ब्लूप्रिंट के इस हिस्से के लिए, मैं उदाहरण #5 से 'घर बनाने की शैली' उधार लूंगा। उस हिस्से के लिए, मैं उदाहरण #12 से उधार लूंगा।"

सादृश्य के आधार पर इन उधार ली गई "शैलियों" को जोड़कर, यह कलाकार के लिए एक आदर्श मार्गदर्शिका बनाता है, बिना ब्लूप्रिंट के नियमों को शून्य से सीखे। यह एक छोटी सी डिब्बी में मौजूद संदर्भ टुकड़ों से सबसे अच्छी तरह फिट होने वाले टुकड़ों को खोजने जैसा है।

2. "क्विक-चेंज" एडेप्टर (फ्यू-शॉट लर्निंग)

आमतौर पर, AI को नया कार्य सिखाने के लिए उसके पूरे मस्तिष्क को फिर से प्रशिक्षित करने की आवश्यकता होती है। UFC अलग है। इसमें एक छोटा, हटाने योग्य "एडेप्टर" (जैसे कि एक विशेष लेंस जिसे आप कैमरे पर क्लिप कर सकते हैं) है।

लेंस: यह एडेप्टर लचीला होने के लिए प्री-ट्रेन किया गया है।
समायोजन: जब आप इसे एक नया कार्य देते हैं (जैसे "डेप्थ मैप के आधार पर ड्रा करें"), तो यह अपने सेटिंग्स के एक बहुत ही छोटे अंश को ही बदलता है (जैसे फोकस रिंग को एडजस्ट करना) उन 30 उदाहरणों का उपयोग करके।
परिणाम: यह तुरंत उस विशिष्ट नए कार्य के लिए विशेषज्ञ बन जाता है, जबकि अपने सभी मूल कलात्मक कौशल को बरकरार रखता है।

उन्होंने क्या पाया

शोधकर्ताओं ने इस "सुपर-ट्यूटर" का परीक्षण छह अलग-अलग प्रकार के स्थानिक नियंत्रणों (जैसे किनारे, गहराई, मानव मुद्राएं और सतह के कोण) पर किया, जिन्हें AI ने पहले कभी नहीं देखा था।

गति और दक्षता: उन्होंने AI को एक नया कार्य सिखाने के लिए केवल 30 उदाहरणों का उपयोग किया। कुछ मामलों में, उन्होंने पारंपरिक तरीकों द्वारा आवश्यक डेटा के केवल 0.1% का उपयोग किया।
प्रदर्शन: इतने कम डेटा के बावजूद, AI का नियंत्रण लगभग उतना ही अच्छा था जितना कि हजारों उदाहरणों पर प्रशिक्षित होने पर होता। यह एक ऐसा घर बना सका जो डेप्थ मैप के साथ पूरी तरह मेल खाता था या एक व्यक्ति जो पोज़ स्केलेटन के साथ पूरी तरह मेल खाता था।
बहुमुखी प्रतिभा: यह दो अलग-अलग प्रकार के AI "मस्तिष्क" (आर्किटेक्चर) पर काम कर गया, जिससे यह साबित हुआ कि यह एक सार्वभौमिक उपकरण है, न कि केवल एक विशेष मॉडल के लिए एक ट्रिक।

मुख्य निष्कर्ष (द बॉटम लाइन)

UFC को एक यूनिवर्सल ट्रांसलेटर के रूप में सोचें जो केवल कुछ वाक्यों (30 उदाहरणों) को सुनकर एक नई भाषा (स्थानिक स्थिति) तुरंत सीख सकता है और उन्हें उस शब्दकोश से तुलना करके सही शब्द ढूंढ सकता है जिसे वह पहले से जानता है। यह AI कलाकारों को बड़े, महंगे प्रशिक्षण शिविरों की आवश्यकता के बिना, नए प्रकार के चित्रों के लिए सटीक और जटिल निर्देशों का पालन करने की अनुमति देता है।

यह पेपर क्या दावा नहीं करता है:

यह दावा नहीं करता कि यह स्टाइल ट्रांसफर (किसी फोटो को वैन गॉग जैसा बनाना) के लिए काम करता है।
यह दावा नहीं करता कि यह धुंधली तस्वीरों को ठीक करने या वस्तुओं को हटाने (इनपेंटिंग) के लिए काम करता है।
यह दावा नहीं करता कि यह बिना किसी प्रशिक्षण के काम करता है (इसे एडेप्टर को "फाइन-ट्यून" करने के लिए उन 30 उदाहरणों की अभी भी आवश्यकता है)।
यह दावा नहीं करता कि यह मेडिकल इमेजिंग या क्लिनिकल उपयोग के लिए काम करता है।

तकनीकी सारांश: डिफ्यूजन मॉडल्स के लिए यूनिवर्सल फ्यू-शॉट स्पेशियल कंट्रोल (Universal Few-Shot Spatial Control)

समस्या विवरण (Problem Statement)

प्री-ट्रेन्ड टेक्स्ट-टू-इमेज (T2I) डिफ्यूजन मॉडल्स ने प्राकृतिक भाषा प्रॉम्प्ट्स से उच्च गुणवत्ता वाली छवियां उत्पन्न करने में उल्लेखनीय सफलता प्राप्त की है। हालांकि, भाषा-आधारित नियंत्रण अक्सर सूक्ष्म दृश्य हेरफेर (fine-grained visual manipulation) के लिए आवश्यक सटीकता की कमी रखता है, जैसे कि विशिष्ट वस्तुओं की स्थिति, आकार या दृश्य लेआउट को लागू करना। इसे संबोधित करने के लिए, मौजूदा विधियां स्पेशियल कंट्रोल एडेप्टर (जैसे, ControlNet, Uni-ControlNet) का उपयोग करती हैं जो फ्रोजन (frozen) डिफ्यूजन मॉडल्स में स्पष्ट स्थानिक संकेतों (एज मैप्स, डेप्थ, पोज़) को इंजेक्ट करते हैं।

इनकी प्रभावशीलता के बावजूद, मौजूदा एडेप्टर्स दो महत्वपूर्ण सीमाओं का सामना करते हैं:

उच्च प्रशिक्षण लागत: उन्हें आमतौर पर प्रत्येक विशिष्ट स्पेशियल कंट्रोल कार्य के लिए स्वतंत्र रूप से प्रशिक्षित किया जाता है, जिसके लिए पर्याप्त कंप्यूटेशनल संसाधनों और हजारों लेबल किए गए उदाहरणों (जैसे, प्रति कार्य 150K छवियां) की आवश्यकता होती है।
खराब अनुकूलन क्षमता (Poor Adaptability): प्री-ट्रेन्ड मल्टी-टास्क एडेप्टर्स का पुन: उपयोग करने या ट्रेनिंग-फ्री विधियों का उपयोग करने से अक्सर उन नवीन स्थानिक स्थितियों (novel spatial conditions) के लिए सामान्यीकरण करने में विफलता होती है जो प्रशिक्षण वितरण से काफी भिन्न हैं। ट्रेनिंग-फ्री विधियां, डेटा लागत से तो बचती हैं, लेकिन अक्सर लंबी लेटेंट ऑप्टिमाइजेशन प्रक्रियाओं पर निर्भर करती हैं जो जनरेशन समय को बढ़ा देती हैं और सीमित नियंत्रण प्रदान करती हैं।

यह शोध एक ऐसे बहुमुखी ढांचे (framework) की आवश्यकता पर बल देता है जो केवल कुछ गिने-चुने एनोटेटेड उदाहरणों (few-shot learning) का उपयोग करके, परीक्षण के समय (test time) पर नवीन स्थानिक स्थितियों के साथ डिफ्यूजन मॉडल्स को नियंत्रित करने में सक्षम हो, बिना जनरेशन-टाइम ओवरहेड के।

कार्यप्रणाली: यूनिवर्सल फ्यू-शॉट कंट्रोल (UFC)

लेखक यूनिवर्सल फ्यू-शॉट कंट्रोल (UFC) का प्रस्ताव करते हैं, जो एक यूनिवर्सल कंट्रोल एडेप्टर है जिसे इमेज-कंडीशन पेयर्स के सपोर्ट सेट (support set) का उपयोग करके किसी भी नवीन स्थानिक स्थितियों के साथ फ्रोजन T2I डिफ्यूजन मॉडल्स को निर्देशित करने के लिए डिज़ाइन किया गया है।

मुख्य तंत्र (Core Mechanism)

UFC विषम इनपुट स्वरूपों (जैसे, स्पार्स कीपॉइंट्स बनाम डेंस डेप्थ मैप्स) और गंभीर डेटा की कमी की चुनौती को दो प्राथमिक घटकों के माध्यम से संबोधित करता है:

पैच-वाइज मैचिंग के माध्यम से टास्क-एग्नोस्टिक फीचर इंटरपोलेशन:
सीधे टास्क-विशिष्ट स्थितियों को एक निश्चित प्रतिनिधित्व में एनकोड करने के बजाय, UFC एक क्वेरी कंडीशन ( $y^q_\tau$ ) और एक सपोर्ट सेट ( $S_\tau = \{(x_i, y^i_\tau)\}$ ) के बीच समानता का लाभ उठाता है।
- एनकोडर्स: यह विधि एक फ्रोजन इमेज एनकोडर $f$ (सपोर्ट छवियों से विजुअल फीचर्स निकालने के लिए) और एक लर्नबल कंडीशन एनकोडर $g_\tau$ (क्वेरी और सपोर्ट दोनों स्थितियों को एनकोड करने के लिए) का उपयोग करती है।
- मैचिंग: क्वेरी पैच के लिए कंट्रोल फीचर्स को सपोर्ट पैच के विजुअल फीचर्स को इंटरपोलेट करके बनाया जाता है, जिन्हें क्वेरी कंडीशन और सपोर्ट कंडीशंस के बीच समानता द्वारा भारित (weighted) किया जाता है।
- फॉर्मूला: $k$ -वें क्वेरी पैच के लिए कंट्रोल फीचर $I(y^{q,k}_\tau; S_\tau)$ की गणना इस प्रकार की जाती है:
  $I(y^{q,k}_\tau; S_\tau) = \sum_{i=1}^N \sum_{j=1}^M \sigma(g_\tau(y^{q,k}_\tau), g_\tau(y^{i,j}_\tau)) \cdot f(x^{i,j})$
  जहाँ $\sigma$ एक पैच-वाइज समानता फंक्शन है। यह सुनिश्चित करता है कि परिणामी कंट्रोल फीचर्स एक एकीकृत विजुअल फीचर स्पेस में रहें, चाहे टास्क $\tau$ कुछ भी हो, जिससे मजबूत सामान्यीकरण (generalization) सुलभ होता है।
पैरामीटर-एफिशिएंट अडैप्टेशन:
नए कार्यों के प्रति तेजी से अनुकूलित होने के लिए और छोटे सपोर्ट सेट पर ओवरफिटिंग से बचने के लिए, UFC एक मेटा-लर्निंग रणनीति को पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग के साथ जोड़ता है:
- मेटा-ट्रेनिंग: मॉडल को कई कार्यों वाले एपिसोडिक मेटा-ट्रेनिंग डेटासेट पर प्रशिक्षित किया जाता है। प्रत्येक एपिसोड में, मॉडल एक क्वेरी कंडीशन और एक सपोर्ट सेट को कंट्रोल फीचर्स में मैप करना सीखता है।
- फाइन-ट्यूनिंग: एक नवीन कार्य के लिए, केवल कंडीशन एनकोडर (जैसे, बायस टर्म्स या LoRA पैरामीटर्स) में एक छोटा टास्क-विशिष्ट पैरामीटर सेट ( $\theta_\tau$ ) और मैचिंग/प्रोजेक्शन लेयर्स को सपोर्ट सेट का उपयोग करके फाइन-ट्यून किया जाता है। साझा बैकबोन पैरामीटर्स फ्रोजन रहते हैं।

आर्किटेक्चर इंस्टेंशिएशन (Architecture Instantiation)

लेखक स्टेबल डिफ्यूजन (दोनों UNet और DiT बैकबोन) का उपयोग करके ControlNet फ्रेमवर्क के भीतर UFC को स्थापित करते हैं।

कंडीशन एनकोडर $g_\tau$ और इमेज एनकोडर $f$ को प्री-ट्रेन्ड UNet एनकोडर की प्रतियों के रूप में इनिशियलाइज किया जाता है।
पैच-वाइज मैचिंग को मल्टी-हेड क्रॉस-अटेंशन ब्लॉक्स का उपयोग करके एनकोडर के कई स्तरों पर किया जाता है।
परिणामी कंट्रोल फीचर्स को ज़ीरो-इनिशियलाइज्ड लीनियर लेयर्स के माध्यम से प्रोजेक्ट और डिफ्यूजन मॉडल के फीचर्स में जोड़ा जाता है, जो मानक ControlNet इंजेक्शन के समान है।

मुख्य योगदान (Key Contributions)

प्रथम फ्यू-शॉट स्पेशियल कंट्रोल फ्रेमवर्क: यह पेपर विशेष रूप से टेक्स्ट-टू-इमेज डिफ्यूजन मॉडल्स में फ्यू-शॉट स्पेशियल कंट्रोल के लिए डिज़ाइन की गई पहली विधि प्रस्तावित करता है, जो न्यूनतम एनोटेटेड डेटा (जैसे, 30 उदाहरण) का उपयोग करके नवीन स्थितियों के साथ छवियां उत्पन्न करने में सक्षम है।
यूनिवर्सल एडेप्टर डिज़ाइन: टास्क-एग्नोस्टिक विजुअल फीचर्स को इंटरपोलेट करने के लिए पैच-वाइज मैचिंग का उपयोग करके, UFC विविध स्पेशियल मोडैलिटीज (एज, डेप्थ, पोज़, सेगमेंटेशन) को एक एकल कंट्रोल मैकेनिज्म में एकीकृत करता है, जिससे पिछले तरीकों की डोमेन विसंगति (domain discrepancy) की समस्याओं को दूर किया जा सके।
डेटा और कंप्यूट दक्षता: UFC केवल 0.1% पूर्ण प्रशिक्षण डेटा (150 उदाहरण) का उपयोग करके प्रतिस्पर्धी प्रदर्शन प्राप्त करता है और अनुकूलन के लिए काफी कम पैरामीटर्स का उपयोग करता है।
आर्किटेक्चर एग्नोस्टिक: यह विधि UNet और DiT (डिफ्यूजन ट्रांसफार्मर) दोनों बैकबोन पर प्रभावी सिद्ध हुई है, जो आधुनिक डिफ्यूजन आर्किटेक्चर के लिए इसकी प्रयोज्यता सुनिश्चित करती है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने छह नवीन स्पेशियल कंट्रोल कार्यों पर UFC का मूल्यांकन किया: Canny edges, HED edges, Depth, Surface Normal, Human Pose, और Densepose। मूल्यांकन में इन कार्यों के उपसमुच्चयों (subsets) पर मेटा-ट्रेनिंग और होल्ड-आउट कार्यों पर फ्यू-शॉट फाइन-ट्यूनिंग (30 शॉट्स) शामिल थी।

कंट्रोलेबिलिटी (Controllability): UFC ने सभी कार्यों में मौजूदा फ्यू-शॉट और ट्रेनिंग-फ्री बेसलाइन्स (जैसे, Prompt Diffusion, Ctrl-X, Uni-ControlNet) को लगातार पछाड़ दिया। उदाहरण के लिए, Canny कार्य पर, UFC ने 0.3239 का SSIM प्राप्त किया, जबकि Prompt Diffusion (फ्यू-शॉट) का 0.2120 और Ctrl-X (ट्रेनिंग-फ्री) का 0.2901 था।
इमेज क्वालिटी: UFC ने सटीक स्पेशियल कंट्रोल प्राप्त करते हुए उच्च इमेज क्वालिटी (फुलली सुपरवाइज्ड बेसलाइन्स के तुलनीय FID स्कोर) बनाए रखी।
फ्यू-शॉट प्रदर्शन: केवल 30 सपोर्ट उदाहरणों के साथ, UFC ने स्पेशियल कंडीशंस के अनुरूप सूक्ष्म नियंत्रण प्राप्त किया। जब इसे 150 उदाहरणों (पूर्ण डेटा का 0.1%) के साथ फाइन-ट्यून किया गया, तो Normal, Depth, और Canny कार्यों पर UFC का प्रदर्शन फुल्ली सुपरवाइज्ड बेसलाइन्स के बराबर था।
एब्लेशन स्टडीज: मैचिंग मैकेनिज्म या फाइन-ट्यूनिंग स्टेप को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई, जो एनालॉजी-आधारित इंटरपोलेशन और सामान्यीकरण के लिए पैरामीटर अडैप्टेशन दोनों की आवश्यकता की पुष्टि करता है।
3D में सामान्यीकरण: इसका परीक्षण नवीन 3D कंडीशंस (मेष, वायरफ्रेम, पॉइंट क्लाउड) पर भी किया गया, जो मेटा-ट्रेनिंग सेट से परे अनदेखी स्पेशियल मोडैलिटीज तक सामान्यीकरण करने की इसकी क्षमता को प्रदर्शित करता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि UFC जेनरेटिव एआई में स्पेशियल कंट्रोल की व्यावहारिकता और लचीलेपन की दिशा में एक महत्वपूर्ण कदम है। नवीन स्थानिक स्थितियों के लिए केवल कुछ उदाहरणों का उपयोग करके प्री-ट्रेन्ड डिफ्यूजन मॉडल्स के उपयोग को सक्षम बनाकर, UFC महंगे, टास्क-विशिष्ट प्रशिक्षण पाइपलाइनों की आवश्यकता को समाप्त करता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण फुल्ली सुपरवाइज्ड कंट्रोल एडेप्टर्स की कठोरता और ट्रेनिंग-फ्री विधियों की सीमित अनुकूलन क्षमता के बीच के अंतर को पाटता है। वे UFC को एक ऐसे समाधान के रूप में प्रस्तुत करते हैं जो "बहुमुखी और डेटा-कुशल" नियंत्रण की अनुमति देता है, जिससे उभरते या विशिष्ट कार्यों के लिए स्पेशियल कंट्रोल को लागू करना संभव हो जाता है, जिसके लिए विशाल डेटासेट की आवश्यकता नहीं होती है।

पेपर एक विनम्र सीमा की स्वीकृति के साथ समाप्त होता है: फ्रेमवर्क वर्तमान में अपीयरेंस-प्रिजर्विंग कार्यों (जैसे स्टाइल ट्रांसफर या इनपेंटिंग) के बजाय स्पेशियल कंट्रोल जनरेशन के लिए डिज़ाइन किया गया है, और इसमें अभी भी प्रत्येक नए कार्य के लिए थोड़े फाइन-ट्यूनिंग की आवश्यकता होती है, जैसा कि लार्ज लैंग्वेज मॉडल्स के मामले में होता है जो केवल इन-कॉन्टेक्स्ट लर्निंग के माध्यम से अनुकूलित होते हैं। हालांकि, लेखक स्पेशियल कंट्रोल के लिए इसी तरह की इन-कॉन्टेक्स्ट क्षमताओं के विकास को भविष्य के अनुसंधान के लिए एक आशाजनक दिशा के रूप में देखते हैं।