💻 computer science

SteeringDiffusion: A Bottlenecked Activation Control Interface for Diffusion Models

यह शोधपत्र SteeringDiffusion को प्रस्तुत करता है, जो एक पैरामीटर-कुशल, फ्रोजन-बैकबोन कंट्रोल इंटरफ़ेस है जो डिफ्यूजन मॉडल्स में कंटेंट और स्टाइल के बीच सुचारू, मोनोटोनिक और रनटाइम-समायोज्य ट्रेड-ऑफ सक्षम करने के लिए एक प्रॉम्प्ट-कंडीशन्ड लेटेंट कोड सीखता है, जो कंट्रोलेबिलिटी और स्थिरता में LoRA जैसे मौजूदा तरीकों से बेहतर प्रदर्शन करता है।

मूल लेखक: Fangzheng Wu, Brian Summa

प्रकाशित 2026-05-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Fangzheng Wu, Brian Summa

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक मास्टर शेफ (डिफ्यूजन मॉडल) है जो किसी भी व्यंजन को बनाने में अविश्वसनीय रूप से प्रतिभाशाली है, लेकिन वह अपने पुराने ढर्रे पर ही सेट है। आप उसके खाना पकाने के स्वाद को बदलना चाहते हैं—शायद एक "वैनिला" स्टाइल या एक "स्पाइसी" स्टाइल जोड़ना चाहते हैं—लेकिन आप उसे शुरू से से फिर से प्रशिक्षित (retrain) नहीं करना चाहते (जो महंगा और जोखिम भरा है), और आप यह भी नहीं चाहते कि वह मूल व्यंजन बनाना भूल जाए।

अधिकांश वर्तमान तरीके ऐसे हैं जैसे शेफ की पूरी रेसिपी बुक को फिर से लिखने की कोशिश करना। यदि आप बहुत अधिक बदलाव करते हैं, तो व्यंजन बिगड़ जाता है। यदि आप बहुत कम बदलाव करते हैं, तो स्वाद उभर कर नहीं आता।

SteeringDiffusion एक नया, चतुर तरीका है जिससे आप शेफ को उसकी रेसिपी बुक को छुए बिना एक "फ्लेवर डायल" (स्वाद का पहिया) दे सकते हैं।

मुख्य विचार: द "फ्लेवर डायल" (स्वाद का पहिया)

रेसिपी बुक को फिर से लिखने के बजाय, लेखकों ने एक छोटा, बाहरी कंट्रोल पैनल बनाया है जो शेफ के ऊपर स्थित है।

द फ्रोजन शेफ (जमा हुआ शेफ): मुख्य कुकिंग इंजन (U-Net) पूरी तरह से फ्रीज है। यह बदलता नहीं है। यह सुरक्षित है।
द लिटिल हेल्पर (द बॉटलनेक): उन्होंने एक छोटा, स्मार्ट सहायक जोड़ा है जो आपके अनुरोध (टेक्स्ट प्रॉम्प्ट) को देखता है और एक छोटा "गुप्त कोड" (एक लेटेंट वेक्टर) बनाता है।
द डायल (द स्केलर): यही जादू वाला हिस्सा है। जिस क्षण आप शेफ को खाना पकाने के लिए कहते हैं, आप एक अकेला नॉब (एक नंबर जिसे $s$ कहा जाता है) घुमाते हैं।
- नॉब 0 पर: शेफ बिल्कुल वैसे ही खाना पकाता है जैसे वह हमेशा से बनाता आया है। कोई बदलाव नहीं।
- नॉब ऊपर घुमाने पर: सहायक शेफ को निर्देश फुसफुसाता है, लेकिन केवल खाना पकाने के अंतिम, नाजुक चरणों के दौरान (जैसे कि अंतिम गार्निश या मसाला डालने के समय)।
- परिणाम: जैसे-जैसे आप नॉब घुमाते हैं, व्यंजन "मूल स्वाद" से "नए स्टाइल" में सहजता से बदलता जाता है। यह एक स्मूथ, अनुमानित स्लाइड है, न कि कोई अचानक उछाल।

यह अन्य तरीकों से बेहतर क्यों है?

यह पेपर इस "फ्लेवर डायल" की तुलना AI आर्ट को बदलने के अन्य लोकप्रिय तरीकों से करता है:

LoRA (द "रेसिपी रीराइट"): LoRA शेफ की वास्तविक रेसिपी बुक में बदलाव करने की कोशिश करता है। यह ठीक काम करता है, लेकिन यदि आप स्वाद को बहुत अधिक तीव्र करने की कोशिश करते हैं, तो व्यंजन अचानक बिखर जाता है। यह एक वॉल्यूम नॉब की तरह है जो कम सेटिंग्स पर तो ठीक काम करता है, लेकिन हाई वॉल्यूम पर स्पीकर को फाड़ सकता है। इसमें ट्रांजिशन स्मूथ नहीं होता।
ControlNet (द "ह्यूज एक्सटर्नल किचन"): ControlNet शेफ की मदद के लिए उसके बगल में एक पूरा नया किचन बनाता है। यह काम तो करता है, लेकिन यह विशाल, महंगा है, और अक्सर व्यंजन के मूल आकार को बिगाड़ देता है। यह एक दूसरे शेफ को लाने जैसा है जो गलती से मेज ही गिरा दे।
SteeringDiffusion (द "फ्लेवर डायल"): यह तरीका छोटा, सस्ता और स्मूथ है। आप डायल को 0 से 10 तक घुमा सकते हैं, और स्टाइल मजबूत होता जाएगा बिना मूल इमेज को नुकसान पहुँचाए।

"टाइम ट्रैवल" का कमाल

इस सिस्टम का सबसे स्मार्ट हिस्सा यह है कि यह कब हस्तक्षेप करता है।
कल्पना कीजिए कि आप एक पेंटिंग बना रहे हैं।

शुरुआती चरण: आप आउटलाइन और बड़े आकार बनाते हैं।
अंतिम चरण: आप रंग, ब्रशस्ट्रोक और टेक्सचर जोड़ते हैं।

SteeringDiffusion इसे जानता है। इसके पास एक "टाइम गेट" है जो कहता है, "स्केच को मत छुओ! जब हम पेंट लगा रहे हों, तभी स्टाइल के बारे में फुसफुसाओ।" यह सुनिश्चित करता है कि तस्वीर अपना आकार (कंटेंट) बनाए रखे जबकि स्टाइल बदलता रहे। यदि इसने स्केचिंग चरण के दौरान स्टाइल बदलने की कोशिश की, तो पूरी इमेज बिखर जाएगी।

उन्होंने क्या साबित किया?

शोधकर्ताओं ने दो अलग-अलग AI मॉडल्स (SD 1.5 और SDXL) का उपयोग करके प्रसिद्ध कला शैलियों (जैसे इम्प्रेशनिज्म और उकियो-ए) पर इसका परीक्षण किया।

स्मूथनेस (सुगमता): उन्होंने साबित किया कि डायल घुमाने से एक बिल्कुल स्मूथ लाइन बनती है। जैसे-जैसे आप इसे ऊपर घुमाते हैं, स्टाइल मजबूत होता जाता है, और मूल इमेज का प्रभुत्व थोड़ा कम होता जाता है, लेकिन यह कभी अचानक उछलता या टूटता नहीं है।
एफिशिएंसी (दक्षता): यह अन्य तरीकों की तुलना में बहुत कम कंप्यूटर पावर का उपयोग करता है।
स्टेबिलिटी (स्थिरता): उन्होंने एक "ट्रैजेक्टरी चेक" (जैसे शेफ के कदमों को ट्रैक करने वाला GPS) का उपयोग करके यह साबित किया कि यह तरीका शेफ के रास्ते को भ्रमित नहीं करता है, जबकि अन्य तरीके शेफ को रास्ते से भटका देते हैं।

निचोड़ (The Bottom Line)

SteeringDiffusion एक स्थिर, हाई-पावर्ड AI आर्टिस्ट को एक साधारण, सुरक्षित और स्मूथ स्लाइडर देने जैसा है, जिससे आप इमेज में कितना "स्टाइल" जोड़ना चाहते हैं, उसे नियंत्रित कर सकते हैं। आपको कलाकार को फिर से प्रशिक्षित करने की आवश्यकता नहीं है, और आपको इमेज को खराब होने की चिंता करने की भी जरूरत नहीं है। आप बस नॉब घुमाते हैं, और परिणाम अनुमानित रूप से बदलता है, "शुद्ध मूल" से "पूर्ण स्टाइल" तक।

तकनीकी सारांश: SteeringDiffusion

समस्या विवरण

डिफ्यूजन मॉडल उच्च-गुणवत्ता वाले इमेज सिंथेसिस के लिए एक प्रमुख प्रतिमान (paradigm) के रूप में स्थापित हो गए हैं। हालाँकि, इन मॉडलों को नए विज़ुअल स्टाइल या डोमेन के अनुकूल बनाना महत्वपूर्ण चुनौतियाँ पेश करता है। पारंपरिक फुल फाइन-ट्यूनिंग (full fine-tuning) कम्प्यूटेशनल रूप से महंगी है और ओवरफिटिंग की ओर प्रवृत्त होती है। जबकि LoRA, DiffFit और ऑर्थोगोनल फाइन-ट्यूनिंग जैसे पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) तरीके हल्के विकल्प प्रदान करते हैं, वे इन्फरेंस के समय एक निरंतर, ट्रैवर्सेबल कंट्रोल सरफेस (continuous, traversable control surface) प्रदान करने में विफल रहते हैं। इन तरीकों में ऑपरेटिंग पॉइंट बदलना आमतौर पर रिट्रेनिंग या मोटे हाइपरपैरामीटर ट्यूनिंग की मांग करता है, न कि एक सुसंगत कंट्रोल एक्सिस के साथ आगे बढ़ने की। इसी तरह, DreamBooth, Textual Inversion और ControlNet जैसे दृष्टिकोणों में कंटेंट-स्टाइल ट्रेड-ऑफ के निरंतर ट्रावर्सल के लिए कोई स्पष्ट इंटरफेस नहीं है जो अंतर्निहित मॉडल पैरामीटर्स को संशोधित किए बिना काम कर सके।

यह कार्य जिस मुख्य प्रश्न को संबोधित करता है, वह है: क्या डिफ्यूजन मॉडल्स को एक्टिवेशन-लेवल मॉड्यूलेशन के माध्यम से स्टीयर (steer) करके एक स्मूथ, मोनोटोनिक कंट्रोल सरफेस को उजागर किया जा सकता है?

कार्यप्रणाली: स्टीयरिंग वाया बॉटलनेक्ड एक्सप्लिसिट कंट्रोल (S-BEC)

लेखक Steering via Bottlenecked Explicit Control (S-BEC) की अवधारणा पर आधारित एक विधि, SteeringDiffusion का प्रस्ताव करते हैं। वेट-स्पेस अडैप्टेशन (weight-space adaptation) विधियों के विपरीत, SteeringDiffusion पूरे U-Net बैकबोन को पूरी तरह से फ्रीज रखता है और एक्टिवेशन स्तर पर एक हल्का कंट्रोल इंटरफेस पेश करता है।

मुख्य आर्किटेक्चर

फ्रीज़्ड बैकबोन (Frozen Backbone): प्री-ट्रेंड Stable Diffusion (SD 1.5 या SDXL), VAE, और CLIP टेक्स्ट एनकोडर अपरिवर्तित रहते हैं।
प्रॉम्प्ट-कंडीशन्ड लेटेंट कोड (Prompt-Conditioned Latent Code): एक छोटा, लर्न करने योग्य मॉड्यूल ( $g_\theta$ ) एक पूल्ड टेक्स्ट एम्बेडिंग (फ्रीज़्ड CLIP एनकोडर से) को लो-डायमेंशनल स्टीयरिंग कोड $v \in \mathbb{R}^k$ में मैप करता है। अनुभवजन्य परिणाम बताते हैं कि एक छोटा डायमेंशन ( $k \approx 8\text{--}16$ ) पर्याप्त है।
एक्टिवेशन मॉड्यूलेशन (Activation Modulation): यह लेटेंट कोड $v$ $v$ एफाइन पैरामीटर्स ( $\gamma, \beta$ $γ, β$ ) में प्रोजेक्ट होता है जो FiLM/AdaGN-स्टाइल ट्रांसफॉर्मेशन के माध्यम से इंटरमीडिएट एक्टिवेशन्स को मॉड्यूलेट करता है। यह संशोधन U-Net के मिडिल और अप-सैंपलिंग ब्लॉक्स में GroupNorm-नॉर्मलाइज्ड फीचर्स पर लागू किया जाता है।
- अपडेट नियम है: $\Delta_\ell(h_\ell, c, t) = s \cdot f(t) \cdot (\gamma_\ell(v) \odot \text{GN}(h_\ell) + \beta_\ell(v))$ ।
जीरो-इनिशियलाइजेशन (Zero-Initialization): सभी स्टीयरिंग प्रोजेक्शंस को जीरो-इनिशियलाइज़ किया गया है। यह गारंटी देता है कि स्टीयरिंग स्केल $s=0$ पर, आउटपुट बिल्कुल मूल फ्रीज़्ड मॉडल के समान होता है, जिससे कंट्रोल को अक्षम करने पर कोई गिरावट नहीं आती है।
टेम्पोरल गेटिंग (Temporal Gating): एक टाइमस्टेप-अवेयर गेटिंग फंक्शन $f(t)$ (एक शिफ्टेड-स्केल्ड सिग्मॉइड) शुरुआती डिनोइजिंग स्टेप्स (जहाँ ग्लोबल स्ट्रक्चर बनता है) के दौरान मॉड्यूलेशन को दबा देता है और बाद के चरणों (जहाँ टेक्सचर और स्टाइल को रिफाइन किया जाता है) में इसे बढ़ा देता है। यह कंटेंट डिसरप्शन को रोकता है।

इन्फरेंस कंट्रोल

इन्फरेंस के समय, एक सिंगल स्केलर $s$ स्टीयरिंग की स्ट्रेंथ को नियंत्रित करता है। यह उपयोगकर्ताओं को रिट्रेनिंग या मॉडल वेट्स बदले बिना कंटेंट-स्टाइल ट्रेड-ऑफ को निरंतर रूप से ट्रावर्स करने की अनुमति देता है।

मुख्य योगदान

एक्टिवेशन-लेवल स्टीयरिंग फ्रेमवर्क: यह पेपर S-BEC को फ्रीज़्ड डिफ्यूजन बैकबोन्स को हल्के एक्टिवेशन मॉड्यूलेशन के माध्यम से नियंत्रित करने के लिए एक सामान्य एब्स्ट्रैक्शन के रूप में पेश करता है।
स्मूथ कंट्रोल सरफेस: लेखक प्रदर्शित करते हैं कि यह दृष्टिकोण एक स्मूथ, मोनोटोनिक, और स्टाइल-इनवेरिएंट कंट्रोल सरफेस को उजागर करता है। स्केलर $s$ को बदलने से कंटेंट प्रिजर्वेशन और स्टाइल इंटेंसिटी के बीच एक प्रेडिक्टेबल ट्रेड-ऑफ मिलता है।
इनवर्जन-स्टेबिलिटी डायग्नोस्टिक: ट्रेजेक्टरी परर्बेशन (trajectory perturbation) को मापने के लिए एक नया डायग्नोस्टिक मेट्रिक (DDIM इनवर्जन पर आधारित) पेश किया गया है। यह मेट्रिक इंटरवेंशन मैग्नीट्यूड के साथ मजबूत सहसंबंध दिखाता है और मानक पर्सेप्चुअल मेट्रिक्स का पूरक बनता है।
पैराडाइम डिस्टिंक्शन: यह कार्य स्थापित करता है कि मौजूदा विधियाँ (LoRA, ControlNet, रैंक-1 एडैप्टर) तुलनीय कंट्रोल सरफेस को उजागर नहीं कर सकती हैं, जो S-BEC को एक विशिष्ट और बेहतर प्रतिमान के रूप में स्थापित करता है।

प्रयोगात्मक परिणाम

प्रयोग ArtBench-10 डेटासेट (Art Nouveau, Impressionism, Renaissance, और Ukiyo-e जैसे स्टाइल्स को कवर करते हुए) का उपयोग करके Stable Diffusion 1.5 और SDXL पर किए गए।

मोनोटोनिसिटी (Monotonicity): सभी टेस्ट किए गए स्टाइल्स और डायमेंशन्स ( $k$ ) में, स्टीयरिंग स्केल $s$ को बढ़ाने से स्टाइल शिफ्ट में निरंतर वृद्धि और कंटेंट प्रिजर्वेशन (CLIP-I) में कमी देखी गई, जिसमें शून्य उल्लंघन पाया गया।
LoRA के साथ तुलना: मैच किए गए पैरामीटर बजट के तहत (Steering: 0.88M params बनाम LoRA: 0.80M params), SteeringDiffusion ने तुलनीय कंटेंट प्रिजर्वेशन स्तरों पर 33–80% अधिक स्टाइल शिफ्ट प्राप्त किया। महत्वपूर्ण रूप से, जहाँ LoRA ने "स्टाइल कोलैप्स" (नॉन-मोनोटोनिक व्यवहार और कंटेंट प्रिजर्वेशन में तीव्र गिरावट) दिखाया, वहीं SteeringDiffusion ने एक स्मूथ ट्रेड-ऑफ बनाए रखा।
ControlNet और Rank-1 के साथ तुलना: ControlNet को 720 $\times$ अधिक पैरामीटर्स की आवश्यकता थी और इसने काफी अधिक कंटेंट डिसरप्शन पैदा किया। रैंक-1 एडैप्टर्स ने मैच किए गए कंटेंट प्रिजर्वेशन पर केवल ~69% ही स्टाइल शिफ्ट प्राप्त किया और गंभीर ट्रेजेक्टरी डिसरप्शन उत्पन्न किया।
जनरलाइजेशन (Generalization): स्मूथ कंट्रोल सरफेस बिना किसी आर्किटेक्चरल बदलाव के SD 1.5 से बड़े SDXL बैकबोन तक प्रभावी ढंग से जनरलाइज हुआ।
दक्षता (Efficiency): यह विधि नगण्य इन्फरेंस ओवरहेड (~3 ms) जोड़ती है और LoRA बेसलाइन्स की तुलना में लगभग 2 $\times$ तेजी से ट्रेन होती है।

महत्व और दावे

यह पेपर SteeringDiffusion को फ्रीज़्ड डिफ्यूजन मॉडल्स के लिए एक व्यावहारिक, जनरल-पर्पस कंट्रोल इंटरफेस के रूप में प्रस्तुत करता। इसका प्राथमिक महत्व कंट्रोलैबिलिटी को पैरामीटर-काउंट की समस्या के बजाय एक इंटरफेस डिजाइन समस्या के रूप में पुनर्परिभाषित करने में निहित है।

लेखक तर्क देते हैं कि:

लो-डायमेंशनल ज्योमेट्री: सभी स्टीइंग निर्णयों को एक सिंगल, लो-डायमेंशनल लेटेंट कोड के माध्यम से संचालित करके (जो सभी ब्लॉक्स में साझा है), S-BEC नेटवर्क डेप्थ से स्वतंत्र एक स्पष्ट कंट्रोल इंटरफेस बनाता है। यह वेट-स्पेस विधियों (जैसे LoRA) के विपरीत है जहाँ कंट्रोल हजारों स्वतंत्र पैरामीटर्स में वितरित होता है, जिससे उच्च तीव्रता पर इनकोहेरेंट और नॉन-मोनोटोनिक व्यवहार होता है।
ट्रेजेक्टरी कोहेरेंस (Trajectory Coherence): एक्टिवेशन-लेवल मॉड्यूलेशन डिफ्यूजन डायनेमिक्स के अंतर्निहित वेक्टर फील्ड को बदले बिना वर्तमान स्थिति को बाधित करता है। यह कोहेरेंट डिनोइजिंग ट्रेजेक्टरी को सुरक्षित रखता है, जबकि वेट अपडेट या बाहरी शाखाएं (ControlNet) अस्थिर क्षेत्रों या अट्रैक्टर्स को पेश कर सकती हैं।
टेम्पोरल एलाइनमेंट (Temporal Alignment): टाइमस्टेप-अवेयर गेटिंग कंट्रोल को स्टाइल के सिमेंटिक इमर्जेंस (लेट स्टेज) के साथ संरेखित करती है, जिससे कंटेंट और स्टाइल के बीच होने वाले एंटैंगलमेंट को रोका जा सकता है जो यूनिफॉर्म परर्बेशन के मामले में होता है।

पेपर निष्कर्ष निकालता है कि एक छोटा, स्पष्ट, बॉटलनेक्ड और टेम्पोरली अलाइन्ड कंट्रोल इंटरफेस बड़े फ्रीज़्ड बैकबोन्स पर एक वेल-बिहेव्ड कंट्रोल सरफेस को उजागर कर सकता है, जो वर्तमान PEFT और एडिटिंग विधियों के लिए एक स्थिर विकल्प प्रदान करता है। लेखक स्पष्ट रूप से नोट करते हैं कि उनके दावे स्टाइल ट्रांसफर के लिए मान्य हैं और ऑब्जेक्ट आइडेंटिटी, स्पेशियल लेआउट या सुरक्षा संबंधी बाधाओं जैसे अन्य गुणों या सुरक्षा प्रतिबंधों के लिए आगे के अनुभवजन्य सत्यापन की आवश्यकता है।