💻 computer science

Adaptive Auxiliary Prompt Blending for Target-Faithful Diffusion Generation

यह शोध पत्र एडेप्टिव ऑक्जिलरी प्रॉम्प्ट ब्लेंडिंग (AAPB) प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त ढांचा है जो टवीडी की पहचान (Tweedie's identity) पर आधारित एक क्लोज्ड-फॉर्म एडेप्टिव गुणांक का उपयोग करता है ताकि ऑक्जिलरी एंकर प्रॉम्प्ट्स और टारगेट प्रॉम्प्ट्स के बीच गतिशील रूप से संतुलन बनाया जा सके, जिससे डिफ्यूजन मॉडल्स में दुर्लभ अवधारणाओं और संपादन कार्यों के लिए अर्थपूर्ण रूप से सटीक और संरचनात्मक रूप से निष्ठावान छवि निर्माण सुनिश्चित किया जा सके।

मूल लेखक: Kwanyoung Lee, SeungJu Cha, Yebin Ahn, Hyunwoo Oh, Sungho Koh, Dong-Jin Kim

प्रकाशित 2026-03-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kwanyoung Lee, SeungJu Cha, Yebin Ahn, Hyunwoo Oh, Sungho Koh, Dong-Jin Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास डिफ्यूजन (Diffusion) नाम का एक सुपर-स्मार्ट कलाकार है। इस कलाकार ने लाखों चित्रों और उनके विवरणों का वर्षों तक अध्ययन किया है। वे "एक बिल्ली," "एक समुद्र तट," या "एक कार" जैसी सामान्य चीजों को बनाने में माहिर हैं।

लेकिन, यदि आप उन्हें कुछ दुर्लभ या अजीब चीज़ बनाने के लिए कहते हैं, जैसे कि "एक बालों वाला मेंढक" या "एक बाघ की धारियों वाला डलमेशन," तो वे भ्रमित हो जाते हैं। क्योंकि उन्होंने बहुत सारे सामान्य मेंढक और सामान्य डलमेशन देखे हैं, उनका दिमाग सबसे आम संस्करण पर ही वापस चला जाता है। वे आपके विशिष्ट अनुरोध से भटक जाते हैं और एक सामान्य मेंढक बना देते हैं या आपके विशिष्ट मिश्रण के बजाय एक जेनेरिक कुत्ता बना देते हैं। वे अपने सबसे अच्छे ज्ञान की ओर वापस लौट जाते हैं।

यह पेपर इस समस्या को ठीक करने के लिए AAPB (Adaptive Auxiliary Prompt Blending) नामक एक नई तकनीक पेश करता है। यह कैसे काम करता है, इसके लिए कुछ रोजमर्रा के उदाहरणों का उपयोग किया गया है:

समस्या: "भटकता हुआ जहाज" (The Drifting Ship)

AI की निर्माण प्रक्रिया को एक जहाज की तरह समझें जो एक विशिष्ट, छिपे हुए द्वीप (आपका दुर्लभ विचार, जैसे, "बालों वाला मेंढक") की ओर जाने की कोशिश कर रहा है।

महासागर: AI का प्रशिक्षण डेटा महासागर है। अधिकांश महासागर "सामान्य द्वीपों" (सामान्य मेंढक) से भरा है।
भटकाव (The Drift): क्योंकि "बालों वाला मेंढक" द्वीप बहुत दुर्लभ है, जहाज का दिशा-सूचक यंत्र (AI का आंतरिक तर्क) वहां कमजोर हो जाता है। जहाज स्वाभाविक रूप से निकटतम, सबसे भीड़भाड़ वाले द्वीप (सामान्य मेंढक) की ओर बह जाता है क्योंकि वहां पानी गहरा और सुरक्षित है।

पुराना समाधान: "कठोर लाइफ जैकेट" (The Rigid Life Vest)

पिछले तरीकों ने जहाज को एक लाइफ जैकेट (एक "एंकर" प्रॉम्प्ट) देकर इसे ठीक करने की कोशिश की।

यदि आप एक "बालों वाले मेंढक" को चाहते हैं, तो लाइफ जैकेट "बालों वाला जानवर" है।
दोष: पुराने तरीकों में एक निश्चित (fixed) लाइफ जैकेट का उपयोग किया जाता था। उन्होंने कहा, "इस लाइफ जैकेट को 50% समय पकड़ कर रखें।"
- यदि वे इसे बहुत कसकर पकड़ते हैं, तो जहाज "बालों वाले जानवर" के द्वीप पर फंस जाता है और कभी "मेंढक" वाले हिस्से तक नहीं पहुँच पाता।
- यदि वे इसे बहुत ढीला छोड़ देते हैं, तो जहाज वापस "सामान्य मेंढक" के द्वीप की ओर बह जाता है।
- समस्या यह है कि जहाज को अलग-अलग समय पर अलग-अलग मदद की आवश्यकता होती है। कभी-कभी उसे मजबूत पकड़ की आवश्यकता होती है; कभी-कभी उसे छोड़ना पड़ता है और खुद स्टीयरिंग संभालनी पड़ती है।

नया समाधान: "स्मार्ट, अनुकूलनीय मार्गदर्शक" (The Smart, Adaptive Guide)

लेखकों की विधि, AAPB, एक कठोर लाइफ जैकेट के बजाय जहाज को एक स्मार्ट, अनुकूलनीय मार्गदर्शक देने जैसा है।

दो प्रॉम्प्ट्स:
- टारगेट प्रॉम्प्ट (Target Prompt): "बालों वाला मेंढक" (गंतव्य)।
- एंकर प्रॉम्प्ट (Anchor Prompt): "बालों वाला जानवर" (सुरक्षा जाल)।
जादुई फॉर्मूला (The "Adaptive Coefficient"):
एक निश्चित 50/50 के विभाजन के बजाय, AI ड्राइंग प्रक्रिया के हर एक चरण में एक परफेक्ट, बदलता हुआ संतुलन की गणना करता है।
- प्रक्रिया की शुरुआत में: जहाज द्वीप से दूर है और बहुत भ्रमित है। मार्गदर्शक कहता है, "ताकि हम भटक न जाएं, 'बालों वाले जानवर' की अवधारणा को मजबूती से पकड़ लो!" (एंकर पर उच्च निर्भरता)।
- प्रक्रिया के अंत में: जहाज "मेंढक" के आकार के करीब पहुँच रहा है। मार्गदर्शक कहता है, "ठीक है, अब तुम स्थिर हो। 'जानवर' वाले हिस्से को छोड़ दो और पूरी तरह से 'मेंढक' बनाने पर ध्यान केंद्रित करो!" (एंकर पर कम निर्भरता)।
"Tweedie's Identity" का गुप्त नुस्खा:
यह पेपर यह पता लगाने के लिए कि किसी भी क्षण में एंकर पर कितना सहारा लेना है, एक गणितीय ट्रिक (Tweedie's identity) का उपयोग करता है। यह एक GPS की तरह है जो हवा और लहरों के आधार पर लगातार रास्ता फिर से कैलकुलेट करता है, जिससे यह सुनिश्चित होता है कि जहाज "सामान्य मेंढक" से टकराए बिना "बालों वाले मेंढक" के सटीक पथ पर बना रहे।

यह बेहतर क्यों है?

कोई री-ट्रेनिंग नहीं: आपको AI को एक नई भाषा सिखाने की आवश्यकता नहीं है। आप बस यह बदलते हैं कि वह चित्र बनाते समय कैसे सोचता है।
एडिटिंग के लिए उपयोगी: यह फोटो बदलने के लिए भी काम करता है। यदि आप एक "धूसर (gray) बिल्ली" को "शेर" में बदलना चाहते हैं, तो AI बिल्ली के आकार को बनाए रखने के लिए मूल फोटो का उपयोग "एंकर" के रूप में करता है, जबकि "शेर" प्रॉम्प्ट फर और चेहरे को बदल देता है। अनुकूलनीय मार्गदर्शक जानता है कि कब बिल्ली के आकार को बनाए रखना है और कब शेर के लक्षणों को हावी होने देना है।

परिणाम

परीक्षणों में, यह विधि कलाकार को एक सुपरपावर देने के समान थी।

दुर्लभ अवधारणाएं: इसने सफलतापूर्वक "बालों वाले मेंढक," "केले के आकार की कार," और "बाघ की धारियों वाले डलमेशन" को बनाया जो वास्तव में प्रॉम्प्ट की तरह दिखे, न कि केवल सामान्य संस्करण की तरह।
संरचना (Structure): फोटो एडिट करते समय, इसने मूल संरचना (जैसे चेहरे या इमारत का आकार) को बनाए रखा और साथ ही नए बदलावों को पूरी तरह से लागू किया।

संक्षेप में: AAPB, AI को आलसी होने और सामान्य विचारों पर डिफ़ॉल्ट होने से रोकता है। यह एक गतिशील कोच की तरह कार्य करता है, जो लगातार यह समायोजित करता है कि आपके विशिष्ट, अजीब और अद्भुत विचारों के प्रति सच्चे रहने के लिए AI को कितनी मदद की आवश्यकता है।

यहाँ शोध पत्र "Adaptive Auxiliary Prompt Blending for Target-Faithful Diffusion Generation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डिफ्यूजन-आधारित टेक्स्ट-टू-इमेज (T2I) मॉडल सामान्य अवधारणाओं के लिए यथार्थवादी चित्र बनाने में उत्कृष्ट हैं, लेकिन वे तब संघर्ष करते हैं जब लक्षित अवधारणाएं प्रशिक्षण वितरण (training distribution) के लो-डेंसिटी क्षेत्रों (low-density regions) में स्थित होती हैं। यह समस्या दो प्राथमिक परिदृश्यों में प्रकट होती है:

दुर्लभ अवधारणा निर्माण (Rare Concept Generation): मॉडल अर्थपूर्ण रूप से दुर्लभ या संयोजी अवधारणाओं (जैसे, "hairy frog" या "origami cat") को संश्लेषित करने में विफल रहते हैं क्योंकि ये संयोजन प्रशिक्षण डेटा में कम प्रतिनिधित्व वाले होते हैं। उत्पन्न चित्र अक्सर अर्थपूर्ण रूप से प्रभावी, उच्च-घनत्व वाली अवधारणाओं की ओर झुक जाते हैं (जैसे, एक 'hairy frog' के बजाय एक मानक मेंढक उत्पन्न करना)।
इमेज एडिटिंग (Image Editing): जब असामान्य या जटिल निर्देशों के साथ छवियों को संपादित किया जाता है, तो मॉडल नए अर्थपूर्ण प्रॉम्प्ट का पालन करते हुए मूल छवि की संरचना को बनाए रखने में संघर्ष करते हैं, जिससे संरचनात्मक गिरावट या अर्थपूर्ण विचलन (semantic drift) होता है।

इसका मूल कारण टेक्स्ट-इमेज डेटासेट की लॉन्ग-टेल्ड प्रकृति (long-tailed nature) है। सीखा गया स्कोर फंक्शन लो-डेंसिटी क्षेत्रों में कम-नियंत्रित हो जाता है, जिससे डिनोइजिंग प्रक्षेपवक्र (denoising trajectory) उच्च-घनत्व वाले मोड की ओर विचलित हो जाता है। मौजूदा समाधान अक्सर एक टारगेट प्रॉम्प्ट और एक ऑक्जिलरी एंकर (एक बारंबारता वाली अवधारणा या मूल छवि) के बीच बारी-बारी से बदलने के लिए फिक्स्ड ह्यूरिस्टिक शेड्यूल्स (fixed heuristic schedules) पर निर्भर करते हैं, लेकिन ये स्थिर दृष्टिकोण विभिन्न डिफ्यूजन टाइमस्टेप्स में स्थिरता और निष्ठा (fidelity) को इष्टतम रूप से संतुलित करने में विफल रहते हैं।

2. कार्यप्रणाली: एडैप्टिव ऑक्जिलरी प्रॉम्प्ट ब्लेंडिंग (AAPB)

लेखक AAPB का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री फ्रेमवर्क है जो प्रत्येक डिफ्यूजन स्टेप पर एक ऑक्जिलरी एंकर प्रॉम्प्ट के प्रभाव को अनुकूल रूप से (adaptively) नियंत्रित करके डिफ्यूजन प्रक्रिया को स्थिर करता है।

मुख्य तंत्र (Core Mechanism)

AAPB, क्लासिफायर-फ्री गाइडेंस (CFG) का सामान्यीकरण करता है। एक निश्चित रैखिक संयोजन के बजाय, यह एक क्लोज्ड-फॉर्म एडैप्टिव कोएफिशिएंट ( $\gamma^*_t$ ) पेश करता है जो डायनेमिक रूप से टारगेट प्रॉम्प्ट ( $\tilde{c}_T$ ) और ऑक्जिलरी एंकर प्रॉम्प्ट ( $\tilde{c}_A$ ) को संतुलित करता है।

ब्लेंडेड स्कोर फंक्शन (Blended Score Function):
कंडीशनल स्कोर को एक लीनियर ब्लेंड के रूप में पुनर्गठित किया गया है:
$s_\theta(x_t, c) = (1 - \gamma_t) s_\theta(x_t, \tilde{c}_T) + \gamma_t s_\theta(x_t, \tilde{c}_A)$
इसे डिनोइजिंग प्रक्षेपवक्र को निर्देशित करने के लिए CFG फॉर्मूलेशन में एकीकृत किया जाता है।
ट्वीडी की पहचान (Tweedie's Identity) के माध्यम से व्युत्पत्ति:
यह विधि ट्वीडी की पहचान (Tweedie's identity) पर आधारित है, जो क्लीन डेटा के पोस्टीरियर मीन को स्कोर फंक्शन से जोड़ती है। लेखक देखते हैं कि एक ब्लेंडेड स्कोर का पोस्टीरियर मीन एंकर के हाई-डेंसिटी क्षेत्र की ओर झुकता है। इसे ठीक करने के लिए, वे ब्लेंडेड एस्टीमेट और टारगेट पोस्टीरियर मीन के बीच की दूरी को कम करने के लिए एक रेगुलराइजेशन लॉस तैयार करते हैं।

स्कोर स्पेस में ब्लेंडेड स्कोर और टारगेट स्कोर के बीच स्क्वेर्ड एरर को मिनिमाइज करके, वे प्रत्येक टाइमस्टेप $t$ पर इष्टतम कोएफिशिएंट $\gamma^*_t$ के लिए एक क्लोज्ड-फॉर्म सॉल्यूशन निकालते हैं:
$\gamma^*_t(x_t) = \frac{1 - w}{w} \cdot \frac{\langle s_\theta(x_t, \tilde{c}_T) - s_\theta(x_t), s_\theta(x_t, \tilde{c}_A) - s_\theta(x_t, \tilde{c}_T) \rangle}{\| s_\theta(x_t, \tilde{c}_A) - s_\theta(x_t, \tilde{c}_T) \|^2_2}$
जहाँ $w$ एक CFG स्केल है, और इनर प्रोडक्ट टर्म्स टारगेट, अनकंडीशनल और एंकर स्कोर के बीच संरेखण (alignment) को दर्शाते हैं।
सैद्धांतिक गारंटी (Theoretical Guarantee):
पेपर एक सैद्धांतिक प्रस्ताव प्रदान करता है जो दिखाता है कि लॉग-कॉन्केव डिस्ट्रीब्यूशन धारणाओं के तहत, यह पॉइंटवाइज एडैप्टिव प्रोजेक्शन किसी भी फिक्स्ड इंटरपोलेशन रणनीति की तुलना में टारगेट डिस्ट्रीब्यूशन के स्क्वेर्ड 2-वॉसरस्टीन डिस्टेंस (squared 2-Wasserstein distance) पर एक टाइट अपर बाउंड प्रदान करता है।

अनुप्रयोग परिदृश्य (Application Scenarios)

दुर्लभ अवधारणा निर्माण (Rare Concept Generation): एंकर $\tilde{c}_A$ एक अर्थपूर्ण रूप से संबंधित बारंबार अवधारणा (जैसे, "hairy frog" के लिए "hairy animal") है, जिसे अक्सर LLM द्वारा जनरेट किया जाता है।
इमेज एडिटिंग (Image Editing): एंकर $\tilde{c}_A$ मूल सोर्स प्रॉम्प्ट (या अनएडिटेड इमेज कॉन्टेक्स्ट) है, जो संपादन लागू करते समय संरचनात्मक निरंतरता सुनिश्चित करता है।

3. प्रमुख योगदान (Key Contributions)

एकीकृत फ्रेमवर्क (Unified Framework): AAPB पेश किया गया, जो एक ट्रेनिंग-फ्री मेथड है जो एक एकल एडैप्टिव ऑप्टिमाइजेशन सिद्धांत के तहत दुर्लभ अवधारणा निर्माण और इमेज एडिटिंग को एकीकृत करता है।
क्लोज्ड-फॉर्म एडैप्टिव कोएफिशिएंट (Closed-Form Adaptive Coefficient): एक गणितीय रूप से सिद्धांतबद्ध, स्टेप-वाइज एडैप्टिव कोएफिशिएंट निकाला गया जो फिक्स्ड प्रॉम्प्ट शेड्यूलिंग को रिप्लेस करता है। यह सुनिश्चित करता है कि डिनोइजिंग प्रक्षेपवक्र टारगेट अवधारणा के साथ संरेखित रहे और विचलित न हो।
सैद्धांतिक अंतर्दृष्टि (Theoretical Insight): ट्वीडी की पहचान (Tweedie's identity) और वॉसरस्टीन बाउंड्स के माध्यम से एक सैद्धांतिक प्रमाण प्रदान किया गया, जो दर्शाता है कि एडैप्टिव ब्लेंडिंग, टारगेट डिस्ट्रीब्यूशन के प्रति डिस्ट्रीब्यूशनल डिस्टेंस को कम करने में फिक्स्ड इंटरपोलेशन से बेहतर प्रदर्शन करती है।
अनुभवजन्य सत्यापन (Empirical Validation): बिना किसी रिट्रेनिंग के विविध मॉडलों (SD3, SDXL, IterComp) और कार्यों पर निरंतर सुधार प्रदर्शित किया गया।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने दो प्रमुख बेंचमार्क पर AAPB का मूल्यांकन किया: RareBench (दुर्लभ अवधारणा निर्माण) और FlowEdit (इमेज एडिटिंग)।

दुर्लभ अवधारणा निर्माण (RareBench):
- AAPB ने 84.1 औसत स्कोर प्राप्त किया (GPT-4o मूल्यांकन का उपयोग करते हुए), जो पिछले स्टेट-ऑफ-द-आर्ट (R2F) से 8.4 अंक अधिक है।
- विशिष्ट श्रेणियों में महत्वपूर्ण लाभ देखे गए: प्रॉपर्टी (+7.5), शेप (+10.0), और मल्टी-ऑब्जेक्ट रिलेशन (+6.8)।
- विधि ने विभिन्न एंकर रणनीतियों में मजबूती दिखाई, जो LLM-जेनरेटेड या सरल "ऑब्जेक्ट" रिप्लेसमेंट के साथ भी अच्छा प्रदर्शन करती रही, हालांकि GPT-4o द्वारा जनरेट किए गए एंकर्स ने सर्वश्रेष्ठ परिणाम दिए।
इमेज एडिटिंग (FlowEdit):
- AAPB ने FlowEdit और अन्य बेसलाइन्स जैसे SDEdit और ODE Inversion की तुलना में स्ट्रक्चर प्रिजर्वेशन मेट्रिक्स (CLIP-I, DINO, LPIPS, DreamSim) में महत्वपूर्ण सुधार किया।
- इसने उच्चतम CLIP-I स्कोर (0.905) और न्यूनतम LPIPS (0.155) प्राप्त किया, जो संपादन को निष्ठापूर्वक लागू करते हुए मूल छवि की स्थानिक और बनावट अखंडता (spatial and textural integrity) के बेहतर प्रतिधारण को दर्शाता है।
एब्लेशन स्टडीज (Ablation Studies):
- एडैप्टिव बनाम फिक्स्ड: प्रयोगों ने पुष्टि की कि कोई भी एकल फिक्स्ड कोएफिशिएंट ( $\gamma_t$ ) सभी टाइमस्टेप्स पर प्रदर्शन को ऑप्टिमाइज़ नहीं कर सकता। एडैप्टिव दृष्टिकोण लगातार फिक्स्ड बेसलाइन्स और R2F से बेहतर रहा।
- एंकर सेंसिटिविटी: विधि शोर युक्त या न्यूनतम एंकर्स के साथ भी प्रभावी रही, जो एडैप्टिव कोएफिशिएंट की मजबूती को प्रमाणित करती है।

5. महत्व (Significance)

यह कार्य डिफ्यूजन मॉडल्स की एक मौलिक सीमा को संबोधित करता है: अर्थपूर्ण सटीकता या संरचनात्मक निष्ठा का त्याग किए बिना दुर्लभ अवधारणाओं को उत्पन्न करने या संपादित करने में असमर्थता। ह्यूरिस्टिक, फिक्स्ड शेड्यूल्स से प्रिंसिपल, एडैप्टिव स्कोर-स्पेस मॉड्यूलेशन की ओर बढ़कर, AAPB कंट्रोलेबल जनरेशन के लिए एक सामान्य समाधान प्रदान करता है।

ट्रेनिंग-फ्री (Training-Free): इसके लिए किसी अतिरिक्त मॉडल ट्रेनिंग या फाइन-ट्यूनिंग की आवश्यकता नहीं है, जिससे यह मौजूदा प्री-ट्रेंड मॉडल्स के लिए तुरंत लागू करने योग्य है।
सैद्धांतिक कठोरता (Theoretical Rigor): ट्वीडी की पहचान (Tweedie's identity) पर आधारित इसकी व्युत्पत्ति प्रॉम्प्ट ब्लेंडिंग के लिए एक ठोस गणितीय आधार प्रदान करती है, जो अनुभवजन्य ट्रायल-एंड-एरर से आगे जाती है।
व्यापक प्रयोज्यता (Broad Applicability): फ्रेमवर्क ने पूरी तरह से नई दुर्लभ अवधारणाओं को उत्पन्न करने और मौजूदा छवियों को संपादित करने के बीच के अंतर को सफलतापूर्वक पाट दिया है, जो भविष्य के कंट्रोलेबल डिफ्यूजन सिस्टम के लिए एक आशाजनक दिशा का सुझाव देता है।