💻 computer science

ACCORD: Alleviating Concept Coupling through Dependence Regularization for Text-to-Image Diffusion Personalization

यह शोध पत्र ACCORD का प्रस्ताव करता है, जो दो पूरक लॉस फंक्शन्स—डिनोइजिंग डिकपल (Denoising Decouple) और प्रायर डिकपल (Prior Decuple)—को पेश करके टेक्स्ट-टू-इमेज डिफ्यूजन पर्सनलाइजेशन में वैचारिक युग्मन (conceptual coupling) को सीधे संबोधित करने की एक विधि है, ताकि निर्भरता विसंगतियों को कम किया जा सके और टेक्स्ट नियंत्रण एवं पर्सनलाइजेशन फिडेलिटी के बीच एक बेहतर संतुलन प्राप्त किया जा सके।

मूल लेखक: Shizhan Liu, Hao Zheng, Hang Yu, Jianguo Li

प्रकाशित 2026-05-26

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Shizhan Liu, Hao Zheng, Hang Yu, Jianguo Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली कलाकार (AI) है जो आपके द्वारा वर्णित कुछ भी बना सकता है। आप इस कलाकार को अपने विशिष्ट पालतू जानवर, मान लीजिए उसका नाम "बस्टर" है, एक गोल्डन रिट्रीवर को बनाना सिखाना चाहते हैं। आप कलाकार को बस्टर की 5 तस्वीरें दिखाते हैं।

समस्या: "बुरे रूममेट" का प्रभाव (The "Bad Roommate" Effect)
आपने कलाकार को जो 5 तस्वीरें दिखाईं, उन सभी में बस्टर एक लाल कालीन (red rug) पर बैठा है। कलाकार, थोड़ा अधिक उत्सुक होने के कारण, भ्रमित हो जाता है। वह सोचने लगता है, "ओह, बस्टर एक ऐसा कुत्ता है जो केवल लाल कालीनों पर ही मौजूद रहता है।"

अब, जब आप कलाकार से "पार्क में बस्टर" बनाने के लिए कहते हैं, तो कलाकार जिद से घास के बीच में एक लाल कालीन रख देता है। इसे "कॉन्सेप्ट कपलिंग" (Concept Coupling) कहा जाता है। AI ने अनजाने में दो असंबंधित विचारों (कुत्ते और कालीन) को एक साथ चिपका दिया क्योंकि वे प्रशिक्षण तस्वीरों में हमेशा एक साथ दिखाई दिए थे।

मौजूदा तरीके इसे ठीक करने की कोशिश करते हैं (कलाकार को "बहुत अधिक सीखने" से मना करके) या उन्हें अन्य कुत्ते दिखाते हैं (जो कलाकार को और भी अधिक भ्रमित कर देता है)। वे लक्षण का इलाज करते हैं (खराब ड्राइंग) न कि मूल कारण (एक साथ चिपके हुए विचारों) का।

समाधान: ACCORD (एक "अन-ग्लूइंग" टूल)
इस पेपर के लेखक, ACCORD कहते हैं, "अनुमान लगाना बंद करें और गणित को देखें।" उन्होंने महसूस किया कि यह समस्या दो विशिष्ट तरीकों से होती है, जैसे दो अलग-अलग प्रकार का गोंद:

"चरण-दर-चरण" गोंद (Denoising Dependence):
कल्पना कीजिए कि कलाकार एक धुंधले स्टैटिक (static) के बादल से शुरुआत करता है और धीरे-धीरे तस्वीर को साफ करता है। जैसे-जैसे वे हर चरण में तस्वीर को साफ करते हैं, वे गलती से "लाल कालीन" को "बस्टर" के साथ बार-बार फिर से जोड़ देते हैं।

समाधान (DDLoss): ACCORD एक नियम जोड़ता है जो कहता है, "हर बार जब आप तस्वीर को साफ करने के लिए एक कदम उठाते हैं, तो सुनिश्चित करें कि आप अचानक यह निर्णय न लें कि बस्टर और कालीन फिर से सबसे अच्छे दोस्त हैं।" यह पूरी ड्राइंग प्रक्रिया के दौरान कुत्ते और कालीन के बीच के संबंध को सुसंगत (और ढीला) बनाए रखता है।

"पहली छाप" वाला गोंद (Prior Dependence):
कलाकार द्वारा ड्राइंग शुरू करने से पहले ही, उनके मन में एक विचार होता है कि "कुत्ता" क्या है। यदि आप उन्हें "बस्टर" (एक विशिष्ट लाल कुत्ता) के बारे में सिखाते हैं, तो वे "कुत्ता" के बारे में अपने मानसिक विचार को इतना बदल सकते हैं कि वे भूल जाएं कि एक सामान्य कुत्ता कैसा दिखता है। वे सोचने लगते हैं, "एक कुत्ते को लाल होना ही चाहिए।"

समाधान (PDLoss): ACCORD एक संदर्भ पुस्तक (reference book) की तरह कार्य करता है। यह कलाकार को लगातार याद दिलाता रहता है: "हे, याद रखें कि 'बस्टर' केवल एक 'कुत्ता' का एक प्रकार है। सुनिश्चित करें कि आपका 'बस्टर' का विचार 'कुत्ते' के सामान्य नियमों के भीतर ही रहे।" यह सुनिश्चित करता है कि नया कॉन्सेप्ट अपने मूल वर्ग से बहुत दूर न भटक जाए।

व्यावहारिक रूप में यह कैसे काम करता है
ACCORD एक "प्लग-एंड-प्ले" एक्सेसरी की तरह है। आपको कलाकार के स्टूडियो को फिर से बनाने की आवश्यकता नहीं है; आप बस इस टूल को उनके वर्कफ़्लो में प्लग कर देते हैं।

इसे काम करने के लिए हजारों अतिरिक्त तस्वीरों की आवश्यकता नहीं होती है (अन्य तरीकों के विपरीत जिन्हें एक "सुपरक्लास" डेटासेट की आवश्यकता होती है)।
इसे कलाकार के मस्तिष्क को फ्रीज करने की आवश्यकता नहीं होती है (उन तरीकों के विपरीत जो यह प्रतिबंधित करते हैं कि कलाकार कितना सीख सकता है)।

परिणाम
जब लेखकों ने इसका परीक्षण किया, तो उन्होंने पाया कि ACCORD ने कलाकार को सक्षम बनाया:

"बस्टर" को पूरी तरह से बनाने में (उच्च निष्ठा/high fidelity)।
आपसे मांगी गई किसी भी पृष्ठभूमि (जैसे जंगल या समुद्र तट) में बस्टर को रखने में, बिना उस लाल कालीन के दिखाई दिए (उच्च टेक्स्ट कंट्रोल/high text control)।

संक्षेप में, ACCORD AI को गलत धारणाएं बनाने से रोकता है कि क्या चीज़ किसके साथ जाती है, जिससे यह आपको जो भी आप मांगते हैं उसे सटीक रूप से बनाने की अनुमति देता है, चाहे वह एक विशिष्ट बैकपैक हो, एक अनूठी कला शैली हो, या किसी व्यक्ति का चेहरा, बिना अनचाहे बैकग्राउंड के कचरे को साथ खींचे।

तकनीकी सारांश: ACCORD - डिपेंडेंस रेगुलराइजेशन के माध्यम से कॉन्सेप्ट कपलिंग को कम करना

1. समस्या की परिभाषा: कॉन्सेप्ट कपलिंग (Concept Coupling)

यह शोध पत्र टेक्स्ट-टू-इमेज (T2I) डिफ्यूजन मॉडल पर्सनलाइजेशन की एक महत्वपूर्ण सीमा को संबोधित करता है: कॉन्सेप्ट कपलिंग। जबकि मौजूदा विधियाँ उपयोगकर्ताओं को कुछ संदर्भ छवियों (जैसे कि एक विशिष्ट पालतू जानवर या कलात्मक शैली) के साथ मॉडल को अनुकूलित करने की अनुमति देती हैं, वे अक्सर लक्षित विषय (target subject) को उसके संदर्भ (context) से अलग करने में विफल रहती हैं।

संदर्भ छवियों की सीमित विविधता (आमतौर पर समान संदर्भों में 3-6 छवियां) के कारण, मॉडल भ्रामक सांख्यिकीय जुड़ाव (spurious statistical associations) सीख लेता है। उदाहरण के लिए, यदि एक संदर्भ छवि में एक "बैकपैक" हमेशा एक "लड़की" द्वारा पहना हुआ दिखाया जाता है, तो मॉडल "समुद्र तट पर एक बैकपैक" के प्रॉम्प्ट को एक लड़की की आवश्यकता के रूप में व्याख्या कर सकता है, जो टेक्स्ट प्रॉम्प्ट का उल्लंघन करता है। लेखक तर्क देते हैं कि मौजूदा समाधान—डेटा रेगुलराइजेशन, वेट रेगुलराइजेशन, लॉस रेगुलराइजेशन और रीजन-आधारित विधियाँ—इसे ओवरफिटिंग के लक्षण के रूप में देखते हैं या हीयुरिस्टिक प्रॉक्सी का उपयोग करते हैं, जो मूल कारण को संबोधित करने में विफल रहते हैं: व्यक्तिगत अवधारणा ( $c_p$ ) और सामान्य टेक्स्ट स्थितियों ( $c_g$ ) के बीच अनचाहे सांख्यिकीय निर्भरता (unintended statistical dependencies)।

2. कार्यप्रणाली: ACCORD फ्रेमवर्क

लेखक ACCORD (Alleviating Concept COupling thRough Dependence regular-ization) प्रस्तावित करते हैं, जो कॉन्सेप्ट कपलिंग को एक सुलभ सांख्यिकीय निर्भरता समस्या के रूप में औपचारिक रूप से फ्रेम करने वाला पहला फ्रेमवर्क है। मुख्य अंतर्दृष्टि यह है कि व्यक्तिगत अवधारणा और सामान्य टेक्स्ट के बीच निर्भरता में विसंगति दो अलग-अलग स्रोतों से उत्पन्न होती है, जिन्हें दो प्लग-एंड-प्ले रेगुलराइजेशन लॉस द्वारा संबोधित किया जाता है।

2.1 सैद्धांतिक सूत्रीकरण (Theoretical Formulation)

लक्ष्य उत्पन्न छवि ( $x_{\theta,0}$ ) में व्यक्तिगत अवधारणा की सशर्त निर्भरता और सुपरक्लास ( $c_s$ ) तथा सामान्य टेक्स्ट की पूर्व निर्भरता के बीच अपेक्षित पूर्ण अंतर को कम करना है:
$E_{x_\theta}[| \log r(c_p, c_g|x_{\theta,0}) - \log r(c_s, c_g) |] \gg 0$
जहाँ $r(c_p, c_g|x)$ एक कंडीशनल डिपेंडेंसी कोएफिशिएंट है।

लेखक इस कुल विसंगति को दो गणना योग्य पदों (थ्योरम 1) में विभाजित करते हैं:

डिनोइजिंग डिपेंडेंसी डिस्क्रेपेंसी (Denoising Dependence Discrepancy): जनरेटिव डिनोइजिंग प्रक्रिया के दौरान पेश की गई निर्भरता में परिवर्तन।
प्रायर डिपेंडेंसी डिस्क्रेपेंसी (Prior Dependence Discrepancy): व्यक्तिगत अवधारणा $c_p$ के अपने सुपरक्लास $c_s$ से विचलित होने के कारण होने वाला पूर्व निर्भरता में परिवर्तन।

2.2 दो रेगुलराइजेशन लॉस

A. डिनोइजिंग डिकपल लॉस (DDLoss)

लक्ष्य: डिनोइजिंग डिपेंडेंसी डिस्क्रेपेंसी को कम करना।
मैकेनिज्म: $t=T$ से $t=0$ तक निर्भरता परिवर्तन को सीधे कम करना कठिन है। इसके बजाय, ACCORD इसे आसन्न डिनोइजिंग स्टेप्स के बीच निर्भरता विसंगतियों को जोड़कर (ट्राइएंगल इनइक्वलिटी का उपयोग करके) एक अपर बाउंड प्रदान करता है।
कार्यान्वयन: डिफ्यूजन मॉडल को एक इम्प्लिसिट क्लासिफायर के रूप में उपयोग करते हुए, यह लॉस चार स्थितियों के तहत मॉडल के प्रेडिक्शन ( $U_\theta$ ) के फलन के रूप में व्युत्पन्न किया गया है: जॉइंट ( $c_p, c_g$ ), इंडिविजुअल ( $c_p$ ), इंडिविजुअल ( $c_g$ ), और खाली ( $\emptyset$ )।
फॉर्मूला:
$\mathcal{L}_{DD} = \sum_{t=1}^{T} \frac{t}{T} | \log r(c_p, c_g|x_{\theta,t-1}) - \log r(c_p, c_g|x_{\theta,t}) |$
यह लॉस सुनिश्चित करता है कि डिनोइजिंग स्टेप्स के दौरान लक्ष्य और टेक्स्ट कंडीशन के बीच का संबंध अचानक न बदले।

B. प्रायर डिकपल लॉस (PDLoss)

लक्ष्य: प्रायर डिपेंडेंसी डिस्क्रेपेंसी को कम करना।
मैकेनिज्म: यह उन मामलों को संबोधित करता है जहाँ व्यक्तिगत एम्बेडिंग $c_p$ (जैसे, एक ट्रेन करने योग्य टेक्स्ट एम्बेडिंग या विजुअल फीचर) ट्रेनिंग के दौरान अपने सुपरक्लास $c_s$ से विचलित हो जाती है। लक्ष्य $p(c_g|c_p)$ को $p(c_g|c_s)$ के साथ संरेखित करना है।
कार्यान्वयन: चूंकि डिफ्यूजन मॉडल सीधे इस संरेखण को सुगम नहीं बनाता है, इसलिए ACCORD, CLIP के सिमेंटिक स्पेस का उपयोग करता है। InfoNCE ऑब्जेक्टिव के आधार पर, डेंसिटी रेशियो को CLIP एम्बेडिंग स्पेस में कोसाइन सिमिलरिटी द्वारा अनुमानित किया जाता है।
फॉर्मूला:
$\mathcal{L}_{PD} = E_{c_g}[ | \cos(f_p, f_g) - \cos(f_s, f_g) | ]$
जहाँ $f_p, f_s, f_g$ क्रमशः व्यक्तिगत अवधारणा, सुपरक्लास और सामान्य टेक्स्ट के प्रोजेक्टेड फीचर्स हैं। यह व्यक्तिगत अवधारणा को अपने सुपरक्लास की तरह अन्य अवधारणाओं के साथ समान रिलेशनल प्रायर्स बनाए रखने के लिए मजबूर करता है।

3. मुख्य योगदान

औपचारिक समस्या फ्रेमिंग: यह पेपर कॉन्सेप्ट कपलिंग को सांख्यिकीय निर्भरता समस्या के रूप में औपचारिक रूप से परिभाषित करने वाला पहला पेपर है, जिसने डिनोइजिंग डिपेंडेंसी डिस्क्रेपेंसी और प्रायर डिपेंडेंसी डिस्क्रेपेंसी को दो मूल कारणों के रूप में पहचाना है।
ACCORD फ्रेमवर्क: दो सैद्धांतिक रूप से स्थापित लॉस (DDLoss और PDLoss) के साथ एक प्लग-एंड-प्ले फ्रेमवर्क का परिचय, जो बिना किसी रेगुलराइजेशन डेटासेट या प्रतिबंधात्मक वेट बाधाओं के इन निर्भरताओं को सीधे कम करता है।
प्लग-एंड-प्ले प्रयोज्यता: इस विधि को न्यूनतम आर्किटेक्चरल बदलावों के साथ विभिन्न मौजूदा पर्सनलाइजेशन आर्किटेक्चर (जैसे DreamBooth, LoRA, CustomDiffusion, VisualEncoder) में एकीकृत किया जा सकता है।
सामान्यीकरण (Generalizability): डिकपलिंग सिद्धांत को न केवल टेस्ट-टाइम फाइन-ट्यूनिंग में बल्कि ज़ीरो-शॉट कंडीशनल कंट्रोल कार्यों में भी प्रभावी दिखाया गया है।

4. प्रयोगात्मक परिणाम

लेखकों ने DreamBench (सब्जेक्ट पर्सनलाइजेशन), StyleBench (स्टाइल पर्सनलाइजेशन), और FFHQ (फेस पर्सनलाइजेशन) पर ACCORD का मूल्यांकन किया।

मात्रात्मक प्रदर्शन (Quantitative Performance):
- सब्जेक्ट पर्सनलाइजेशन: ACCORD ने DreamBooth और CustomDiffusion में महत्वपूर्ण सुधार किया, जिससे उच्च टेक्स्ट अलाइनमेंट (CLIP-T, BLIP-T) और सब्जेक्ट फिडेलिटी (CLIP-I, DINO-I) एक साथ प्राप्त हुई। विशेष रूप से, ACCORD के साथ LoRA (SDXL) ने केवल 92.9M पैरामीटर्स का उपयोग करके विशाल Omnigen (3.8B पैरामीटर्स) मॉडल को पीछे छोड़ दिया।
- स्टाइल पर्सनलाइजेशन: इस विधि ने विभिन्न बेसलाइन्स में स्टाइल सिमिलरिटी (Gram-D) और टेक्स्ट अलाइनमेंट में सुधार किया।
- फेस पर्सनलाइजेशन: IP-Adapter का उपयोग करते हुए ज़ीरो-शॉट सेटिंग्स में, ACCORD ने फेशियल सिमिलरिटी (Face-Sim) और टेक्स्ट अलाइनमेंट को बढ़ाया।
एब्लेशन स्टडीज (Ablation Studies):
- दोनों DDLoss और PDLoss ने प्रदर्शन में सकारात्मक योगदान दिया।
- विधि एक एकल संदर्भ छवि के साथ भी मजबूत बनी रही।
- पाया गया कि लॉस विशिष्ट श्रेणियों (DDLoss: 0.1–0.3; PDLoss: 0.001–0.003) के भीतर वेट वेरिएशंस के प्रति मजबूत है।
मानव मूल्यांकन (Human Evaluation): 1,800 प्रतिक्रियाओं के एक अध्ययन में, मानव एनोटेटर्स ने सभी बेसलाइन्स की तुलना में ACCORD के आउटपुट को प्राथमिकता दी, जिसमें बेहतर सब्जेक्ट फिडेलिटी और टेक्स्ट प्रॉम्प्ट के साथ बेहतर अलाइनमेंट का उल्लेख किया गया।

5. महत्व और दावे

यह पेपर दावा करता है कि यह हियुरिस्टिक फिक्स (जैसे डेटा ऑग्मेंटेशन या वेट कंस्ट्रेंट्स) से आगे बढ़कर, एक सिद्धांत-आधारित समाधान की ओर बढ़कर इमेज पर्सनलाइजेशन के एक महत्वपूर्ण अंतराल को भरता है जो अनचाही सांख्यिकीय निर्भरताओं को सीधे मॉडल और कम करता है।

संतुलन: ACCORD पर्सनलाइजेशन फिडेलिटी (संदर्भ जैसा दिखने के लिए विषय को बनाए रखना) और टेक्स्ट कंट्रोल (अनचाहे संदर्भ उत्पन्न किए बिना प्रॉम्प्ट का पालन करना) के बीच एक बेहतर संतुलन प्राप्त करता है।
दक्षता: यह एक कंप्यूटेशनल रूप से प्रबंधनीय समाधान प्रदान करता है जो बड़े पैमाने के ज़ीरो-शॉट मॉडल्स के भारी पैरामीटर ओवरहेड के बिना मौजूदा वर्कफ़्लो में एकीकृत होता है।
सीमाएँ: लेखक विनम्रतापूर्वक नोट करते हैं कि विधि की प्रभावशीलता अंतर्निहित फाउंडेशन T2I मॉडल की क्षमताओं द्वारा सीमित है। यदि बेस मॉडल स्वाभाविक रूप से एक सुपरक्लास और एक कॉन्सेप्ट के बीच संबंध को प्रदर्शित नहीं कर सकता है, तो ACCORD का रेगुलराइजेशन सीमित प्रभाव डालेगा। इसके अतिरिक्त, यह उन अवधारणाओं के लिए सबसे प्रभावी है जो प्रशिक्षण प्रॉम्प्ट में स्पष्ट रूप से शामिल हैं; स्पष्ट रूप से जुड़ी हुई (implicitly coupled) अवधारणाओं को पूरी तरह से अलग नहीं किया जा सकता है।

संक्षेप में, ACCORD "कॉन्सेप्ट कपलिंग" समस्या को हल करने के लिए एक सैद्धांतिक रूप से सुदृढ़, मॉड्यूलर दृष्टिकोण प्रदान करता है, जिससे अधिक विश्वसनीय और नियंत्रणीय टेक्स्ट-टू-इमेज पर्सनलाइजेशन संभव होता है।