💻 computer science

LISA: Likelihood Score Alignment for Visual-condition Controllable Generation

यह शोध पत्र LISA को प्रस्तुत करता है, जो एक नियमितीकरण (regularization) विधि है जो विजुअल-कंडीशन द्वारा नियंत्रित जनरेशन में अतिरिक्त अनुमान लागत (inference cost) के बिना प्रशिक्षण दक्षता, अभिसरण (convergence) और फीचर डिसेंटैंगलमेंट (feature disentanglement) में सुधार करने के लिए साइड नेटवर्क फीचर्स को एक अनुमानित संभावना स्कोर (approximated likelihood score) के साथ संरेखित करता है।

मूल लेखक: Yanghao Wang, Hongxu Chen, Jiazhen Liu, Zhenqi He, Rui Liu, Zhen Wang, Long Chen

प्रकाशित 2026-06-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yanghao Wang, Hongxu Chen, Jiazhen Liu, Zhenqi He, Rui Liu, Zhen Wang, Long Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कुशल चित्रकार (मुख्य नेटवर्क - Main Network) को एक विशिष्ट रेखाचित्र (जैसे कि पोज़ या डेप्थ मैप जैसा विजुअल कंडीशन) के आधार पर चित्र बनाना सिखाने की कोशिश कर रहे हैं।

वर्तमान में, इसे करने का मानक तरीका "डुअल-ब्रांच" (Dual-Branch) विधि है। आप मुख्य चित्रकार को स्थिर (frozen) रखते हैं (उन्हें पहले से ही सुंदर परिदृश्य, चेहरे और बनावट बनाना आता है) और एक छोटे, तेज़ सहायक (साइड नेटवर्क - Side Network) को काम पर रखते हैं जो रेखाचित्र को देखता है और चित्रकार के कान में निर्देश फुसफुसाता है। सहायक कहता है, "यहाँ हाथ बनाओ," या "बैकग्राउंड को थोड़ा गहरा करो।"

समस्या:
हालाँकि यह काम करता है, लेकिन यह शोध पत्र तर्क देता है कि सहायक थोड़ा अंधाधुंध तरीके से काम कर रहा है। सहायक केवल यह अनुमान लगाने की कोशिश कर रहा है कि अंतिम चित्र सही दिखने के लिए उसे क्या फुसफुसाना चाहिए, लेकिन उसके पास इस बात का स्पष्ट मानचित्र नहीं है कि उसे वास्तव में कौन सी जानकारी प्रदान करनी है। यह एक टूर गाइड से दिशा-निर्देश माँगने जैसा है बिना उसे यह बताए कि, "आपका एकमात्र काम रास्ता समझाना है; ड्राइवर को पहले से ही पता है कि कार कैसे चलानी है।"

समाधान: LISA (Likelihood Score Alignment)
लेखक LISA नामक एक नया प्रशिक्षण तरीका प्रस्तावित करते हैं। उन्होंने महसूस किया कि सहायक जो "फुसफुसाहट" देता है, वह वास्तव में एक विशिष्ट गणितीय अवधारणा है जिसे "लाइकलीहुड स्कोर" (Likelihood Score) कहा जाता है। सरल शब्दों में, यह स्कोर इस बात का प्रतिनिधित्व करता है कि "चित्र बिना किसी रेखाचित्र के कैसा होता" और "रेखाचित्र के साथ चित्र कैसा होना चाहिए" के बीच का अंतर क्या है।

LISA कैसे काम करता है, यहाँ एक रचनात्मक उपमा दी गई है:

1. "घोस्ट" तुलना (The "Ghost" Comparison)

कल्पना कीजिए कि मुख्य चित्रकार एक कमरे में बैठा है।

चरण A: चित्रकार अपनी कल्पना के आधार पर एक चित्र बनाता है (बिना किसी रेखाचित्र के)। यह "अनकंडीशनल स्कोर" (Unctional Score) है।
चरण B: फिर चित्रकार को रेखाचित्र दिखाया जाता है और वह दूसरा संस्करण बनाता है। यह "कंडीशनल स्कोर" (Conditional Score) है।
चरण C: LISA इन दोनों चित्रों (A और B) के बीच के अंतर को लेता है। यह अंतर ही "लाइकलीहुड स्कोर" है। यह ठीक वही गणितीय "डेल्टा" या "गैप" है जो रेखाचित्र द्वारा बनाया गया है।

2. नया प्रशिक्षण नियम

केवल सहायक को अंदाज़ा लगाने देने के बजाय, LISA उसे एक प्रशिक्षण लक्ष्य (Training Target) देता है।

सहायक रेखाचित्र को देखता है।
एक छोटा, हल्का डिकोडर (एक अनुवादक की तरह सोचें) सहायक के आंतरिक विचारों को एक "स्कोर" में बदल देता है।
LISA जाँचता है: "क्या सहायक का स्कोर 'घोस्ट तुलना' (दोनों चित्रों के बीच का अंतर) से मेल खाता है?"
यदि वे मेल नहीं खाते, तो सहायक को एक हल्का सा संकेत (एक रेगुलराइजेशन लॉस) दिया जाता है ताकि वह अपनी सोच को तब तक समायोजित करे जब तक कि वह उस "गैप" को पूरी तरह से न समझ ले जो रेखाचित्र बनाता है।

3. परिणाम: एक सुपर-कुशल सहायक

चूंकि सहायक अब विशेष रूप से इस विशिष्ट "गैप" (लाइकलीहुड स्कोर) को समझने के लिए प्रशिक्षित है, इसलिए दो अद्भुत चीजें होती हैं:

तेज़ सीखना: सहायक बहुत तेज़ी से सीखता है क्योंकि वह केवल अनुमान नहीं लगा रहा है; उसके पास एक स्पष्ट लक्ष्य है। शोध पत्र का दावा है कि यह प्रशिक्षण अभिसरण (convergence) को 2.78 गुना से अधिक तेज़ कर सकता है।
बेहतर नियंत्रण: सहायक अपने विशिष्ट कार्य में बेहतर हो जाता है। वह जटिल कार्यों को संभालने में सक्षम हो जाता है, जैसे कि एक पोज़ स्केच को सेगमेंटेशन मैप के साथ मिलाना, बिना भ्रमित हुए। यह ऐसा है जैसे सहायक एक विशेषज्ञ बन गया है जो जानता है कि रेखाचित्र को पेंटिंग निर्देशों में कैसे अनुवादित करना है, बिना रंगों को आपस में मिलाए।

सबसे अच्छी बात: कोई अतिरिक्त लागत नहीं

आमतौर पर, नया प्रशिक्षण नियम जोड़ने से काम धीमा हो जाता है या अधिक कंप्यूटर शक्ति की आवश्यकता होती है। लेकिन LISA चतुर है:

प्रशिक्षण के दौरान (During Training): यह बहुत कम अतिरिक्त काम जोड़ता है (जैसे किसी रेसिपी में 0.1% अतिरिक्त सामग्री डालना)।
इन्फरेंस के दौरान (During Inference - जब आप वास्तव में चित्र बना रहे होते हैं): "अनुवादक" और "घोस्ट तुलना" को हटा दिया जाता है। आप केवल प्रशिक्षित सहायक और मुख्य चित्रकार का उपयोग करते हैं। अंतिम परिणाम बिल्गत मूल विधि की समान गति वाला होता है, लेकिन चित्र बेहतर होता है और सहायक ने तेज़ी से सीखा होता है।

सारांश:
LISA एक प्रशिक्षण तकनीक है जो "सहायक" नेटवर्क को ठीक से सिखाती है कि उसका काम क्या है: एक सामान्य छवि और एक कंडीशन-कंट्रोल की गई छवि के बीच के सटीक अंतर की गणना करना। सहायक को इस स्पष्ट, गणितीय लक्ष्य के साथ, यह तेज़ी से सीखता है, बेहतर चित्र बनाता है, और विभिन्न स्थितियों के जटिल संयोजनों को अधिक आसानी से संभालता है, और यह सब अंतिम परिणाम की गति को धीमा किए बिना करता है।

तकनीकी सारांश: LISA (Likelihood Score Alignment)

समस्या विवरण (Problem Statement)

यह शोध पत्र विजुअल-कंडीशन कंट्रोलेबल जनरेशन (visual-condition controllable generation) की चुनौती को संबोधित करता है, जहाँ मॉडल्स को इमेज और वीडियो सिंथेसिस को निर्देशित करने के लिए विजुअल मोडैलिटीज (जैसे कि पोज़, सेगमेंटेशन, डेप्थ मैप्स) को एकीकृत करना होता है। प्रचलित दृष्टिकोण डुअल-ब्रांच प्रतिमान (dual-branch paradigm) है, जो एक प्री-ट्रेन्ड डिफ्यूजन या फ्लो-मैचिंग मॉडल को "मेन नेटवर्क" के रूप में फ्रीज करता है और विजुअल कंडीशंस को एनकोड करने के लिए एक अलग "साइड नेटवर्क" को प्रशिक्षित करता है। इन साइड फीचर्स को फिर मेन नेटवर्क में फ्यूज किया जाता है।

अपनी सफलता के बावजूद, लेखक तर्क देते हैं कि साइड नेटवर्क की भूमिका और इसकी प्रशिक्षण दक्षता अभी भी कम खोजी गई है। मौजूदा विधियाँ अक्सर रेगुलाइजेशन (जैसे कि रिप्रेजेंटेशन अलाइनमेंट) के लिए बाहरी सिमेंटिक एनकोडर्स पर निर्भर करती हैं, जो प्रदर्शन को चुने गए एनकोडर तक सीमित कर देती हैं और जटिलता बढ़ा देती हैं। पहचाना गया मुख्य मुद्दा यह है कि साइड नेटवर्क स्पष्ट रूप से इस विशिष्ट भूमिका के लिए बिना किसी प्रत्यक्ष पर्यवेक्षण (explicit supervision) के, एक "लाइकलीहुड स्कोर" (कंडीशनल और अनकंडीशनल स्कोर के बीच का अंतर) प्रदान करने के लिए अप्रत्यक्ष रूप से सीखना सीखता है।

कार्यप्रणाली: LISA (Methodology: LISA)

लेखक LISA (Likelihood-Score Alignment) का प्रस्ताव करते हैं, जो स्कोर-आधारित जनरेटिव मॉडलिंग पर आधारित एक रेगुलाइजेशन विधि है।

1. सैद्धांतिक अपघटन (Theoretical Decomposition)

यह शोध पत्र बेयस के नियम (Bayes' rule) के माध्यम से डुअल-ब्रांच प्रतिमान की पुनर्व्याख्या करता है। कंडीशनल स्कोर $\nabla_{x_t} \log p_t(x_t|c)$ को निम्नलिखित में विभाजित किया गया है:

अनकंडीशनल स्कोर (Unconditional Score): $\nabla_{x_t} \log p_t(x_t)$ , जो फ्रीज्ड मेन नेटवर्क द्वारा प्रदान किया जाता है।
लाइकलीहुड स्कोर (Likelihood Score): $\nabla_{x_t} \log p_t(c|x_t)$ , जो कंडीशनल और अनकंडीशनल स्कोर के बीच के अंतर को दर्शाता है।

मानक डुअल-ब्रांच सेटअप में, साइड नेटवर्क इस अंतर को पाटने के लिए अप्रत्यक्ष रूप से सीखता है। LISA इस भूमिका को स्पष्ट बनाता है।

2. अनुमानित लाइकलीहुड स्कोर निर्माण (Approximated Likelihood Score Construction)

साइड नेटवर्क को सुपरवाइज करने के लिए, LISA बिना किसी बाहरी एनकोडर के एक लक्षित "अनुमानित लाइकलीहुड स्कोर" ( $\hat{\ell}_t$ ) का निर्माण करता है:

अनकंडीशनल टारगेट (Unconditional Target): बिना कंडीशन इंजेक्शन के फ्रीज्ड मेन नेटवर्क को चलाकर प्राप्त किया जाता है: $s_\theta(x_t, t) \approx \nabla_{x_t} \log p_t(x_t)$ ।
कंडीशनल टारगेट (Conditional Target): मानक डिनोइजिंग टारगेट $\nabla_{x_t} \log p_t(x_t|x_0)$ कंडीशनल स्कोर के लिए एक सुलभ प्रॉक्सी के रूप में कार्य करता है।
लाइकलीहुड टारगेट (Likelihood Target): अनुमानित लाइकलीहुड स्कोर को अंतर के रूप में गणना किया जाता है:
$\hat{\ell}_t(c|x_t) = \nabla_{x_t} \log p_t(x_t|x_0) - s_\theta(x_t, t)$

3. अलाइनमेंट मैकेनिज्म (Alignment Mechanism)

फीचर एक्सट्रैक्शन (Feature Extraction): साइड नेटवर्क से एक विशिष्ट इंटरमीडिएट फीचर लेयर $r^k_\phi(x_t, c, t)$ को "हुक" किया जाता है।
लाइटवेट डिकोडर (Lightweight Decoder): इस फीचर को एक छोटे, ट्रेन करने योग्य डिकोडर $D_\psi$ (साइड नेटवर्क के आकार का लगभग 0.1%) में फीड किया जाता है जो फीचर को लेटेंट स्कोर स्पेस में प्रोजेक्ट करता है।
रेगुलरइजेशन लॉस (Regularization Loss): डिकोडर के आउटपुट को $L_2$ दूरी का उपयोग करके अनुमानित लाइकलीहुड स्कोर टारगेट के साथ अलाइन किया जाता है।
ऑप्टिमाइजेशन (Optimization): कुल ऑब्जेक्टिव स्टैंडर्ड डिफ्यूजन लॉस ( $\mathcal{L}_{main}$ ) और LISA रेगुलरइजेशन लॉस ( $\mathcal{L}_{LISA}$ ) को जोड़ता है:
$\mathcal{L}_{total} = \mathcal{L}_{main} + \lambda \mathcal{L}_{LISA}$
इन्फरेंस (Inference): ट्रेनिंग के बाद लाइटवेट डिकोडर को हटा दिया जाता है। साइड नेटवर्क का उपयोग मूल आर्किटेक्चर की तरह ही किया जाता है, जिससे कोई अतिरिक्त इन्फरेंस कॉस्ट नहीं लगती है।

मुख्य योगदान (Key Contributions)

नया दृष्टिकोण: यह शोध पत्र मेन और साइड नेटवर्क्स की भूमिकाओं को क्रमशः अनकंडीशनल और लाइकलीहुड स्कोर में विभाजित करके डुअल-ब्रांच प्रतिमान का विश्लेषण करता है।
LISA फ्रेमवर्क: यह एक प्रभावी रेगुलाइजेशन तकनीक पेश करता है जो साइड नेटवर्क फीचर्स को अनुमानित लाइकलीहुड स्कोर के साथ स्पष्ट रूप से अलाइन करता है, जिससे बाहरी सिमेंटिक एनकोडर्स की आवश्यकता समाप्त हो जाती है।
दक्षता और प्रदर्शन: यह विधि न्यूनतम अतिरिक्त ट्रेनिंग कॉस्ट के साथ और बिना किसी इन्फरेंस ओवरहेड के, प्रशिक्षण अभिसरण (convergence) को तेज करती है और अंतिम सिंथेसिस गुणवत्ता (परसेप्चुअल और कंडीशन फिडेलिटी दोनों) में सुधार करती है।
डिसेंटैंगलमेंट (Disentanglement): स्पष्ट अलाइनमेंट यह सुनिश्चित करता है कि साइड नेटवर्क के फीचर्स अधिक डिसेंटैंगल्ड हों, जो स्वाभाविक रूप से मल्टी-कंडीशन जनरेशन के लिए कंपोजिशनल कंट्रोल में सुधार करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न कार्यों, आर्किटेक्चर (U-Net, DiT), और मॉडल्स (Diffusion, Flow Matching) में LISA का मूल्यांकन किया:

इमेज जनरेशन टास्क: SDXL-1.0 और Stable Diffusion 2.1 का उपयोग करके पोज़, सेगमेंटेशन, डेप्थ और लो-रेज़ोल्यूशन इमेज जनरेशन पर प्रयोग।
- अभिसरण (Convergence): LISA ने लगातार अभिसरण को तेज किया। उदाहरण के लिए, पोज़-कंडीशन्ड जनरेशन में, LISA ने वैनिला ControlNet की तुलना में 10K इटरेशन पर PCK (Percentage of Correct Keypoints) को 19.38% से बढ़ाकर 83.02% कर दिया।
- दक्षता (Efficiency): LISA ने कम इटरेशन के साथ बेहतर परिणाम प्राप्त किए (उदाहरण के लिए, LISA के 4K इटरेशन ने डेप्थ मैप जनरेशन में ControlNet के 10K इटरेशन को पीछे छोड़ दिया)।
- तुलना: LISA ने बिना किसी बाहरी मॉडल की आवश्यकता के ControlNet+REPA (जो बाहरी DINOv2 एनकोडर्स पर निर्भर है) को पीछे छोड़ दिया या उसके बराबर प्रदर्शन किया।
वीडियो जनरेशन: इसे पोज़-गाइडेड वीडियो जनरेशन (ControlVideo) पर लागू किया गया। LISA ने 5K और 30K इटरेशन पर FVD (Frechet Video Distance) और PCK में महत्वपूर्ण सुधार किया।
आर्किटेक्चर एग्नोस्टिसिज्म (Architecture Agnosticism): विधि डिफ्यूजन ट्रांसफॉर्मर (DiT) और ऑप्टिमल ट्रांसपोर्ट फ्लो मैचिंग (OT-FM) मॉडल्स (जैसे कि Stable Diffusion 3) तक सामान्यीकृत हुई।
कंपोजिशनल कंट्रोल: स्वतंत्र रूप से प्रशिक्षित पोज़ और सेगमेंटेशन नेटवर्क्स को संयोजित करने पर, LISA ने बेसलाइन की तुलना में बेहतर कंपोजिशनल जनरेशन क्षमता प्रदर्शित की, जो बेहतर फीचर डिसेंटैंगलमेंट का सुझाव देती है।
ओवरहेड: विधि ने केवल ~0.1% पैरामीटर्स और ट्रेनिंग के दौरान प्रति इटरेशन ~0.2s लेटेंसी जोड़ी, जबकि इन्फरेंस के दौरान शून्य लागत लगी।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि LISA डुअल-ब्रांच प्रतिमान की ट्रेनिंग अक्षमता का एक सरल लेकिन प्रभावी समाधान प्रदान करता है। जनरेटिव प्रक्रिया को स्पष्ट रूप से विभाजित करके और साइड नेटवर्क को लाइकलीहुड स्कोर के साथ अलाइन करके, LISA एक मजबूत प्रायर सुपरविजन के रूप में कार्य करता है जो:

ट्रेनिंग को तेज करता है: उच्च-गुणवत्ता वाले परिणामों तक पहुँचने के लिए आवश्यक इटरेशन की संख्या को काफी कम कर देता है।
गुणवत्ता में सुधार करता है: आउटपुट की परसेप्चुअल क्वालिटी और विजुअल कंडीशंस के प्रति फिडेलिटी दोनों को बढ़ाता है।
आर्किटेक्चर को सरल बनाता है: पिछले अलाइनमेंट मेथड्स के लिए आवश्यक बाहरी सिमेंटिक एनकोडर्स पर निर्भरता को हटा देता है।
कंपोजिशनल कंट्रोल सक्षम करता है: सीखे गए फीचर्स के बेहतर डिसेंटैंगलमेंट के कारण कई विजुअल कंडीशंस के संयोजन को स्वाभाविक रूप से सुगम बनाता है।

लेखक निष्कर्ष निकालते हैं कि LISA विजुअल-कंडीशन कंट्रोलेबल जनरेशन के लिए एक विस्तार योग्य और व्यावहारिक दृष्टिकोण है, जो विभिन्न मॉडल आर्किटेक्चर के माध्यम से इमेज और वीडियो दोनों कार्यों के लिए उपयुक्त है।