🤖 machine learning

Align & Invert: Solving Inverse Problems with Diffusion and Flow-based Models via Representation Alignment

यह शोधपत्र एक रिप्रेजेंटेशन अलाइनमेंट (REPA) फ्रेमवर्क प्रस्तावित करता है जो इन्वर्स समस्याओं को हल करने में डिफ्यूजन और फ्लो-आधारित मॉडलों को निर्देशित करने के लिए प्रीट्रेंड DINOv2 एनकोडर्स का लाभ उठाता है, जो सैद्धांतिक रूप से यह प्रदर्शित करता है कि यह दृष्टिकोण विभिन्न कार्यों में पुनर्निर्माण गुणवत्ता और संवेदी यथार्थता (perceptual realism) में सुधार करने और अनुमान चरणों (inference steps) को कम करने के लिए एम्बेडिंग-स्पेस डाइवर्जेंस को न्यूनतम करता है।

मूल लेखक: Loukas Sfountouris, Giannis Daras, Paris Giampouras

प्रकाशित 2026-05-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Loukas Sfountouris, Giannis Daras, Paris Giampouras

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक "स्मार्ट गाइड" के साथ टूटी हुई तस्वीरों को ठीक करना

कल्पना कीजिए कि आपके पास एक सुंदर, हाई-रिज़ॉल्यूशन वाली तस्वीर है, लेकिन वह खराब हो गई है। शायद वह धुंधली (blurry) है, या शायद उसका एक हिस्सा गायब है (जैसे चेहरे पर काला बॉक्स), या फिर उसे सिकोड़कर एक छोटा सा, पिक्सेलेटेड बिंदु बना दिया गया है। आपका लक्ष्य इसे ठीक करना और मूल छवि को वापस पाना है।

AI की दुनिया में, हमारे पास डिफ्यूजन मॉडल्स (Diffusion Models) जैसे शक्तिशाली उपकरण हैं जो यह कल्पना करने में बहुत अच्छे हैं कि गायब या क्षतिग्रस्त छवि कैसी दिखनी चाहिए। वे एक मूर्तिकार की तरह काम करते हैं जो पत्थर के एक ब्लॉक से धीरे-धीरे शोर (noise) को हटाकर एक मूर्ति प्रकट करता है।

हालाँकि, कभी-कभी ये AI मूर्तिकार थोड़ा भटक जाते हैं। वे धुंधलेपन को तो ठीक कर सकते हैं, लेकिन बनावट (texture) को प्लास्टिक जैसा बना सकते हैं, या वे गायब चेहरे को गलत विशेषताओं के साथ भर सकते हैं। वे छवि की संरचना (structure) में तो अच्छे हैं, लेकिन वे कभी-कभी उस अहसास (vibe) या बारीक विवरणों के साथ संघर्ष करते हैं जो एक फोटो को मानवीय आंखों के लिए वास्तविक बनाते हैं।

समस्या: "अंधा" मूर्तिकार

यह शोध पत्र एक विशिष्ट समस्या की पहचान करता है: जब AI किसी क्षतिग्रस्त फोटो को ठीक करने की कोशिश करता है, तो उसके पास तुलना करने के लिए कोई मूल "ब्लूप्रिंट" (ग्राउंड ट्रुथ) नहीं होता। वह बिना यह जाने कि सवाल क्या है, उत्तर का अनुमान लगाने की कोशिश कर रहा है।

मदद के लिए, शोधकर्ता आमतौर पर AI को कहते हैं, "सुनिश्चित करें कि आपका अनुमान दिए गए धुंधले पिक्सेल से मेल खाता हो।" लेकिन यह पर्याप्त नहीं है। AI को यह समझने की बेहतर समझ की आवश्यकता है कि "वास्तविक" क्या दिखता है।

समाधान: "कला समीक्षक" (REPA)

लेखक एक नई विधि पेश करते हैं जिसे REPA (रिप्रजेंटेशन अलाइनमेंट) कहा जाता है। इसे समझने के लिए, कल्पना कीजिए कि AI मूर्तिकार एक अंधेरे कमरे में काम कर रहा है।

मूर्तिकार (डिफ्यूजन मॉडल): यह वह AI है जो फोटो को ठीक करने की कोशिश कर रहा है। काम करते समय छवि के बारे में उसकी अपनी आंतरिक "भावनाएं" होती हैं।
कला समीक्षक (DINOv2): यह एक प्री-ट्रेंड AI है जो विजुअल फीचर्स (दृश्य विशेषताओं) को पहचानने में विशेषज्ञ है। यह एक अनुभवी कला समीक्षक की तरह है जिसने लाखों तस्वीरें देखी हैं और जानता है कि एक "असली" पेड़, एक "असली" आंख, या एक "असली" टेक्सचर कैसा दिखता है। उसे पिक्सेल की परवाह नहीं है; उसे छवि के अर्थ और संरचना की परवाह है।

जादुई ट्रिक:
आमतौर पर, मूर्तिकार और कला समीक्षक अलग-अलग भाषाएं बोलते हैं। मूर्तिकार "लेटेंट कोड्स" (अमूर्त गणित) में सोचता है, और समीक्षक "विजुअल फीचर्स" में सोचता है।

इस पेपर का नवाचार यह है कि यह मूर्तिकार को काम करते समय समीक्षक की बात सुनने के लिए मजबूर करता है। वे केवल अंतिम तस्वीर को नहीं देखते; वे प्रक्रिया के हर चरण में जांच करते हैं।

मूर्तिकार कहता है, "मुझे लगता है कि छवि का यह हिस्सा एक पेड़ है।"
समीक्षक अपने आंतरिक डेटाबेस की जांच करता है और कहता, "हाँ, लेकिन आपके वर्तमान ड्राफ्ट में उस पेड़ की बनावट (texture) एक असली पेड़ से मेल नहीं खाती। अपने आंतरिक रिप्रजेंटेशन को एक असली पेड़ की तरह दिखने के लिए समायोजित करें।"

मूर्तिकार के आंतरिक विचारों को समीक्षक के विशेषज्ञ ज्ञान के साथ लगातार संरेखित (align) करके, अंतिम परिणाम बहुत अधिक यथार्थवादी और विस्तृत होता है।

वे "गायब ब्लूप्रिंट" को कैसे संभालते हैं?

आप पूछ सकते हैं: "लेकिन रुकिए, यदि मूल फोटो क्षतिग्रस्त है, तो समीक्षक को कैसे पता कि इस विशिष्ट फोटो में एक 'असली' पेड़ कैसा दिखता है?"

शोधकर्ताओं के पास एक चतुर समाधान है। चूंकि उनके पास मूल फोटो नहीं है, इसलिए वे एक प्रॉक्सी (Proxy) (एक प्रतिनिधि) का उपयोग करते हैं।

प्रक्रिया के शुरुआती चरण में: AI समीक्षक के लिए एक मोटे गाइड के रूप में क्षतिग्रस्त, धुंधली फोटो का उपयोग करता है।
बाद के चरणों में: जैसे-जैसे AI छवि को साफ करना शुरू करता है, वह साफ छवि के अपने वर्तमान सर्वोत्तम अनुमान का उपयोग गाइड के रूप में करता है।

यह एक पुरानी पेंटिंग को बहाल करने जैसा है। शुरू में, आपके पास केवल गंदी, खरोंच वाली वर्ज़न को देखने के लिए होता है। लेकिन जैसे-जैसे आप इसे साफ करते हैं, आप शेष गंदे हिस्सों के बहाली के लिए अपने ही द्वारा प्रकट किए गए नए साफ हिस्सों का उपयोग करना शुरू कर देते हैं। पेपर दिखाता है कि "कला समीक्षक" (DINOv2) इतना मजबूत है कि वह धुंधली या शोर वाली छवि होने पर भी विषय वस्तु को पहचान सकता है, जिससे यह स्टैंड-इन रणनीति पूरी तरह से काम करती है।

परिणाम: अधिक स्पष्ट, तेज़ और वास्तविक

लेखकों ने चार प्रकार के इमेज डैमेज पर इसका परीक्षण किया:

सुपर-रिज़ॉल्यूशन (Super-Resolution): एक छोटी, धुंधली छवि को बड़ा और स्पष्ट बनाना।
डिब्लरिंग (Deblurring): मोशन ब्लर (जैसे कैमरा हिलने से) को ठीक करना।
इनपेंटिंग (Inpainting): छवि के एक गायब वर्गाकार ब्लॉक को भरना।
गौसियन डिब्लरिंग (Gaussian Deblurring): सामान्य धुंधलेपन को ठीक करना।

क्या हुआ?

बेहतर गुणवत्ता: छवियां बहुत अधिक यथार्थवादी दिखीं। बनावट (जैसे त्वचा के रोम छिद्र या घास) अधिक स्पष्ट थी और कम "प्लास्टिक जैसी" थी।
तेज़ काम: आश्चर्यजनक रूप से, इस "कला समीक्षक" मार्गदर्शन का उपयोग करने से AI कम चरणों में उच्च-गुणवत्ता वाले परिणाम तक पहुँच सका। यह ऐसा है जैसे मूर्तिकार को कम छेनी के प्रहारों की आवश्यकता थी क्योंकि समीक्षक ने उन्हें सही रास्ते पर रखा, जिससे उन्हें अजीब, अवास्तविक आकृतियों में भटकने से रोका गया।
समझौता (Trade-off): पेपर नोट करता है कि हालांकि छवियां मानवीय आंखों के लिए बेहतर (अनुभवात्मक गुणवत्ता) दिखती थीं, मानक गणितीय स्कोर (जो पिक्सेल-दर-पिक्सेल सटीकता को मापते हैं) हमेशा ऊपर नहीं बढ़े। यह सामान्य है: एक फोटो अधिक "वास्तविक" लग सकती है भले ही वह गणितीय रूप से मूल के पिक्सेल-दर-पिक्सेल समान न हो।

सिद्धांत: यह क्यों काम करता है

पेपर यह समझाने के लिए एक गणितीय प्रमाण (एक "थ्योरी") भी प्रदान करता है कि यह क्यों काम करता है।

डाइवर्जेंस (The Divergence): वे दिखाते हैं कि समीक्षक के साथ संरेखित होकर, AI अनिवार्य रूप से एक फीचर स्पेस में अपने अनुमान और छवि के वास्तविक स्वरूप के बीच की "दूरी" को कम कर रहा है।
कॉन्ट्रैक्शन (The Contraction): वे सिद्ध करते हैं कि जैसे-जैसे AI समाधान के करीब पहुंचता है, यह संरेखण एक चुंबक की तरह कार्य करता है, जो AI की आंतरिक स्थिति को "साफ" स्थिति के करीब खींचता है और त्रुटियों को दूर धकेलता है।

सारांश

संक्षेप में, यह पेपर एक शक्तिशाली इमेज-रेस्टोरेशन AI को काम करते समय एक विशेषज्ञ विजुअल AI (DINOv2) की बात करना सिखाता है। मूल पूर्ण फोटो देखे बिना भी, यह "अलाइनमेंट" (संरेखण) AI को क्षतिग्रस्त छवियों को बहुत तेज़ी से और बहुत अधिक यथार्थवादी विवरणों के साथ ठीक करने में मदद करता है, जिससे एक धुंधली या टूटी हुई चीज़ एक स्पष्ट, जीवंत तस्वीर में बदल जाती है।

तकनीकी सारांश: अलाइन एंड इनवर्ट (Align & Invert)

समस्या विवरण

इनवर्स प्रॉब्लम्स (Inverse problems) का लक्ष्य शोरयुक्त या विकृत मापों $y$ से एक स्वच्छ सिग्नल $x_0$ को पुनः प्राप्त करना है। जबकि प्रीट्रेंड डिफ्यूजन और फ्लो-आधारित मॉडल इन कार्यों के लिए शक्तिशाली प्रायर्स (priors) बन गए हैं, वे गंभीर डिग्रेडेशन (जैसे, अत्यधिक सुपर-रिज़ॉल्यूशन, मोशन ब्लर) या जटिल दृश्यों वाले परिदृश्यों में अत्यधिक विस्तृत चित्र बनाने में संघर्ष करते हैं। एक विशिष्ट सीमा लेटेंट डिफ्यूजन मॉडल्स (LDMs) के साथ आती है, जहाँ एनकोडर-डिकोडर आर्किटेक्चर की नॉन-लिनियरिटी रिवर्स सैंपलिंग प्रक्रिया के दौरान आर्टिफ़ेक्ट्स (artifacts) पेश कर सकती है। इसके अलावा, मौजूदा तरीकों को उच्च-गुणवत्ता वाले पुनर्निर्माण प्राप्त करने के लिए बड़ी संख्या में डिसक्रेटाइजेशन स्टेप्स की आवश्यकता होती है, और उनमें धारणात्मक रूप से यथार्थवादी समाधानों की ओर मार्ग निर्देशित करने के लिए इन्फरेंस के दौरान मजबूत सिमेंटिक बाधाओं (semantic constraints) का अभाव होता है।

कार्यप्रणाली (Methodology)

यह शोध पत्र अलाइन एंड इनवर्ट (Align & Invert) का प्रस्ताव करता है, जो एक फ्रेमवर्क है जो इनवर्स प्रॉब्लम्स के लिए डिफ्यूजन और फ्लो-आधारित सॉल्वर के इन्फरेंस प्रोसेस में रिप्रेजेंटेशन अलाइनमेंट (REPA) को एकीकृत करता है।

मुख्य अवधारणा (Core Concept)

यह विधि जनरेटिव मॉडल (डिफ्यूजन/फ्लो) के आंतरिक निरूपणों (internal representations) और एक प्रीट्रेंड, सेल्फ-सुपरवाइज्ड विजुअल एनकोडर (विशेष रूप से DINOv2) के फीचर्स के बीच अलाइनमेंट को लागू करती है। जबकि REPA का उपयोग पहले जनरेटिव गुणवत्ता में सुधार के लिए एक ट्रेनिंग रेगुलराइज़र के रूप में किया गया था, यह कार्य इसे उन इनवर्स प्रॉब्लम्स के इन्फरेंस के लिए अनुकूलित करता है जहाँ ग्राउंड-ट्रुथ सिग्नल उपलब्ध नहीं होते हैं।

तकनीकी कार्यान्वयन (Technical Implementation)

प्रॉक्सी निर्माण (Proxy Construction): चूंकि ग्राउंड ट्रुथ $x_0$ अज्ञात है, इसलिए यह विधि लापता लक्ष्य फीचर्स के स्थान पर खड़े होने के लिए एक प्रॉक्सी रिप्रेजेंटेशन $c_{proxy}$ का निर्माण करती है।
- प्रारंभ में, $c_{proxy}$ को उपलब्ध माप $y$ के DINOv2 फीचर्स से प्राप्त किया जाता है।
- जैसे-जैसे रिवर्स डिफ्यूजन प्रक्रिया आगे बढ़ती है, प्रॉक्सी को मॉडल के वर्तमान डीनोइज़्ड एस्टीमेट के DINOv2 फीचर्स $f_{DINOv2}(D(E[z_0 | z_t]))$ के साथ धीरे-धीरे अपडेट किया जाता है।
- यह रणनीति सामान्य इमेज डिग्रेडेशन के प्रति DINOv2 फीचर्स की देखी गई मजबूती पर निर्भर करती है।
टिल्टेड डिस्ट्रिब्यूशन (Tilted Distribution): सैंपलिंग प्रक्रिया को एक टिल्टेड डिस्ट्रिब्यूशन द्वारा निर्देशित किया जाता है जो अलाइनमेंट टर्म को एक रिवॉर्ड के रूप में शामिल करता है:
$\tilde{p}(x_t | y) \propto p(y | x_t) p_t(x_t) \exp(\lambda \cdot \text{REPA}(\bar{x}_0, h_t))$
यहाँ, $p(y | x_t)$ माप निरंतरता (measurement consistency) को लागू करता है, $p_t(x_t)$ अनकंडीशनल प्रायर है, और REPA टर्म डिफ्यूजन मॉडल के इंटरमीडिएट हिडन स्टेट्स $h_t$ और प्रॉक्सी DINOv2 फीचर्स के बीच अलाइनमेंट को प्रोत्साहित करता है।
एल्गोरिदम एकीकरण (Algorithm Integration): इस दृष्टिकोण को रिवर्स सैंपलिंग लूप के दौरान REPA ऑब्जेक्टिव के आधार पर एक ग्रेडिएंट स्टेप जोड़कर मौजूदा स्टेट-ऑफ-द-आर्ट सॉल्वर्स (जैसे, Latent DPS, ReSample) में एकीकृत किया गया है। यह स्टेप लेटेंट डिफ्यूजन स्टेट को लक्ष्य के सिमेंटिक फीचर्स के साथ अलाइन करता है।
अनुकूलन क्षमता (Adaptability): उन मॉडल्स के लिए जो मूल रूप से REPA के साथ प्रीट्रेंड नहीं हैं, यह फ्रेमवर्क एक हल्का पोस्ट-हॉक प्रोजेक्शन हेड ( $g_\phi$ ) सीखता है जो डिफ्यूजन मॉडल के आंतरिक निरूपणों को DINOv2 फीचर स्पेस में मैप करता है। यह मैपिंग डिफ्यूजन मॉडल को फ्रीज रखते हुए ऑप्टिमाइज़ की जाती है, जिससे इसका अनुकूलन कम्प्यूटेशनल रूप से सस्ता हो जाता है।

सैद्धांतिक अंतर्दृष्टि (Theoretical Insights)

यह शोध पत्र REPA रेगुलराइज़र की विशेषता बताने वाले दो मुख्य सैद्धांतिक परिणाम प्रदान करता है:

डाइवर्जेंस मिनिमाइजेशन (Divergence Minimization): दिखाया गया है कि REPA ऑब्जेक्टिव को मैक्सिमाइज करना, फीचर मिसअलाइनमेंट और प्रॉक्सी एप्रोक्सिमेशन एरर्स को ध्यान में रखते हुए, पुनर्निर्मित इमेज और ग्राउंड ट्रुथ के बीच मैक्सिमम मीन डिसक्रीपेंसी (MMD) को मिनिमाइज करने के समान है।
लेटेंट स्टेट कॉन्ट्रैक्शन (Latent State Contraction): डिफ्यूजन एनकोडर और प्रोजेक्शन हेड के जैकोबियन के संबंध में रेगुलेरिटी धारणाओं के तहत, एक सिंगल REPA अपडेट डिफ्यूजन स्टेट स्पेस में एक कॉन्ट्रैक्शन (contraction) प्रेरित करता है। विशेष रूप से, यह वर्तमान लेटेंट स्टेट $z_t$ को क्लीन इमेज के लेटेंट रिप्रेजेंटेशन $z^*$ के करीब ले जाता है, बशर्ते कि वर्तमान स्टेट सॉल्यूशन के स्थानीय पड़ोस (local neighborhood) के भीतर हो।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार इनवर्स प्रॉब्लम्स पर मूल्यांकन किया: सुपर-रिज़ॉल्यूशन (4×, 8×, 16×), बॉक्स इनपेंटिंग (Box Inpainting), गौसियन डीब्लरिंग (Gaussian Deblurring), और मोशन डीब्लरिंग (Motion Deblurring), इमेजनेट (ImageNet) और FFHQ डेटासेट्स का उपयोग करके।

धारणात्मक गुणवत्ता (Perceptual Quality): REPA को एकीकृत करने से सभी कार्यों और सॉल्वर्स (Latent DPS, ReSample, Latent DAPS) में LPIPS और FID जैसे धारणात्मक मेट्रिक्स में लगातार सुधार हुआ। उदाहरण के लिए, ImageNet पर 4× सुपर-रिज़ॉल्यूशन के लिए, Latent DPS + REPA ने LPIPS को 0.238 से घटाकर 0.217 और FID को 123.82 से घटाकर 86.88 कर दिया।
पिक्सेल मेट्रिक्स (Pixel Metrics): मानक पिक्सेल-वाइज मेट्रिक्स (PSNR, SSIM) बेसलाइन्स के तुलनीय रहे, जो ज्ञात परसेप्शन-डिस्टॉर्शन ट्रेड-ऑफ को दर्शाते हैं जहाँ REPA पिक्सेल-परफेक्ट सटीकता के बजाय सिमेंटिक रियलिज्म को प्राथमिकता देता है।
दक्षता (Efficiency): एक महत्वपूर्ण खोज यह है कि REPA सॉल्वर्स को काफी कम डिसक्रेटाइजेशन स्टेप्स के साथ समान स्तर की धारणात्मक गुणवत्ता तक पहुँचने की अनुमति देता है। सुपर-रिज़ॉल्यूशन और गौसियन डीब्लरिंग में, विधि ने बेसलाइन की तुलना में लगभग 4× कम स्टेप्स के साथ तुलनीय LPIPS स्कोर प्राप्त किया, जिससे प्रति स्टेप अतिरिक्त गणना के बावजूद कुल रनटाइम कम हो गया।
मजबूती (Robustness): विधि गंभीर डिग्रेडेशन (जैसे, 16× अपस्केलिंग, हाई-इंटेंसिटी ब्लर) के तहत भी प्रभावी रही और एक स्वतंत्र रूप से प्रीट्रेंड मॉडल्स पर हल्के पोस्ट-हॉक मैपिंग के माध्यम से भी प्रभावी रही।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि रिप्रेजेंटेशन अलाइनमेंट इन्फरेंस के समय जनरेटिव इनवर्स प्रॉब्लम सॉल्वर्स को बेहतर बनाने के लिए एक प्रभावी उपकरण है।

सिमेंटिक गाइडेंस (Semantic Guidance): आंतरिक मॉडल निरूपणों को मजबूत विजुअल फीचर्स (DINOv2) के साथ अलाइन करके, यह विधि एक मजबूत सिमेंटिक प्रायर प्रदान करती है जो पुनर्निर्माण को धारणात्मक रूप से सार्थक समाधानों की ओर निर्देशित करती है, भले ही ग्राउंड-ट्रुथ सुपरविजन उपलब्ध न हो।
सैद्धांतिक औचित्य (Theoretical Justification): यह कार्य स्पष्ट करता है कि अलाइनमेंट क्यों काम करता है, यह दिखाते हुए कि यह फीचर-स्पेस डाइवर्जेंस को कम करने और लेटेंट स्टेट को क्लीन इमेज सॉल्यूशन की ओर कॉन्ट्रैक्ट करने के एक तंत्र के रूप में कार्य करता है।
सामान्य प्रयोज्यता (General Applicability): यह फ्रेमवर्क सामान्य है, विभिन्न डिफ्यूजन/फ्लो-आधारित सॉल्वर्स के साथ संगत है, और एक हल्के पोस्ट-हॉक मैपिंग के माध्यम से मूल रूप से अलाइनमेंट के साथ प्रशिक्षित मॉडल्स के लिए अनुकूलनीय है।
दक्षता (Efficiency): यह डिफ्यूजन सैंपलिंग की कम्प्यूटेशनल बाधा को संबोधित करता है और अभिसरण (convergence) को तेज करके उच्च-गुणवत्ता वाले पुनर्निर्माण की अनुमति देता है।

लेखक निष्कर्ष निकालते हैं कि यह दृष्टिकोण डिफ्यूजन मॉडल्स की जनरेटिव क्षमताओं और सेल्फ-सुपरवाइज्ड एनकोडर्स की सिमेंटिक समझ के बीच के अंतर को पाटता है, जो चुनौतीपूर्ण इनवर्स प्रॉब्लम सेटिंग्स में पुनर्निर्माण की गुणवत्ता को बढ़ाने का एक सिद्धांत आधारित तरीका प्रदान करता है।