🤖 AI

Your Pre-trained Diffusion Model Secretly Knows Restoration

यह शोध पत्र प्रकट करता है कि प्री-ट्रेंड डिफ्यूजन मॉडल्स में स्वाभाविक रूप से बहाली (रेस्टोरेशन) की क्षमताएं होती हैं जिन्हें ट्रेनिंग और इन्फरेंस डायनेमिक्स को संरेखित करने के लिए डिफ्यूजन ब्रिज फॉर्मूलेशन के भीतर प्रॉम्प्ट एम्बेडिंग्स को प्रशिक्षित करके अनलॉक किया जा सकता है, जिससे बिना किसी फाइन-ट्यूनिंग या विशेष नियंत्रण मॉड्यूल के उच्च-प्रदर्शन वाली ऑल-इन-वन रेस्टोरेशन प्राप्त की जा सकती है।

मूल लेखक: Sudarshan Rajagopalan, Vishal M. Patel

प्रकाशित 2026-04-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sudarshan Rajagopalan, Vishal M. Patel

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक मास्टर शेफ है जिसने अपना पूरा जीवन बेहतरीन, उच्च श्रेणी के भोजन बनाने में बिताया है। वह शेफ जानता है कि एक स्टेक, सलाद या केक को लाजवाब कैसे बनाया जाता है। हालाँकि, यदि आप उनसे कहें कि "जले हुए टोस्ट को ठीक करें," तो वे शायद आपकी बात को अनदेखा कर देंगे और आपको एक बेहतरीन, ताज़ा टोस्ट परोस देंगे, या वे जले हुए टोस्ट से बस टुकड़े साफ कर देंगे लेकिन उसे ठीक नहीं करेंगे। वे नई चीजें बनाने में इतने माहिर हैं कि वे टूटी हुई चीजों को ठीक करना भूल गए हैं।

यह बिल्कुल वही समस्या है जिसका सामना जॉन हॉपकिन्स यूनिवर्सिटी के शोधकर्ताओं ने प्री-ट्रेनड डिफ्यूजन मॉडल्स (AI की दुनिया के "मास्टर शेफ") के साथ किया था। ये मॉडल टेक्स्ट से सुंदर चित्र और वीडियो बनाने में अविश्वसनीय हैं, लेकिन जब उन्हें धुंधली, बारिश वाली या कोहरे वाली तस्वीरों को ठीक करने के लिए कहा जाता है, तो वे आमतौर पर विफल हो जाते हैं, जब तक कि आप उन्हें महीनों तक फिर से प्रशिक्षित (retrain) न करें।

इस पेपर का शीर्षक है, "Your Pre-trained Diffusion Model Secretly Knows Restoration" (आपका प्री-ट्रेन्ड डिफ्यूजन मॉडल गुप्त रूप से बहाली करना जानता है), जो एक आश्चर्यजनक रहस्य प्रकट करता है: शेफ वास्तव में टोस्ट को ठीक करना जानता है; बस आपने उससे सही तरीके से नहीं पूछा है।

यहाँ उनकी खोज का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. पूछने का गलत तरीका (द "टोकन" समस्या)

आमतौर पर, जब लोग इन AI मॉडल्स का उपयोग किसी फोटो को ठीक करने के लिए करना चाहते हैं, तो वे उन्हें "कोहरा हटाओ" या "इसे स्पष्ट बनाओ" जैसा टेक्स्ट प्रॉम्प्ट देने की कोशिश करते हैं।

उपमा: कल्पना कीजिए कि आप मास्टर शेफ को एक वॉकी-टॉकी के माध्यम से निर्देश चिल्लाकर देने की कोशिश कर रहे हैं जो केवल एक सीमित शब्दावली समझता है, और कह रहे हैं, "टोस्ट ठीक करो।" शेफ शब्द तो सुनता है लेकिन वह उस बारीकी (nuance) को नहीं समझ पाता जिसकी आपको आवश्यकता है। AI इमेज को "डिनोइज़" (शोर हटाना) करने की कोशिश करता है, लेकिन वह केवल कोहरे वाली इमेज को एक साफ कोहरे वाली इमेज जैसा बना देता है, न कि एक स्पष्ट इमेज जैसा।
पेपर की खोज: शोधकर्ताओं ने पाया कि केवल शब्दों को बदलना (भले ही वे फैंसी "सीखे हुए" शब्द हों) काम नहीं करता है। AI का "दिमाग" (टेक्स्ट एनकोडर) इन शब्दों को एक ऐसे प्रारूप में अनुवादित करता है जिसे शेफ बहाली (restoration) कार्यों के लिए अनदेखा कर देता है।

2. पूछने का सही तरीका (द "एम्बेडिंग" रहस्य)

शोधकर्ताओं ने खोजा कि यदि आप वॉकी-टॉकी को दरकिनार कर सीधे शेफ को एक गुप्त नोट थमा देते हैं, तो जादू होता है।

उपमा: वॉकी-टॉकी के माध्यम से चिल्लाने के बजाय, आप शेफ को एक प्रत्यक्ष मानसिक कमांड (एक विशिष्ट गणितीय वेक्टर) देते हैं जो कहता है, "इस टूटी हुई चीज़ को लो और इसे एक बेहतरीन चीज़ में बदलो।"
परिणाम: जब उन्होंने इन "मानसिक नोट्स" (जिन्हें एम्बेडिंग वेक्टर्स कहा जाता है) को सीधे अनुकूलित (optimize) किया, तो फ्रोजन AI मॉडल अचानक छवियों को पूरी तरह से ठीक करने लगा! यह पता चला कि मॉडल के पास बहाली के कौशल पहले से ही थे, लेकिन वे एक ऐसे दरवाजे के पीछे बंद थे जिसे टेक्स्ट प्रॉम्प्ट नहीं खोल सकते थे।

3. "ट्रेन-टेस्ट" मिसमैच (द "अभ्यास बनाम खेल" समस्या)

सही "मानसिक नोट" खोजने के बाद भी, एक दूसरी समस्या थी।

उपमा: कल्पना कीजिए कि आप एक सॉकर खिलाड़ी को गोल में गेंद किक करने के लिए प्रशिक्षित कर रहे हैं।
- गलती: आप अभ्यास इस तरह करते हैं कि आप हमेशा गोल से 10 फीट दूर से गेंद किक करते हैं। लेकिन वास्तविक खेल में, खिलाड़ी को हाफ-लाइन से गोल तक दौड़ना पड़ता है। अभ्यास, खेल से मेल नहीं खाता!
- पेपर का समाधान: शोधकर्ताओं ने महसूस किया कि जब वे AI को प्रशिक्षित कर रहे थे, तो वे उसे ऐसी छवियों के साथ दिखा रहे थे जो उस तरह से "टूटी हुई" थीं जो बाद में AI द्वारा ठीक किए जाने के तरीके से मेल नहीं खाती थीं।
- सुधार: उन्होंने एक "डिफ्यूजन ब्रिज" का आविष्कार किया। इसे एक "प्रशिक्षण रैंप" के रूप में सोचें। सीधे "टूटी हुई" से "ठीक" अवस्था में कूदने के बजाय, उन्होंने एक सुचारू, क्रमिक पथ बनाया जहाँ छवि प्रशिक्षण के दौरान धीरे-धीरे टूटी हुई से साफ अवस्था में बदलती है। यह सुनिश्चित करता है कि AI ठीक वही कदम सीखे जो उसे वास्तविक दुनिया में फोटो ठीक करते समय उठाने की आवश्यकता होती है।

4. परिणाम: एक हल्का टूल (Lightweight Tool)

क्योंकि उन्होंने गुप्त "मानसिक नोट" और "प्रशिक्षण रैंप" खोज लिया था, इसलिए उन्हें पूरे विशाल AI मॉडल को फिर से प्रशिक्षित करने की आवश्यकता नहीं पड़ी (जो कि शेफ के पूरे किचन को फिर से बनाने जैसा है)।

उपमा: उन्हें बस एक छोटा, 200 शब्दों का चीट शीट (प्रॉम्प्ट) लिखने और उसे मौजूदा शेफ को देने की आवश्यकता थी।
परिणाम: उन्होंने इसे दो विशाल AI मॉडल्स पर लागू किया (इमेज के लिए एक जिसे FLUX कहा जाता है और वीडियो के लिए WAN)। केवल इस छोटे से चीट शीट के साथ, ये मॉडल्स स्टेट-ऑफ-द-आर्ट बहाली उपकरण बन गए। वे कई विशिष्ट उपकरणों की तुलना में बारिश, बर्फ, धुंध और कम रोशनी को बेहतर ढंग से ठीक कर सके, बिना शुरू से फिर से प्रशिक्षित हुए।

सारांश

समस्या: बड़े AI मॉडल कला बनाने में महान हैं लेकिन जब आप उन्हें बस "ठीक करो" कहते हैं, तो वे टूटी हुई तस्वीरों को ठीक करने में खराब होते हैं।
खोज: वे फोटो ठीक कर सकते हैं, लेकिन आपको उन्हें एक गुप्त "मानसिक भाषा" (एम्बेडिंग स्पेस) में बात करनी होगी, न कि सामान्य अंग्रेजी में।
नवाचार: उन्होंने प्रशिक्षण प्रक्रिया को ठीक किया ताकि AI उसी प्रकार की "टूटी हुई" छवियों पर अभ्यास करे जो वह वास्तविक जीवन में देखेगा (एक "डिफ्यूजन ब्रिज" का उपयोग करके)।
लाभ: आपको एक सुपर-पावरफुल फोटो/वीडियो फिक्सर मिलता है जो हल्का, तेज़ है और जिसे प्रशिक्षित करने के लिए भारी कंप्यूटिंग पावर की आवश्यकता नहीं है।

संक्षेप में: AI टूटा हुआ नहीं था; बस हमें नहीं पता था कि उससे काम कैसे करवाना है। अब जब हम जानते हैं, तो यह एक बहाली का सुपरहीरो है।

यहाँ राजगोपालन और पटेल के शोध पत्र "Your Pre-trained Diffusion Model Secretly Knows Restoration" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

ऑल-इन-वन रेस्टोरेशन (AiOR) का लक्ष्य एक एकल एकीकृत मॉडल का उपयोग करके विविध विकृतियों (जैसे धुंध, बारिश, बर्फ, मोशन ब्लर, कम रोशनी) से खराब हुई छवियों या वीडियो को पुनर्स्थापित (restore) करना है। जबकि हालिया दृष्टिकोण मजबूत जनरेटिव प्रायर्स (generative priors) के कारण Stable Diffusion, FLUX, और WAN जैसे बड़े प्री-ट्रेंड टेक्स्ट-टू-इमेज/वीडियो (T2IV) लेटेंट डिफ्यूजन मॉडल्स (LDMs) का लाभ उठाते हैं, मौजूदा विधियों को महत्वपूर्ण सीमाओं का सामना करना पड़ता है:

फाइन-ट्यूनिंग/कंट्रोलनेट (Fine-tuning/ControlNet): अधिकांश विधियों में बैकबोन को फाइन-ट्यून करने या भारी कंट्रोलनेट-शैली के मॉड्यूल जोड़ने की आवश्यकता होती है। यह कम्प्यूटेशनल रूप से महंगा है, प्रशिक्षण वितरण (training distributions) के प्रति ओवरफिटिंग का जोखिम पैदा करता है, और मॉडल के मूल सामान्यीकरण प्रायर्स (generalization priors) को कमजोर कर सकता है।
अप्रभावी प्रॉम्प्टिंग (Ineffective Prompting): सीधे प्राकृतिक भाषा के प्रॉम्प्ट्स (जैसे, "remove haze") का उपयोग करना या टोकन-स्पेस अनुकूलन (Token-space optimization) बहाली व्यवहार (restoration behavior) को प्रेरित करने में विफल रहता है। इसके बजाय, ये विधियाँ विकृति को हटाने के बजाय शोर (noise) को दबाने और विकृत संरचना को बनाए रखने की प्रवृत्ति रखती हैं, जिससे प्रभावी रूप से विकृति को "डिनोइज" किया जाता है न कि हटाया जाता है।
ट्रैजेक्टरी मिसमैच (Trajectory Mismatch): नेइव प्रॉम्प्ट लर्निंग (Naive prompt learning) प्रशिक्षण और अनुमान (inference) के बीच एक विसंगति से ग्रस्त है। प्रशिक्षण अक्सर विकृत छवि ( $z_{deg}$ ) पर आधारित फॉरवर्ड नोइजिंग प्रक्रिया का उपयोग करता है, जबकि अनुमान के लिए एक रिवर्स ट्रैजेक्टरी की आवश्यकता होती है जो विकृत ( $z_{deg}$ ) से स्वच्छ ( $z_{clean}$ ) की ओर जाती है। यह मिसमैच अस्थिरता और आर्टिफैक्ट्स का कारण बनता है।

2. कार्यप्रणाली (Methodology)

लेखक एक ऐसा फ्रेमवर्क प्रस्तावित करते हैं जो टेक्स्ट एनकोडर के एम्बेडिंग स्पेस (embedding space) में सीधे हल्के प्रॉम्प्ट्स (lightweight prompts) को सीखकर फ्रोजन प्री-ट्रेंड डिफ्यूजन मॉडल्स की अंतर्निहित बहाली क्षमताओं को अनलॉक करता है, न कि टोकन स्पेस में।

A. एम्बेडिंग-स्पेस प्रॉम्प्ट ऑप्टिमाइज़ेशन (Embedding-Space Prompt Optimization)

टोकन स्पेस में डिस्क्रीट टेक्स्ट टोकन को अनुकूलित करने या प्राकृतिक भाषा का उपयोग करने के बजाय, यह विधि फ्रोजन टेक्स्ट एनकोडर के आउटपुट पर एक निरंतर कॉन्टेक्स्ट एम्बेडिंग वेक्टर ( $p$ ) को अनुकूलित करती है।

अवलोकन: जबकि टोकन-स्पेस प्रॉम्प्ट विफल होते हैं, सीधे एम्बेडिंग $p$ को अनुकूलित करने से फ्रोजन बैकबोन को शोरयुक्त विकृत लेटेंट्स ( $z_t^{deg}$ ) को स्वच्छ लक्ष्यों ( $z_{clean}$ ) की ओर मैप करने में मदद मिलती है।
तंत्र (Mechanism): मॉडल शोरयुक्त इनपुट और सीखे गए प्रॉम्प्ट $p$ के दिए होने पर स्वच्छ लेटेंट के पुनर्निर्माण त्रुटि (reconstruction error) को कम करता है।

B. डिफ्यूजन ब्रिज के माध्यम से ट्रैजेक्टरी मिसमैच को संबोधित करना (Addressing Trajectory Mismatch via Diffusion Bridges)

लेखक पहचानते हैं कि नेइव ट्रेनिंग (फॉरवर्ड प्रोसेस $z_t = \alpha(t)z_{deg} + \sigma(t)\epsilon$ का उपयोग करके) अनुमान के दौरान वितरण मिसमैच पैदा करती है। इसे हल करने के लिए, वे एक डिफ्यूजन ब्रिज (Diffusion Bridge) फॉर्मूलेशन पेश करते हैं:

समस्या: नेइव ट्रेनिंग केवल $z_{deg}$ पर केंद्रित अवस्थाओं को ही प्रॉम्प्ट के संपर्क में लाती है। हालाँकि, अनुमान के लिए एक ऐसी पथ (path) की आवश्यकता होती है जहाँ सिग्नल घटक $z_{deg}$ से $z_{clean}$ की ओर संक्रमण करता है।
समाधान: वे एक प्रशिक्षण ट्रैजेक्टरी को परिभाषित करते है जो फ्रोजन बैकबोन के साथ संगत शोर शेड्यूल (noise schedule) बनाए रखते हुए विकृत और स्वच्छ एंडपॉइंट्स के बीच सुचारू रूप से इंटरपोलेट करती है।
EBR ब्रिज: वे एक एनर्जी-ओरिएंटेड डिफ्यूजन ब्रिज (EBR) फॉर्मूलेशन अपनाते हैं। मध्यवर्ती अवस्थाओं का निर्माण इस प्रकार किया जाता है:
$z_t^{ebr} = (1-t) \left[ (1-\frac{t}{T_0})z_{clean} + (\frac{t}{T_0})z_{deg} \right] + t\epsilon$
यह सुनिश्चित करता है कि प्रॉम्प्ट को शोरयुक्त-विकृत से स्वच्छ की ओर एक मोनोटोन पथ पर प्रशिक्षित किया जाए, जिससे प्रशिक्षण डायनेमिक्स अनुमान सैंपलिंग ट्रैजेक्टरी के साथ संरेखित हो सके।

C. कार्यान्वयन विवरण (Implementation Details)

आर्किटेक्चर: डिफ्यूजन बैकबोन (वीडियो के लिए WAN, छवियों के लिए FLUX) और टेक्स्ट एनकोडर को फ्रोजन (frozen) रखा गया है।
प्रॉम्प्ट डिज़ाइन: प्रत्येक विकृति प्रकार $k$ के लिए एक अलग प्रॉम्प्ट $p^{(k)}$ सीखा जाता है।
रेसिडुअल इंजेक्शन (Residual Injection): पैरामीटर दक्षता में सुधार के लिए, विधि पूर्ण एम्बेडिंग को शुरू से अनुकूलित करने के बजाय कंडिशनिंग इंटरफेस (जैसे, क्रॉस-अटेंशन इनपुट) पर नल-टेक्स्ट कॉन्टेक्स्ट में जोड़ा जाने वाला एक रेसिडुअल प्रॉम्प्ट सीखती है।
मिक्स्ड डिग्रेडेशन (Mixed Degradations): मिश्रित विकृतियों के लिए, प्रॉम्प्ट को सैंपलिंग के दौरान उनके अनुमानित वेलोसिटी (velocities) को औसत करके संयोजित किया जाता है।

3. मुख्य योगदान (Key Contributions)

छिपे हुए रेस्टोरेशन प्रायर्स की खोज: यह पेपर प्रदर्शित करता है कि प्री-ट्रेंड डिफ्यूजन मॉडल्स में स्वाभाविक रूप से बहाली का ज्ञान होता है जो प्राकृतिक भाषा या टोकन-स्पेस ऑप्टिमाइज़ेशन के माध्यम से सुलभ नहीं है, लेकिन एम्बेडिंग-स्पेस कंडिशनिंग के माध्यम से इसे अनलॉक किया जा सकता है।
ट्रैजेक्टरी अलाइनमेंट: लेखकों ने पहचान की कि नेइव ट्रेनिंग-टेस्ट ट्रैजेक्टरी मिसमैच नेइव प्रॉम्प्ट लर्निंग में अस्थिरता का प्राथमिक कारण है और प्रशिक्षण एवं अनुमान डायनेमिक्स को संरेखित करने के लिए एक डिफ्यूजन ब्रिज (विशेष रूप से EBR-शैली) प्रस्तावित किया है।
लाइटवेट, जनरलाइजेबल फ्रेमवर्क: वे इस दृष्टिकोण को WAN (1.3B) वीडियो मॉडल और FLUX (12B) इमेज मॉडल पर लागू करते हैं। यह विधि कोई बैकबोन फाइन-ट्यूनिंग नहीं और केवल कुछ ही सीखने योग्य पैरामीटर्स (जैसे, बैकबोन के अरबों के मुकाबले WAN के लिए ~300K) के साथ अत्याधुनिक प्रदर्शन प्राप्त करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन इमेज और वीडियो रेस्टोरेशन के लिए विविध डेटासेट्स पर किया गया, जिसमें इन-डिस्ट्रीब्यूशन (ID), आउट-ऑफ-डिस्ट्रीब्यूशन (OOD), और अनसीन/मिक्स्ड डिग्रेडेशन शामिल हैं।

प्रदर्शन:
- इमेज रेस्टोरेशन (FLUX): इसने PSNR, SSIM, LPIPS, CLIPIQA, MUSIQ जैसे मेट्रिक्स पर AutoDIR, PixWizard, और FoundIR जैसी SOTA विधियों को पीछे छोड़ दिया या उनके बराबर प्रदर्शन किया। विशेष रूप से, इसने OOD डेटासेट्स (जैसे, HazeRD, WeatherBench) और अनसीन डिग्रेडेशन (TOLED, POLED) पर बेहतर सामान्यीकरण दिखाया।
- वीडियो रेस्टोरेशन (WAN): इसने विशिष्ट वीडियो रेस्टोरेशन मॉडल्स (ViWS-Net, Avernet) के मुकाबले प्रतिस्पर्धी परिणाम प्राप्त किए और वीडियो फ्रेम्स पर लागू इमेज-आधारित विधियों से काफी बेहतर प्रदर्शन किया। यह प्री-ट्रेंड WAN मॉडल के मजबूत टेम्पोरल प्रायर्स के कारण टेम्पोरल कंसिस्टेंसी मेट्रिक्स (DOVER) में उत्कृष्ट रहा।
एब्लेशन स्टडीज (Ablation Studies):
- ब्रिज बनाम नेइव: EBR ब्रिज का उपयोग करने से नेइव ट्रेनिंग और DDBM-शैली के ब्रिज की तुलना में काफी बेहतर प्रदर्शन हुआ, जो ट्रैजेक्टरी अलाइनमेंट की आवश्यकता की पुष्टि करता है।
- एम्बेडिंग बनाम टोकन: एम्बेडिंग-स्पेस ऑप्टिमाइज़ेशन को आवश्यक पाया गया; टोकन-स्पेस ऑप्टिमाइज़ेशन छवियों को बहाल करने में विफल रहा।
- रेसिडुअल प्रॉम्प्ट: पूर्ण कॉन्टेक्स्ट एम्बेडिंग को अनुकूलित करने की तुलना में रेसिडुअल प्रॉम्प्ट सीखना अधिक पैरामीटर-कुशल और प्रभावी था।

5. महत्व (Significance)

यह कार्य लो-लेवल विजन कार्यों के लिए प्री-ट्रेंड डिफ्यूजन मॉडल्स का लाभ उठाने के प्रतिमान (paradigm) को मौलिक रूप से बदल देता है:

दक्षता (Efficiency): यह महंगे फाइन-ट्यूनिंग या भारी कंट्रोलनेट मॉड्यूल की आवश्यकता को समाप्त करता है, जिससे न्यूनतम कम्प्यूटेशनल ओवरहेड के साथ उच्च-गुणवत्ता वाली बहाली सुलभ हो जाती है।
सामान्यीकरण (Generalization): अपने फ्रोजन बैकबोन के मूल प्रायर्स को संरक्षित करके, यह विधि विशिष्ट प्रशिक्षण वितरणों के प्रति ओवरफिट होने वाले तरीकों की तुलना में वास्तविक दुनिया के जटिल और अनसीन डिग्रेडेशन के प्रति बेहतर मजबूती प्रदर्शित करती है।
अंतर्दृष्टि (Insight): यह डिफ्यूजन मॉडल्स के "ब्लैक बॉक्स" के बारे में एक महत्वपूर्ण अंतर्दृष्टि प्रकट करता है: बहाली क्षमताएं मॉडल के भीतर मौजूद हैं लेकिन वे कंडिशनिंग मैकेनिज्म द्वारा गेट की गई हैं, जिसके लिए सिमेंटिक टेक्स्ट प्रॉम्प्ट के बजाय विशिष्ट एम्बेडिंग-स्पेस हस्तक्षेप की आवश्यकता होती है।

संक्षेप में, यह पेपर सिद्ध करता है कि प्री-ट्रेंड डिफ्यूजन मॉडल्स बहाली के लिए "गुप्त रूप से" सक्षम हैं, बशर्ते कि उनके आंतरिक जनरेटिव डायनेमिक्स के साथ संरेखित करने के लिए कंडिशनिंग मैकेनिज्म को सही ढंग से अनुकूलित किया जाए।