💻 computer science

Universal Image Restoration via Internalized Chain-of-Thought Reasoning

यह शोध पत्र CoTIR को प्रस्तुत करता है, जो एक सार्वभौमिक इमेज रेस्टोरेशन फ्रेमवर्क है जो एक डिफरेंशिएबल लैग्रेंजियन-प्रेरित ऑब्जेक्टिव का उपयोग करके एक एकल फाइन-ट्यून्ड इमेज एडिटिंग मॉडल के भीतर चेन-ऑफ-थॉट रीजनिंग को आंतरिक रूप से समाहित करता है, और इसके साथ ही एक नए बड़े पैमाने के बेंचमार्क (CoTIR-Bench) का उपयोग करता है, ताकि जटिल डिग्रेडेशन परिदृश्यों में बेहतर परसेप्चुअल क्वालिटी और फिडेलिटी प्राप्त की जा सके और मल्टी-स्टेप प्रोसेसिंग की कम्प्यूटेशनल लागतों से बचा जा सके।

मूल लेखक: Yu Guo, Zhengru Fang, Shengfeng He, Senkang Hu, Yihang Tao, Phone Lin, Yuguang Fang

प्रकाशित 2026-06-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yu Guo, Zhengru Fang, Shengfeng He, Senkang Hu, Yihang Tao, Phone Lin, Yuguang Fang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी समस्या: एक खराब फोटो को ठीक करना

कल्पना कीजिए कि आपके पास एक ऐसी फोटो है जो बर्बाद हो चुकी है। इसमें सिर्फ एक चीज़ गलत नहीं है; यह खराब परिस्थितियों का एक "परफेक्ट स्टॉर्म" (एक साथ कई बुराइयाँ) है। हो सकता है कि वह धुंधली (blurry) हो, अंधेरी हो, उस पर बारिश की बूंदों के निशान हों, और उसमें एक अजीब सा रंग का टिंट भी हो।

पुराना तरीका (All-in-One Models): इसे ऐसे समझें जैसे आपने एक जनरल कॉन्ट्रैक्टर को काम पर रखा है जो छत की मरम्मत, प्लंबिंग और बिजली का काम, सब कुछ एक ही बड़े हथौड़े से एक साथ करने की कोशिश करता है। जैसे-जैसे नुकसान जटिल होता जाता है, यह दृष्टिकोण अक्सर घबरा जाता है और औसत दर्जे का काम करता है।
हालिया चलन (Chain-of-Thought/CoT): यह विशेषज्ञों की एक टीम को काम पर रखने जैसा है। पहले, एक बारिश विशेषज्ञ खिड़की को सुखाने के लिए आता है। फिर, एक लाइटिंग विशेषज्ञ कमरे को रोशन करने के लिए आता है। फिर, एक ब्लर विशेषज्ञ फोकस को शार्प करने के लिए आता है।
- चुनौती: इसमें बहुत समय लगता है (उच्च लागत) क्योंकि आपको तीन अलग-अलग लोगों को बुलाना पड़ता है। साथ ही, बारिश विशेषज्ञ अनजाने में लाइटिंग को खराब कर सकता है, और लाइटिंग विशेषज्ञ ब्लर को और खराब कर सकता है, क्योंकि वे काम करते समय एक-दूसरे से बात नहीं कर रहे होते हैं।

समाधान: CoTIR (द "सुपर-थिंकर" मॉडल)

लेखकों ने CoTIR बनाया है, एक नया सिस्टम जो एक जीनियस कलाकार की तरह काम करता है जो केवल फोटो को "ठीक" नहीं करता, बल्कि एक भी ब्रश स्ट्रोक लगाने से पहले यह सोचता है कि इसे कैसे ठीक किया जाए।

अलग-अलग विशेषज्ञों को बुलाने के बजाय, CoTIR एक ही मॉडल है जो एक ही पल में "सोचना → योजना बनाना → कार्य करना" (Thinking → Planning → Action) की प्रक्रिया के माध्यम से आंतरिक रूप से गुजरता है।

1. "सोचने" का चरण (Disentangling - अलग करना)

इमेज को छूने से पहले, मॉडल उसे समझने के लिए रुकता है। वह अपने दिमाग में "अच्छी चीजों" को "बुरी चीजों" से अलग करता है।

उपमा: कल्पना कीजिए कि आप एक कीचड़ से सनी पेंटिंग को देख रहे हैं। इसे बस रगड़ने के बजाय, कलाकार मानसिक रूप से फूलों के असली रंगों को कीचड़ के छींटों से अलग करता है। वह पहचान लेता है कि वास्तव में क्या गलत है (कीचड़) और क्या सही है (फूल)।

2. "योजना बनाने" का चरण (Strategy - रणनीति)

मॉडल चीजों को ठीक करने का सबसे अच्छा क्रम तय करता है। उसे एहसास होता है कि यदि वह कीचड़ को पहले हटाता है, तो रंग अलग दिख सकते हैं, इसलिए उसे सफाई करते समय ब्राइटनेस को भी एडजस्ट करने की जरूरत होगी।

उपमा: कलाकार सोचता है, "अगर मैं लाल फूल से कीचड़ धोता हूँ, तो लाल रंग अधिक चमकदार दिखेगा, इसलिए मुझे संतुलन बनाए रखने के लिए बैकग्राउंड को थोड़ा गहरा करने की योजना बनानी होगी।" वह एक मानसिक रोडमैप तैयार करता है।

3. "कार्य करने" का चरण (Restoration - बहाली)

अंत में, मॉडल सुधार को लागू करता है। क्योंकि उसने पहले सोचा और योजना बनाई थी, इसलिए वह इसे एक बार में ही पूरी तरह से करता है।

उपमा: कलाकार अंतिम चित्र को एक ही आत्मविश्वास भरे प्रहार (sweep) में पेंट करता है, यह जानते हुए कि हर पिक्सेल को कहाँ जाना चाहिए।

उन्होंने इसे सोचना कैसे सिखाया

पेपर बताता है कि उन्होंने इसे शून्य से नहीं बनाया। उन्होंने एक विशाल, प्री-ट्रेन्ड "इमेज एडिटर" (जिसे FLUX कहा जाता है) से शुरुआत की जो पहले से ही इमेज बदलने (जैसे फोटो को कार्टून में बदलना या टोपी बदलना) में बहुत अच्छा है।

"एडिटिंग" का लाभ: इस FLUX मॉडल को एक मास्टर शेफ की तरह समझें जो कुछ भी पका सकता है। शोधकर्ताओं ने इस शेफ से कहा, "आप पहले से ही खाना एडिट करना जानते हैं; अब, हमें बस आपको विशेष रूप से जले हुए टोस्ट को ठीक करना सिखाना है।" क्योंकि शेफ के पास पहले से ही बेहतरीन कौशल थे, उन्होंने एक नौसिखिए की तुलना में बहुत तेज़ी से और बेहतर तरीके से विशिष्ट कार्य सीखा।

इसे "सोचना" सिखाने के लिए, उन्होंने एक गणितीय ट्रिक (Lagrangian optimization) का उपयोग किया।

"कोच" की उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। आमतौर पर, शिक्षक केवल अंतिम उत्तर को ग्रेड देता है। CoTIR के साथ, शिक्षक उन चरणों को भी ग्रेड देता है जो छात्र ने वहां तक पहुँचने के लिए लिए हैं।
- क्या छात्र ने समस्या की सही पहचान की? (चरण 1)
- क्या उसने एक अच्छी योजना बनाई? (चरण 2)
- यदि योजना खराब थी, तो शिक्षक तुरंत जुर्माना (penalty) लगाता है, जिससे छात्र को अंतिम उत्तर लिखने से पहले अपनी सोच को एडजस्ट करने के लिए मजबूर किया जाता है। यह सुनिश्चित करता है कि अंतिम परिणाम उच्च गुणवत्ता का हो।

नया बेंचमार्क: CoTIR-Bench

लेखकों को एहसास हुआ कि इन जटिल "सोचने वाले" मॉडलों का परीक्षण करने का कोई अच्छा तरीका नहीं था। इसलिए, उन्होंने CoTIR-Bench नामक एक विशाल टेस्ट बैंक बनाया।

पैमाना: इसमें खराब हुई तस्वीरों और उनके "परफेक्ट" सुधारों के 5.2 मिलियन उदाहरण शामिल हैं।
गुप्त सूत्र: अन्य परीक्षणों के विपरीत, जो केवल "पहले" और "बाद" दिखाते हैं, इस डेटासेट में हर एक इमेज के लिए "सोचने की प्रक्रिया" (reasoning steps) भी शामिल है। यह एक ऐसी टेक्स्टबुक की तरह है जो न केवल गणित का उत्तर दिखाती है, बल्कि 5 मिलियन अलग-अलग समस्याओं के लिए स्टेप-बाय-स्टेप समाधान भी दिखाती है।

परिणाम

जब उन्होंने अन्य तरीकों के मुकाबले CoTIR का परीक्षण किया:

गुणवत्ता: इसने ऐसी तस्वीरें बनाईं जो मानव आंखों को अधिक स्वाभाविक और वास्तविक लगीं (बेहतर "परसेप्चुअल क्वालिटी")।
गति: गहराई से "सोचने" के बावजूद, यह एक ही पास में सब कुछ कर देता है। यह "विशेषज्ञों की टीम" वाले दृष्टिकोण की तुलना में बहुत तेज़ है क्योंकि इसे बार-बार रुकने और शुरू करने की आवश्यकता नहीं होती।
बहुमुखी प्रतिभा (Versatility): इसने नुकसान के अजीब संयोजनों (जैसे "धुंधला + बारिश + अंधेरा") को भी संभाला, जिसने अन्य मॉडलों को भ्रमित कर दिया था।

सारांश

CoTIR एक यूनिवर्सल इमेज फिक्सर है जो समाधान के लिए केवल ताकत (brute-force) का इस्तेमाल नहीं करता। इसके बजाय, यह मानवीय तर्क की नकल करता है: यह गंदगी का विश्लेषण करता है, एक रणनीति की योजना बनाता है, और फिर सुधार को लागू करता है। एक शक्तिशाली इमेज एडिटर को एक विशेष प्रशिक्षण पद्धति का उपयोग करके "सोचने" के लिए सिखाकर, यह पिछले किसी भी तरीके की तुलना में तेज़ और साफ, अधिक वास्तविक तस्वीरें बनाता है।

तकनीकी सारांश: आंतरिककृत चेन-ऑफ-थॉट रीजनिंग के माध्यम से सार्वभौमिक छवि बहाली (Universal Image Restoration)

समस्या विवरण
छवि बहाली (Image restoration) का लक्ष्य खराब इनपुट से उच्च गुणवत्ता वाली छवियां प्राप्त करना है, जो उपभोक्ता फोटोग्राफी से लेकर स्वायत्त ड्राइविंग (autonomous driving) तक के अनुप्रयोगों के लिए महत्वपूर्ण है। जबकि अलग-अलग क्षरण प्रकारों (जैसे, सिंगल-टास्क डीरेनिंग या डिब्लरिंग) को संबोधित करने के लिए महत्वपूर्ण प्रगति हुई है, वास्तविक दुनिया के परिदृश्य अक्सर जटिल, मिश्रित क्षरण (mixed degradations) शामिल करते हैं। ये भ्रष्टाचार गैर-रेखीय और स्थानिक रूप से परिवर्तनशील अंतःक्रियाओं को प्रदर्शित करते हैं, जिससे संयुक्त बहाली (composite restoration) को व्यक्तिगत क्षरणों को स्वतंत्र रूप से संभालने की तुलना में काफी अधिक चुनौतीपूर्ण बना देता है।

मौजूदा एकीकृत "ऑल-इन-वन" मॉडल अक्सर सामान्यीकरण (generalizability) के मामले में संघर्ष करते हैं क्योंकि क्षरण संयोजनों की जटिलता बढ़ने के साथ डेटा वितरण उलझ जाता है। इसके विपरीत, चेन-ऑफ-थॉट (CoT) रीजनिंग अपनाने वाले हालिया दृष्टिकोण बहाली को विशेष मॉड्यूल द्वारा संभाजे जाने वाले बहु-चरणीय, क्रमिक उप-कार्यों में विभाजित करते हैं। हालांकि यह व्याख्यात्मक (interpretable) है, यह प्रतिमान दो महत्वपूर्ण सीमाओं को पेश करता है: (i) बहु-चरणीय प्रसंस्करण और क्रमिक मॉडल आह्वान के कारण उच्च कम्प्यूटेशनल लागत, और (ii) क्षरणों की परस्पर निर्भरता को मॉडल करने में विफलता, क्योंकि उन्हें स्वतंत्र रूप से मानना वास्तविक दुनिया के सह-संबंधित भ्रष्टाचारों (जैसे, डीरेनिंग से शोर बढ़ सकता है, या डीहेज़िंग रंगों को बदल सकती है जो बाद के डिब्लरिंग को प्रभावित करती है) की युग्मित प्रकृति की अनदेखी करता है।

कार्यप्रणाली: CoTIR
लेखक CoTIR प्रस्तावित करते हैं, जो एक एकल, एकीकृत मॉडल के भीतर CoT रीजनिंग को आंतरिककृत (internalize) करता है, जिससे क्रमिक उप-मॉड्यूल की आवश्यकता समाप्त हो जाती है। मूल दर्शन बहाली प्रक्रिया को एक संरचित "सोचना $\rightarrow$ योजना बनाना $\rightarrow$ क्रिया करना" (Thinking $\rightarrow$ Planning $\rightarrow$ Action) प्रक्रिया के रूप में पुनर्गठित करता है।

सैद्धांतिक सूत्रीकरण:
बहाली कार्य को एक बहु-प्रतिबंधित अनुकूलन समस्या (multi-constrained optimization problem) के रूप में तैयार किया गया है। मॉडल को मध्यवर्ती पाठ्य निरूपण (textual representations) उत्पन्न करने के लिए निर्देशित किया जाता है:

सोचना (Thinking): अंतर्निहित स्वच्छ सामग्री के फीचर विवरण और उच्च-स्तरीय क्षरण पैटर्न की पहचान के लिए लेटेंट रिप्रेजेंटेशन को अलग करना।
योजना बनाना (Planning): एक सुसंगत बहाली रणनीति प्राप्त करने के लिए इन निरूपणों के बीच परस्पर क्रिया को मॉडल करना।
क्रिया करना (Action): एक ही फॉरवर्ड पास में एंड-टू-एंड बहाली को निष्पादित करना।

ये मध्यवर्ती चरण लैग्रेंजियन अनुकूलन सूत्रीकरण (Lagrangian optimization formulation) का उपयोग करके विभेदक सॉफ्ट बाधाओं (differentiable soft constraints) के माध्यम से लागू किए जाते हैं। ऑब्जेक्टिव फंक्शन फ्लो मैचिंग लॉस को कम करता है और उनके ग्राउंड-ट्रुथ रीजनिंग लक्ष्यों के साथ मध्यवर्ती आउटपुट ( $\hat{C} = \{\hat{c}_s, \hat{c}_d, \hat{c}_p\}$ ) के संरेखण पर बाधाओं को संतुष्ट करता है। इसे मॉडल मापदंडों और लैग्रेंज मल्टीप्लायर्स को संयुक्त रूप से अनुकूलित करने के लिए एक डुअल-ऑप्टिमाइज़र प्राइमल-डुअल प्रक्रिया का उपयोग करके हल किया जाता है।

आर्किटेक्चर और इनिशियलाइजेशन:

बेस मॉडल: CoTIR को FLUX के डिकोडर को फाइन-ट्यून करके स्थापित किया गया है, जो एक शक्तिशाली बड़े पैमाने पर प्री-ट्रेन्ड इमेज एडिटिंग मॉडल है। लेखक यह परिकल्पना करते हैं कि इमेज रेस्टोरेशन इमेज एडिटिंग का एक विशेष उप-कार्य है; अतः, एक प्री-ट्रेन्ड एडिटिंग मॉडल रैंडम इनिशियलाइजेशन या रेस्टोरेशन-विशिष्ट प्री-ट्रेनिंग की तुलना में बेहतर अनुकूलन शुरुआती बिंदु (मजबूत ज़ीरो-शॉट क्षमताएं और सामान्यीकरण) प्रदान करता है।
CoT एडाप्टर: रीजनिंग प्रक्रिया को आंतरिक बनाने के लिए एक विशेष मॉड्यूल शामिल किया गया है। यह जॉइंट विजुअल-टेक्स्टुअल इनपुट्स को प्रोसेस करने के लिए गेटेड सेल्फ-अटेंशन मैकेनिज्म के साथ CoTIRBlocks के स्टैक का उपयोग करता है। एडाप्टर CoT-एन्हांस्ड टेक्स्ट एम्बेडिंग्स उत्पन्न करता है जो वेलोसिटी फील्ड प्रेडिक्शन को निर्देशित करते हैं।
प्रशिक्षण रणनीति: फ्रेमवर्क एक प्रगतिशील शिक्षण रणनीति का उपयोग करता है, जो सटीक क्षरण प्रॉम्प्ट्स से शुरू होकर धीरे-धीरे अस्पष्ट प्रॉम्प्ट्स की ओर बढ़ता है ताकि मॉडल को केवल निर्देशों का पालन करने के बजाय क्षरण प्रकारों का अनुमान लगाने के लिए मजबूर किया जा सके। प्रशिक्षण कुशलतापूर्वक डिकोडर को फाइन-ट्यून करने के लिए लो-रैंक एडेप्टेशन (LoRA) का उपयोग करता है।

CoTIR-Bench:
प्रशिक्षण और मूल्यांकन को सुगम बनाने के लिए, लेखकों ने 5.2 मिलियन नमूनों वाला एक बड़े पैमाने का बेंचमार्क CoTIR-Bench बनाया है। यह डेटासेट क्षरणों के विस्तृत स्पेक्ट्रम (जैसे, लो-लाइट, हेज़, रेन, स्नो, ब्लर, नॉइज़, कंप्रेशन आर्टिफैक्ट्स) और उनके जटिल संयोजनों को कवर करने वाले 60 से अधिक सार्वजनिक रूप से उपलब्ध डेटासेट्स को एकत्रित करता है। महत्वपूर्ण रूप से, प्रत्येक नमूने को उन्नत विजन-लैंग्वेज मॉडल्स (VLMs) जैसे Qwen2.5-VL का उपयोग करके उत्पन्न उच्च-गुणवत्ता वाले CoT-शैली के रीजनिंग ट्रेसेस (दृश्य विवरण, क्षरण पहचान, और बहाली योजना) के साथ एनोटेट किया गया है।

प्रमुख योगदान

नया प्रतिमान: "सोचना $\rightarrow$ योजना बनाना $\rightarrow$ क्रिया करना" प्रतिमान का परिचय जो यूनिवर्सल इमेज रेस्टोरेशन को एक संरचित रीजनिंग समस्या के रूप में पुनर्परिभाषित करता है, जिससे एक एकल फ्रेमवर्क के भीतर समग्र, एंड-टू-एंड मॉडलिंग सक्षम होती है।
आंतरिककृत CoT: CoTIR का प्रस्ताव, जो लैग्रेंजियन अनुकूलन पर आधारित विभेदक सॉफ्ट बाधाओं के माध्यम से रीजनिंग प्रक्रिया को आंतरिक करता है, जिससे क्रमिक बहु-राउंड विधियों का कम्प्यूटेशनल ओवरहेड और इंटरैक्शन गैप समाप्त हो जाता है।
बेंचमार्क और डेटा: CoT-रीजनिंग ट्रेसेस के साथ एक बड़े पैमाने के डेटासेट CoTIR-Bench का निर्माण, और विविध क्षरण परिदृश्यों में स्टेट-ऑफ-द-आर्ट (SOTA) प्रदर्शन का प्रदर्शन।

प्रायोगिक परिणाम
CoTIR-Bench और वास्तविक दुनिया के मिश्रित क्षरण दृश्यों पर व्यापक प्रयोग प्रस्तावित विधि की प्रभावकारिता प्रदर्शित करते हैं:

प्रदर्शन: CoTIR नो-रेफरेंस परसेप्चुअल मेट्रिक्स (CLIP-IQA+, Q-Align, LIQE) और फुल-रेफरेंस मेट्रिक्स (PSNR, SSIM, LPIPS) दोनों में SOTA या निकट-SOTA प्रदर्शन प्राप्त करता है। यह अनदेखे क्षरण संयोजनों को संभालने में मौजूदा ऑल-इन-वन मॉडल और मल्टी-राउंड रेस्टोरेशन विधियों (जैसे, AutoDIR, AgenticIR, Q-Agent) को स्पष्ट रूप से पछाड़ता है।
गुणात्मक श्रेष्ठता: विजुअल तुलना दर्शाती है कि CoTIR अधिक सुसंगत दृश्य विवरण और मजबूत बहाली उत्पन्न करता है, जो प्रभावी रूप से उन अवशेष आर्टिफैक्ट्स को हटा देता है जो क्रमिक विधियों को प्रभावित करते हैं। यह जटिल, अनदेखे क्षरण संयोजनों के लिए मजबूत सामान्यीकरण प्रदर्शित करता है।
दक्षता: रीजनिंग को एक एकल मॉडल में आंतरिक बनाकर, CoTIR मल्टी-राउंड पाइपलाइनों की तुलना में काफी उच्च दक्षता प्राप्त करता है। उदाहरण के लिए, CoTIR (Flux.2-4B) 1.84 सेकंड (5 स्टेप्स) में इन्फरेंस पूरा करता है, जो AutoDIR (327s) या LucidFlux (8.11s) जैसी मल्टी-स्टेज विधियों की तुलना में काफी तेज़ है, जबकि प्रतिस्पर्धी या बेहतर बहाली गुणवत्ता बनाए रखता है।
एब्लेशन अध्ययन: प्रयोग CoT एडैप्टर की आवश्यकता, मल्टीमॉडल फ्यूजन के लिए क्रॉस-अटेंशन के ऊपर गेटेड-अटेंशन की श्रेष्ठता, और बहाली उद्देश्य को CoT बाधाओं के साथ संतुलित करने में लर्न करने योग्य लैग्रेंज मल्टीप्लायर्स की महत्वपूर्ण भूमिका की पुष्टि करते हैं।

महत्व
पेपर का दावा है कि CoTIR खंडित, क्रमिक प्रसंस्करण से हटकर एक एकीकृत, रीजनिंग-ड्रिवन दृष्टिकोण की ओर बढ़ते हुए इमेज रेस्टोरेशन में एक महत्वपूर्ण बदलाव का प्रतिनिधित्व करता है। इमेज एडिटिंग के एक विशेष रूप के रूप में बहाली को मानकर और विभेदक बाधाओं के माध्यम से CoT रीजनिंग को आंतरिक करके, यह विधि वर्तमान एकीकृत मॉडलों (जटिल मिश्रणों के लिए खराब सामान्यीकरण) और मल्टी-राउंड विधियों (उच्च लागत और अनदेखी परस्पर निर्भरता) की मौलिक सीमाओं को संबोधित करती है। यह कार्य सुझाव देता है कि संरचित रीजनिंग, जब जनरेटिव मॉडल्स में ठीक से एकीकृत की जाती है, तो वास्तविक दुनिया के जटिल क्षरण परिदृश्यों के लिए अधिक मजबूत, कुशल और परसेप्चुअली उच्च-गुणवत्ता वाले बहाली समाधानों की ओर ले जा सकती है।