💻 computer science

Simon-SR: Spatially Adaptive Modulation and Visual Prompt Adaptation for Text-Reinforced Super-Resolution

यह शोध पत्र Simon-SR को प्रस्तुत करता है, जो एक सुदृढ़ मल्टी-मोडल सिंगल इमेज सुपर-रिज़ॉल्यूशन फ्रेमवर्क है जो टेक्स्ट और इमेज फीचर्स को प्रभावी ढंग से फ्यूज करने के लिए लर्नबल प्रॉम्प्ट्स और स्पैटियली एडेप्टिव रिफाइनमेंट का उपयोग करता है, जिससे त्रुटिपूर्ण प्रायर्स (erroneous priors) के प्रति संवेदनशीलता को कम करते हुए और एनोटेशन लागत को घटाते हुए अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Haotong Cheng, Yuxuan Li, Zijie Cui, Rongling Tan, Chenyuan Wang

प्रकाशित 2026-07-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haotong Cheng, Yuxuan Li, Zijie Cui, Rongling Tan, Chenyuan Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक पक्षी की एक छोटी सी, धुंधली फोटो है, और आप इसे पोस्टर के आकार तक बड़ा करना चाहते हैं। आमतौर पर, जब आप किसी छोटी छवि को खींचते (stretch करते) हैं, तो वह एक मेशी, चिकने धब्बे में बदल जाती है जहाँ सभी शानदार विवरण—जैसे पंखों की बनावट या चोंच का तीखा किनारा—बस गायब हो जाते हैं। यही वह समस्या है जिसे सिंगल इमेज सुपर-रिज़ॉल्यूशन (SISR) हल करने की कोशिश करता है: एक कम-रिज़ॉल्यूशन वाली गड़बड़ी को उच्च-गुणवत्ता वाली उत्कृष्ट कृति में बदलना।

लंबे समय तक, कंप्यूटर ने इसे केवल पिक्सेल को देखकर ठीक करने की कोशिश की, लेकिन वे अक्सर चीजों को बहुत अधिक चिकना बना देते थे। फिर, वैज्ञानिकों ने एक नई तरकीब आजमाई: उन्होंने कंप्यूटर से एक टेक्स्ट विवरण (जैसे "एक सफेद चोंच वाला पक्षी") पढ़ने के लिए कहा ताकि यह अनुमान लगाया जा सके कि गायब विवरण कैसे दिखने चाहिए। लेकिन यहाँ एक पेंच है: यदि टेक्स्ट विवरण थोड़ा भी गलत है, या यदि कंप्यूटर शब्दों के प्रति बहुत अधिक जुनूनी हो जाता है, तो वह ऐसी चीजें बनाना शुरू कर देता है जो वहाँ हैं ही नहीं। यह एक ऐसी चोंच बना सकता है जो बहुत बड़ी है या गलत रंग की है क्योंकि यह वास्तविक तस्वीर को देखने के बजाय आँख बंद करके टेक्स्ट का पालन कर रहा है।

यहाँ आता है Simon-SR, एक नई विधि जिसे शोधकर्ताओं H. Cheng, X. Li और उनकी टीम (जिलिन यूनिवर्सिटी) द्वारा प्रस्तावित किया गया है। Simon-SR को एक स्मार्ट आर्ट रिस्टोरर (कला सुधारक) के रूप में समझें जो केवल एक स्क्रिप्ट का आँख बंद करके पालन नहीं करता है। एक कठोर, अपरिवर्तनीय नियम के रूप में टेक्स्ट विवरण के साथ व्यवहार करने के बजाय, Simon-SR टेक्स्ट को एक लचीले, सीखने योग्य संकेत (flexible, learnable hint) की तरह मानता है।

जादुई दो-चरणीय नृत्य

शोधकर्ताओं ने एक प्रणाली बनाई है जो दो मुख्य चरणों में काम करती है, जिन्हें वे कॉन्ट्रास्टिव प्रॉम्प्ट लर्निंग (CPL) और प्रॉम्प्ट-गाइडेड स्पेशली एडेप्टिव रिफाइनमेंट (PSAR) कहते हैं।

चरण 1: संकेतों को सीखना (CPL)
कल्पना कीजिए कि आपके पास खाली पहेली के टुकड़ों (टेक्स्ट प्रॉम्प्ट्स) का एक बॉक्स है और एक धुंधली फोटो है। पहले से लिखे गए विवरणों का उपयोग करने के बजाय, जो गलत हो सकते हैं, Simon-SR फोटो और टेक्स्ट को एक साथ देखकर अपने स्वयं के "संकेत" बनाता है। यह यह समझने के लिए कि दृश्य विवरण और शब्द आपस में कैसे मेल खाते हैं, एक विशाल, पूर्व-प्रशिक्षित मस्तिष्क (जिसे CLIP कहा जाता है) का उपयोग करता है।

ट्विस्ट: अन्य विधियों के विपरीत जो सटीक विवरण लिखने के लिए मनुष्यों पर निर्भर करती हैं (जो महंगा और धीमा है), Simon-SR इन संकेतों को स्वचालित रूप से छवियों से ही सीखता है। यह खराब विवरणों के "मानवीय पूर्वाग्रह" से बचता है। यह ऐसा है जैसे कंप्यूटर किसी और द्वारा लिखे गए शब्दकोश का उपयोग करने के बजाय, चित्र का वर्णन करने के लिए सही शब्दावली खुद सीख रहा है।

चरण 2: स्मार्ट ज़ूम (PSAR)
एक बार जब कंप्यूटर के पास अपने कस्टम संकेत आ जाते हैं, तो उसे छवि पर उन्हें लागू करने की आवश्यकता होती है। यहीं पर "स्पेशली एडेप्टिव" (स्थानिक रूप से अनुकूल) वाला हिस्सा आता है। कल्पना कीजिए कि आप एक चित्र बना रहे हैं। यदि टेक्स्ट कहता है "सफेद चोंच," तो आप पूरे पक्षी को सफेद नहीं करना चाहेंगे। आप केवल चोंच पर पेंट करना चाहते हैं।

तंत्र (Mechanism): Simon-SR एक विशेष "अटेंशन स्विच" का उपयोग करता है। यह छवि और टेक्स्ट संकेत को देखता है, और पूछता है: "यह टेक्स्ट वास्तव में कहाँ लागू होता है?" यदि टेक्स्ट चोंच के बारे में है, तो सिस्टम अपनी ऊर्जा केवल चोंच वाले क्षेत्र पर केंद्रित करता है, उन विवरणों को तेज करता है जबकि बाकी पक्षी को अकेला छोड़ देता है। यह पूरे चित्र को बदलने के लिए मजबूर नहीं करता है क्योंकि केवल एक शब्द के कारण। यह उस "हैलुसिनेशन" (भ्रम) की समस्या को रोकता है जहाँ कंप्यूटर भ्रमित होकर कुछ भी अजीब बना देता है।

क्या यह काम कर गया? आंकड़े झूठ नहीं बोलते

टीम ने Simon-SR का परीक्षण तीन अलग-अलग डेटासेट (छवियों के संग्रह) पर किया जिन्हें CUB, DIV2K, और COCO2017 कहा जाता है। उन्होंने इसकी तुलना मौजूदा सर्वश्रेष्ठ विधियों से की, जिनमें से कुछ टेक्स्ट का उपयोग करती हैं और कुछ नहीं।

परिणाम काफी प्रभावशाली रहे। इमेज क्वालिटी की दुनिया में, हम सफलता को कुछ तरीकों से मापते हैं:

PSNR: मूल पिक्सेल के कितने करीब है (उच्चतर बेहतर है)।
SSIM: संरचना कितनी समान दिखती है (उच्चतर बेहतर है)।
LPIPS: मानवीय आंखों को छवि कितनी "वास्तविक" लगती है (निम्नतर बेहतर है)।

CUB डेटासेट पर एक विशाल ×16 ज़ूम के साथ (जो एक डाक टिकट को बिलबोर्ड बनाने जैसा है), Simon-SR ने पिछले सर्वश्रेष्ठ टेक्स्ट-आधारित तरीके को PSNR में 0.50 dB और SSIM में 0.0133 से पीछे छोड़ दिया। DIV2K डेटासेट पर समान ज़ूम स्तर पर, इसने "यथार्थवाद" स्कोर (LPIPS) में 0.0695 का सुधार किया।

ये केवल मामूली बदलाव नहीं हैं; ये एक स्पष्ट प्रगति का प्रतिनिधित्व करते हैं। पेपर दिखाता है कि अपने स्वयं के संकेत सीखकर और उन्हें केवल वहीं लागू करके जहाँ वे समझ में आते हैं, Simon-SR पुरानी विधियों की "चिकने धब्बे" की समस्या और अन्य टेक्स्ट-आधारित विधियों की "अजीब भ्रामक चीजों" की समस्या से बचता है।

यह क्या नहीं है

यह जानना महत्वपूर्ण है कि यह पेपर क्या दावा नहीं करता है।

यह यह नहीं कहता कि यह हर इमेज समस्या को तुरंत हल करने वाला कोई जादुई समाधान है।
यह दावा नहीं करता कि यह बिना किसी कंप्यूटर पावर के काम करता है (इसे प्रशिक्षित करने के लिए अभी भी दो शक्तिशाली NVIDIA 4090 GPU की आवश्यकता होती है)।
यह यह भी नहीं कहता कि मानव एनोटेशन (विवरण) हमेशा के लिए बेकार हैं; यह केवल यह कहता है कि इस विशिष्ट कार्य के लिए, विवरणों को लिखने के लिए मनुष्यों पर निर्भर रहने की तुलना में संकेतों को स्वचालित रूप से सीखना अधिक मजबूत और सस्ता है।

निचोड़

Simon-SR एक कंप्यूटर कलाकार को एक कठोर स्क्रिप्ट के बजाय लचीले, स्व-सुधार योग्य निर्देशों का सेट देने जैसा है। यह केवल तभी सुनने में सीखता है जब यह मदद करता है, और इसे पता है कि उन विवरणों को कहाँ लागू करना है। परिणाम? अधिक तेज, अधिक वास्तविक चित्र जो ऐसे नहीं लगते जैसे कि उन्हें किसी भ्रमित रोबोट द्वारा बनाया गया हो। लेखक सुझाव देते हैं कि "लर्नेबल प्रॉम्प्ट्स" का उपयोग करने का यह दृष्टिकोण प्रत्येक फोटो के लिए विवरण लिखने के लिए लोगों की एक टीम की आवश्यकता के बिना उच्च-गुणवत्ता वाली छवियां बनाने के लिए एक बड़ी बात हो सकती है।

तकनीकी सारांश: Simon-SR: टेक्स्ट-रीइन्फोर्स्ड सुपर-रिज़ॉल्यूशन के लिए स्थानिक रूप से अनुकूलित मॉड्यूलेशन और विजुअल प्रॉम्प्ट अडैप्टेशन

समस्या विवरण
सिंगल इमेज सुपर-रिज़ॉल्यूशन (SISR) का लक्ष्य लो-रिज़ॉल्यूशन इनपुट से उच्च-गुणवत्ता वाली छवियों का पुनर्निर्माण करना है। जबकि डीप लर्निंग ने इस क्षेत्र में प्रगति की है, समस्या की अनिश्चित प्रकृति (ill-posed nature) अक्सर अत्यधिक स्मूथ आउटपुट का परिणाम देती है, विशेष रूप से चरम डाउनसैंपलिंग दरों (जैसे, ×16) पर। मौजूदा सिंगल-मोडल विधियाँ, जो अक्सर एडवरसैरियल आर्किटेक्चर पर निर्भर करती हैं, बाहरी पर्यवेक्षण (external supervision) की कमी के कारण संरचनात्मक विरूपण और आर्टिफैक्ट्स से जूझती हैं। इसके विपरीत, हालिया मल्टी-मोडल दृष्टिकोण जो टेक्स्ट सेमैटिक्स को प्रायर (prior) के रूप में उपयोग करते हैं, महत्वपूर्ण चुनौतियों का सामना करते हैं: वे त्रुटिपूर्ण टेक्स्ट प्रायर के प्रति संवेदनशील होते हैं, उनके लिए महंगी मानवीय एनोटेशन की आवश्यकता होती है, और टेक्स्ट-इमेज फ्यूजन के दौरान सेमैटिक बायस (semantic biases) से ग्रस्त हो सकते हैं, जिससे महत्वपूर्ण विवरणों पर अपर्याप्त ध्यान या अवास्तविक फीचर्स का निर्माण (hallucination) हो सकता है।

कार्यप्रणाली (Methodology)
लेखक Simon-SR का प्रस्ताव करते हैं, जो एक मल्टी-मोडल SISR फ्रेमवर्क है जो टेक्स्ट को एक फिक्स्ड ग्राउंड-ट्रुथ प्रायर के रूप में नहीं, बल्कि इमेज रिस्टोरेशन के साथ संयुक्त रूप से अनुकूलित किए जाने वाले एक लेटेंट, लर्न करने योग्य सेमैटिक वेरिएबल के रूप में मानता है। यह फ्रेमवर्क दो क्रमिक चरणों में कार्य करता है:

कॉन्ट्रास्टिव प्रॉम्प्ट लर्निंग (CPL):
पूर्व-निर्धारित टेक्स्ट एनोटेशन पर निर्भर रहने के बजाय, Simon-SR अनएनोटेटेड इमेजेस से फ्रोजन CLIP एनकोडर्स का उपयोग करके इंस्टेंस-लेवल विजुअल सेमैटिक्स निकालता है। मॉडल प्रत्येक इमेज इंस्टेंस से जुड़े प्रॉम्प्ट्स (फॉर्म्युलेटेड रूप में "[X] [X]...") को सीखता है। ये प्रॉम्प्ट्स $L_{con}$ को मिनिमाइज़ करके अनुकूलित किए जाते हैं, जो सीखे गए टेक्स्ट फीचर्स को CLIP इमेज एनकोडर द्वारा निकाले गए विजुअल फीचर्स के साथ संरेखित (align) करता है। यह प्रक्रिया मॉडल को सीधे इमेज डेटा से सेमैटिक एंकर्स प्राप्त करने की अनुमति देती है, जिससे मानवीय एनोटेशन या प्री-ट्रेन्ड लार्ज लैंग्वेज मॉडल्स में निहित सेमैटिक बायस से बचा जा जा सकता है।
प्रॉम्प्ट-गाइडेड स्पेशली एडेप्टिव रिफाइनमेंट (PSAR):
सीखे गए प्रॉम्प्ट्स को प्रोग्रेसिव टेक्स्ट-अवेयर रिफाइनमेंट ब्लॉक्स (PTRBlock) के माध्यम से इमेज रिस्टोरेशन पाइपलाइन में इंजेक्ट किया जाता है। इन ब्लॉक्स के भीतर, एक नवीन प्रॉम्प्ट-गाइडेड स्पेशली एडेप्टिव रिफाइनमेंट तंत्र का उपयोग किया जाता है। यह मॉड्यूल विजुअल कंटेंट और टेक्स्टual प्रॉम्प्ट्स के बीच स्थानिक सहसंबंध (spatial correlations) की गणना करने के लिए एक क्रॉस-अटेंशन मॉड्यूलेटर का उपयोग करता है।

विजुअल फीचर्स को एक क्वेरी स्पेस में प्रोजेक्ट किया जाता है, जबकि टेक्स्ट फीचर्स को एक की (key) स्पेस में प्रोजेक्ट किया जाता है।
परिणामी स्पैटियल अटेंशन मैप टेक्स्ट के प्रति विशिष्ट इमेज क्षेत्रों की प्रासंगिकता को एनकोड करता है।
इमेज फीचर्स पर एक एफाइन ट्रांसफॉर्मेशन लागू किया जाता है, जहाँ स्केलिंग ( $\Delta\Gamma$ ) और शिफ्टिंग ( $\Delta B$ ) पैरामीटर्स को इस अटेंशन मैप द्वारा गेट किया जाता है।
यह मॉडल को सेमैटिक रूप से प्रासंगिक क्षेत्रों में प्रतिक्रियाओं को चुनिंदा रूप से बढ़ाने या कम करने की अनुमति देता है, जबकि अप्रासंगिक क्षेत्रों को अप्रभावित छोड़ देता है, जिससे इमेज स्ट्रक्चर को विकृत किए बिना सूक्ष्म सेमैटिक-अवेयर एन्हांसमेंट सुनिश्चित होता है।

नेटवर्क को रिकंस्ट्रक्शन लॉस ( $L_{sr}$ ), परसेप्चुअल लॉस ( $L_{percep}$ ), और एक एडवरसैरियल लॉस ( $L_{adv}$ ) के संयोजन का उपयोग करके प्रशिक्षित किया जाता है जो डिस्क्रिमिनेटर को गाइड करने के लिए सीखे गए टेक्स्ट फीचर्स को शामिल करता है।

प्रमुख योगदान
पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

लर्नेबल प्रॉम्प्ट-आधारित दृष्टिकोण: एक विधि जो अनएनोटेटेड इमेजेस से टेक्स्टुअल सेमैटिक्स निकालती है, जो प्रभावी रूप से मानवीय एनोटेशन की आवश्यकता को समाप्त करती है और प्री-ट्रेन्ड मल्टी-मोडल लार्ज लैंग्वेज मॉडल्स के बायस को कम करती है।
स्पेशली एडेप्टिव फ्यूजन मैकेनिज्म: अटेंशन-आधारित एफाइन ट्रांसफॉर्मेशन का उपयोग करने वाला एक नवीन टेक्स्ट-इमेज फ्यूजन स्ट्रैटेजी जो सेमैटिक प्रासंगिकता और टेक्स्टुअल क्यूज़ के कुशल उपयोग को बढ़ाता है।
स्टेट-ऑफ-द-आर्ट परफॉरमेंस: कई बेंचमार्क (CUB, DIV2K, COCO2017) और डाउनसैंपलिंग दरों (×4, ×8, ×16) पर श्रेष्ठ प्रदर्शन प्रदर्शित करने वाले व्यापक प्रयोग।

प्रायोगिक परिणाम
लेखकों ने सिंगल-मोडल विधियों (EDDR, RCAN) और मल्टी-मोडल विधियों (XPSR, CLIP-SR) सहित स्टेट-ऑफ-द-आर्ट बेसलाइन्स के विरुद्ध Simon-SR का मूल्यांकन किया।

क्वांटिटेटिव सुधार: ×16 स्केल पर CUB डेटासेट पर, Simon-SR ने CLIP-SR की तुलना में अधिकतम 0.50 dB PSNR और 0.0133 SSIM में सुधार हासिल किया। DIV2K डेटासेट पर ×16 पर, इसने 0.0695 का LPIPS रिडक्शन प्राप्त किया, जो बेहतर परसेप्चुअल रियलिज्म को दर्शाता है।
एब्लेशन स्टडीज: प्रयोगों ने पुष्टि की कि कॉन्ट्रास्टिव प्रॉम्प्ट लर्निंग (CPL) और प्रॉम्प्ट-गाइडेड स्पेशली एडेप्टिव रिफाइनमेंट (PSAR) दोनों घटक आवश्यक हैं, जिसमें फुल मॉडल उन कॉन्फ़िगरेशन की तुलना में बेहतर प्रदर्शन करता है जहाँ इनमें से किसी एक को हटा दिया गया हो।
क्वालिटेटिव एनालिसिस: विजुअल तुलनाएं दिखाती हैं कि जहाँ पारंपरिक विधियाँ अत्यधिक स्मूथ इमेज बनाती हैं और डिफ्यूजन-आधारित मॉडल टेक्स्ट-प्रेरित आर्टिफैक्ट्स से जूझते हैं, वहीं Simon-SR स्ट्रक्चरल फिडेलिटी बनाए रखते हुए प्रचुर विवरणों को रिकवर करने के लिए एक संतुलित समझौता प्राप्त करता है।

महत्व
पेपर दावा करता है कि Simon-SR मल्टी-मोडल सुपर-रिज़ॉल्यूशन में लर्न करने योग्य प्रॉम्प्ट्स की प्रभावशीलता को प्रदर्शित करता है। टेक्स्ट को एक फिक्स्ड प्रायर के बजाय एक लर्न करने योग्य वेरिएबल के रूप में मानकर, फ्रेमवर्क मौजूदा विधियों से जुड़े कम्प्यूटेशनल ओवरहेड और एनोटेशन लागत के बिना एक मजबूत टेक्स्ट-इमेज फ्यूजन प्राप्त करता है। यह कार्य रेखांकित करता है कि कुशल सेमैटिक माइनिंग और स्पेशली एडेप्टिव मॉड्यूलेशन, चरम डाउनसैंपलिंग दरों पर भी, डिटेल रिकवरी और परसेप्चुअल क्वालिटी को महत्वपूर्ण रूप से बढ़ा सकता है।

जादुई दो-चरणीय नृत्य

क्या यह काम कर गया? आंकड़े झूठ नहीं बोलते

यह क्या नहीं है

निचोड़

इसी तरह के और पेपर