← नवीनतम पेपर
💻 computer science

Prompt-SID: Learning Structural Representation Prompt via Latent Diffusion for Single-Image Denoising

Prompt-SID एक स्व-पर्यवेक्षित (self-supervised) एकल-छवि शोर निवारण (single-image denoising) ढांचा है जो विस्तृत संरचनात्मक जानकारी को संरक्षित करने के लिए एक लेटेंट डिफ्यूजन-आधारित संरचनात्मक प्रतिनिधित्व जनरेटर और एक स्केल रिप्ले प्रशिक्षण तंत्र का लाभ उठाता है, जो महंगे युग्मित डेटासेट (paired datasets) पर निर्भर नहीं करता है।

मूल लेखक: Huaqiu Li, Wang Zhang, Xiaowan Hu, Tao Jiang, Zikang Chen, Haoqian Wang

प्रकाशित 2026-03-10
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Huaqiu Li, Wang Zhang, Xiaowan Hu, Tao Jiang, Zikang Chen, Haoqian Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास शहर के क्षितिज (skyline) की एक सुंदर, उच्च-रिज़ॉल्यूशन वाली तस्वीर है, लेकिन किसी ने उस पर मुट्ठी भर ग्लिटर और रेत बिखेर दी है। आपका लक्ष्य फोटो को बिना इमारतों के तीखे किनारों या खिड़कियों के विवरण को खोए, साफ करना है। यह इमेज डिनोइजिंग (Image Denoising) की समस्या है।

लंबे समय तक, कंप्यूटरों ने "पहले और बाद" की तस्वीरों को देखकर इसे करना सीखा (सुपरवाइज्ड लर्निंग)। लेकिन उन सटीक "बाद वाली" तस्वीरों को पाना एक काल्पनिक जीव (यूनिकॉर्न) को खोजने जैसा है: दुर्लभ, महंगा और कठिन।

इसलिए, शोधकर्ताओं ने एक अलग तरीका आजमाया: सेल्फ-सुपरवाइज्ड लर्निंग (Self-Supervised Learning)। उन्होंने कंप्यूटर को केवल "गंदी" तस्वीर का उपयोग करके "साफ" तस्वीर का अनुमान लगाना सिखाया। हालाँकि, पुराने तरीकों में एक बड़ा दोष था: वे एक पहेली को आधे टुकड़े फेंककर हल करने जैसे थे। कंप्यूटर को गंदी तस्वीर को वापस कॉपी करने (जिसे "आइडेंटिटी मैपिंग" कहा जाता है) से रोकने के लिए, वे पिक्सेल को छिपा देते थे या छवि को छोटे, कम-रिज़ॉल्यूशन वाले टुकड़ों में काट देते थे। ऐसा करने में, वे "बड़ी तस्वीर" की संरचना खो देते थे, जिससे अंतिम परिणाम धुंधला या अधूरा रह जाता था।

यहाँ आता है प्रॉम्प्ट-एसआईडी (Prompt-SID), जो एक स्मार्ट आर्किटेक्ट (वास्तुकार) की तरह काम करता है जो कभी भी ब्लूप्रिंट (नक्शा) नहीं फेंकता।

यह कैसे काम करता है, इसे सरल उपमाओं में तोड़कर यहाँ समझाया गया है:

1. "टुकड़े बनाम ब्लूप्रिंट" की समस्या

कल्पना कीजिए कि आप एक फटे हुए मानचित्र को बहाल करने की कोशिश कर रहे हैं।

  • पुराने तरीके (द स्क्रैप कलेक्टर - टुकड़ों को इकट्ठा करने वाला): वे मानचित्र को छोटे वर्गों में काटते हैं, कुछ वर्गों को छिपा देते हैं, और आपसे पूछते हैं कि गायब क्या है, यह केवल बचे हुए टुकड़ों के आधार पर अनुमान लगाएं। आप शायद समुद्र का रंग अनुमान लगा लें, लेकिन आप संभवतः भूल जाएंगे कि पर्वत श्रृंखला कहाँ थी क्योंकि टुकड़ों ने पूरी आकृति नहीं दिखाई थी।
  • प्रॉम्प्ट-एसआईडी (द आर्किटेक्ट - वास्तुकार): यह अभी भी टुकड़ों (डाउनसैम्पल्ड इमेज) को देखता है ताकि शोर (noise) को समझ सके, लेकिन यह मूल मानचित्र के एक गुप्त ब्लूप्रिंट (संरचनात्मक प्रतिनिधित्व) को भी अपने पास रखता है। यह ब्लूप्रिंट सीधे कार्यकर्ता को नहीं दिखाता; इसके बजाय, यह ब्लूप्रिंट का "अहसास" (vibe) कार्यकर्ता के कान में फुसफुसाता है।

2. "फुसफुसाने वाला वास्तुकार" (RG-Diff)

कंप्यूटर इस "ब्लूप्रिंट" को गंदी तस्वीर को कॉपी किए बिना कैसे प्राप्त करता है?
शोधकर्ताओं ने एक विशेष उपकरण बनाया जिसे RG-Diff (स्ट्रक्चरल रिप्रेजेंटेशन जनरेशन डिफ्यूजन) कहा जाता है। इसे एक जादुई अनुवादक के रूप में सोचें।

  • यह गंदी तस्वीर को लेता है और उसे एक छोटे, अमूर्त "सारांश" (जैसे इमारत की रूपरेखा का एक स्केच) में संकुचित कर देता है।
  • फिर, यह इस स्केच को परिष्कृत करने के लिए एक डिफ्यूजन मॉडल (एक प्रकार का AI जो स्टैटिक शोर को स्पष्ट छवियों में बदलना सीखता है, जैसे कि एक मूर्तिकार पत्थर को तराश कर मूर्ति प्रकट करता है) का उपयोग करता है।
  • महत्वपूर्ण रूप से, यह स्केच को सुधारने के लिए "टुकड़ों" (लो-रेज़ शोर वाले हिस्सों) का उपयोग करता है, यह सुनिश्चित करते हुए कि स्केच शोर के पैटर्न से मेल खाता है लेकिन शोर को हटा देता है।
  • परिणाम एक साफ, उच्च-स्तरीय "प्रॉम्प्ट" (निर्देशों का एक सेट) है जो कहता है, "हे, इमारत का कोना यहाँ तीखा है, और छत वहाँ घुमावदार है," बिना वास्तव में पिक्सेल-दर-पिक्सेल गंदी तस्वीर दिखाए।

3. "प्रॉम्प्ट के साथ फोरमैन" (द डिनोइज़र)

अब, मुख्य सफाई दल (डिनोइज़र, जो एक ट्रांसफार्मर आर्किटेक्चर का उपयोग करता है) काम पर लगता है।

  • केवल गंदी तस्वीर को घूरने के बजाय, फोरमैन को प्रॉम्प्ट (साफ संरचनात्मक स्केच) प्राप्त होता है।
  • फोरमैन एक विशेष उपकरण का उपयोग करता है जिसे स्ट्रक्चरल अटेंशन (SAM) कहा जाता है। कल्पना कीजिए कि फोरमैन ने ऐसे चश्मे पहने हैं जो महत्वपूर्ण संरचनात्मक रेखाओं (किनारों, कोनों) को उजागर करते हैं और ग्लिटर (शोर) को अनदेखा करते हैं।
  • प्रॉम्प्ट फोरमैन को बताता है: "इन रेखाओं पर ध्यान केंद्रित करें; यहाँ के शोर को अनदेखा करें।" यह कंप्यूटर को उच्च सटीकता के साथ छवि को पुनर्गठित करने की अनुमति देता है, जिससे तीखे किनारे बरकरार रहते हैं।

4. "रिहर्सल" (स्केल रिप्ले)

एक आखिरी बाधा है: कंप्यूटर ने छोटे "टुकड़ों" (लो-रिज़ॉल्यूशन) पर अभ्यास किया है, लेकिन इसे पूरी आकार की फोटो को साफ करना है। आमतौर पर, इससे एक बेमेल स्थिति पैदा होती है (जैसे एक संगीतकार खिलौना पियानो पर अभ्यास करता है और फिर ग्रैंड कंसर्ट बजाने की कोशिश करता है)।

इसे ठीक करने के लिए, प्रॉम्प्ट-एसआईडी स्केल रिप्ले मैकेनिज्म का उपयोग करता है।

  • इसे एक रिहर्सल के रूप में सोचें। टुकड़ों (लो-रिज़ॉल्यूशन) को साफ करने के बाद, कंप्यूटर तुरंत पूरी आकार की छवि को साफ करने का प्रयास करता है (बिना अपनी मेमोरी अपडेट किए—कोई नया सीखना नहीं, केवल अभ्यास)।
  • यह जाँचता है: "क्या बड़ी छवि की मेरी सफाई, छोटी छवि की सफाई जैसी ही दिख रही है?"
  • यदि बड़ी छवि छोटी छवि की तुलना में धुंधली या गलत दिखती है, तो यह अपनी रणनीति को समायोजित करता है। यह सुनिश्चित करता है कि कंप्यूटर पूरी आकार की फोटो को साफ करने में उतना ही अच्छा है जितना कि वह टुकड़ों को साफ करने में है।

यह एक बड़ी बात क्यों है?

  • कोई भी हिस्सा गायब नहीं होता: पुराने तरीकों के विपरीत जो पिक्सेल को फेंक देते थे, प्रॉम्प्ट-एसआईडी संरचनात्मक प्रॉम्प्ट बनाने के लिए हर पिक्सेल से जानकारी का उपयोग करता है।
  • बेहतर विवरण: क्योंकि इसके पास "ब्लूप्रिंट" है, यह इमारतों या चेहरों के किनारों को धुंधला नहीं करता है।
  • हर जगह काम करता है: यह सिंथेटिक शोर (कंप्यूटर-जनरेटेड), वास्तविक दुनिया के कैमरा शोर, और यहाँ तक कि फ्लोरेसेंस माइक्रोस्कोपी (सूक्ष्म कोशिकाओं को देखना) जैसे जटिल वैज्ञानिक चित्रों पर भी काम करता है।

संक्षेप में:
पुराने तरीके एक गंदी खिड़की को ठीक करने के लिए उसके धुंधले, आधे ढके हुए संस्करण को देखने की कोशिश करते थे। प्रॉम्प्ट-एसआईडी गंदगी को समझने के लिए धुंधले संस्करण को देखता है, लेकिन साथ ही खिड़की के आकार का एक साफ मानसिक मानचित्र भी बनाता है ताकि सफाई का मार्गदर्शन किया जा सके। यह एक तस्वीर कैसी दिखती है इसका अनुमान लगाने और इसे कैसे बहाल किया जाए, इसके स्पष्ट निर्देशों के होने के बीच का अंतर है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →