कल्पना कीजिए कि आप बगीचे को देखने के लिए एक कीचड़ भरी खिड़की को साफ करने की कोशिश कर रहे हैं। यदि आप कांच को बस एक यादृच्छिक, आगे-पीछे की गति से पोंछते हैं, तो आप गंदगी को एक गंदे हिस्से से साफ हिस्से पर फैला सकते हैं, जिससे पूरा दृश्य धुंधला हो जाएगा। यही वह चुनौती है जिसका सामना कंप्यूटर को तब करना पड़ता है जब वे भारी बारिश, घने कोहरे या बर्फ जैसे खराब मौसम से खराब हुई तस्वीरों को ठीक करने की कोशिश करते हैं। लंबे समय तक, कंप्यूटर इन तस्वीरों को एक समय में एक छोटे बिंदु (या "पिक्सेल") के रूप में देखते रहे, एक सख्त, ग्रिड जैसी पद्धति का पालन करते हुए, जैसे घास काटने वाली मशीन (लॉनमोवर) घास के ऊपर चलती है। समस्या यह है कि खराब मौसम व्यवस्थित ग्रिड में नहीं गिरता; एक बारिश की बूंद पक्षी के पंख को ढक सकती है लेकिन आसमान को साफ छोड़ सकती है। जब कंप्यूटर का "लॉनमोवर" पक्षी से आसमान की ओर बढ़ता है, तो वह गलती से "बारिश वाले" सूचना को "साफ" सूचना के साथ मिला देता है, जिससे कंप्यूटर भ्रमित हो जाता है और फोटो अभी भी मैली रह जाती है।

इसे हल करने के लिए, वैज्ञानिक "स्टेट स्पेस मॉडल" (SSM) नामक आर्टिफिशियल इंटेलिजेंस का उपयोग करके स्मार्ट "सफाई रोबोट" बना रहे हैं। एक SSM को ऐसे समझें जो यह समझने के लिए कि वह अभी क्या देख रहा है, यह याद रखता है कि उसने एक क्षण पहले क्या देखा था। हालाँकि, पुराने तरीके से इस रोबोट को तस्वीर देखने के लिए बताना (स्कैनिंग रणनीति) बहुत कठोर था। इसे इस बात की परवाह नहीं थी कि तस्वीर वास्तव में क्या थी—यह बस एक पूर्व-निर्धारित पथ का पालन करता था। यह पेपर SSR नामक एक नया रोबोट पेश करता है जो नियम बदल देता है। एक कठोर ग्रिड का पालन करने के बजाय, SSR एक "सुपरपिक्सेल" मानचित्र का उपयोग करता है ताकि छवि को प्राकृतिक, सुसंगत टुकड़ों में समूहबद्ध किया जा सके, जैसे कि एक पहेली जहाँ पक्षी के सभी हिस्सों को एक साथ रखा जाता है, और आसमान के सभी हिस्सों को एक साथ। यह रोबोट को पक्षी को साफ करने के दौरान आसमान को गंदा किए बिना, और इसके विपरीत, सफाई करने की अनुमति देता है।

समस्या: "लॉनमोवर" बनाम "पहेली"

इस पेपर के लेखक तर्क देते हैं कि खराब मौसम से प्रभावित तस्वीरों को ठीक करने का पुराना तरीका एक ऐसी पहेली सुलझाने जैसा है जिसे आप आंखों पर पट्टी बांधकर दस्ताने पहनकर हल करने की कोशिश कर रहे हैं। आप किनारों को महसूस कर सकते हैं, लेकिन आपको यह नहीं पता कि कौन सा टुकड़ा कुत्ते का है और कौन सा पेड़ का। मौजूदा तरीके, कुछ बहुत उन्नत तरीकों सहित, अक्सर छवि को पिक्सेल की एक लंबी, सपाट रेखा के रूप में देखते हैं। वे बाएं से दाएं, ऊपर से नीचे, या जटिल ज़िग-ज़ैग पैटर्न (जैसे हिल्बर्ट कर्व) में स्कैन करते हैं।

पेपर इस दृष्टिकोण में एक बड़ी खामी बताता है: क्षरण (degradations) समान नहीं होते हैं। एक तूफान फोटो को समान रूप से खराब नहीं करता है। एक हिस्सा बर्फ से ढका हो सकता है, जबकि दूसरा हिस्सा साफ हो सकता है। जब कंप्यूटर एक सीधी रेखा में स्कैन करता है, तो वह अक्सर एक "गंदे" क्षेत्र और एक "साफ" क्षेत्र के बीच की सीमा को पार करता है। यह दोनों से एक साथ सीखने की कोशिश करता है, "शोर" (बर्फ) को "सिग्नल" (पेड़) के साथ मिला देता है। परिणाम? कंप्यूटर गैर-विभेदक विशेषताओं को सीख जाता है—वह भ्रमित हो जाता है और पेड़ की टहनी और उस पर जमी बर्फ के बीच अंतर नहीं कर पाता है।

समाधान: "सुपरपिक्सेल" गाइड

टीम एक नया मॉडल प्रस्तावित करती है जिसे SSR (सेमेंटिक-सेंटर गाइडेड स्टेट स्पेस मॉडल फॉर रेस्टोरेशन) कहा जाता है। मुख्य विचार पिक्सेल-दर-पिक्सेल स्कैन करना बंद करना और "क्षेत्र-दर-क्षेत्र" स्कैन करना शुरू करना है।

वे इसे दो मुख्य तरकीबों का उपयोग करके करते हैं:

1. सुपरपिक्सेल-गाइडेड सिलेक्टिव स्कैन (S3M)
एक कठोर ग्रिड के बजाय, SSR पहले छवि को "सुपरपिक्सेल" में तोड़ता है। कल्पना कीजिए कि आप एक फोटो लेते हैं और हर अलग वस्तु या बनावट के चारों ओर रूपरेखा खींचते हैं—नीले आसमान के सभी पिक्सेल को एक साथ, हरी घास के सभी पिक्सेल को एक साथ, और बारिश की बूंदों के सभी पिक्सेल को एक साथ समूहबद्ध करना। ये समूह "प्रत्यक्ष बोध के रूप में सुसंगत" (perceptually coherent) हैं, जिसका अर्थ है कि वे मानवीय आंख के लिए समझ में आते हैं।
एक बार जब छवि को इन प्राकृतिक टुकड़ों में विभाजित कर दिया जाता है, तो कंप्यूटर के "लॉनमोवर" (स्कैनिंग तंत्र) को रेखाओं के अंदर रहने के लिए कहा जाता है। यह "आसमान" के समूह के सभी पिक्सेल को एक साथ प्रोसेस करता है, फिर "घास" के समूह की ओर बढ़ता है। यह एक विचार के बीच में एक बारिश वाले पैच से एक साफ पैच पर कभी नहीं कूदता। यह सुनिश्चित करता है कि कंप्यूटर बारिश की विशेषताओं को सीखे बिना गलती से साफ आसमान की विशेषताओं को न सीख ले, जिससे सूचना का फैलाव रुक जाता है।

2. रीजन-लेवल गेटिंग मैकेनिज्म (RGM)
एक ही समूह (जैसे बर्फ का एक पैच) के भीतर भी, कुछ पिक्सेल बहुत अधिक खराब या अजीब आउटलेयर हो सकते हैं। इसे संभालने के लिए, SSR एक "गेटिंग" प्रणाली का उपयोग करता है। इसे एक विशिष्ट वीआईपी सेक्शन में हर व्यक्ति का आईडी चेक करने वाले क्लब के बाउंसर की तरह समझें। प्रत्येक सुपरपिक्सेल समूह के लिए, कंप्यूटर पिक्सेल का औसत "मिजाज" (सांख्यिकी) निकालता है। यदि कोई पिक्सेल अजीब व्यवहार कर रहा है (एक क्षरण आउटलेयर), तो बाउंसर (गेटिंग मैकेनिज्म) उस विशेष क्षेत्र के लिए सफाई प्रक्रिया को कैलिब्रेट करने के लिए उसकी आवाज़ को कम कर देता है या उसका व्यवहार बदल देता है, जिससे यह सुनिश्चित होता है कि अजीब, मैसे हिस्से पूरे समूह की सफाई को खराब न करें।

उन्होंने क्या पाया

लेखकों ने अपने नए SSR मॉडल का परीक्षण छह बेंचमार्क पर किया, जो मानक फोटो सेट हैं जिनका उपयोग यह आंकने के लिए किया जाता है कि मौसम-हटाने वाला सॉफ़्टवेयर कितनी अच्छी तरह काम करता है। इनमें सिंथेटिक फोटो (कंप्यूटर-जनित बारिश और बर्फ) और खराब मौसम में ली गई वास्तविक दुनिया की तस्वीरें शामिल थीं।

• प्रदर्शन: SSR ने लगभग हर अन्य अत्याधुनिक मॉडल से बेहतर प्रदर्शन किया। एक विशेष रूप से कठिन टेस्ट, जिसे "आउटडोर" डेटासेट कहा जाता है (जिसमें बारिश और कोहरे का मिश्रण है), पर SSR ने 33.22 dB (इमेज क्वालिटी का एक माप) का स्कोर प्राप्त किया, जो दूसरे सर्वश्रेष्ठ मॉडल से 1.06 dB के बड़े अंतर से आगे है। इमेज रेस्टोरेशन की दुनिया में, 0.5 dB का अंतर भी बहुत बड़ा माना जाता है; 1.06 dB एक विशाल छलांग है।
• दक्षता: यह न केवल बेहतर था, बल्कि यह हल्का भी था। मॉडल में केवल 7.05 मिलियन पैरामीटर्स (एक AI का "मस्तिष्क आकार") हैं। यह अन्य शीर्ष मॉडलों की तुलना में बहुत छोटा है, जिनमें से कुछ में 30 मिलियन या 80 मिलियन से अधिक पैरामीटर होते हैं। इसे Restormer (141.00 G FLOPs) जैसे भारी मॉडलों की तुलना में कम कंप्यूटिंग पावर (54.27 G FLOPs) की आवश्यकता हुई।
• वास्तविक दुनिया के परिणाम: वास्तविक फोटो पर परीक्षण करने पर, जिनके पास तुलना के लिए कोई "परफेक्ट" संस्करण नहीं था, SSR ने फिर भी ऐसी छवियां बनाईं जिन्हें मनुष्यों ने अन्य तरीकों की तुलना में उच्च गुणवत्ता वाली और अधिक सौंदर्यपूर्ण रेटिंग दी।

कमी और भविष्य

पेपर बहुत स्पष्ट है कि क्या काम करता है और क्या नहीं। वे स्पष्ट रूप से इस विचार के खिलाफ तर्क देते हैं कि जटिल मौसम को संभालने के लिए कठोर, पूर्व-निर्धारित स्कैनिंग पथ (जैसे मानक ग्रिड या हिल्बर्ट कर्व) सबसे अच्छे होते हैं। उन्होंने साबित किया कि छवि के "अर्थ" (सेमेंटिक कंटेंट) को अनदेखा करने से खराब परिणाम मिलते हैं।

हालाँकि, लेखक अपनी सीमाओं के बारे में भी ईमानदार हैं। उनकी विधि काफी हद तक इस बात पर निर्भर करती है कि "सुपरपिक्सेल" क्लस्टरिंग सही ढंग से काम करे। यदि मौसम इतना खराब है (जैसे कि अंधा कर देने वाला बर्फीला तूफान) कि कंप्यूटर यह भी नहीं समझ पाता कि एक वस्तु कहाँ समाप्त होती है और दूसरी कहाँ शुरू होती है, तो सुपरपिक्सेल मैप भ्रमित हो सकता है। उन चरम मामलों में, मॉडल संघर्ष कर सकता है क्योंकि उसका "गाइड" टूट गया है।

इसके अतिरिक्त, हालांकि गणित कहता है कि मॉडल तेज़ है (लीनियर कॉम्प्लेक्सिटी), वर्तमान कंप्यूटर चिप पर वास्तविक गति कुछ पुराने, अत्यधिक अनुकूलित मॉडलों की तुलना में थोड़ी धीमी है। ऐसा इसलिए है क्योंकि SSR का "डायनेमिक" तरीका (विभिन्न सुपरपिक्सेल समूहों के बीच कूदना) वर्तमान कंप्यूटर हार्डवेयर के लिए सरल, सीधी-रेखा स्कैन की तुलना में कुशलता से संभालना कठिन है। लेखक सुझाव देते हैं कि भविष्य का कार्य विशेष कंप्यूटर चिप बनाने पर केंद्रित होगा ताकि इस स्मार्ट, कूदने वाली गति को पुराने, कठोर स्कैनिंग जितना तेज़ बनाया जा सके।

निष्कर्ष

सरल शब्दों में, यह पेपर कहता है: "फोटो को एक ऐसे रोबोट वैक्यूम की तरह साफ करना बंद करें जो बस दीवारों से टकराता रहता है। इसे एक ऐसे इंसान की तरह साफ करें जो कमरे को समझता है।" पिक्सेल को प्राकृतिक, सार्थक टुकड़ों में समूहित करके और एक बार में एक समूह को साफ करके, नया SSR मॉडल पिछले तरीकों की तुलना में बेहतर, तेज़ और कम कंप्यूटिंग पावर के साथ खराब मौसम वाली तस्वीरों को ठीक करता है। यह "पिक्सेल-सीरियल" (एक समय में एक बिंदु) से "सेमेंटिक-गाइडेड" (एक समय में सार्थक टुकड़े) की ओर एक बदलाव है, जो यह साबित करता है कि कभी-कभी, स्पष्ट रूप से देखने का सबसे अच्छा तरीका यह समझना है कि आप क्या देख रहे हैं।