कल्पना कीजिए कि आप एक बिखरे हुए कमरे को ठीक करने की कोशिश कर रहे हैं, लेकिन गंदगी हर जगह एक जैसी नहीं है। एक कोने में, गीले और कीचड़ वाले कपड़ों का ढेर है; दूसरे में, एक टूटी हुई खिड़की है; और तीसरे में, धूल की एक मोटी परत है। यदि आपके पास एक रोबोट क्लीनर होता जो पूरे कमरे के लिए बिल्कुल एक ही तरह का सफाई का पैटर्न अपनाता, तो वह संभवतः कीचड़ को छोड़ देता, कांच को तोड़ देता, या बस धूल को इधर-उधर धकेल देता। यह "इमेज रेस्टोरेशन" (छवि बहाली) का दैनिक संघर्ष है, जो कंप्यूटर विज्ञान की एक शाखा है जो उन तस्वीरों को ठीक करने के लिए समर्पित है जो बारिश, कोहरे, धुंधलेपन या अंधेरे से खराब हो गई हैं। वर्षों से, इस काम के लिए सबसे स्मार्ट उपकरण उसी कठोर रोबोट की तरह रहे हैं: वे एक तस्वीर को छोटे, निश्चित आकार के वर्गाकार टाइल्स (जैसे पोस्ट-इट नोट्स का ग्रिड) में काट देते हैं ताकि उनका विश्लेषण किया जा सके। फिर वे प्रत्येक टाइल को स्वतंत्र रूप से ठीक करने की कोशिश करते हैं। लेकिन जब बारिश की एक टेढ़ी लकीर दो टाइल्स की सीमा को पार करती है, तो रोबोट भ्रमित हो जाता है। वह एक टाइल में बारिश के ऊपरी हिस्से को और दूसरी टाइल में निचले हिस्से को ठीक करने की कोशिश करता है, जिससे अक्सर दोनों हिस्सों के बीच एक स्पष्ट, बदसूरत जोड़ (सीम) रह जाता है जहाँ वे पूरी तरह से मेल नहीं खाते।

यह शोध पत्र इसी "सीम" वाली समस्या से निपटता है। यह इस बात का एक नया तरीका पेश करता है कि कंप्यूटर टूटी हुई छवियों को कैसे देखते हैं। छवि को एक कठोर ग्रिड में बदलने के बजाय, लेखक एक ऐसा सिस्टम प्रस्तावित करते हैं जो ग्रिड को गंदगी के अनुरूप मुड़ने और आकार बदलने की अनुमति देता है। इसे एक सख्त कार्डबोर्ड बॉक्स के बजाय एक लचीली रबर शीट की तरह समझें। यदि बारिश की एक लकीर तिरछी चलती है, तो रबर की शीट बारिश की लकीर का पूरी तरह से अनुसरण करने के लिए अपने "टाइल्स" को खींचती और बदलती है, जिससे यह सुनिश्चित होता है कि कंप्यूटर पूरी समस्या को एक साथ देख सके। ऐसा करके, कंप्यूटर उन ध्यान भटकाने वाली, ब्लॉक जैसी रेखाओं को पीछे छोड़े बिना छवि को ठीक कर सकता है। शोधकर्ता अपने नए सिस्टम को FIT कहते हैं, जिसका अर्थ है फ्लेक्सिबल इमेज ट्रांसफार्मर (Flexible Image Transformer), और वे दिखाते हैं कि क्षति के अनुरूप छवि को "मोड़ने" से, वे पहले से कहीं अधिक स्वच्छ और स्पष्ट तस्वीरें बना सकते हैं।

समस्या: वह "ग्रिड" जो मुड़ नहीं सकता

यह समझने के लिए कि यह नई विधि कितनी बड़ी बात है, हमें यह देखना होगा कि वर्तमान इमेज-फिक्सिंग AI कैसे काम करता है। अधिकांश आधुनिक सिस्टम "पैच टोकनाइजेशन" नामक तकनीक का उपयोग करते हैं। कल्पना कीजिए कि आपके पास एक विशाल जिग्सॉ पहेली है, लेकिन अनियमित आकारों के बजाय, उसका हर टुकड़ा एक सटीक वर्ग है। एक धुंधली फोटो को ठीक करने के लिए, कंप्यूटर इसे इन छोटे वर्गों में काटता है, प्रत्येक का अध्ययन करता है, और फिर चित्र को पुनर्गठित करने का प्रयास करता है।

लेखक बताते हैं कि समस्या यह है कि वास्तविक दुनिया की क्षति इन वर्गों का सम्मान नहीं करती। बारिश की लकीरें, मोशन ब्लर और कोहरा अक्सर इन निश्चित वर्गों की सीमाओं के आर-पार कट जाते हैं। जब कंप्यूटर एक ऐसे वर्ग को ठीक करने की कोशिश करता है जिसमें आधा बारिश की लकीर और आधा साफ आसमान हो, तो वह भ्रमित हो जाता है। वह "बुरे" पिक्सल को "अच्छे" पिक्सल के साथ मिला देता है। जब वह वर्गों को वापस जोड़ता है, तो यह बेमेल स्थिति एक दृश्य "ग्रिड आर्टिफैक्ट" पैदा करती है—जहाँ वर्ग मिलते हैं वहाँ एक धुंधली, अप्राकृतिक रेखा या सीम बन जाती है। यह एक फटे हुए शर्ट को कपड़े के चौकोर पैच से जोड़ने की कोशिश करने जैसा है जो फटे हुए हिस्से के साथ मेल नहीं खाते; मरम्मत भद्दी और स्पष्ट दिखती है।

लेखकों का तर्क है कि इस समस्या को ठीक करने के पिछले प्रयास उस रोबोट क्लीनर को स्मार्ट बनाने की तरह थे जिसे कमरे को वर्गों में काटने के बाद ही सिखाया गया था। वे क्षति के प्रकार (जैसे, "यह बारिश है") के बारे में जानकारी कंप्यूटर के मस्तिष्क में इंजेक्ट करते थे, लेकिन कंप्यूटर अभी भी एक कठोर ग्रिड के माध्यम से दुनिया को देखने में फंसा हुआ था। कंप्यूटर के सोचने शुरू करने से पहले ही क्षति वर्गों के भीतर मिल चुकी थी।

समाधान: एक लचीला, आकार बदलने वाला ग्रिड

लेखक एक क्रांतिकारी बदलाव का प्रस्ताव करते हैं: एक निश्चित ग्रिड का उपयोग ही न करें। इसके बजाय, ग्रिड को मुड़ने दें।

वे एक सिस्टम पेश करते हैं जिसे FIT (फ्लेक्सिबल इमेज ट्रांसफार्मर) कहा जाता है। यह कैसे काम करता है, इसके चरण एक सरल उपमा का उपयोग करते हुए यहाँ दिए गए हैं:

1. "डैमेज डिटेक्टिव" (डिग्रेडेशन एनकोडर): कंप्यूटर द्वारा छवि के टुकड़ों को देखना शुरू करने से पहले, यह एक त्वरित स्काउट भेजता है जो पूरी फोटो को देखता है। यह स्काउट केवल यह नहीं कहता कि "बारिश हो रही है"; यह एक मानचित्र बनाता है। यह क्षति का एक वैश्विक चित्र (एक "ग्लोबल वेक्टर") और एक विस्तृत मानचित्र बनाता है जो दिखाता है कि क्षति कहाँ सबसे अधिक है (एक "स्पेशियल मैप")। यह एक अग्निशामक की तरह है जो जलती हुई इमारत को देखता है और तुरंत जानता है कि कौन से कमरे सबसे गर्म हैं और आग कहाँ फैल रही है।

2. "बेंडिंग ग्रिड" (डिफॉर्मेबल टोकनाइजेशन): अब जादू आता है। छवि को कठोर वर्गों में काटने के बजाय, कंप्यूटर क्षति के मानचित्र का उपयोग करके वर्गों को खींचता और स्थानांतरित करता है। यदि बारिश की एक लंबी लकीर है, तो कंप्यूटर बारिश की लकीर का अनुसरण करने के लिए ग्रिड लाइनों को खींचता है। यदि छवि का कोई हिस्सा बहुत धुंधला है, तो ग्रिड उन धुंधले पिक्सल को एक साथ समूहबद्ध करने के लिए शिफ्ट हो जाता है।

   • उपमा: कल्पना कीजिए कि आप एक केक काट रहे हैं। यदि केक में एक लंबी, पतली स्ट्रॉबेरी चल रही है, तो एक कठोर चाकू स्ट्रॉबेरी को बीच से काट देगा, जिससे टुकड़ा खराब हो जाएगा। लेकिन यदि आपके पास एक लचीला चाकू है जो स्ट्रॉबेरी के वक्र का अनुसरण करने के लिए मुड़ सकता है, तो आप इसके चारों ओर पूरी तरह से काट सकते हैं। FIT बिल्कुल यही करता है। यह छवि की "कटिंग लाइनों" को मोड़ता है ताकि प्रत्येक टुकड़ा (या "टोकन") क्षति के एक सुसंगत हिस्से को समाहित करे, न कि साफ और गंदे पिक्सल का एक अस्त-व्यस्त मिश्रण।

3. "स्मार्ट फिक्सर" (ट्रांसफार्मर): एक बार जब छवि को इन लचीले, क्षति-जागरूक टुकड़ों में काट दिया जाता है, तो कंप्यूटर उन्हें प्रोसेस करता है। क्योंकि टुकड़े अब तार्किक रूप से व्यवस्थित हैं (बारिश एक टुकड़े में है, साफ आसमान दूसरे में), कंप्यूटर उन्हें बहुत अधिक सटीकता से ठीक कर सकता है।

4. "रिवर्स बेंड" (अनएम्बेडिंग): टुकड़ों को ठीक करने के बाद, कंप्यूटर को उन्हें वापस जोड़ना होता है। यह टुकड़ों को उनके मूल स्थानों में वापस लाने के लिए उसी बेंडिंग मैप का उपयोग करता है। चूंकि टुकड़े शुरुआत में ही क्षति के साथ संरेखित थे, इसलिए वे पूरी तरह से फिट हो जाते हैं, जिससे कोई दृश्यमान सीम नहीं बचता।

"ड्रॉपआउट" ट्रिक: अनुमान लगाना सीखना

लेखक एक और चतुर तकनीक का उपयोग करते हैं जिसे टास्क-टोकन ड्रॉपआउट (Task-Token Dropout) कहा जाता है। आमतौर पर, जब आप किसी AI को फोटो ठीक करने के लिए प्रशिक्षित करते हैं, तो आप उसे बताते हैं कि क्या गलत है: "यह बारिश है," या "यह धुंधलापन है।" लेकिन वास्तविक दुनिया में, आपको अक्सर पता नहीं होता कि क्या गलत है। आप बस एक खराब फोटो देखते हैं।

इसे संभालने के लिए पर्याप्त मजबूत बनाने के लिए, लेखक इसे कभी-कभी लेबल को अनदेखा करने के लिए प्रशिक्षित करते हैं। वे यादृच्छिक रूप से AI को कहते हैं, "यह एक बरसाती फोटो है," और फिर तुरंत वह लेबल हटा देते हैं, जिससे AI को केवल तस्वीर को देखकर यह समझने के लिए मजबूर किया जाता है कि यह बारिश है। यह एक छात्र को गणित की समस्या हल करने के लिए सिखाने जैसा है जहाँ कभी उन्हें उत्तर कुंजी दी जाती है और कभी उसे छीन लिया जाता है, जिससे वे केवल उत्तर रटने के बजाय तर्क को सीखने के लिए मजबूर होते हैं। यह सुनिश्चित करता है कि जब AI एक ऐसी फोटो का सामना करता है जिसमें बारिश और कोहरा दोनों का मिश्रण हो (या किसी ऐसे प्रकार की क्षति का सामना करता है जिसे उसने पहले कभी नहीं देखा है), तो वह भ्रमित हुए बिना समस्या को समझ सकता है और उसे ठीक कर सकता है।

परिणाम: स्पष्ट, स्वच्छ, बिना सीम के

लेखकों ने अपने नए FIT सिस्टम का परीक्षण पांच अलग-अलग प्रकार की छवि क्षति पर किया: शोर (noise) हटाना, बारिश हटाना, कोहरा (धुंध) हटाना, मोशन ब्लर ठीक करना और अंधेरी तस्वीरों को चमकीला बनाना। उन्होंने इसकी तुलना JIT (जस्ट इमेज ट्रांसफॉर्मर्स) जैसे एक बहुत ही मजबूत बेसलाइन सहित मौजूदा सर्वोत्तम तरीकों से की।

परिणाम प्रभावशाली थे। पांच अलग-अलग क्षति प्रकारों के एक मानक परीक्षण पर, FIT ने औसतन 30.72 dB का स्कोर प्राप्त किया (एक माप कि बहाल की गई छवि मूल के कितने करीब है)। इसने पिछले सर्वोत्तम तरीकों को काफी अंतर से पीछे छोड़ दिया, अन्य शीर्ष प्रणालियों पर 0.5 से 1.1 dB का सुधार किया। इमेज रेस्टोरेशन की दुनिया में, एक डेसिबल का एक छोटा सा हिस्सा भी बहुत बड़ा होता है; 1 dB का उछाल अक्सर गुणवत्ता में एक बड़ी छलांग माना जाता है।

विशेष रूप से, पेपर इस बात पर प्रकाश डालता है कि FIT "स्पेशियली नॉन-यूनिफॉर्म" (स्थानिक रूप से गैर-समान) क्षति को संभालने में विशेष रूप से अच्छा है—जहाँ फोटो के अलग-अलग हिस्सों में गंदगी अलग-अलग होती है।

• बारिश पर: FIT ने बैकग्राउंड टेक्सचर को शार्प रखते हुए बारिश की लकीरों को अधिक गहराई से हटाया।
• कोहरे पर: इसने स्पष्ट हिस्सों को अजीब या फीका बनाए बिना कोहरे वाले क्षेत्रों को साफ कर दिया।
• ब्लर पर: इसने उन किनारों को वापस पाया जिन्हें अन्य तरीकों ने धुंधले धब्बों में बदल दिया था।

शायद सबसे दृश्य प्रमाण "ग्रिड स्कोर" है। लेखकों ने उन बदसूरत सीम्स को मापने के लिए एक तरीका बनाया। पुराने कठोर-ग्रिड वाले तरीकों में उच्च ग्रिड स्कोर (बहुत सारी सीम्स) था, खासकर जब क्षति भारी थी। FIT का ग्रिड स्कोर बहुत कम था, जिसका अर्थ है कि छवियां चिकनी और प्राकृतिक दिख रही थीं, जिनमें कोई दृश्यमान ब्लॉक जैसी रेखाएं नहीं थीं।

यह क्यों महत्वपूर्ण है

पेपर सुझाव देता है कि हम छवि को कैसे विभाजित करते हैं ("टोकनाइजेशन"), यह उस मस्तिष्क के समान ही महत्वपूर्ण है जो इसे ठीक करता है। लंबे समय तक, शोधकर्ताओं ने माना कि ग्रिड को निश्चित और कठोर होना चाहिए। यह पेपर उस धारणा को गलत साबित करता है। ग्रिड को लचीला बनाकर और इसे क्षति के आकार के अनुरूप मुड़ने देकर, कंप्यूटर समस्या को अधिक स्पष्ट रूप से देख सकता है और अधिक प्रभावी ढंग से ठीक कर सकता है।

लेखक यह दावा नहीं करते हैं कि यह इमेज रेस्टोरेशन की हर समस्या को हल करता है, और वे नोट करते हैं कि वास्तविक दुनिया के अप्रत्याशित परिदृश्यों में अभी भी सिस्टम का परीक्षण किया जाना बाकी है। हालाँकि, वे प्रदर्शित करते हैं कि यह "बेंडिंग" दृष्टिकोण एक शक्तिशाली नया उपकरण है। यह सुझाव देता है कि भविष्य में, हमारे फोटो-एडिटिंग टूल्स न केवल स्मार्ट एल्गोरिदम होंगे, बल्कि अधिक लचीले भी होंगे—ऐसे उपकरण जो उस गंदगी को साफ करने के लिए अपनी दुनिया को देखने के नज़रिए को फिर से आकार दे सकते हैं जिसे हम ठीक करने की कोशिश कर रहे हैं।

संक्षेप में, FIT हमें सिखाता है कि कभी-कभी, एक टूटी हुई तस्वीर को ठीक करने के लिए, आपको इसे एक कठोर खिड़की के माध्यम से देखना बंद करना होगा और एक लचीले लेंस के माध्यम से देखना शुरू करना होगा। और जब आप ऐसा करते हैं, तो तस्वीर बहुत बेहतर दिखती है।