Visual Distortion Detection in UGC Images Using Large Multimodal Models
यह शोधपत्र VIGIL का प्रस्ताव करता है, जो एक नवीन ढांचा है जो विज़ुअल डिस्टॉर्शन डिटेक्शन में मौजूदा टेक्स्ट-ड्रिवन दृष्टिकोणों की सीमाओं को संबोधित करने और सिंथेटिक-टू-ऑथेंटिक जनरलाइजेशन गैप को पाटने के लिए मल्टी-लेवल फीचर डिटेक्टर्स वाले लार्ज मल्टीमॉडल मॉडल्स और एक कठोरता से क्यूरेट किए गए 140K-सैंपल डेटासेट का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने फोन पर एक फोटो देख रहे हैं। शायद यह एक सेल्फी है, आपके कुत्ते की तस्वीर है, या हाइकिंग करते समय आपने खींची गई सूर्यास्त की एक फोटो है। कभी-कभी, पूरी तस्वीर बहुत अच्छी दिखती है। अन्य समय में, आकाश एकदम सही होता है, लेकिन आपके दोस्त का चेहरा धुंधला होता है, या घास पर रंग का कोई अजीब सा धब्बा होता है। लंबे समय तक, तस्वीरों का विश्लेषण करने वाले कंप्यूटर एक सख्त शिक्षक की तरह थे जो पूरे टेस्ट के लिए केवल एक ही ग्रेड देते थे। वे आपको बता सकते थे कि पूरी तस्वीर "अच्छी" है या "बुरी", लेकिन वे उस विशिष्ट स्थान की ओर इशारा नहीं कर सकते थे जहाँ गलती हुई थी। यह एक बड़ी समस्या है क्योंकि वास्तविक दुनिया में, हम अक्सर पूरी फोटो को ठीक करने के बजाय केवल धुंधले हिस्से को ठीक करना चाहते हैं।
यह क्षेत्र जो इस समस्या को हल करने की कोशिश कर रहा है, उसे 'इमेज क्वालिटी असेसमेंट' (Image Quality Assessment) कहा जाता है। इसे कंप्यूटर को 'कला समीक्षक' (art critics) बनाना समझें। हाल ही में, वैज्ञानिकों ने "लार्ज मल्टीमॉडल मॉडल्स" (LMMs) का उपयोग करना शुरू कर दिया है। आप इन्हें सुपर-स्मार्ट रोबोट के रूप में देख सकते हैं जो तस्वीरों को देख सकते हैं और टेक्स्ट को भी पढ़ सकते हैं। वे एक प्रतिभाशाली कला छात्र की तरह हैं जिसने फोटोग्राफी की हर किताब पढ़ी है। हालाँकि, सिर्फ इसलिए कि एक रोबोट स्मार्ट है, इसका मतलब यह नहीं है कि वह छोटी, विशिष्ट गलतियों को खोजने में भी माहिर है। इनमें से अधिकांश रोबोटों को ऐसी तस्वीरों के साथ प्रशिक्षित किया गया था जिनके साथ टेक्स्ट विवरण जैसे "आकाश धुंधला है" दिए गए थे, लेकिन वे धुंधले आकाश के चारों ओर एक बॉक्स बनाने में संघर्ष करते हैं। उन्हें "नकली" अभ्यास चित्रों (जहाँ वैज्ञानिक कृत्रिम रूप से धुंधलापन जोड़ते हैं) से वास्तविक, अस्त-व्यस्त तस्वीरों (जो लोगों द्वारा वास्तविक दुनिया में ली गई हैं) पर जाने में भी कठिनाई होती है।
यह पेपर एक नए रोबोट का परिचय देता है जिसका नाम VIGIL (विजुअल इंटेलिजेंस फॉर जनरलाइज्ड इमेज लोकलाइजेशन) है। शोधकर्ताओं ने एक ऐसा सिस्टम बनाने की कोशिश की जो केवल यह न कहे कि "यह फोटो खराब है," बल्कि वास्तव में उंगली दिखाकर कहे कि, "अरे, ब्लर (धुंधलापन) ठीक यहाँ है, और यह एक कंप्रेशन एरर है।" उन्होंने पाया कि रोबोट को सिखाने का पुराना तरीका—केवल उन्हें टेक्स्ट विवरण लिखने के लिए कहना—इतना सटीक नहीं था। इसलिए, उन्होंने एक अलग दृष्टिकोण अपनाया: उन्होंने रोबोट को एक लेखक की तरह दृश्य का वर्णन करने के बजाय, सुराग खोजने वाले एक जासूस की तरह काम करना सिखाया।
टीम ने इंटरनेट से 10 लाख से अधिक उच्च गुणवत्ता वाली छवियों का एक विशाल पुस्तकालय एकत्र करके शुरुआत की। उन्होंने इन्हें सावधानीपूर्वक फ़िल्टर किया ताकि सुनिश्चित हो सके कि वे स्पष्ट और चमकदार हैं, फिर उन्होंने यादृच्छिक (random) छवियों के कुछ हिस्सों में 8 अलग-अलग प्रकार के विकृतियों (जैसे धुंधलापन, शोर, या अजीब रंग) को जोड़कर "अंतर पहचानें" (spot the difference) का खेल खेला। उन्होंने एक प्रशिक्षण सेट बनाया जिसे VIGIL-140K कहा जाता है, जिसमें 1,40,000 से अधिक विकृत छवियां और 2,00,000 से अधिक लेबल किए गए "खराब स्थान" शामिल हैं।
रोबोट को वाक्य लिखने के लिए कहने के बजाय, शोधकर्ताओं ने रोबोट के दिमाग को जासूसों की एक टीम में बदल दिया। उन्होंने रोबोट की आंतरिक सोच प्रक्रिया की विभिन्न परतों को अलग-अलग "डिटेक्टरों" के रूप में उपयोग किया। कल्पना कीजिए कि एक कक्षा में जहाँ एक छात्र के हाथ उठाने के बजाय, पाँच अलग-अलग छात्र एक ही तस्वीर को एक साथ देखते हैं, जिनमें से प्रत्येक ने थोड़ा अलग चश्मा पहना हुआ है। एक धुंधले किनारों को देखने में अच्छा हो सकता है, जबकि दूसरा रंग के बदलावों को पहचानने में माहिर हो सकता है। वे सभी एक साथ अपने अनुमान चिल्लाते हैं। रोबोट फिर एक अंतिम, बहुत सटीक निर्णय लेने के लिए इन सभी अनुमानों को मिलाता है।
शोधकर्ताओं ने "सिंथेटिक-टू-ऑथेंटिक" (Synthetic-to-Authentic) नामक एक कठिन समस्या को भी हल किया। यह तीरंदाजी का अभ्यास करने जैसा है जहाँ कागज के लक्ष्य होते हैं जिनमें एकदम गोल बुल्सआई (bullseye) होते हैं, लेकिन फिर आप एक वास्तविक जंगल में टेढ़े-मेढ़े, अनियमित लक्ष्य को हिट करने की कोशिश करते हैं। कागज के लक्ष्य (सिंथेटिक डेटा) बहुत व्यवस्थित दिखते हैं, इसलिए रोबोट वास्तविक, अस्त-व्यस्त विकृतियों को देखकर भ्रमित हो जाता है। इसे ठीक करने के लिए, टीम ने रोबोट को तब भी ध्यान देने के लिए सिखाया जब वह सोचता है कि कोई स्थान "साफ" है। यदि रोबोट लगभग आश्वस्त है कि एक स्थान साफ है लेकिन उसे थोड़ा सा संदेह है, तो वे उस संदेह को एक संभावित सुराग के रूप में गिनने देते हैं। यह मदद करता है कि जब वास्तविक दुनिया अस्त-व्यस्त हो जाती है, तो रोबोट सतर्क रहे।
जब उन्होंने VIGIL का परीक्षण किया, तो यह एक बड़ी सफलता रही। नकली विकृतियों वाले अभ्यास परीक्षणों पर, इसने अन्य शीर्ष मॉडलों की तुलना में त्रुटियों को बहुत बेहतर तरीके से पाया। लेकिन असली जादू तब हुआ जब उन्होंने उन वास्तविक दुनिया की तस्वीरों पर इसका परीक्षण किया जिन्हें उसने पहले कभी नहीं देखा था। जहाँ अन्य मॉडल भ्रमित हो गए और त्रुटियों को मिस कर गए, वहीं VIGIL ने अपना धैर्य बनाए रखा, और वास्तविक उपयोगकर्ता फोटो में धुंधले या शोर वाले स्थानों को सटीक रूप से इंगित किया। यह पेपर दिखाता है कि आंतरिक डिटेक्टरों की एक टीम का उपयोग करके और "साफ" क्षेत्रों के बारे में खुला दिमाग रखकर, हम कंप्यूटर को यह सिखा सकते हैं कि बिल्कुल कहाँ फोटो गलत हुई है, जिससे हमारी तस्वीरों को स्वचालित रूप से ठीक करने वाले स्मार्ट टूल्स का मार्ग प्रशस्त होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।