ArmorOCR: Grounded Adversarial Visual Perception via Observation-Transferred Self-Distillation
यह शोध पत्र AdvSpot को प्रस्तुत करता है, जो कि पहला ग्राउंडेड एडवरसैरियल OCR बेंचमार्क है, और ArmorOCR का प्रस्ताव करता है, जो एक दो-चरणीय प्रशिक्षण ढांचा है जो सामान्य OCR प्रदर्शन को बनाए रखते हुए एडवरसैरियल विजुअल टेक्स्ट के विरुद्ध लार्ज मल्टीमॉडल मॉडल्स की मजबूती को महत्वपूर्ण रूप से बढ़ाने के लिए ऑब्जर्वेशन-ट्रांसफर्ड सेल्फ-डिस्टिलेशन और ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, लार्ज मल्टीमॉडल मॉडल्स के रूप में जानी जाने वाली प्रणालियों का एक बढ़ता हुआ वर्ग है। ये शक्तिशाली कंप्यूटर हैं जो छवियों को देख सकते हैं और उनके भीतर लिखे टेक्स्ट को पढ़ सकते हैं, ठीक वैसे ही जैसे कोई इंसान सड़क के साइन या हाथ से लिखे नोट की तस्वीर को देखता है। वर्षों से, ये प्रणालियाँ स्पष्ट, मानक टेक्स्ट को पढ़ने में उल्लेखनीय रूप से कुशल होती गई हैं। हालाँकि, मानव दृष्टि और मशीन दृष्टि के बीच एक महत्वपूर्ण अंतर उभर कर आया है। मनुष्यों के पास छिपे हुए, विकृत या जटिल पृष्ठभूमि में मिश्रित टेक्स्ट को समझने की एक सहज क्षमता होती है। हम बिंदुओं के एक पैटर्न को देखकर तुरंत समझ सकते हैं कि उससे कौन सा शब्द बन रहा है, या किसी भीड़भाड़ वाली शर्ट पर छोटे अक्षरों में लिखे वाक्य को पढ़ सकते हैं। इसके विपरीत, वर्तमान आर्टिफिशियल इंटेलिजेंस अक्सर इन विशिष्ट कार्यों में विफल रहता है। यह उसी छवि को देखकर केवल शोर (noise) देख सकता है, टेक्स्ट को पूरी तरह से मिस कर सकता है, या चित्र के गलत हिस्से पर ध्यान केंद्रित कर सकता है। यह भेद्यता केवल एक मामूली गड़बड़ी नहीं है; यह इस बात को उजागर करती है कि ये मशीनें दृश्य दुनिया को कैसे देखती हैं, जिससे वे वास्तविक दुनिया में पाए जाने वाले अव्यवस्थित और हेरफेर किए गए टेक्स्ट को संभालने में असमर्थ हो जाती हैं।
शोधकर्ताओं ने लंबे समय से कंप्यूटर को छवियों के बारे में अधिक गहराई से "सोचने" के लिए सिखाकर इसे ठीक करने की कोशिश की है, अक्सर उन्हें चित्रों को ज़ूम करने, क्रॉप करने या घुमाने के लिए कहकर ताकि छिपे हुए विवरण प्रकट हो सकें। हालांकि यह काम करता है, लेकिन यह धीमा है और हर बार कंप्यूटर द्वारा चित्र देखने पर अतिरिक्त चरणों की आवश्यकता होती है। एक नया अध्ययन एक अलग दृष्टिकोण पेश करता है, जो मॉडल को इन छिपे हुए पैटर्न को तुरंत पहचानने के लिए सिखाता है, बिना पहले छवि को बदले। इस कार्य के पीछे की टीम ने, जिसका नेतृत्व लिनहान काओ और सहयोगियों ने किया, सबसे पहले 'एडस्पॉट' (AdvSpot) नामक एक नया परीक्षण क्षेत्र बनाया। यह 390 छवियों का एक संग्रह है जिसे विशेष रूप से आर्टिफिशियल इंटेलिजेंस को फँसाने के लिए डिज़ाइन किया गया है। इन छवियों में ऐसा टेक्स्ट है जो मनुष्यों के लिए पठनीय है लेकिन मशीनों के लिए चुनौतीपूर्ण है, जिसे तेरह विभिन्न प्रकार के विजुअल ट्रिक्स (दृश्य युक्तियों) में व्यवस्थित किया गया है। ये ट्रिक्स टेक्स्ट के घुमाए गए या दर्पण प्रतिबिंब (mirrored) होने से लेकर, जटिल पैटर्न के भीतर छिपे शब्दों तक, और ऐसे अक्षरों तक विस्तृत हैं जो हाथ से लिखे हुए लगते हैं या अन्य कृत्रिम प्रणालियों द्वारा उत्पन्न किए गए हैं। यह डेटासेट अद्वितीय है क्योंकि यह कंप्यूटर को केवल शब्द का अनुमान लगाने के लिए नहीं कहता; यह कंप्यूटर को ठीक से यह बताने की आवश्यकता देता है कि टेक्स्ट कहाँ है, उसे पढ़ना है, और उसके बारे में एक प्रश्न का उत्तर देना है, जिससे यह सुनिश्चित होता है कि मशीन वास्तव में सही स्थान को देख रही है और केवल संदर्भ के आधार पर अनुमान नहीं लगा रही है।
इन पेचीदा छवियों की समस्या को हल करने के लिए, शोधकर्ताओं ने 'आर्मर-ओसीआर' (ArmorOCR) नामक एक नई प्रशिक्षण पद्धति विकसित की। उन्होंने महसूस किया कि जबकि एक कंप्यूटर मूल रूप में एक शब्द को देखने में संघर्ष कर सकता है, वही शब्द आसानी से पढ़ा जा सकता है यदि छवि को थोड़ा खींचा जाए, घुमाया जाए, या उसका आकार बदला जाए। कंप्यूटर को हर बार चित्र देखते समय इन परिवर्तनों को करने के लिए कहने के बजाय, शोधकर्ताओं ने मॉडल को प्रशिक्षण के दौरान उनसे सीखना सिखाया। उन्होंने एक दो-चरणीय शिक्षण प्रक्रिया स्थापित की। पहले चरण में, उन्होंने एक "शिक्षक" मॉडल का उपयोग किया जो छवि को कई अलग-अलग, रूपांतरित तरीकों से देख सकता था। इस शिक्षक मॉडल के पास रूपांतरित रूपों के बाद टेक्स्ट को स्पष्ट रूप से देखने का लाभ था, जो एक "छात्र" मॉडल का मार्गदर्शन करेगा जो केवल मूल, कठिन छवि को देखता था। शिक्षक ने केवल उत्तर नहीं दिया; उसने छात्र को रूपांतरित दृश्यों के माध्यम से छिपे हुए टेक्स्ट को समझना सिखाया। इसने छात्र को वास्तविक परीक्षण के दौरान उन ट्रिक्स को देखे बिना ही, ट्रिक्स के माध्यम से देखने की क्षमता को आत्मसात करने में सक्षम बनाया।
दूसौ चरण का ध्यान इस बात को परिष्कृत करने पर था कि मॉडल इस नई क्षमता का उपयोग कैसे करता है। शोधकर्ताओं ने मॉडल को विभिन्न कार्यों को सही ढंग से करने के लिए विशिष्ट पुरस्कार दिए। यदि मॉडल छवि के सही क्षेत्र की ओर सफलतापूर्वक संकेत करता है, तो उसे 'लोकलाइजेशन' (स्थान निर्धारण) के लिए पुरस्कार मिलता है। यदि वह टेक्स्ट को सही ढंग से पढ़ता है, तो उसे 'रिकग्निशन' (पहचान) के लिए पुरस्कार मिलता है। यदि वह एक ही छवि में सभी छिपे हुए टेक्स्ट को खोज सकता है और प्रश्नों का उत्तर दे सकता है, तो उसे उन कार्यों के लिए पुरस्कार मिलता है। इन पुरस्कारों को जोड़कर, मॉडल ने एक साथ इन सभी कौशलों को संतुलित करना सीखा। परिणाम एक ऐसी प्रणाली थी जो एक एकल, अपरिवर्तित छवि को देखकर तुरंत उस टेक्स्ट की पहचान, पठन और व्याख्या कर सकती थी जो पहले मशीनों के लिए अदृश्य था।
जब उनके नए बेंचमार्क पर परीक्षण किया गया, तो परिणाम चौंकाने वाले थे। अधिकांश मौजूदा आर्टिफिशियल इंटेलिजेंस मॉडल, जिनमें उपलब्ध सबसे बड़े और सबसे उन्नत मॉडल भी शामिल हैं, एडस्पॉट टेस्ट पर बहुत खराब स्कोर करते हैं, अक्सर आधे से अधिक बार टेक्स्ट पहचानने में विफल रहते हैं। हालाँकि, नए आर्मर-ओसीआर सिस्टम ने उन्हें काफी पीछे छोड़ दिया। इसने प्रतिकूल (adversarial) टेक्स्ट को पहचानने की क्षमता में काफी सुधार किया, और सभी क्षेत्रों में उच्चतम सटीकता प्राप्त की। महत्वपूर्ण रूप से, शोधकर्ताओं ने पाया कि इस नए प्रशिक्षण ने मॉडल को सामान्य, स्पष्ट टेक्स्ट पढ़ने में बदतर नहीं बनाया। सिस्टम सामान्य पठन कार्यों के लिए पहले की तरह ही सक्षम रहा, जिससे सिद्ध हुआ कि इसने अपने पुराने कौशल खोए बिना एक नया कौशल सीख लिया है। अध्ययन बताता है कि मॉडल्स को प्रशिक्षण के दौरान रूपांतरित दृश्यों से सीखने के लिए सिखाकर, हम ऐसा आर्टिफिशियल इंटेलिजेंस बना सकते हैं जो जटिल, हेरफेर की गई दृश्य दुनिया का सामना करने में कहीं अधिक मजबूत और विश्वसनीय हो, जिसमें मनुष्य प्रतिदिन नेविगेट करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।