Two-stage Vision Transformers and Hard Masking offer Robust Object Representations
यह शोध पत्र एक संयुक्त रूप से प्रशिक्षित, दो-चरणीय विजन ट्रांसफार्मर फ्रेमवर्क प्रस्तावित करता है जो सीखे गए बाइनरी अटेंशन मास्क का उपयोग करके पहले कार्य-प्रासंगिक क्षेत्रों की पहचान करता है और फिर दूसरे चरण के फोकस को उन पर प्रतिबंधित करता है, जिससे स्पूरियस सहसंबंधों (spurious correlations) और आउट-ऑफ-डिस्ट्रीब्यूशन बैकग्राउंड के विरुद्ध मजबूती बढ़ती है और साथ ही ऑडिट करने योग्य तर्क और टेस्ट-टाइम हस्तक्षेप सक्षम होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बच्चे को पेंगुइन पहचानना सिखाने की कोशिश कर रहे हैं।
यदि आप केवल बच्चे को बर्फ पर खड़े पेंगुइन की तस्वीरें दिखाते हैं, तो वह एक खतरनाक शॉर्टकट सीख सकता है: "पेंगुइन सफेद और काले रंग की चीजें हैं जो बर्फ पर रहती हैं।" बाद में, यदि आप उसे चिड़ियाघर में एक पेंगुइन दिखाते हैं (बिना बर्फ के), या किसी कार्टून में एक पेंगुइन दिखाते हैं, तो वह भ्रमित हो सकता है क्योंकि "बर्फ" वाला हिस्सा गायब है। उसने मुख्य वस्तु (पक्षी) के बजाय पृष्ठभूमि (बर्फ) पर बहुत अधिक भरोसा किया।
यह बिल्कुल वही समस्या है जिसका सामना आधुनिक AI (विशेष रूप से विजन ट्रांसफॉर्मर्स) को करना पड़ता है। वे अपनी समझदारी के कारण ही मुसीबत में पड़ जाते हैं; वे आसपास के दृश्यों से विचलित हो जाते हैं और मुख्य विषय को मिस कर देते हैं।
यह पेपर AI को प्रशिक्षित करने का एक नया तरीका पेश करता है जिसे iFAM (Inherently Faithful Attention Maps) कहा जाता है। इसे AI के लिए एक दो-चरणीय "फोकस ट्रेनिंग" प्रोग्राम के रूप में समझें।
समस्या: "भटका हुआ छात्र"
वर्तमान AI मॉडल उन छात्रों की तरह हैं जो पूरी पाठ्यपुस्तक पढ़ने की कोशिश करते हैं लेकिन फुटनोट्स (पाद-टिप्पणियों) में खो जाते हैं।
- समस्या: जब एक AI किसी तस्वीर को देखता है, तो वह एक साथ सब कुछ देखता है। यदि एक कुत्ता आमतौर पर पार्क में दिखाई देता है, तो AI सीख जाता है "पार्क = कुत्ता।" यदि आप उसे रसोई में एक कुत्ता दिखाते हैं, तो वह घबरा जाता है क्योंकि "पार्क" वाला सुराग गायब है।
- पुराना समाधान: कुछ शोधकर्ताओं ने AI को यह बताने की कोशिश की, "हे, कुत्ते को देखो, पार्क को नहीं," लेकिन ऐसा तब किया गया जब AI पहले ही पूरा पेज पढ़ चुका था। तब तक, AI ने "पार्क" की जानकारी को आत्मसात कर लिया था। यह एक बज चुकी घंटी को वापस शांत करने की कोशिश करने जैसा है।
समाधान: दो-चरणीय "स्पॉटलाइट" प्रणाली
लेखक एक ऐसी दो-चरणीय प्रक्रिया का प्रस्ताव करते हैं जो AI को पहेली सुलझाने की कोशिश करने से पहले ध्यान केंद्रित करने के लिए मजबूर करती है।
चरण 1: "स्पॉटलाइट ऑपरेटर" (चयनकर्ता)
एक स्टेज मैनेजर की कल्पना करें जिसके हाथ में एक हैंडहेल्ड स्पॉटलाइट है।
- काम: AI पूरी छवि को देखता है और पूछता है, "दिलचस्प चीजें कहाँ हैं?"
- क्रिया: यह केवल वस्तु (कुत्ता, पक्षी, ट्यूमर) पर एक चमकदार, बाइनरी (ऑन/ऑफ) स्पॉटलाइट डालता है। यह पृष्ठभूमि (पार्क, बर्फ, चेस्ट एक्स-रे आर्टिफैक्ट्स) पर मौजूद रोशनी को पूरी तरह से बंद कर देता है।
- परिणाम: AI एक "मास्क" बनाता है। मास्क के बाहर की हर चीज़ पूरी तरह काली है।
चरण 2: "डिटेक्टिव" (अनुमान लगाने वाला)
अब, डिटेक्टिव AI को तस्वीर मिलती है, लेकिन वह केवल वही देख सकता है जिसे स्पॉटलाइट ऑपरेटर ने रोशन किया है।
- प्रतिबंध: डिटेक्टिव अंधेरे क्षेत्रों के प्रति शारीरिक रूप से अंधा है। वह पृष्ठभूमि में "झाँक" नहीं सकता क्योंकि वहां जानकारी मौजूद ही नहीं है।
- लाभ: डिटेक्टिव को कुत्ते की पहचान उसके बालों, कान और पूंछ के आधार पर करनी ही होगी, न कि उसके पीछे की घास के आधार पर। वह वस्तु के वास्तविक लक्षणों को सीखता है।
यह विशेष क्यों है? ("हार्ड मास्क" सादृश्य)
पिछले तरीकों ने एक "सॉफ्ट मास्क" का उपयोग किया था। एक ऐसे स्पॉटलाइट की कल्पना करें जो किनारों पर थोड़ा धुंधला या मंद था। AI अभी भी पृष्ठभूमि की एक हल्की रूपरेखा देख सकता था, जो उसे धोखा देने के लिए पर्याप्त थी।
यह नया तरीका एक "हार्ड मास्क" का उपयोग करता है। यह एक ठोस काले पर्दे की तरह है। यदि पर्दा पृष्ठभूमि को ढक लेता है, तो AI को कुछ भी दिखाई नहीं देता। यह जानकारी के रिसाव को शून्य कर देता है। यह गारंटी देता है कि AI वस्तु के प्रति "वफादार" है, संदर्भ के प्रति नहीं।
सुपरपावर: "टेस्ट-टाइम इंटरवेंशन"
क्योंकि AI का तर्क इतना पारदर्शी है (हम देख सकते हैं कि वह वास्तव में क्या देख रहा है), इंसान प्रशिक्षण के बाद भी इसमें हस्तक्षेप कर सकते हैं और इसे ठीक कर सकते हैं, बिना पूरे सिस्टम को फिर से सिखाए।
- परिदृश्य: AI ने गलती से यह सीख लिया कि "लाल फायर हाइड्रेंट" "कुत्ते" की श्रेणी का हिस्सा है क्योंकि प्रशिक्षण सेट के सभी कुत्ते हाइड्रेंट के पास थे।
- सुधार: एक इंसान AI के "स्पॉटलाइट" मैप को देखता है, देखता है कि वह हाइड्रेंट को हाईलाइट कर रहा है, और कहता है, "इस हिस्से को काट दो।"
- परिणाम: AI तुरंत स्मार्ट हो जाता है और हाइड्रेंट को अनदेखा कर देता है। यह एक मानव शिक्षक द्वारा छात्र की गलत आदत को तुरंत सुधारने जैसा है, न कि छात्र को पूरा सेमेस्टर फिर से लेने के लिए मजबूर करने जैसा।
वास्तविक दुनिया पर प्रभाव
इस पेपर का परीक्षण कठिन परिदृश्यों पर किया गया:
- पानी बनाम जमीन पर पक्षी: AI ने पक्षियों को "गलत" सतह (जैसे, शुष्क भूमि पर पानी का पक्षी) पर होने पर भी पहचानने के लिए सीखा, क्योंकि इसने पानी/जमीन के संकेतों को देखना बंद कर दिया था।
- मेडिकल एक्स-रे: चेस्ट एक्स-रे में, मशीनें अक्सर ट्यूबों या तारों (आर्टिफैक्ट्स) से भ्रमित हो जाती हैं जो आमतौर पर बीमारियों के साथ दिखाई देते हैं। इस पद्धति ने AI को ट्यूबों को अनदेखा करने और केवल फेफड़ों के ऊतकों (lung tissue) को देखने के लिए मजबूर किया, जिससे निमोनिया का पता लगाने में इसकी सटीकता बहुत बढ़ गई।
सारांश
इस पेपर को AI को आंखें सिकोड़कर (squinting) देखना सिखाने के रूप में समझें।
एक अराजक दृश्य को पूरी तरह खुली आंखों से देखने और पृष्ठभूमि के आधार पर अनुमान लगाने के बजाय, AI एक ऐसा चश्मा पहनना सीखता है जो दुनिया को ब्लॉक कर देता है, जिससे केवल वस्तु ही렷 फोकस में रह जाती है। यह AI को बहुत अधिक मजबूत, विश्वसनीय और दृश्य में बदलाव से मूर्ख बनने से बचाने योग्य बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।