Discovery and Spatial Characterisation of Multiple Shortcut Groups for Auditing Vision Model Bias
यह शोध पत्र क्लस्टरिंग तकनीकों का उपयोग करके प्रति-छवि एट्रिब्यूशन मानचित्रों को आवर्ती स्थानिक शॉर्टकट पैटर्न में समूहित करने की एक विधि प्रस्तुत करता है, जो उच्च त्रुटि दरों वाले विशिष्ट छवि उपसमूहों की पहचान करने और दृष्टि मॉडलों (vision models) में प्रदर्शन असमानताओं को कम करने वाले लक्षित हस्तक्षेपों के विकास को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बच्चे को विभिन्न प्रकार के जानवरों को पहचानना सिखा रहे हैं। आप उन्हें एक हरे मैदान में गाय की तस्वीर दिखाते हैं, और वे सीखते हैं कि "गाय" का अर्थ है "मैदान में धब्बों वाला जानवर।" फिर आप उन्हें एक बर्फीले अस्तबल में गाय दिखाते हैं, और वे भ्रमित हो जाते हैं क्योंकि "मैदान" वाला हिस्सा गायब है। यह बिल्कुल वैसा ही है जैसा कुछ आर्टिफिशियल इंटेलिजेंस (AI) मॉडल के साथ होता है। वे पैटर्न पहचानने में अविश्वसनीय रूप से स्मार्ट होते हैं, लेकिन कभी-कभी वे आलसी हो जाते हैं। उस चीज़ की वास्तविक विशेषताओं (जैसे गाय का आकार) को सीखने के बजाय जिसे उन्हें पहचानना चाहिए, वे आसान, आकस्मिक सुरागों (जैसे हरा घास) को पकड़ लेते हैं जो उनकी ट्रेनिंग तस्वीरों में संयोग से दिखाई देते हैं। कंप्यूटर विज्ञान की दुनिया में, इसे "शॉर्टकट लर्निंग" (shortcut learning) कहा जाता है। यह उस छात्र की तरह है जो गणित वास्तव में पढ़ने के बजाय उत्तर कुंजी (answer key) के फॉन्ट स्टाइल को रट लेता है। समस्या यह है कि ये शॉर्टकट तब तक बहुत अच्छा काम करते हैं जब तक कि टेस्ट बदल न जाए—जैसे जब गाय एक अस्तबल में दिखाई देती है। जब ऐसा होता है, तो AI विफल हो जाता है, और यदि ये विफलताएं कुछ विशिष्ट समूहों के लिए अधिक होती हैं (जैसे किसी विशिष्ट अस्पताल के मरीज), तो AI अनुचित या पक्षपाती हो जाता है।
यह शोध पत्र एक नए तरीके के बारे में है जिससे इन आलसी शॉर्टकट्स को परेशानी पैदा करने से पहले पकड़ा जा सके। शोधकर्ताओं ने एक उपकरण बनाया है जो AI के लिए एक "स्थानिक जासूस" (spatial detective) की तरह काम करता है। केवल अंतिम उत्तर को देखने के बजाय, वे मॉडल के मस्तिष्क के अंदर झांकते हैं ताकि यह देख सकें कि AI छवि में वास्तव में कहाँ देख रहा है। उन्होंने पाया कि AI मॉडल अक्सर कई अलग-अलग "शॉर्टकट" का उपयोग करते हैं जो अलग-अलग चित्रों के लिए होते हैं। कुछ चित्रों में बैकग्राउंड के आधार पर शॉर्टकट ट्रिगर हो सकता है, जबकि अन्य किसी कैमरे के अजीब आर्टिफैक्ट (artifact) पर निर्भर हो सकते हैं। इन विभिन्न शॉर्टकट पैटर्न को एक साथ समूहबद्ध करके, शोधकर्ता सटीक रूप से पहचान सकते हैं कि कौन सी छवियां विफल होने की सबसे अधिक संभावना रखती हैं और यहाँ तक कि मॉडल को ऑन-द-फ्लाई (on the fly) ठीक भी कर सकते हैं, उसे शॉर्टकट को अनदेखा करने और वास्तविक सुरागों पर ध्यान केंद्रित करने के लिए कहकर।
जासूसी का काम: शॉर्टकट खोजना
लेखक, जो किंग्स कॉलेज लंदन की एक टीम है, ने एक विशिष्ट रहस्य को सुलझाने का प्रयास किया: मौजूदा तरीके आपको यह बता सकते थे कि एक AI शॉर्टकट का उपयोग कर रहा था, लेकिन वे यह नहीं बता सकते थे कि वह कैसे और कहाँ शॉर्टकट का उपयोग कर रहा था, जिससे त्रुटियों के विशिष्ट समूहों को ठीक करने में मदद मिल सके। कल्पना कीजिए कि आप एक धुंधले, औसत मानचित्र (map) का उपयोग करके शहर में चोर को खोजने की कोशिश कर रहे हैं। आप जानते होंगे कि अपराध हो रहा है, लेकिन आप यह नहीं जान पाएंगे कि चोर पार्क में जेब काटने वाला है या उपनगरों में चोरी करने वाला। पुराने तरीके उस धुंधले मानचित्र की तरह थे; उन्होंने सभी छवियों को एक साथ मिला दिया था, जिससे यह तथ्य छिप गया कि अलग-अलग चित्रों के पास अलग-अलग प्रकार के शॉर्टकट होते हैं।
टीम ने इसे तोड़ने के लिए एक विधि विकसित की। सबसे पहले, उन्होंने AI द्वारा देखी गई प्रत्येक फोटो के लिए छवि के तीन अलग-अलग "व्यू" (views) देखे:
- टास्क व्यू (The Task View): AI काम के लिए किसे महत्वपूर्ण समझता है (जैसे, ट्यूमर की पहचान करना)।
- शॉर्टकट व्यू (The Shortcut View): AI एक संवेदनशील विशेषता के लिए किसे महत्वपूर्ण समझता है (जैसे, फोटो किस अस्पताल से आई है, या व्यक्ति का लिंग)।
- फेयर व्यू (The Fair View): एक संदर्भ मॉडल जिसे संवेदनशील विशेषताओं को अनदेखा करने के लिए प्रशिक्षित किया गया है।
इन व्यूज की तुलना करके, उन्होंने प्रत्येक छवि के लिए एक "कंट्रीब्यूशन मैप" (contribution map) बनाया। यह मानचित्र उन विशिष्ट पिक्सेल को हाइलाइट करता है जिनका उपयोग AI ने अपने निर्णय लेने के लिए किया। यदि AI शॉर्टकट का उपयोग कर रहा था, तो मानचित्र वास्तविक वस्तु के बजाय बैकग्राउंड में या किसी विशिष्ट आर्टिफैक्ट पर चमक उठेगा।
पैटर्न को समूहबद्ध करना
यहीं पर जादू होता है। शोधकर्ताओं ने इन हजारों व्यक्तिगत मानचित्रों को लिया और उन्हें "शॉर्टकट समूहों" (Shortcut Groups) में वर्गीकृत करने के लिए एक गणितीय सॉर्टिंग तकनीक (जिसे K-means और Non-negative Matrix Factorization कहा जाता है) का उपयोग किया। इसे बिखरे हुए पहेली के टुकड़ों के विशाल ढेर को टुकड़ों पर बने पैटर्न के आधार पर अलग-अलग बक्सों में छाँटने के रूप में सोचें।
उन्होंने पाया कि शॉर्टकट केवल बुरा व्यवहार का एक बड़ा ढेर नहीं थे। इसके बजाय, शॉर्टकट के कई अलग-अलग "व्यक्तित्व" थे। उदाहरण के लिए, पक्षियों के फोटो के एक डेटासेट पर, उन्होंने शॉर्टकट का एक समूह पाया जहाँ AI पानी के बैकग्राउंड को देख रहा था, और दूसरा समूह जहाँ वह ज़मीन के बैकग्राउंड को देख रहा था। चेस्ट एक्स-रे के एक डेटासेट पर, उन्होंने ऐसे शॉर्टकट पाए जो ब्रेस्ट शैडो या फेफड़ों के निचले हिस्सों पर केंद्रित थे, जबकि "अच्छे" टास्क-केंद्रित क्षेत्र फेफड़ों के ठीक बीच में थे।
ये समूह अविश्वसनीय रूप से उपयोगी थे। शोधकर्ताओं ने पाया कि यदि वे "हाई-रिस्क" शॉर्टकट समूहों से संबंधित शीर्ष 20% छवियों को देखते हैं, तो वे मॉडल की कुल गलतियों का एक बड़ा हिस्सा पा सकते हैं। कुछ मामलों में, जैसे पक्षी वाले डेटासेट के साथ, इस छोटे समूह में मॉडल द्वारा की गई सभी गलतियों का लगभग 74% हिस्सा शामिल था। इसका मतलब है कि ऑडिटर्स को हर एक छवि की जांच करने की आवश्यकता नहीं है; वे बस समस्याओं को जल्दी से खोजने के लिए विशिष्ट "शॉर्टकट समूहों" की जांच कर सकते हैं।
"दोबारा करने" का बटन: मॉडल को ठीक करना
इस शोध पत्र का सबसे रोमांचक हिस्सा यह है कि उन्होंने केवल समस्याओं को खोजा ही नहीं; उन्होंने पूरे मॉडल को फिर से प्रशिक्षित किए बिना वास्तविक समय में समस्याओं को ठीक करने का प्रयास किया। उन्होंने छवियों पर दो प्रकार के "हस्तक्षेप" (interventions) का परीक्षण किया:
- इनपुट मास्किंग (Input Masking): उन्होंने वास्तव में छवि के उन हिस्सों को ढक दिया जिनका उपयोग AI एक शॉर्टकट के रूप में कर रहा था।
- फीचर स्पेस इंटरवेंशन (Feature Space Intervention): वे मॉडल के आंतरिक प्रसंस्करण के अंदर गए और उसे शॉर्टकट संकेतों के "वॉल्यूम को कम करने" और वास्तविक टास्क संकेतों के "वॉल्यूम को बढ़ाने" के लिए कहा।
परिणाम दिलचस्प थे। जब उन्होंने "शॉर्टकट" क्षेत्रों को मास्क किया, तो मॉडल का प्रदर्शन अक्सर समान रहा या थोड़ा बेहतर भी हुआ, जिससे सिद्ध हुआ कि वे क्षेत्र वास्तव में काम के लिए आवश्यक नहीं थे। हालांकि, जब उन्होंने "टास्क" क्षेत्रों (वास्तविक सुरागों) को मास्क किया, तो मॉडल क्रैश हो गया, जिससे पुष्टि हुई कि वे महत्वपूर्ण हिस्से थे।
असली जीत एक संयुक्त दृष्टिकोण से मिली: शॉर्टकट को दबाना और वास्तविक टास्क को बढ़ाना। जब उन्होंने ऐसा किया, तो विभिन्न समूहों (जैसे विभिन्न लिंग या अस्पताल) के बीच प्रदर्शन का अंतर काफी कम हो गया। उदाहरण के लिए, CelebA फेस डेटासेट पर, इस पद्धति ने प्रदर्शन के अंतर को लगभग 7.8 प्रतिशत अंक कम कर दिया। CheXpert चेस्ट एक्स-रे डेटासेट पर, इसने अंतर को पूरे 20.3 प्रतिशत अंक कम कर दिया।
इसका क्या अर्थ है
यह शोध पत्र सुझाव देता है कि इन स्थानिक शॉर्टकट्स को समूहबद्ध करके, हम एक बहुत स्पष्ट तस्वीर बना सकते हैं कि AI मॉडल कहाँ विफल हो रहे हैं। यह केवल यह कहने के बारे में नहीं है कि "यह मॉडल पक्षपाती है"; बल्कि यह कहने के बारे में है कि "यह मॉडल इन विशिष्ट 8 प्रकार के पैटर्न में बैकग्राउंड को देखकर शॉर्टकट का उपयोग कर रहा है।"
शोधकर्ताओं ने दिखाया कि ये समूह स्थिर और विश्वसनीय हैं। भले ही उन्होंने शॉर्टकट्स का पता लगाने के लिए उपयोग किए जाने वाले सहायक मॉडलों को फिर से प्रशिक्षित किया हो, समूह सुसंगत रहे। उन्होंने विभिन्न प्रकार के AI आर्किटेक्चर (जैसे ResNet और ViT) और विभिन्न प्रकार के डेटासेट (स्किन लीजन से लेकर पक्षियों की तस्वीरों तक) पर भी परीक्षण किया, और यह विधि हर जगह काम करती है।
हालाँकि, लेखक सावधानी बरतते हुए कहते हैं कि यह कोई जादुई छड़ी नहीं है जो सब कुछ हल कर देगी। कुछ जटिल चिकित्सा मामलों में, जैसे हिस्टोपैथोलॉजी स्लाइड्स में, जहाँ "शॉर्टकट" एक विशिष्ट लैब से सूक्ष्म स्टेनिंग (staining) का अंतर है, केवल स्थानिक क्षेत्र को दबाना पूर्वाग्रह को ठीक करने के लिए पर्याप्त नहीं था। लेकिन कई अन्य मामलों में, इन स्थानिक शॉर्टकट्स को खोजने, समूहबद्ध करने और दबाने का यह तरीका AI का ऑडिट करने और सुधारने का एक शक्तिशाली नया तरीका प्रदान करता है, जिससे इसे बिना शुरुआत से शुरू किए अधिक निष्पक्ष और विश्वसनीय बनाया जा सकता है। यह AI पूर्वाग्रह के धुंधले मानचित्र को सुधारने योग्य गलतियों के लिए एक विस्तृत, कार्रवाई योग्य मार्गदर्शिका में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।