Subtype Robustness Is Not Just Accuracy: Calibration Under Unseen Subtype Shift

कल्पना कीजिए कि आप एक रोबोट को जानवरों को पहचानना सिखा रहे हैं। आप उसे कुत्तों और बिल्लियों की हजारों तस्वीरें दिखाते हैं, और वह पूरी सटीकता के साथ यह कहना सीख जाता है, "यह एक स्तनपायी (mammal) है!" लेकिन क्या होगा जब आप उसे एक बिल्कुल नए जानवर की तस्वीर दिखाएं, जैसे कि प्लैटिपस (platypus), जिसे उसने पहले कभी नहीं देखा है? यदि रोबोट अभी भी कहता है, "यह एक स्तनपायी है!" लेकिन वह विशिष्ट जानवर को पहचानने में गलत हो जाता है, तो क्या वह अच्छा काम कर रहा है? यह प्रश्न मशीन लर्निंग के एक क्षेत्र के केंद्र में स्थित है, जो विशेष रूप से इस बात पर ध्यान केंद्रित करता है कि कृत्रिम बुद्धिमत्ता (AI) उन चीजों के नए रूपों को कैसे संभालती है जिन्हें वह पहले से जानती है।

AI की दुनिया में, हमें इस कहानी को समझने के लिए दो बड़े विचारों को समझने की आवश्यकता है। पहला, सटीकता (accuracy) है, जो सरल शब्दों में यह है कि रोबोट कितनी बार सही उत्तर देता है। यदि वह "स्तनपायी" कहता है और वह वास्तव में एक स्तनपायी है, तो यह सटीकता के लिए एक अंक है। दूसरा, कैलिब्रेशन (calibration) है। यह थोड़ा कठिन है; यह इस बारे में है कि क्या रोबोट का आत्मविश्वास उसकी सटीकता से मेल खाता है। एक अच्छी तरह से कैलिब्रेटेड रोबोट, जो अपने उत्तर के बारे में 90% सुनिश्चित है, वह 90% बार सही होना चाहिए। यदि वह 90% सुनिश्चित है लेकिन केवल 50% बार ही सही होता है, तो वह "अति-आत्मविश्वासी" (overconfident) है, जो खतरनाक है क्योंकि उसे पता नहीं चलेगा कि कब मदद मांगनी है। हम इस पर इसलिए ध्यान देते हैं क्योंकि वास्तविक दुनिया में, AI सिस्टम लगातार पुरानी श्रेणियों के नए संस्करणों से मिलते हैं—जैसे कि पक्षी की एक नई प्रजाति या कार का एक नया मॉडल—और हमें यह जानने की आवश्यकता है कि क्या वे अज्ञात से मिलने पर विनम्र और ईमानदार रह सकते हैं।

द साइलेंट ओवरकॉन्फिडेंस ट्रैप (मौन अति-आत्मविश्वास का जाल)

यह शोध पत्र, जिसका शीर्षक "सबटाइप रोबस्टनेस इज नॉट जस्ट एक्यूरेसी" (Subtype Robustness Is Not Just Accuracy) है, एक ऐसी समस्या की जांच करता है जहाँ AI मॉडल उस तरह से विफल होते हैं जिसे मानक परीक्षण पकड़ नहीं पाते। शोधकर्ताओं ने एक परिदृश्य बनाया जहाँ एक मॉडल को विशिष्ट "सबटाइप्स" (जैसे कि केवल गोल्डन रिट्रीवर और पूडल देखना) पर प्रशिक्षित किया गया है, लेकिन उसका परीक्षण उसी व्यापक श्रेणी के भीतर पूरी तरह से नए सबटाइप्स (जैसे कि पहली बार डलमेशन देखना) पर किया गया है। मॉडल से यह अपेक्षा की जाती है कि वह व्यापक श्रेणी (जैसे "कुत्ता") को सही ढंग से पहचान ले, भले ही वह विशिष्ट नस्ल को न जानता हो।

टीम ने कुछ चिंताजनक पाया: मॉडल इन नए सबटाइप्स पर अपनी सटीकता खो देते हैं, लेकिन वे अपना आत्मविश्वास नहीं खोते।

एक छात्र की कल्पना करें जो परीक्षा दे रहा है। उन्होंने केवल गोल्डन रिट्रीवर और पूडल का अध्ययन किया है। जब वे डलमेशन देखते हैं, तो वे "कुत्ता" का अनुमान सही लगाते हैं, लेकिन वास्तव में वे केवल अनुमान लगा रहे होते हैं। एक आदर्श दुनिया में, छात्र अनिश्चित महसूस करेगा और कहेगा, "मुझे पक्का नहीं पता, लेकिन मुझे लगता है कि यह एक कुत्ता है।" इसके बजाय, ये AI मॉडल एक ऐसे छात्र की तरह व्यवहार करते हैं जो 95% आश्वस्त है कि वह सही है, भले ही वह विशिष्ट विवरणों के बारे में गलत हो। शोध पत्र दिखाता है कि जैसे-जैसे अनदेखे सबटाइप्स पर मॉडल की सटीकता गिरती है, उसका आत्मविश्वास बहुत कम नहीं होता। यह एक "मौन अति-आत्मविश्वास" पैदा करता है जहाँ सिस्टम आत्मविश्वास के साथ गलत होता है, और क्योंकि वह इतना आश्वस्त महसूस करता है, इसलिए वह कोई अलार्म नहीं बजाता।

यह केवल "खराब तस्वीरें" क्यों नहीं है

आप सोच सकते हैं, "खैर, शायद नई तस्वीरें अजीब या धुंधली हैं, इसलिए AI भ्रमित हो रहा है।" शोधकर्ताओं ने इस परीक्षण के लिए "जेनेरिक करप्शन" (generic corruption) की तुलना "नए सबटाइप" की समस्या से की, जो जेनेरिक करप्शन जैसा है—जैसे किसी सामान्य तस्वीर पर कीचड़ लगाना, शोर (noise) जोड़ना, या उसे धुंधला करना।

उन्होंने एक बड़ा अंतर पाया। जब उन्होंने तस्वीरों को खराब बनाया (जेनेरिक करप्शन), तो AI का आत्मविश्वास उसकी सटीकता के साथ तेजी से गिरा। वह जानता था कि वह एक कचरा देख रहा है। लेकिन जब उन्होंने उसे एक नए सबटाइप की साफ, एकदम स्पष्ट तस्वीर दिखाई जिसे उसने पहले कभी नहीं देखा था, तो AI तब भी अडिग रूप से आत्मविश्वासी रहा, भले ही वह सटीक होने के लिए संघर्ष कर रहा था। मॉडल दृश्यमान क्षति (visible damage) पर प्रतिक्रिया करता है लेकिन "इन-टैक्सोनॉमी नोवेल्टी" (in-taxonomy novelty)—ऐसी नई चीजें जो सामान्य दिखती हैं लेकिन तकनीकी रूप से सिस्टम के लिए नई हैं—के प्रति अंधा रहता है।

हमारे पास जो उपकरण हैं, वे इसे ठीक नहीं करते

शोधकर्ताओं ने फिर पूछा: "क्या हम इसे बाद में ठीक कर सकते हैं?" उन्होंने दो सामान्य समाधानों को आजमाया:

1. रीकैलिब्रेशन (Recalibration): उन्होंने उन प्रकारों से प्राप्त डेटा का उपयोग करके मॉडल के आत्मविश्वास स्कोर को समायोजित करने का प्रयास किया जिन्हें वह जानता था। इससे थोड़ा फायदा हुआ, जिससे देखा गया और अनदेखे के बीच का अंतर कम हुआ, लेकिन इसने इसे पूरी तरह खत्म नहीं किया। मॉडल अभी भी नई चीजों पर बहुत अधिक आत्मविश्वासी था।
2. आउट-ऑफ-डिस्ट्रीब्यूशन डिटेक्शन (Out-of-Distribution Detection): उन्होंने "अजीब" इनपुट को चिह्नित करने के लिए डिज़ाइन किए गए मानक उपकरणों का उपयोग करने का प्रयास किया। ये उपकरण बुरी तरह विफल रहे। वे एक ज्ञात कुत्ते और एक नए, अनदेखे कुत्ते के बीच अंतर नहीं कर सके। स्कोर इतने समान थे कि उपकरण मूल रूप से केवल अनुमान लगा रहे थे।

मूल कारण: आपने कितने उदाहरण देखे थे?

शोध पत्र ने एक पैटर्न भी खोजा जो बताता है कि क्यों ऐसा होता है। मॉडल ने प्रशिक्षण के दौरान किसी विशिष्ट श्रेणी के जितने अधिक उदाहरण देखे, वह नए उदाहरणों पर उतना ही बेहतर कैलिब्रेटेड रहा। उदाहरण के लिए, यदि मॉडल ने 100 अलग-अलग प्रकार के कुत्ते देखे, तो उसने 2 प्रकार देखने वाले मॉडल की तुलना में नए कुत्तों को बहुत बेहतर तरीके से संभाला। यह एक ऐसे शेफ की तरह है जिसने 50 प्रकार के सेबों के साथ खाना बनाया है; वे एक नए सेब के स्वाद का अनुमान उस शेफ की तुलना में बहुत बेहतर लगा सकते हैं जिसने केवल एक प्रकार के साथ काम किया है। शोध पत्र सुझाव देता है कि "अति-आत्मविश्वास" सीधे तौर पर उस विशिष्ट समूह के लिए प्रशिक्षण डेटा की कमी (sparsity) से जुड़ा है।

निष्कर्ष

मुख्य बात यह है कि हम केवल सटीकता को देखकर यह नहीं कह सकते कि एक AI मजबूत (robust) है। यदि एक मॉडल सही व्यापक उत्तर देता है लेकिन नए विविधताओं पर अत्यधिक आत्मविश्वासी है, तो वास्तव में वह विफल हो रहा है। शोध पत्र तर्क देता है कि हमें सटीकता के साथ कैलिब्रेशन को मापना शुरू करना चाहिए। जब तक हम इन "मौन" विफलताओं का पता लगाने के लिए बेहतर उपकरण नहीं बनाते, हमें उन AI सिस्टमों पर भरोसा करने में सावधानी बरतनी होगी जो दावा करते हैं कि वे मजबूत हैं, जबकि वे वास्तव में केवल नई चीजों के मामले में आत्मविश्वास के साथ अनुमान लगा रहे होते हैं।