Invertible Logits Transformation for Accuracy-Preserving Post-Hoc Uncertainty Calibration

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन आपके भरोसेमंद आवर्धक लेंस (magnifying glass) में एक खराबी है। यह सही संदिग्ध को तो दिखाता है, लेकिन यह चिल्लाता रहता है, "मुझे 99% यकीन है!", जबकि वास्तव में यह केवल 60% ही आश्वस्त है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह एक आम समस्या है। AI मॉडल बिल्लियाँ, कुत्ते या ट्यूमर पहचानने में अविश्वसनीय सटीकता वाले प्रतिभाशाली जासूसों की तरह हैं, लेकिन वे अक्सर अपने आत्मविश्वास के स्तर का गलत आकलन करते हैं। वे गलत उत्तर के बारे में अत्यधिक आत्मविश्वासी हो सकते हैं, जो खतरनाक है यदि कोई डॉक्टर या सेल्फ-ड्राइविंग कार उनकी बात सुन रही हो। इस अध्ययन के क्षेत्र को "कैलिब्रेशन" (calibration) कहा जाता है। यह AI को नई तरकीबें सिखाने या उसके मस्तिष्क को फिर से प्रशिक्षित करने के बारे में नहीं है; यह उसके "स्वर" को बाद में ठीक करने के बारे में है ताकि जब वह कहे "90% आश्वस्त हूँ," तो उसका वास्तव में अर्थ यह हो कि "मैं 10 में से 9 बार सही होता हूँ।" लक्ष्य AI को उसके दिए गए उत्तर को बदले बिना ईमानदार बनाना है।

यहाँ एक नई विधि आती है जिसे इनवर्टिबल लॉजिट्स ट्रांसफॉर्मेशन (InvLT) कहा जाता है, जिसे शोधकर्ता झाओ, झान और शेन द्वारा प्रस्तावित किया गया है। AI के कच्चे विचारों (जिन्हें 'लॉगिट्स' कहा जाता है) को एक अव्यवस्थित संख्याओं के ढेर के रूप में सोचें, इससे पहले कि वह एक अंतिम निर्णय ले। पिछले तरीकों ने आत्मविश्वास को ठीक करने की कोशिश की या तो सभी संख्याओं को एक समान मात्रा में दबाकर (जैसे पूरे गाने की आवाज़ कम करना) या जटिल, भारी मशीनरी का उपयोग करके जो हर श्रेणी के लिए संख्याओं को अलग तरह से बदलती है। समस्या यह है कि भारी मशीनरी हजारों श्रेणियों के होने पर धीमी और बोझिल हो जाती है, और साधारण वॉल्यूम नॉब डेटा के विशिष्ट अजीब स्थानों को ठीक करने के लिए पर्याप्त लचीला नहीं है।

InvLT एक चतुर, एकल-व्यक्ति संपादक की तरह है जो संख्याओं के ढेर में से एक-एक करके गुजरता है। पूरी रचना को बदलने या एक विशाल मशीन का उपयोग करने के बजाय, यह संपादक प्रत्येक संख्या पर व्यक्तिगत रूप से एक सीखा हुआ, लचीला नियम लागू करता है। यहाँ जादू का मंत्र यह है कि यह संपादक "इनवर्टिबल" (invertible) होने के लिए प्रशिक्षित है, जो कि एक गणितीय तरीका है यह कहने का कि "उल्टा करने योग्य" (reversible)। यदि आप क्रम को पूरी तरह से उलट सकते हैं, तो आप जानते हैं कि संख्याओं का क्रम बिगड़ा नहीं है। यह सुनिश्चित करता है कि यदि AI मूल रूप से "कुत्ता" को सबसे अच्छा अनुमान मानता था, तो वह अभी भी "कुत्ता" ही मानता रहेगा। शोधकर्ताओं ने CIFAR-10, CIFAR-100 और विशाल ImageNet जैसे प्रसिद्ध इमेज डेटासेट पर इसका परीक्षण किया। उन्होंने पाया कि InvLT ने लगातार अन्य लगभग सभी तरीकों की तुलना में AI के आत्मविश्वास को उसकी वास्तविक सटीकता के साथ बेहतर ढंग से मिलाया, जबकि यह इसके निकटतम प्रतिद्वंद्वी की तुलना में बहुत तेज़ था। यह एक सरल, तेज़ और ईमानदार तरीका है जिससे AI यह स्वीकार कर सकता है कि वह अनिश्चित है, बिना कभी उसका उत्तर बदले।

जासूस की खराबी: हमें कैलिब्रेशन की आवश्यकता क्यों है

यह समझने के लिए कि यह पेपर क्यों महत्वपूर्ण है, हमें पहले "जासूस" (AI) और उसकी "खराबी" (मिसकैलिब्रेशन) को समझना होगा।

मशीन लर्निंग की दुनिया में, एक AI मॉडल एक छवि को देखता है और संख्याओं की एक सूची निकालता है। ये संख्याएँ दर्शाती हैं कि मॉडल प्रत्येक संभावित उत्तर को कितना "पसंद" करता है। उदाहरण के लिए, यदि मॉडल बिल्ली की तस्वीर देखता है, तो वह "बिल्ली" श्रेणी को उच्च संख्या और "कुत्ते" की श्रेणी को कम संख्या दे सकता है। इन कच्ची संख्याओं को प्रतिशत (जैसे "85% संभावना कि यह एक बिल्ली है") में बदलने के लिए, मॉडल "सॉफ्टमैक्स" नामक एक गणितीय चरण का उपयोग करता है।

समस्या यह है कि आधुनिक AI मॉडल अक्सर अपने स्वयं के आत्मविश्वास का आकलन करने में बहुत खराब होते हैं। वे एक तस्वीर के बारे में 99% आश्वस्त हो सकते हैं कि यह एक बिल्ली है, जबकि वास्तव में वह एक कुत्ता है। इसे "अत्यधिक आत्मविश्वासी" (overconfident) होना कहा जाता है। यदि आप बीमारी का निदान करने के लिए AI का उपयोग करने वाले डॉक्टर हैं, तो आप केवल यह नहीं जानना चाहते कि बीमारी क्या है; आपको यह भी जानने की आवश्यकता है कि AI कितना आश्वस्त है। यदि AI कहता है "99% आश्वत हूँ कि यह कैंसर है" लेकिन वह केवल 50% बार ही सही होता है, तो यह एक आपदा है।

यहीं पोस्ट-हॉक कैलिब्रेशन (Post-Hoc Calibration) काम आता है। "पोस्ट-हॉक" का अर्थ है "बाद में"। पूरे AI मॉडल को फिर से प्रशिक्षित करने (जिसमें दिनों और विशाल कंप्यूटरों की आवश्यकता होती है) के बजाय, कैलिब्रेशन एक छोटे, अलग उपकरण का उपयोग करके मॉडल के आउटपुट को ठीक करने का प्रयास करता है। यह एक ऐसी फोटो लेने जैसा है जो थोड़ी धुंधली है और उसे फिर से लेने के बजाय उसे शार्प बनाने के लिए एक फ़िल्टर चलाना।

लक्ष्य सरल है: यदि AI कहता है कि वह 80% आश्वस्त है, तो उसे 80% बार सही होना चाहिए। यदि वह 50% कहता है, तो उसे आधी बार सही होना चाहिए। यह पेपर उन तरीकों पर केंद्रित है जो यह सब बिना AI के अंतिम निर्णय को बदले करते हैं। यदि AI ने मूल रूप से "बिल्ली" चुना था, तो कैलिब्रेशन टूल गलती से "कुत्ता" नहीं चुनना चाहिए। इसे सटीकता संरक्षण (Accuracy Preservation) कहा जाता है।

पुराने तरीके: बहुत सरल या बहुत भारी

InvLT से पहले, वैज्ञानिकों के पास इस आत्मविश्वास की खराबी को ठीक करने के कुछ तरीके थे:

1. टेम्परेचर स्केलिंग (TS): कल्पना करें कि AI की कच्ची संख्याएँ एक गर्म सूप हैं। टेम्परेचर स्केलिंग बस पूरे बर्तन में थोड़ा बर्फ डाल देती है ताकि उसे ठंडा किया जा सके। यह सब कुछ समायोजित करने के लिए एक एकल संख्या (एक "तापमान") का उपयोग करती है। यह तेज़ और सरल है, और यह विजेता को कभी नहीं बदलती ( "बिल्ली" "बिल्ली" ही रहती है)। लेकिन यह बहुत कठोर है। यह विशिष्ट समस्याओं को ठीक नहीं कर सकती। यदि AI "बिल्लियों" के लिए अत्यधिक आत्मविश्वासी है लेकिन "कुत्तों" के लिए कम आत्मविश्वासी है, तो यह विधि दोनों को एक साथ ठीक नहीं कर सकती।

2. भारी मशीनें (UMNN और अन्य): विशिष्ट समस्याओं को ठीक करने के लिए, कुछ शोधकर्ताओं ने जटिल उपकरण बनाए जो प्रत्येक संख्या के लिए एक अद्वितीय नियम सीखते हैं। एक लोकप्रिय विधि, जिसे UMNN कहा जाता है, विशेष प्रकार के गणित का उपयोग करती है जो नियमों को सख्ती से "मोनोटोन" (अर्थात यदि इनपुट बढ़ता है, तो आउटपुट को बढ़ना चाहिए) होने के लिए मजबूर करता है। यह गारंटी देता है कि उत्तरों का क्रम वही रहता है। हालाँकि, यह विधि गणनात्मक रूप से महंगी है। यह ताश के पत्तों की गड्डी को छाँटने के लिए एक विशाल, धीमे रोबोट का उपयोग करने जैसा है। यह काम तो करता है, लेकिन इसे प्रशिक्षित करने में लंबा समय लगता है और उपयोग करने में भी अधिक समय लगता है। साथ भी, जैसे-जैसे श्रेणियों की संख्या बढ़ती है (जैसे ImageNet में 1,000 श्रेणियाँ), ये विधियाँ सुस्त हो सकती हैं या ओवरफिट (प्रशिक्षण डेटा को सीखने के बजाय उसे याद करना) हो सकती हैं।

नया नायक: InvLT

इस पेपर के लेखक, झाओ, झान और शेन, एक नई विधि प्रस्तावित करते हैं जिसे इनवर्टिबल लॉजिट्स ट्रांसफॉर्मेशन (InvLT) कहा जाता है।

मुख्य विचार:
एक साधारण नॉब (जैसे टेम्परेचर स्केलिंग) या एक विशाल रोबोट (जैसे UMNN) का उपयोग करने के बजाय, InvLT एक छोटा, लचीला "अनुवादक" (एक न्यूरल नेटवर्क) उपयोग करता है जो प्रत्येक संख्या को व्यक्तिगत रूप से देखता है और एक कस्टम नियम लागू करता है।

• साझा अनुवादक (Shared Translator): प्रत्येक संख्या के लिए एक ही अनुवादक का उपयोग किया जाता है, चाहे वह बिल्ली के लिए हो, कुत्ते के लिए, या कार के लिए। इसका मतलब है कि जैसे-जैसे आप अधिक श्रेणियाँ जोड़ते हैं, यह विधि धीमी या अधिक जटिल नहीं होती है। यह विशाल डेटासेट तक खूबसूरती से स्केल करती है।
• "इनवर्टिबल" (उल्टा करने योग्य) ट्रिक: सबसे बड़ी चुनौती यह सुनिश्चित करना है कि अनुवादक क्रम को न बिगाड़े। यदि अनुवादक एक "9" को "2" में और एक "5" को "10" में बदल देता है, तो AI अचानक सोच सकता है कि "कुत्ता" "बिल्ली" से बेहतर है, जिससे अंतिम उत्तर बदल जाता है। इसे रोकने के लिए, पेपर एक चतुर ट्रिक का उपयोग करता है: पुनर्निर्माण (Reconstruction)।

पुनर्निर्माण ट्रिक कैसे काम करती है:
कल्पना कीजिए कि आपके पास एक अनुवादक है जो अंग्रेजी को फ्रेंच में बदलता है। यह सुनिश्चित करने के लिए कि यह एक "अच्छा" अनुवादक है जो चीजों को मिलाता नहीं है, आप उसे एक वाक्य फ्रेंच में अनुवाद करने के लिए कहते हैं, और फिर तुरंत उसे वापस अंग्रेजी में अनुवाद करने के लिए कहते हैं। यदि अंतिम अंग्रेजी वाक्य मूल के समान है, तो आप जानते हैं कि अनुवादक सही ढंग से काम कर रहा है और उसने अर्थ को नहीं बदला है।

InvLT में, शोधकर्ता दो नेटवर्क को एक साथ प्रशिक्षित करते हैं:

1. फॉरवर्ड नेटवर्क (f): यह मुख्य अनुवादक है जो AI के आत्मविश्वास को समायोजित करता है।
2. इनवर्स नेटवर्क (g): यह "बैक-ट्रांसलेटर" है।

वे परीक्षण संख्याओं का एक सेट फॉरवर्ड नेटवर्क में डालते हैं, परिणाम प्राप्त करते हैं, और फिर उस परिणाम को इनवर्स नेटवर्क में डालते हैं। वे जाँचते हैं कि क्या इनवर्स नेटवर्क इसे वापस मूल संख्या में बदल सकता है। यदि वह नहीं कर सकता, तो वे फॉरवर्ड नेटवर्क को तब तक बदलते हैं जब तक कि वह कर न सके। यह "पुनर्निर्माण हानि" (reconstruction loss) एक कोमल धक्का (nudge) के रूप में कार्य करती है, जो फॉरवर्ड नेटवर्क को मोनोटोन (संख्याओं का क्रम बनाए रखना) होने के लिए प्रोत्साहित करती है, बिना जटिल, धीमी गणित का उपयोग किए।

यह बेहतर क्यों है:

• गति: क्योंकि इसे मोनोटोन होने को सिद्ध करने के लिए भारी, धीमी गणित (जैसे संख्यात्मक एकीकरण) की आवश्यकता नहीं है, यह बहुत तेज़ी से प्रशिक्षित होता है। पेपर रिपोर्ट करता है कि InvLT को प्रशिक्षित करने में पिछले सर्वोत्तम विधि (UMNN) की तुलना में लगभग 3.5 गुना तेज़ है और अनुमान (inference) के दौरान (जब वास्तव में मॉडल का उपयोग किया जाता है) 5 गुना तेज़ है।
• सटीकता: यह AI के मूल निर्णय को सुरक्षित रखता है (यह "बिल्ली" को "कुत्ता" नहीं बनाता है) जबकि आत्मविश्वास के स्तर को ठीक करता है।
• प्रदर्शन: CIFAR-10, CIFAR-100 और ImageNet पर परीक्षणों में, InvLT ने अन्य सभी तरीकों से बेहतर प्रदर्शन करते हुए AI के आत्मविश्वास को उसकी वास्तविक सटीकता के साथ लगातार बेहतर ढंग से मिलाया। उदाहरण के लिए, ImageNet पर, InvLT ने आत्मविश्वास की त्रुटि (ECE) को 0.39% तक कम कर दिया, जो अगले सबसे अच्छे तरीके (UMNN) से बेहतर था जो 0.56% पर था।

परिणाम: एक स्पष्ट जीत

शोधकर्ताओं ने अपने तरीके का परीक्षण तीन प्रमुख डेटासेट पर किया:

• CIFAR-10: छोटी छवियों की 10 श्रेणियाँ।
• CIFAR-100: 100 श्रेणियाँ।
• ImageNet: वास्तविक दुनिया की छवियों की 1,000 श्रेणियाँ।

उन्होंने विभिन्न AI आर्किटेक्चर (जैसे ResNet, VGG, और ViT) का उपयोग किया ताकि यह सुनिश्चित हो सके कि यह विधि विभिन्न प्रकार के मॉडलों पर काम करती है।

प्रमुख निष्कर्ष:

• सर्वश्रेष्ठ प्रदर्शन: InvLT ने लगभग हर परीक्षण में सबसे कम त्रुटि दर प्राप्त की। ResNet-152 मॉडल के साथ ImageNet पर, इसने 0.39% का ECE प्राप्त किया, जो अन-कैलिब्रेटेड मॉडल (जो 12.83% पर था) से काफी बेहतर था और अन्य सभी कैलिब्रेशन विधियों से भी बेहतर था।
• मजबूती (Robustness): यहाँ तक कि जब उन्होंने इस विधि को सीखने के लिए बहुत कम डेटा (केवल 500 नमूने) दिया, तब भी इसने अच्छा प्रदर्शन किया, जबकि अन्य विधियाँ जो जटिल मापदंडों (जैसे मैट्रिक्स स्केलिंग) पर निर्भर करती हैं, पूरी तरह विफल रहीं और उन्होंने हार मान ली (पहचान मानचित्र बन गईं)।
• संरक्षण: पेपर पुष्टि करता है कि "पुनर्निर्माण" ट्रिक AI के मूल उत्तरों को बरकरार रखती है। इस ट्रिक के बिना, AI की सटीकता थोड़ी गिर जाती क्योंकि उत्तरों का क्रम बिगड़ सकता था। इस ट्रिक के साथ, सटीकता मूल मॉडल के समान ही रहती है।

सीमाएं और भविष्य

लेखक अपनी सीमाओं के बारे में ईमानदार हैं। चूंकि InvLT प्रत्येक संख्या को स्वतंत्र रूप से मानता है, इसलिए यह विभिन्न श्रेणियों के बीच जटिल संबंधों (जैसे यह जानना कि "बिल्ली" और "कुत्ता" दोनों जानवर हैं और एक-दूसरे के साथ भ्रमित हो सकते हैं) को कैप्चर नहीं कर सकता है। हालाँकि, वे तर्क देते हैं कि अधिकांश व्यावहारिक उपयोगों के लिए, InvLT की गति और सरलता इसे सबसे अच्छा विकल्प बनाती है।

वे यह भी नोट करते हैं कि जबकि पुनर्निर्माण ट्रिक यह सुझाव देती है कि क्रम सुरक्षित है, यह एक "सॉफ्ट" गारंटी है, गणितीय रूप से पत्थर की लकीर नहीं। अत्यंत सुरक्षा-महत्वपूर्ण स्थितियों (जैसे सेल्फ-ड्राइविंग कार) में, वे सुझाव देते हैं कि यह सुनिश्चित करने के लिए एक अंतिम जाँच जोड़ी जाए कि उत्तर बदला नहीं गया है।

निष्कर्ष

अंत में, InvLT AI मॉडलों को अधिक ईमानदार बनाने का एक स्मार्ट, कुशल तरीका है। यह एक शक्तिशाली AI के "दोषपूर्ण" आत्मविश्वास को एक हल्के, लचीले उपकरण के साथ ठीक करता है जो इसे धीमा नहीं करता या उत्तरों को नहीं बदलता। यह इस बात की याद दिलाता है कि कभी-कभी, किसी समस्या को ठीक करने के लिए आपको बड़ी, भारी मशीन की आवश्यकता नहीं होती; आपको बस एक चतुर, प्रतिवर्ती (reversible) ट्रिक की आवश्यकता होती है। उन लोगों के लिए जो निर्णय लेने के लिए AI पर भरोसा करते हैं, यह विधि उन्हें दिए गए नंबरों पर विश्वास करने का एक तरीका प्रदान करती है, यह जानते हुए कि वे वास्तव में सत्य को दर्शाते हैं।