Discrimination transfers but calibration does not:1prevalence-dominated miscalibration of diabetic2retinopathy screening across fundus cameras

कल्पना कीजिए कि आप एक रोबोट को आसमान में एक विशिष्ट प्रकार के बादल को पहचानने के लिए सिखा रहे हैं। आप उसे एक हाई-टेक वेदर स्टेशन से ली गई एक बेहतरीन लेंस वाली हजारों तस्वीरें दिखाते हैं। रोबोट यह कहना सीख जाता है, "वह एक तूफान का बादल है!" पूरे आत्मविश्वास के साथ। लेकिन यहाँ पेचीदा हिस्सा यह है: बादल को देख पाना यह जानने से अलग है कि बारिश होने की संभावना कितनी है। यदि रोबोट कहता है, "मुझे 90% यकीन है कि यह एक तूफान है," तो इसका मतलब है कि उसे 90% बार सही होना चाहिए। यदि वह गलत होता है, और आप उस पर बहुत अधिक भरोसा करते हैं, तो हो सकता है कि आप बारिश वाले दिन छाता ले जाना भूल जाएं, या आप तब भी छाता साथ रखें जब आसमान बिल्कुल साफ हो।

यह शोध पत्र एक ऐसी दुनिया में जाता है जहाँ कंप्यूटर डॉक्टरों को आंखों की बीमारियों (डायबिटिक रेटिनोपैथी) को खोजने में मदद करते हैं। यह एक बहुत ही व्यावहारिक प्रश्न पूछता है: यदि हम एक कंप्यूटर को अस्पताल में ली गई बड़ी, महंगी कैमरों की तस्वीरों पर प्रशिक्षित करते हैं, तो क्या वह अभी भी भरोसेमंद होगा जब हम उसे एक गाँव में एक छोटे, हैंडहेल्ड कैमरे के साथ ले जाते हैं? उत्तर केवल इस बारे में नहीं है कि क्या कंप्यूटर बीमारी को देख सकता है (जो कि वह कर सकता है), बल्कि यह है कि क्या उसका आत्मविश्वास नए वातावरण में तर्कसंगत है। शोधकर्ताओं ने पाया कि जबकि कंप्यूटर की आँखें तेज बनी रहती हैं, लेकिन उसकी "अंतरात्मा की आवाज" (gut feeling) कि वह कितना आश्वस्त है, पूरी तरह से गड़बड़ा जाती है, मुख्य रूप से इसलिए क्योंकि उस नए स्थान पर बीमारी अधिक आम है।

---

भ्रमित नेत्र-डॉक्टर रोबोट की कहानी

कल्पना कीजिए कि आपके पास "डॉ. एआई" नाम का एक शानदार रोबोट नेत्र-डॉक्टर है। आपने डॉ. एआई को एक आलीशान, जलवायु-नियंत्रित अस्पताल में एक विशाल, महंगी टेबलटॉप कैमरा मशीन का उपयोग करके प्रशिक्षित किया। डॉ. एआई ने आँखों की तस्वीरों को देखना और डायबिटिक रेटिनोपैथी नामक बीमारी को पहचानना सीखा। जब डॉ. एआई एक बीमार आँख देखता है, तो वह एक स्कोर देता है: "मुझे 95% यकीन है कि यह बीमार है!" जब वह एक स्वस्थ आँख देखता है, तो वह कहता है, "मुझे 99% यकीन है कि यह ठीक है।"

अब, आप डॉ. एआई को एक दूरदराज के गाँव में मदद करने के लिए ले जाना चाहते हैं जहाँ लोगों के पास बड़े अस्पतालों तक पहुँच नहीं है। लेकिन गाँव में, आप वह विशाल कैमरा साथ नहीं ले जा सकते। आपको एक छोटे, हैंडहेल्ड कैमरे का उपयोग करना होगा जो एक बैकपैक में फिट हो सके। इस छोटे कैमरे की तस्वीरें थोड़ी अलग दिख सकती हैं—वे अस्पताल की तस्वीरों की तुलना में थोड़ी उज्ज्वल, गहरी या थोड़ी धुंधली हो सकती हैं।

बड़ा सवाल: जब डॉ. एआई इन नई गाँव की तस्वीरों को देखता है, तो क्या वह अभी भी एक अच्छा डॉक्टर होगा?

इस शोध पत्र के शोधकर्ताओं ने डॉ. एआई को परखने के लिए टेस्ट किया। उन्होंने दो बहुत अलग चीजें देखीं:

1. आँखें तेज रहीं (डिस्क्रिमिनेशन/भेद करने की क्षमता): डॉ. एआई अभी भी एक बीमार आँख और एक स्वस्थ आँख के बीच अंतर बताने में उत्कृष्ट था। बिना किसी अतिरिक्त प्रशिक्षण के भी, वह बीमार आँखों को स्वस्थ आँखों की तुलना में लगभग उतनी ही अच्छी तरह से रैंक कर सकता था जितना कि गाँव की तस्वीरों पर विशेष रूप से प्रशिक्षित डॉक्टर। उसने समस्या को देखने की अपनी क्षमता नहीं खोई थी।
2. आत्मविश्वास गड़बड़ा गया (कैलिब्रेशन/अंशांकन): यहीं पर चीजें गलत हुईं। डॉ. एआई उन आँखों के बारे में झूठ बोलने लगा कि वह कितना आश्वस्त है। यदि वह कहता, "मुझे 90% यकीन है कि यह आँख बीमार है," तो वास्तव में वह 90% बार सही नहीं था। उसके आत्मविश्वास के स्कोर टूट गए थे। गाँव में, रोबोट स्वस्थ आँखों के बारे में बहुत अधिक आत्मविश्वासी हो सकता है या बीमार आँखों के बारे में पर्याप्त आत्मविश्वासी नहीं हो सकता है। यह खतरनाक है क्योंकि डॉक्टर यह तय करने के लिए इन आत्मविश्वास अंकों पर भरोसा करते हैं कि किसे तुरंत मानव विशेषज्ञ की आवश्यकता है।

आत्मविश्वास क्यों टूटा?

आप सोच सकते हैं, "हाथ में पकड़ने वाला कैमरा ही समस्या होगी! तस्वीरें बहुत अलग दिखती हैं।" शोधकर्ताओं ने वास्तव में इस विचार का परीक्षण किया, और उन्होंने कुछ आश्चर्यजनक पाया।

उन्होंने पाया कि कैमरा स्वयं समस्या का केवल एक छोटा हिस्सा (लगभग 20%) था। असली विलेन भीड़ थी।

इसे ऐसे समझें: जिस अस्पताल में डॉ. एआई को प्रशिक्षित किया गया था, वहां हर 20 में से केवल 1 व्यक्ति को बीमारी थी (5.7%)। लेकिन गाँव में, हर 6 में से 1 व्यक्ति को यह बीमारी थी (17.6%)। एक अन्य परीक्षण समूह में, लगभग आधे लोगों को यह बीमारी थी (40.6%)।

डॉ. एआई को एक ऐसी दुनिया में प्रशिक्षित किया गया था जहाँ बीमारी दुर्लभ थी। उसने बहुत सतर्क रहना सीखा। जब वह एक ऐसे गाँव में पहुँचा जहाँ बीमारी आम थी, तो वह अपने "अंतर्मन के अहसास" को समायोजित करना नहीं जानता था। यह एक ऐसे मौसम पूर्वानुमानकर्ता की तरह है जो रेगिस्तान में पला-बढ़ा हो। यदि वह वर्षावन में जाता है और कहता है, "बारिश की संभावना केवल 10% है," तो वह गलत है, इसलिए नहीं कि उसकी आँखें खराब हैं, बल्कि इसलिए क्योंकि वह एक ऐसी दुनिया का आदी है जहाँ बारिश दुर्लभ है। शोधकर्ताओं ने दिखाया कि इस भ्रम का लगभग 80% हिस्सा बीमारी की व्यापकता में आए इस बदलाव से आया था, न कि फोटो लेने वाले कैमरे से।

रोबोट को कैसे ठीक करें

तो, हम डॉ. एआई के टूटे हुए आत्मविश्वास को कैसे ठीक करें? शोधकर्ताओं ने कुछ तरीके आजमाए:

• "टेम्परेचर" ट्रिक: उन्होंने "टेम्परेचर स्केलिंग" नामक एक सरल गणितीय सुधार आज़माया। यह एक डायल घुमाने जैसा है जिससे रोबोट के उत्तर थोड़े नरम या सख्त हो जाते हैं। यह अच्छी तरह काम नहीं किया क्योंकि रोबोट की समस्या केवल यह नहीं थी कि उसके उत्तर कितने "नरम" थे; उसे अपना पूरा आधार (बेसलाइन) बदलने की आवश्यकता थी क्योंकि बीमारी अधिक आम थी।
• "री-ट्रेनिंग" समाधान: उन्होंने प्लैट स्केलिंग (Platt scaling) और आइसोटोनिक स्केलिंग (isotonic scaling) नामक दो अन्य विधियों का परीक्षण किया। ये रोबोट को एक छोटा, त्वरित सबक देने जैसा हैं। उन्होंने रोबोट को गाँव की केवल 100 से 200 नई तस्वीरें (जिन्हें इंसानों द्वारा लेबल किया गया था) दिखाईं और उसे अपने आत्मविश्वास अंकों को समायोजित करने के लिए कहा।
  • परिणाम: यह काम कर गया! बहुत कम नए डेटा के साथ, डॉ. एआई का आत्मविश्वास फिर से भरोसेमंद हो गया। वह जंगली रूप से गलत होने से बदलकर लगभग उतना ही अच्छा हो गया जितना कि गाँव की तस्वीरों पर शून्य से प्रशिक्षित किया गया रोबोट।

"छोटे दिमाग" की समस्या

एक और मोड़ था। एक सस्ते, हैंडहेल्ड डिवाइस पर डॉ. एआई को चलाने के लिए, आपको अक्सर कंप्यूटर प्रोग्राम को छोटा करना पड़ता है ताकि वह फिट हो सके। इसे "क्वांटाइजेशन" (Quantization) कहा जाता है।

• हाफ-प्रिसिजन (FP16): यह एक फोटो को थोड़ा कंप्रेस करने जैसा है। इसने प्रोग्राम को छोटा बना दिया लेकिन डॉ. एआई की आँखों या उसके आत्मविश्वास को नुकसान नहीं पहुँचाया। यह सुरक्षित था।
• 8-बिट इंटीजर (INT8): यह फोटो को इतना अधिक कंप्रेस करने जैसा है कि वह पिक्सेलेटेड हो जाए। शोधकर्ताओं ने पाया कि इसने डॉ. एआई की आँखों और उसके आत्मविश्वास दोनों को तोड़ दिया। भले ही उन्होंने "री-ट्रेनिंग" ट्रिक के साथ आत्मविश्वास को ठीक करने की कोशिश की, लेकिन वे आँखों को हुए नुकसान को पूरी तरह से ठीक नहीं कर सके। रोबोट कम सटीक हो गया, और कोई भी त्वरित गणित उसे वापस पहले जैसा नहीं बना सका।

मुख्य निष्कर्ष

इस अध्ययन का मुख्य सबक यह है कि वास्तविक दुनिया में AI को सुरक्षित बनाने के लिए, हम केवल यह नहीं देख सकते कि क्या वह बीमारी को पहचान सकता है। हमें यह भी जांचना होगा कि क्या उसका आत्मविश्वास नए स्थान के अनुसार तर्कसंगत है।

यदि आप एक समृद्ध अस्पताल से एक गरीब गाँव में मेडिकल AI ले जा रहे हैं, तो केवल यह मान न लें कि यह काम करेगा क्योंकि यह स्मार्ट है। बीमारी वहां अधिक आम हो सकती है, और यह रोबोट के आत्मविश्वास को भ्रमित कर देगी। लेकिन अच्छी खबर यह है कि इसे ठीक करने के लिए आपको लाखों नई तस्वीरों की आवश्यकता नहीं है। आपको बस एक छोटा, सस्ता सबक (लगभग 100-200 उदाहरण) और सही गणितीय तरीका चाहिए ताकि रोबोट को यह सिखाया जा सके कि वह अपनी भावनाओं पर दोबारा भरोसा कैसे करे। और यदि आप छोटे डिवाइस पर फिट होने के लिए प्रोग्राम को सिकोड़ रहे हैं, तो सावधान रहें: इसे बहुत अधिक सिकोड़ने से रोबोट इस तरह टूट सकता है जिसे आप आसानी से ठीक नहीं कर पाएंगे।