CANDOR: Chance-Calibrated Discordance in Frozen Foundation Encoders
यह शोधपत्र CANDOR को प्रस्तुत करता है, जो एक चांस-कैलिब्रेटेड डिसॉर्डेंस (chance-calibrated discordance) मीट्रिक है जो यह प्रकट करता है कि फ्रोजन फाउंडेशन एनकोडर्स (frozen foundation encoders) स्वाभाविक रूप से चिकित्सा निष्कर्षों के प्रति अंधे नहीं होते हैं, बल्कि वे कमजोर ज्यामितीय पृथक्करण (weak geometric separation) और खराब हेड चयन (poor head selection) से ग्रस्त होते हैं, जैसा कि उनके उच्च नियरस्ट-नेबरर एरर रेट्स (nearest-neighbor error rates) से सिद्ध होता है, भले ही हल्के हेड (lightweight heads) मजबूत प्रदर्शन प्राप्त कर लेते हों।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को विभिन्न प्रकार के पक्षियों को पहचानना सिखाने की कोशिश कर रहे हैं। आप उसे लाखों तस्वीरें दिखाते हैं, और वह चित्रों में आकृतियों और रंगों को देखकर एक "रॉबिन" या "स्पैरो" को पहचानना सीख जाता है। आधुनिक "फाउंडेशन मॉडल्स" इसी तरह काम करते हैं: वे विशाल, पूर्व-प्रशिक्षित मस्तिष्क हैं जिन्होंने बिल्लियों से लेकर कारों और बादलों तक लगभग सब कुछ देखा है। अब, कल्पना कीजिए कि आप इसी रोबोट का उपयोग डॉक्टरों को एक्स-रे पढ़ने में मदद करने के लिए करना चाहते हैं। आप पूरे रोबोट को फिर से प्रशिक्षित नहीं करना चाहते; आप बस उसके साथ एक छोटा, सरल "हेड" (शीर्ष) जोड़ना चाहते जो यह कह सके कि "हाँ, हड्डी टूटी हुई है" या "नहीं, सब ठीक है।"
बड़ा सवाल यह है: क्या रोबोट वास्तव में अपनी आंतरिक स्मृति में टूटी हुई हड्डी को देखता है, या वह केवल अन्य सुरागों के आधार पर अनुमान लगा रहा है? आमतौर पर, हम यह देखते हैं कि रोबोट कितना अच्छा है कि उसका छोटा "हेड" कितनी बार सही उत्तर देता है। लेकिन क्या होगा अगर रोबोट का आंतरिक मानचित्र वास्तव में अस्त-व्यस्त हो? क्या होगा अगर, उसके मस्तिष्क के भीतर गहराई में, एक टूटी हुई हड्डी की तस्वीर एक स्वस्थ हड्डी की तस्वीर की तुलना में दूसरी टूटी हुई हड्डी की तस्वीर से अधिक मिलती-जुलती हो? यदि ऐसा है, तो रोबोट "अंधा" नहीं है—वह बस भ्रमित है। यह एक ऐसे लाइब्रेरियन की तरह है जिसने किताबों को कहानी के बजाय रंग के आधार पर व्यवस्थित किया है; वे एक लाल किताब तो ढूंढ सकते हैं, लेकिन वे केवल शेल्फ को देखकर यह नहीं बता सकते कि वह रहस्यमय कहानी है या रोमांस। यह शोध पत्र एक महत्वपूर्ण प्रश्न पूछता है: जब ये शक्तिशाली रोबट स्थिर (frozen) अवस्था में होते हैं, तो क्या वे वास्तव में चिकित्सा विवरणों के प्रति अंधे होते हैं, या वे केवल उन्हें अलग करने में कमजोर होते हैं?
पुराने तरीके के साथ समस्या
लंबे समय तक, वैज्ञानिकों ने इन स्थिर रोबोटों को इस आधार पर मापा कि एक सरल "हेड" उनके फीचर्स को कितनी अच्छी तरह पढ़ सकता है। यदि हेड का स्कोर उच्च था, तो सभी ने मान लिया कि रोबोट स्मार्ट है। लेकिन इस पेपर के लेखक, सोरूश ताएबी अरास्तेह और उनकी टीम ने महसूस किया कि यह मापने का तरीका ऐसा था जैसे किसी शेफ को भोजन परोसने की क्षमता के आधार पर परखना, बिना यह जांचे कि खाना वास्तव में पका भी है या नहीं।
उन्होंने "भ्रम" को मापने के तरीके में एक छिपे हुए जाल को पाया। कल्पना कीजिए कि आप एक भीड़ भरे कमरे में अपने दोस्त को खोजने की कोशिश कर रहे हैं। यदि आपका दोस्त लाल टोपी पहने हुए है, और 100 लोग लाल टोपियां पहने हुए हैं लेकिन केवल 1 व्यक्ति नीली टोपी पहने हुए है, और आप रोबोट से नीली टोपी वाले व्यक्ति को खोजने के लिए कहते हैं, तो रोबोट केवल इसलिए "नीला" का अनुमान लगा सकता है क्योंकि वह दुर्लभ है। पुराने माप उपकरण इस बात से धोखा खा रहे थे कि कोई बीमारी कितनी सामान्य या दुर्लभ है। यदि कोई बीमारी दुर्लभ थी, तो उपकरण यह मानकर कि रोबोट "कोलैप्स्ड" (पूरी तरह से बेकार) है, उसे दोष दे देते थे क्योंकि गणित असंतुलित था, न कि इसलिए कि रोबोट वास्तव में बुरा था। यह एक जासूस को सुई खोजने में विफल होने के लिए दोष देने जैसा था, जबकि वास्तविक समस्या यह थी कि घास का ढेर 99% सुइयों और 1% घास से बना था।
CANDOR से परिचय: एक निष्पक्ष निर्णायक
इसे ठीक करने के लिए, टीम ने CANDOR (चांस-कैलिब्रेटेड डिसॉर्डेंस) नामक एक नया उपकरण बनाया। CANDOR को एक रेफरी के रूप में सोचें जो यह सुनिश्चित करता है कि सीटी बजने से पहले खेल निष्पक्ष हो।
यह कैसे काम करता है: रोबोट को एक अस्त-व्यस्त भीड़ दिखाने के बजाय, CANDOR एक पूरी तरह से संतुलित खेल तैयार करता है। यह एक विशिष्ट समस्या (जैसे फेफड़े का ढहना, जिसे न्यूमोथोरैक्स कहा जाता है) वाले रोगी की तस्वीर लेता है और रोबट से उसकी पांच सबसे करीबी "पड़ोसी" छवियों को अपनी स्मृति में खोजने के लिए कहता है। लेकिन यहाँ एक चाल है: CANDOR रोबोट को दो समूहों के बीच चयन करने के लिए मजबूर करता है जो आकार में बिल्कुल समान हैं। एक समूह में समस्या वाले रोगी हैं, और दूसरे समूह में बिना समस्या वाले रोगी हैं।
यदि रोबोट वास्तव में अच्छा है, तो समस्या वाले रोगी "समस्या" वाले समूह के अधिक करीब होने चाहिए। यदि रोबोट भ्रमित है, तो समस्या वाले रोगी "बिना समस्या" वाले समूह के अधिक करीब होंगे। चूंकि दोनों समूह समान आकार के हैं, इसलिए रोबोट के पास केवल भाग्य के आधार पर सही अनुमान लगाने का 50/50 मौका है। यह वैज्ञानिकों को तुलना करने के लिए एक आदर्श "चांस लेवल" (संयोग स्तर) देता है।
चौंकाने वाली खोज: अंधे नहीं, बस कमजोर
जब टीम ने 20 अलग-अलग डेटासेट (जिसमें चेस्ट एक्स-रे, आंखों के स्कैन और यहां तक कि पक्षियों की तस्वीरें भी शामिल थीं) पर 22 अलग-अलग शक्तिशाली रोबोटों पर CANDOR चलाया, तो उन्हें एक आश्चर्यजनक बात पता चली।
सबसे पहले, उन्होंने सिद्ध किया कि रोबोट अंधे नहीं हैं। पुराने उपकरणों ने इसे ऐसा दिखाया था जैसे कि रोबोट दुर्लभ बीमारियों के लिए पूरी तरह से बेकार हैं, लेकिन CANDOR ने दिखाया कि रोबोटों के पास वास्तव में जानकारी है। वे एक खाली दीवार को नहीं घूर रहे हैं; वे बस एक धुंधले कमरे में खड़े हैं।
हालाँकि, रोबोट बहुत कमजोर हैं। अध्ययन में सबसे अच्छे रोबोट, जिसे RAD-DINO कहा जाता है, जो विशेष रूप से चेस्ट एक्स-रे पर प्रशिक्षित है, वह भी न्यूमोथोरैक्स के मामलों में 18.4% बार भ्रमित हो गया। इसका मतलब है कि लगभग हर पांच में से एक मरीज के लिए जिसके फेफड़े ढह गए हैं, रोबोट के आंतरिक मानचित्र ने उस मरीज को एक स्वस्थ व्यक्ति की तुलना में समस्या वाले व्यक्ति के अधिक करीब रखा।
अन्य स्थितियों के लिए आंकड़े और भी स्पष्ट थे। ग्लूकोमा (आंखों की बीमारी) के लिए, सबसे अच्छा रोबोट शुद्ध संयोग (50%) के स्तर पर प्रदर्शन कर रहा था, जिसका अर्थ है कि वह सिक्का उछालने से बेहतर नहीं था। पक्षी प्रजातियों के लिए, वही रोबोट एक जीनियस था, जो केवल 4.5% बार भ्रमित हुआ। लेकिन चेस्ट एक्स-रे के लिए, वह 42.8% बार भ्रमित था। यह ऐसा है जैसे रोबोट एक मास्टर शेफ है जो एक दुर्लभ मसाले की पहचान तो बखूबी कर सकता है, लेकिन नमक और चीनी के बीच अंतर करने में भ्रमित हो जाता है।
यह क्यों होता है?
टीम ने यह भी पूछा: "रोबोट को भ्रमित करने वाली चीज़ क्या है?" उन्होंने कई विचारों का परीक्षण किया। क्या यह इसलिए है क्योंकि रोबलेट बहुत छोटा है? नहीं। क्या यह इसलिए है क्योंकि इसे पुराने डेटा पर प्रशिक्षित किया गया था? नहीं। क्या यह इसलिए है क्योंकि बीमारी दुर्लभ है? नहीं।
उन्हें एक ऐसी चीज़ मिली जो भ्रम की भविष्यवाणी करती है: इरेज़र रिटेंशन (Erasure Retention)। कल्पना कीजिए कि आप एक टूटी हुई हड्डी की फोटो लेते हैं और फिर एक जादुई इरेज़र का उपयोग करके टूटे हुए हिस्से को मिटा देते हैं, जिससे केवल स्वस्थ हड्डी बचती है। यदि आप यह "मिटाई गई" फोटो रोबोट को दिखाते हैं, तो क्या इसके आंतरिक मानचित्र में बदलाव आता है?
- यदि रोबोट स्मार्ट है, तो उसका मानचित्र नाटकीय रूप से बदलना चाहिए क्योंकि सबसे महत्वपूर्ण हिस्सा गायब हो गया है।
- यदि रोबोट कमजोर है, तो उसका मानचित्र मुश्किल से हिलता है। यह एक ऐसे व्यक्ति की तरह है जो कुत्ते की तस्वीर देख रहा है लेकिन वास्तव में पीछे की घास पर ध्यान केंद्रित कर रहा है; यदि आप कुत्ते को मिटा देते हैं, तो वे ध्यान नहीं देते।
टीम ने पाया कि जिन रोबोटों के मानचित्र मिटाए गए साक्ष्य के बाद मुश्किल से बदले, वे वही थे जो सबसे अधिक भ्रमित हुए। यह सुझाव देता है कि रोबोट स्वयं बीमारी को नहीं देख रहे हैं; वे छवि में किसी और चीज़ को देख रहे हैं, जैसे कि पसलियों के पिंजरे का आकार या रोशनी, और वास्तविक समस्या को मिस कर रहे हैं।
अच्छी खबर और बुरी खबर
पेपर एक आशाजनक लेकिन यथार्थवादी मोड़ के साथ समाप्त होता है। भले ही एक अकेला रोबोट भ्रमित हो सकता है, टीम ने पाया कि यदि आपके पास 11 अलग-अलग रोबोटों का एक पैनल है, तो लगभग हमेशा उनमें से एक सही होता है।
इसे जासूसों के एक समूह के रूप में सोचें। यदि एक जासूस सुराग चूक जाता है, तो दूसरा उसे पकड़ सकता है। टीम ने दिखाया कि जबकि एक अकेला रोबोट 35.9% मामलों को मिस कर सकता है, एक स्मार्ट सिस्टम जो प्रत्येक विशिष्ट छवि के लिए सबसे अच्छा रोबोट चुनता है, वह केवल 2.8% मामले मिस कर सकता है। जानकारी मौजूद है; बस यह कि हमने ऐसा सिस्टम बनाने में महारत हासिल नहीं की है जो सही काम के लिए सही रोबोट को चुन सके।
निष्कर्ष
यह पेपर यह नहीं कहता कि हमें अपने AI डॉक्टरों को छोड़ देना चाहिए। इसके बजाय, यह हमें यह जांचने का एक नया, अधिक निष्पक्ष तरीका देता है कि वे कैसे काम कर रहे हैं। यह हमें बताता है कि ये स्थिर रोबोट अंधे नहीं हैं, बल्कि वे नाजुक हैं। उन्हें आसानी से धोखा दिया जा सकता है, और वे अक्सर उन सूक्ष्म विवरणों को मिस कर देते हैं जो सबसे महत्वपूर्ण होते हैं। CANDOR का उपयोग करके, डॉक्टर और वैज्ञानिक अब यह पता लगा सकते हैं कि रोबोट किस बीमारी में कमजोर है, इससे पहले कि वे वास्तव में इसका उपयोग करें। यह एक याद दिलाता है कि सिर्फ इसलिए कि एक रोबोट बड़ा और शक्तिशाली है, इसका मतलब यह नहीं है कि वह सब कुछ स्पष्ट रूप से देखता है; कभी-कभी, उसे बस एक बेहतर मानचित्र की आवश्यकता होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।