Understanding Human AI Discrepancy in Breast Cancer TIL Assessment: A Multi-Rater and Perceptual Bias Study
यह अध्ययन प्रकट करता है कि जहाँ स्तन कैंसर के TIL मूल्यांकन में पैथोलॉजिस्टों के बीच अंतर-पैथोलॉजिस्ट सहमति उच्च है, वहीं पैथोलॉजिस्टों और AI मॉडलों के बीच पर्याप्त विसंगति है, जो यह सुझाव देती है कि AI एकीकरण को मानव विश्वसनीयता के स्तर तक पहुँचने के लिए और अधिक शोधन की आवश्यकता है, विशेष रूप से तब जब द्विआधारी थ्रेशोल्ड (dichotomized thresholds) के बजाय बहु-श्रेणी वर्गीकरण का उपयोग किया जाता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करके अध्ययन की व्याख्या दी गई है।
बड़ी तस्वीर: नन्हे हमलावरों की गिनती
कल्पना कीजिए कि स्तन कैंसर की कोशिकाएं एक किले की तरह हैं। इस किले की दीवारों के भीतर, कुछ नन्हे "हमलावर" हैं जिन्हें लिम्फोसाइट्स (lymphocytes) कहा जाता है (यह एक प्रकार की प्रतिरक्षा कोशिका है)। डॉक्टर इन्हें ट्यूमर-इनफिल्ट्रेटिंग लिम्फोसाइट्स (TILs) कहते हैं।
TILs को कैंसर से लड़ने वाले "अच्छे लड़कों" के रूप में समझें। आप जितने अधिक उन्हें देखेंगे, मरीज के जीवित रहने और उपचार के प्रति प्रतिक्रिया देने की संभावना उतनी ही बेहतर होगी। यह पता लगाने के लिए, पैथोलॉजिस्ट (विशेषज्ञ डॉक्टर जो माइक्रोस्कोप स्लाइड देखते हैं) को यह अनुमान लगाना होता है कि कैंसर कोशिकाओं के आसपास की कितनी जगह इन नन्हे हमलावरों से भरी हुई है।
समस्या: इंसान भीड़ का अनुमान लगाने में बुरे होते हैं
अध्ययन एक ज्ञात समस्या के साथ शुरू हुआ: इंसान बिखरी हुई चीजों की संख्या का अनुमान लगाने में बहुत खराब होते हैं।
कल्पना कीजिए कि आप जेलीबीन्स से भरे एक जार को देख रहे हैं। यदि वे सभी एक कोने में गुच्छों में हैं, तो आप संख्या का आसानी से अनुमान लगा सकते हैं। लेकिन यदि जेलीबीन्स पूरे जार में समान रूप से फैले हुए हैं, तो आपका मस्तिष्क संघर्ष करता है। आप शायद 20% का अनुमान लगाएंगे जबकि वास्तव में वह 40% हो सकता है, या इसके विपरीत। यही बात तब होती है जब डॉक्टर कैंसर की स्लाइड्स देखते हैं। सख्त नियमों के बावजूद, एक ही स्लाइड को देखने वाले दो अलग-अलग डॉक्टर अक्सर अलग-अलग उत्तर देते हैं क्योंकि उनका मस्तिष्क "बिखरे हुए बिंदुओं" को अलग तरह से प्रोसेस करता है।
प्रयोग: इंसान बनाम रोबोट
शोधकर्ता यह देखना चाहते थे कि क्या आर्टिफिशियल इंटेलिजेंस (AI) इंसानों से बेहतर काम कर सकता है। उन्होंने तीन मानव पैथोलॉजिस्ट और दो अलग-अलग AI मॉडल (मान लीजिए रोबोट A और रोबोट B) के साथ एक "टेस्ट" आयोजित किया।
उन्होंने उन सभी को स्तन कैंसर की बिल्कुल एक जैसी माइक्रोस्कोप स्लाइड दी और उनसे "हमलावरों" (TILs) के प्रतिशत को गिनने के लिए कहा।
यहाँ उन्हें क्या पता चला:
1. इंसान एक-दूसरे से सहमत थे
जब तीनों मानव डॉक्टरों ने स्लाइड्स को देखा, तो वे ज्यादातर एक-दूसरे से सहमत थे। उनके स्कोर बहुत समान थे।
- उपमा: यह तीन अनुभवी शेफ द्वारा सूप चखने जैसा है। वे शायद बिल्कुल एक ही चम्मच का उपयोग न करें, लेकिन वे इस बात पर सहमत होते हैं कि सूप "थोड़ा नमकीन" है या "बहुत नमकीन"।
2. रोबोट इंसानों से असहमत थे
जब शोधकर्ताओं ने डॉक्टरों की तुलना रोबोट से की, तो सहमति काफी कम हो गई। रोबोट और इंसान अक्सर बहुत अलग संख्या दे रहे थे।
- ट्विस्ट: रोबोट केवल "बेतरतीब ढंग से" गलत नहीं थे। उनकी एक विशिष्ट आदत थी: वे लगातार हमलावरों की संख्या को कम आंक रहे थे।
- उपमा: कल्पना कीजिए कि डॉक्टर कहते हैं, "यह जार 40% भरा हुआ है।" रोबोट कहते हैं, "नहीं, यह केवल 25% भरा है।" रोबोट उसी जार को देख रहे थे लेकिन उन्हें इंसानों की तुलना में कम बीन्स दिखाई दिए।
3. रोबोट "रैंकिंग" में अच्छे थे, "गिनती" में नहीं
भले ही रोबोटों ने गलत संख्या दी, लेकिन वे क्रम को समझने में वास्तव में काफी अच्छे थे।
- उपमा: यदि आपके पास तीन जेलीबीन के जार हैं (छोटा, मध्यम, बड़ा), तो रोबोट सही ढंग से बता सकते थे कि कौन सा सबसे छोटा था और कौन सा सबसे बड़ा। हालाँकि, जब उनसे प्रत्येक में कितने बीन्स थे, यह पूछा गया, तो वे बहुत गलत थे।
- डेटा: अध्ययन ने दिखाया कि हालांकि रोबोट और इंसान सटीक प्रतिशत पर सहमत नहीं थे, लेकिन वे इस बात पर सहमत थे कि किन मामलों में अधिक लिम्फोसाइट्स थे और किनमें कम।
4. अंतर क्यों? ("भीड़ वाले कमरे" का प्रभाव)
शोधकर्ता जानना चाहते थे कि रोबोट और इंसान असहमत क्यों थे। क्या रोबोट खराब था? या क्या मानव मस्तिष्क ही त्रुटिपूर्ण था?
यह पता लगाने के लिए, उन्होंने एक विशेष साइड एक्सपेरिमेंट किया। उन्होंने डॉक्टरों को काले बैकग्राउंड पर बिखरे हुए सफेद डॉट्स वाली साधारण ब्लैक-एंड-व्हाइट तस्वीरें दिखाईं (जो लिम्फोसाइट्स की नकल करती थीं)। डॉक्टरों को यह अनुमान लगाना था कि चित्र का कितना प्रतिशत सफेद है।
- परिणाम: यहाँ तक कि इन सरल डॉट्स के साथ भी, डॉक्टर सटीक प्रतिशत का अनुमान लगाने में खराब थे। उनके अनुमान वास्तविक संख्या से बहुत भिन्न थे।
- निष्कर्ष: असहमति केवल इसलिए नहीं है कि रोबोट खराब हैं। बल्कि इसलिए है क्योंकि मानव मस्तिष्क बिखरे हुए बिंदुओं का दृश्य अनुमान लगाने में संघर्ष करता है। रोबोट वास्तव में एक सटीक "पिक्सेल काउंट" कर रहे हैं, जबकि इंसान अपने "विजुअल गेसवर्क" (दृश्य अनुमान) का उपयोग कर रहे हैं, जो त्रुटियों के प्रति संवेदनशील है।
मुख्य निष्कर्ष (The Takeaway)
अध्ययन यह निष्कर्ष निकालता है:
- इंसान एक-दूसरे के प्रति सुसंगत हैं: डॉक्टर आमतौर पर स्लाइड के "वाइब" (भाव) पर सहमत होते हैं।
- रोबोट सटीक हैं लेकिन मानव धारणा के प्रति "अंधे" हैं: रोबोट हर एक डॉट को पूरी सटीकता से गिनते हैं, लेकिन वे इंसानों से अलग कुल संख्या प्राप्त करते हैं क्योंकि इंसान बिखरे हुए डॉट्स को अलग तरह से देखते हैं।
- रोबोट वर्तमान में कम आंक रहे हैं: AI मॉडल उतने ही इम्यून सेल्स दिखाते हैं जितने डॉक्टर सोचते हैं, उससे कम।
सार (The Bottom Line):
अभी के लिए, AI एक सुपर-सटीक कैलकुलेटर की तरह है जो समुद्र तट पर रेत के हर एक कण को गिनता है, जबकि मानव डॉक्टर समुद्र तट को देखकर उसके आयतन (volume) का अनुमान लगाने वाले व्यक्ति की तरह है। वे दोनों एक ही समुद्र तट को देख रहे हैं, लेकिन वे अलग-अलग संख्याएँ लेकर आ रहे हैं। इससे पहले कि हम AI पर डॉक्टर को बदलने के लिए भरोसा कर सकें, AI को यह समझने के लिए "कैलिब्रेट" करने की आवश्यकता है कि मानव आँखें इन बिखरे हुए सेल्स को कैसे देखती हैं, या डॉक्टरों को अपने विजुअल गेसवर्क के बजाय रोबोट की सटीक गिनती पर भरोसा करना सीखना होगा।
नोट: पेपर इस बात पर जोर देता है कि यह अध्ययन इस बात का परीक्षण था कि AI मानव डॉक्टरों के साथ कितनी अच्छी तरह मेल खाता है, न कि यह कि क्या AI वास्तविक रोगी देखभाल के लिए उपयोग किए जाने के लिए तैयार है। वास्तविक रोगी देखभाल में उपयोग किए जाने से पहले इस "कम आंकने" (underestimation) की समस्या को ठीक करने के लिए और अधिक काम करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।