Do Medical Foundation Models Generalize on the African Brain?

कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ डॉक्टरों के पास एक सुपर-स्मार्ट सहायक है जिसने लाखों मेडिकल टेक्स्टबुक पढ़ी हैं और अनगिनत एक्स-रे और स्कैन देखे हैं। इस सहायक को "फाउंडेशन मॉडल" (Foundation Model) कहा जाता है। इसे एक ऐसे प्रतिभाशाली छात्र की तरह समझें जिसने अपना पूरा बचपन उत्तरी अमेरिका और यूरोप के सबसे उन्नत, सुसज्जित पुस्तकालयों में अध्ययन करते हुए बिताया है। वे मस्तिष्क के स्कैन में पैटर्न पहचानने में अविश्वसनीय रूप से कुशल हैं, जैसे कि ट्यूमर का पता लगाना या यह बताना कि किसी को डिमेंशिया (भूलने की बीमारी) है या नहीं। लेकिन यहाँ एक पेंच है: इस छात्र ने वास्तव में कभी अफ्रीका के किसी पुस्तकालय का दौरा नहीं किया है। वे नहीं जानते कि वहाँ की किताबें कैसी दिखती हैं, या क्या वहां रोशनी अलग है, या मरीजों की पृष्ठभूमि अलग है।

बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: यदि यह सुपर-छात्र नाइजीरिया या अन्य अफ्रीकी देशों में एक डॉक्टर की मदद करने की कोशिश करता है, तो क्या वह अभी भी उतना ही स्मार्ट होगा? या क्या वह भ्रमित हो जाएगा क्योंकि "किताबें" (मस्तिष्क के स्कैन) अलग दिखती हैं? यह एक बहुत बड़ी बात है क्योंकि यदि ये स्मार्ट AI उपकरण केवल कुछ विशिष्ट समूहों के लिए अच्छी तरह से काम करते हैं, तो वे अनजाने में गलतियाँ कर सकते हैं, जिससे अन्यायपूर्ण स्वास्थ्य सेवा (unfair healthcare) हो सकती है। शोधकर्ता यह देखना चाहते थे कि क्या ये डिजिटल मस्तिष्क वास्तव में सार्वभौमिक हैं या उनके पास अफ्रीकी रोगियों के लिए कोई 'ब्लाइंड स्पॉट' (अंध बिंदु) है।

---

द ग्रेट ब्रेन स्कैन टेस्ट (मस्तिष्क स्कैन की बड़ी परीक्षा)

इस अध्ययन में, शोधकर्ताओं की एक टीम ने इन "फाउंडेशन मॉडल्स" को अंतिम परीक्षा में डालने का निर्णय लिया। उन्होंने दो बहुत ही अलग प्रकार के AI सहायकों को लिया और उनसे मस्तिष्क के स्कैन का उपयोग करके दो अलग-अलग काम करने के लिए कहा।

पहला काम था एक डिटेक्टिव गेम (जासूसी खेल): क्या AI मस्तिष्क के स्कैन को देखकर यह अनुमान लगा सकता है कि व्यक्ति को डिमेंशिया (एक बीमारी जो याददाश्त को प्रभावित करती है) है या वह स्वस्थ है? उन्होंने इसके लिए नाइजीरिया के एक डेटासेट का उपयोग किया।
दूसका काम था एक कलरिंग गेम (रंग भरने का खेल): क्या AI एक स्कैन को देखकर मस्तिष्क के ट्यूमर के चारों ओर एक सटीक रूपरेखा (outline) खींच सकता है? उन्होंने उप-सहारा अफ्रीका के एक डेटासेट का उपयोग किया।

यह देखने के लिए कि क्या AI निष्पक्ष था, शोधकर्ताओं ने उन्हीं परीक्षणों को अमेरिका और नीदरलैंड के मस्तिष्क स्कैन का उपयोग करके AI को दिया। वे यह देखना चाहते थे कि क्या AI अपने "होम" डेटा (US/Europe) पर बेहतर प्रदर्शन करता है या क्या वह "नए" डेटा (Africa) को भी उतनी ही अच्छी तरह से संभाल सकता है।

डिटेक्टिव गेम के परिणाम: "हूँ, ज्यादा बेहतर नहीं"

जब डिटेक्टिव गेम (डिमेंशिया वर्गीकरण) की बात आई, तो परिणाम थोड़े निराशाजनक रहे। शोधकर्ताओं ने पाया कि ये फैंसी, प्री-ट्रेन्ड AI मॉडल उस बुनियादी AI से बहुत अधिक बेहतर नहीं थे जिसे विशेष रूप से इसी काम के लिए शून्य से बनाया गया था।

• नाइजीरियाई डेटा पर, सबसे अच्छे फाउंडेशन मॉडल (BrainIAC) का स्कोर 0.86 (सही अनुमान लगाने का एक पैमाना) था।
• शून्य से बनाए गए बुनियादी AI का स्कोर 0.85 था।

यह एक मास्टर शेफ को ऐसी रेसिपी देने जैसा है जिसे उसने पहले कभी नहीं देखा; वह ठीक-ठाक तो कर सकता है, लेकिन वह उस स्थानीय रसोइये से बेहतर नहीं होगा जो स्थानीय सामग्री को पूरी तरह से जानता है। शोधकर्ताओं का सुझाव है कि डिमेंशिया जैसी सूक्ष्म चीजों को पहचानने के लिए, ये विशाल प्री-ट्रेन्ड मॉडल कोई बहुत बड़ा लाभ नहीं देते हैं, चाहे मरीज अफ्रीका का हो या यूरोप का।

कलरिंग गेम के परिणाम: "वाह, वे चमक रहे हैं!"

लेकिन फिर, शोधकर्ताओं ने कलरिंग गेम (ट्यूमर सेगमेंटेशन) की ओर रुख किया, और कहानी पूरी तरह बदल गई। यहाँ, फाउंडेशन मॉडल्स बिल्कुल शानदार प्रदर्शन कर रहे थे।

• एक मॉडल, जिसे MedSAM2 कहा जाता है, अफ्रीकी ट्यूमर डेटा पर 0.86 का स्कोर प्राप्त करने में सफल रहा।
• बुनियादी AI, जिसे शून्य से बनाया गया था? वह संघर्ष कर रहा था, विभिन्न प्रकार के स्कैन इमेज को देखते समय उसे केवल 0.21 का स्कोर मिला। यहाँ तक कि केवल सबसे अच्छे इमेज प्रकार को देखने पर भी, बुनियादी AI केवल 0.55 तक ही पहुँच सका।

यह ऐसा है जैसे फाउंडेशन मॉडल्स ने पहले ही लाखों बार आकृतियाँ बनाने का अभ्यास किया हो, इसलिए जब उन्होंने एक नया ट्यूमर देखा, तो वे अविश्वसनीय सटीकता के साथ तुरंत उसकी रूपरेखा खींच सके। बुनियादी AI, जिसने पहले कभी ट्यूमर नहीं देखा था, बस अंदाजे लगा रहा था। यह भारी सुधार अफ्रीकी डेटा और यूरोपीय डेटा दोनों के लिए हुआ, जिससे पता चलता है कि ये मॉडल कहीं भी ट्यूमर खोजने और रेखांकित करने में बहुत अच्छे हैं।

बड़ा आश्चर्य: कोई "बायस" (पूर्वाग्रह) नहीं मिला

सबसे रोमांचक हिस्सा वह है जो शोधकर्ताओं को नहीं मिला। उन्हें डर था कि AI "बायस्ड" होगा—यानी, यह यूरोपीय मस्तिष्क के आधार पर प्रशिक्षित होने के कारण अफ्रीकी मस्तिष्क को समझने में बहुत खराब होगा।

लेकिन परिणामों ने दिखाया कि AI स्वाभाविक रूप से अफ्रीकी रोगियों के प्रति पक्षपाती नहीं था।

• जब शोधकर्ताओं ने स्कोर की तुलना की, तो अफ्रीकी डेटा बनाम यूरोपीय डेटा पर AI के प्रदर्शन के बीच का अंतर छोटा और असंगत था। कभी यह एक पर थोड़ा बेहतर था, तो कभी दूसरे पर।
• मुख्य कारण यह नहीं था कि AI यूरोपीय डेटा को "बेहतर" मानता था, बल्कि यह था कि वहां डेटा अधिक था। जब उन्होंने AI को यूरोप से अधिक प्रशिक्षण उदाहरण दिए, तो वह बेहतर हो गया। लेकिन जब उन्होंने उदाहरणों की संख्या बराबर कर दी (अफ्रीका से 150 और यूरोप से 150), तो प्रदर्शन लगभग एक जैसा था।

असली समस्या: डेटा की कमी

तो, असली मुद्दा क्या है? पेपर सुझाव देता है कि समस्या यह नहीं है कि AI नस्लवादी या पक्षपाती है; समस्या यह है कि AI को ठीक से सिखाने के लिए पर्याप्त अफ्रीकी मस्तिष्क स्कैन उपलब्ध नहीं हैं।

शोधकर्ता उन अफ्रीकी डेटासेट्स की ओर इशारा करते हैं जिनका उन्होंने उपयोग किया था, जो काफी छोटे थे। उदाहरण के लिए, डिमेंशिया डेटासेट में केवल 50 लोग थे, जबकि यूरोपीय डेटासेट में 97 थे। ट्यूमर डेटासेट में अफ्रीका से 146 स्कैन थे, जबकि यूरोप से 625 का विशाल डेटा था।

अध्ययन निष्कर्ष निकालता है कि ये फाउंडेशन मॉडल्स अफ्रीकी मस्तिष्क के प्रति प्रभावी ढंग से सामान्यीकरण (generalize) कर सकते हैं। उनके पास कोई स्वाभाविक "ब्लाइंड स्पॉट" नहीं है। हालांकि, क्योंकि अफ्रीकी स्कैन बहुत कम उपलब्ध हैं, इसलिए 100% निश्चित होना कठिन है, और मॉडल उतना नहीं सीख सकते जितना वे सीख सकते थे यदि उनके पास अधिक डेटा होता। सबसे बड़ी बाधा AI की बुद्धिमत्ता नहीं है; बल्कि अफ्रीकी अस्पतालों से विविध, उच्च गुणवत्ता वाले डेटा की कमी है।

संक्षेप में, सुपर-स्मार्ट AI सहायक अफ्रीकी डॉक्टरों की मदद करने के लिए तैयार हैं, लेकिन हमें उन्हें और बेहतर बनाने के लिए अधिक अफ्रीकी मस्तिष्क स्कैनों के साथ अध्ययन करने के लिए देना होगा।