Can Multimodal Large Language Models Understand OCT?
यह शोध पत्र OCT-Bench प्रस्तुत करता है, जो धारणा (perception), संज्ञान (cognition) और तर्क (reasoning) के आयामों में 10,000 से अधिक सूक्ष्म-स्तरीय प्रश्नों वाला एक व्यापक बेंचमार्क है, जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स का व्यवस्थित रूप से मूल्यांकन करता है, और यह प्रकट करता है कि वर्तमान मॉडल—चिकित्सा-अनुकूलित और बड़े पैमाने के वेरिएंट्स सहित—नैदानिक रूप से आधारित OCT इमेज समझ करने की अपनी क्षमता में काफी सीमित हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं, लेकिन सबूत के तौर पर आपके पास अपराध स्थल नहीं, बल्कि मानव आँख का एक चमकता हुआ, क्रॉस-सेक्शनल मानचित्र है। यह ऑप्टिकल कोहेरेंस टोमोग्राफी (OCT) की दुनिया है, जो एक सुपर-पावर्ड कैमरा है जो डॉक्टरों को बिना किसी कट के आंख के पिछले हिस्से की प्रकाश-संवेदनशील परत—रेटिना—के भीतर झांकने देता है। यह आंख के सूक्ष्म, स्तरित पड़ोसों के लिए एक्स-रे विजन होने जैसा है, जो डॉक्टरों को बीमारी दिखने से पहले ही उसे पहचानने में मदद करता है, इससे पहले कि वह आपकी दृष्टि छीन ले। अब, तकनीक की दुनिया के नए नायकों से मिलिए: मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs)। इन्हें सुपर-स्मार्ट एआई रोबोट समझें जो टेक्स्ट पढ़ सकते हैं और चित्रों को देख भी सकते हैं। वे डिजिटल युग के "शरलॉक होम्स" हैं, जिन्हें जो वे देखते हैं उसे जो वे जानते हैं, उससे जोड़ने के लिए प्रशिक्षित किया गया है। लेकिन यहाँ एक बड़ा सवाल है जिसने हर किसी को उत्साहित कर दिया है: क्या ये एआई जासूस वास्तव में मानव आँख के जटिल, स्तरित मानचित्रों को समझ सकते हैं, या वे केवल पैटर्न के आधार पर अनुमान लगा रहे हैं? यदि एक एआई स्वस्थ आंख और बीमार आंख के बीच अंतर नहीं कर सकता, या सही उपचार का पता नहीं लगा सकता, तो वह डॉक्टर के काम का नहीं है। यही कारण है कि वैज्ञानिक यह परीक्षण करने के लिए इतने उत्सुक हैं कि क्या ये मॉडल वास्तव में दृष्टि बचाने के लिए तैयार हैं।
इस शोध पत्र में, शोधकर्ताओं की एक टीम ने केवल अनुमान लगाना बंद किया और परीक्षण करना शुरू किया। उन्होंने यह देखने के लिए कि क्या एआई वास्तव में आंख के स्कैन को पढ़ने का काम संभाल सकता है, एक विशाल, अत्यंत चुनौतीपूर्ण परीक्षा बनाई जिसे OCT-Bench कहा गया। केवल एआई से यह पूछने के बजाय कि, "क्या यह आंख बीमार है या स्वस्थ?" (जो कि एक छात्र को बहुविकल्पीय परीक्षा में केवल उत्तर का अनुमान लगाने के लिए कहने जैसा है), उन्होंने इस कार्य को एक चरण-दर-चरण यात्रा में तोड़ दिया जो एक वास्तविक डॉक्टर के सोचने के तरीके को दर्शाता है। सबसे पहले, एआई को पर perceives (अनुभव/देखना) करना होगा: क्या वह छवि में बुनियादी आकृतियों, रंगों और रेखाओं को देख सकता है? इसके बाद, उसे cognize (जानना/समझना) होगा: क्या वह पहचान सकता है कि एक विशिष्ट टेढ़ी-मेढ़ी रेखा वास्तव में रेटिना की एक परत या तरल पदार्थ से भरी जेब है? अंत में, उसे reason (तर्क करना) होगा: क्या वह उन सभी सुरागों को लेकर यह तय कर सकता है कि यह कौन सी बीमारी है, क्या उपचार देना चाहिए, और आगे क्या होगा?
इस परीक्षा को निष्पक्ष और कठिन बनाने के लिए, शोधकर्ताओं ने सात अलग-अलग सार्वजनिक डेटाबेस से 4,137 वास्तविक नेत्र स्कैन एकत्र किए और उन्हें 10,076 विशेषज्ञ-सत्यापित प्रश्नों में बदल दिया। फिर उन्होंने 20 अलग-अलग एआई मॉडल्स को परखने के लिए उन्हें कड़े इम्तिहान में डाला, जिसमें तकनीकी दिग्गजों के प्रसिद्ध "बड़े दिमाग", ओपन-सोर्स मॉडल और विशेष रूप से चिकित्सा के लिए प्रशिक्षित एआई शामिल थे।
परिणाम? एआई मॉडल निश्चित रूप से स्मार्ट हैं, लेकिन वे अभी तक भविष्य के नेत्र रोग विशेषज्ञ नहीं हैं। पूरे टेस्ट में सबसे अच्छा प्रदर्शन करने वाला मॉडल केवल 62.0% सवालों के जवाब सही दे पाया। इसका मतलब है कि वह लगभग हर 10 में से 4 सवालों में गलत था। शोधकर्ताओं ने एक स्पष्ट पैटर्न पाया: एआई आसान चीजों में ठीक था। जब केवल छवि के प्रकार को पहचानने या स्क्रीन पर खींचे गए बक्सों की संख्या गिनने के बारे में पूछा गया, तो मॉडल्स का स्कोर उच्च रहा, जो कभी-कभी 75.8% के करीब था। लेकिन जैसे ही प्रश्न कठिन हुए—जिसमें आंख की परतों के सूक्ष्म विवरणों को समझना या उपचार योजना बनाना शामिल था—स्कोर गिर गया। सबसे कठिन "रीजनिंग" (तर्क) कार्यों के लिए, सर्वश्रेष्ठ मॉडल का स्कोर केवल 42.9% था।
यहाँ चौंकाने वाली बात यह है: "चिकित्सा विशेषज्ञ" होना या "बड़ा दिमाग" होना अपने आप में समस्या को हल नहीं कर सका। कुछ मॉडल जो विशेष रूप से चिकित्सा डेटा पर प्रशिक्षित थे, वे कुछ कार्यों पर सामान्य-उद्देश्य वाले मॉडल्स की तुलना में खराब प्रदर्शन कर गए। और मॉडल्स को बड़ा बनाना (स्केलिंग अप) थोड़ा मददगार रहा, लेकिन इसने बड़ी समस्या को हल नहीं किया। एआई अभी भी उस जुड़ाव के लिए संघर्ष करता है जो चित्र में जो वह देखता है और उस गहरे चिकित्सा ज्ञान के बीच आवश्यक है जो वास्तविक निदान के लिए चाहिए। यह उस छात्र की तरह है जो शरीर की सभी हड्डियों के नाम याद कर सकता है लेकिन एक्स-रे के आधार पर टूटी हुई हड्डी का निदान करने के लिए पूछा जाने पर घबरा जाता है।
शोध पत्र निष्कर्ष निकालता है कि वर्तमान एआई मॉडल विश्वसनीय OCT समझ से काफी पीछे हैं और नैदानिक उपयोग के लिए दूर तक विश्वसनीय नहीं हैं। यह सुझाव देता है कि हालांकि ये मॉडल देखने में बेहतर हो रहे हैं, लेकिन उनमें वह "क्लिनिकल रीजनिंग" (नैदानिक तर्क) की मांसपेशी की कमी है जो यह समझने के लिए आवश्यक है कि क्या गलत है और क्या करना चाहिए। शोधकर्ता संकेत देते हैं कि जब तक एआई केवल छवि को "देखने" से बीमारी को "समझने" और इलाज की "योजना" बनाने तक विश्वसनीय रूप से नहीं पहुँच जाता, तब तक हमें अपनी आंखों के भरोसे उन्हें सौंपने के लिए एक लंबा रास्ता तय करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।