RetiBridge: Bridging Quantitative Retinal Biomarkers and Qualitative Diagnosis with a Knowledge-Guided Multimodal Large Language Model
RetiBridge एक ज्ञान-निर्देशित मल्टीमॉडल लार्ज लैंग्वेज मॉडल है जो CFP और OCT छवियों से मात्रात्मक रेटिनल बायोमार्कर को गुणात्मक नैदानिक निदानों के साथ प्रभावी ढंग से जोड़ता है, और 15,000 से अधिक युग्मित नमूनों के एक नए बेंचमार्क पर मौजूदा ओपन-सोर्स और प्रोप्रायटरी मॉडलों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपकी आँखें आपके पूरे शरीर के लिए एक हाई-टेक सुरक्षा कैमरा सिस्टम की तरह हैं। जिस तरह एक सुरक्षा कैमरा टूटी हुई खिड़की या किसी अजीब साये को देख सकता है, ठीक उसी तरह आपकी आँखों के पीछे स्थित रेटिना मधुमेह (डायबिटीज), उच्च रक्तचाप और यहाँ तक कि हृदय संबंधी समस्याओं जैसे रोगों के सुराग प्रकट कर सकता है। डॉक्टर इस 'सुरक्षा फीड' को देखने के लिए दो मुख्य "लेंसों" का उपयोग करते हैं: एक सतह की एक सपाट, रंगीन फोटो लेता है (जैसे एक मानक स्नैपशॉट), और दूसरा परतों के माध्यम से एक गहरा, 3D स्लाइस लेता है (जैसे केक का एक क्रॉस-सेक्शन)। लंबे समय तक, कंप्यूटर इन चित्रों में संख्याओं को मापने में बहुत कुशल थे—जैसे कि एक परत कितनी मोटी है या एक रक्त वाहिका कितनी चौड़ी है—लेकिन वे यह समझाने में बहुत खराब थे कि उन संख्याओं का वास्तव में क्या अर्थ है। यह वैसा ही था जैसे कोई रोबोट आपको बता सके कि एक कार की गति 60 मील प्रति घंटा है, लेकिन वह यह नहीं बता सके कि इसका मतलब यह है कि कार ओवरस्पीडिंग कर रही है या वह बस हाईवे पर चल रही है।
यहीं पर नया शोध काम आता है। वैज्ञानिक "मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स" (MLLMs) बनाने की कोशिश कर रहे हैं—जो मूल रूप से सुपर-स्मार्ट AI दिमाग हैं जो छवियों को देख सकते हैं और टेक्स्ट को एक साथ पढ़ सकते हैं। लक्ष्य एक डिजिटल डॉक्टर सहायक बनाना है जो केवल "असामान्य" न कहे, बल्कि यह भी समझाए कि क्यों, और कठिन संख्याओं को एक वास्तविक निदान (डायग्नोसिस) से जोड़कर दिखाए। हालाँकि, अधिकांश मौजूदा AI मॉडल उन छात्रों की तरह हैं जिन्होंने पाठ्यपुस्तक तो रट ली है लेकिन वे वास्तविक जीवन की परीक्षा में उसे लागू नहीं कर सकते; वे सही बीमारी का अनुमान तो लगा सकते हैं लेकिन वे अपना काम दिखा नहीं सकते या यह नहीं समझा सकते कि उन मापों से निष्कर्ष कैसे निकला। यह शोध पत्र RetiBridge नामक एक नए AI को पेश करता है जो इसे एक सतर्क जासूस की तरह कार्य करने के लिए मजबूर करके इसे ठीक करने की कोशिश करता है, जो हर एक संख्या को एक अंतिम निर्णय लेने से पहले एक विशिष्ट चिकित्सा सुराग से जोड़ता है।
शोधकर्ताओं ने RetiBridge को एक "ज्ञान-निर्देशित" (knowledge-guided) जासूस के रूप में बनाया है। AI को केवल अनुमान लगाने देने के बजाय, उन्होंने इसे सोचने का एक विशिष्ट तरीका सिखाया: पहले, साक्ष्य को मापें (संख्याएँ); दूसरा, उन संख्याओं को एक चिकित्सा कहानी में अनुवादित करें (सुराग); और तीसरा, मामले को सुलझाएं (निदान)। उन्होंने इस AI को UK Biobank से 15,611 जोड़ी नेत्र छवियों का उपयोग करके प्रशिक्षित किया, जो वास्तविक रोगी डेटा का एक विशाल डेटाबेस है। प्रत्येक रोगी के लिए, AI के पास गहरे 3D स्कैन से 31 अलग-अलग माप और सपाट फोटो से 6 माप उपलब्ध थे। यह सुनिश्चित करने के लिए कि AI सही तरीके से सोचना सीखे, शोधकर्ताओं ने एक शक्तिशाली AI टूल (OpenAI-o3) का उपयोग करके इन 15,000+ मामलों के लिए "मॉडल उत्तर" लिखे। इन मॉडल उत्तरों ने केवल निदान ही नहीं दिया; उन्होंने पूर्ण तर्क भी लिखा, यह दिखाते हुए कि कैसे "240 माइक्रोमीटर की मोटाई" जैसा एक माप "यहाँ कोई सूजन नहीं है" में बदल जाता है, जो फिर एक अंतिम निष्कर्ष की ओर ले जाता है।
जब उन्होंने RetiBridge का परीक्षण किया, तो इसने कुछ प्रभावशाली कौशल दिखाए। भले ही इसे एक अपेक्षाकृत छोटे "मस्तिष्क" (एक 7-बिलियन-पैरामीटर मॉडल) पर बनाया गया था, इसने बहुत बड़े मॉडलों को भी पीछे छोड़ दिया, जिनमें 32 बिलियन पैरामीटर वाले मॉडल और OpenAI का एक बहुत ही उन्नत प्रोप्राइटरी मॉडल भी शामिल है। इसकी सफलता की कुंजी प्रशिक्षण का एक विशेष चरण था जहाँ AI ने 3D नेत्र छवियों को सीधे उन विशिष्ट संख्याओं के साथ संरेखित करना सीखा, जो वे दर्शाती हैं—यह बिल्कुल वैसा ही है जैसे किसी छात्र को केक के टुकड़े की तस्वीर को सीधे एक स्केल (रूलर) से मिलाना सिखाना, बजाय इसके कि वह केवल "केक" शब्द को याद रखे।
परिणाम बताते हैं कि RetiBridge "अपना काम दिखाने" के विशिष्ट कार्य में बेहतर है। यह संख्याओं को सही पाने में काफी अधिक सटीक था (78.23% सटीकता, जबकि अन्य मॉडलों के स्कोर बहुत कम थे) और यह साबित करने में भी बेहतर था कि इसका निदान वास्तव में साक्ष्यों द्वारा समर्थित था। जबकि अन्य मॉडल कभी-कभी अंतिम निदान तो सही कर देते थे लेकिन विवरण चूक जाते थे या मनगढ़ंत कारण बना लेते थे, RetiBridge ने लगातार अपने निष्कर्षों को वास्तविक मापों से जोड़ा। उदाहरण के लिए, डायबिटिक रेटिनोपैथी से संबंधित एक परीक्षण मामले में, RetiBridge ने विशिष्ट स्थानों और मोटाई की पहचान की और समझाया कि कैसे उन्होंने अन्य बीमारियों को खारिज कर दिया, जिससे फोटो से उत्तर तक एक स्पष्ट, तार्किक पथ बना।
हालाँकि, शोध पत्र सावधानीपूर्वक यह नोट करता है कि यह अभी तक कोई जादुई समाधान नहीं है। हालांकि RetiBridge डॉट्स को जोड़ने में बेहतर है, फिर भी यह बहुत ही उन्नत मानव-तुल्य मॉडलों की तुलना में कुछ जटिल तर्क कार्यों में संघर्ष करता है, और इसका परीक्षण नेत्र रोगों के हर प्रकार पर नहीं किया गया है। लेखक सुझाव देते हैं कि यह दृष्टिकोण—AI को कठोर संख्याओं के आधार पर अपने उत्तर देने के लिए मजबूर करना—एक आशाजनक मार्ग है, लेकिन इसे वास्तविक दुनिया के अस्पतालों के लिए पर्याप्त मजबूत बनाने के लिए और अधिक काम की आवश्यकता है। वे भविष्य में और भी विस्तृत 3D स्कैन और विभिन्न प्रकार की नेत्र छवियों पर भी इसका परीक्षण करने की योजना बना रहे हैं। फिलहाल, RetiBridge एक मजबूत 'प्रूफ-ऑफ-कांसेप्ट' के रूप में खड़ा है कि यदि आप AI को चिकित्सा के पीछे के गणित का सम्मान करना सिखाते हैं, तो यह हमारे स्वास्थ्य को समझने में एक बहुत ही भरोसेमंद साथी बन सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।