MedVision: Benchmarking Quantitative Medical Image Analysis

एक मेडिकल AI की कल्पना एक बहुत ही बुद्धिमान, सुशिक्षित छात्र के रूप में करें जिसने हजारों मेडिकल टेक्स्टबुक्स का अध्ययन किया है और जो फेफड़े या मस्तिष्क की तस्वीर का सुंदर, प्रवाहमयी वाक्यों में वर्णन कर सकता है। यदि आप पूछते हैं, "क्या यह फेफड़ा स्वस्थ है?" या "जो आप देख रहे हैं उसका वर्णन करें," तो यह छात्र उत्कृष्ट है।

हालाँकि, MedVision नामक शोध पत्र इस छात्र की शिक्षा में एक गंभीर दोष को प्रकट करता है: वे गणित और मापने में बहुत खराब हैं।

वास्तविक दुनिया में, डॉक्टर केवल यह नहीं कहते कि "वह ट्यूमर बड़ा दिखता है।" उन्हें यह जानने की आवश्यकता होती है कि, "वह ट्यूमर ठीक 2.4 सेंटीमीटर चौड़ा है, और इस हड्डी का कोण 15 डिग्री है।" ये सटीक संख्याएँ ही हैं जिनका उपयोग डॉक्टर बीमारियों के चरणों (स्टेजिंग) को निर्धारित करने और सर्जरी की योजना बनाने के लिए करते हैं। वर्तमान "स्मार्ट" AI मॉडल बातें तो बहुत अच्छी कर सकते हैं, लेकिन जब बात माप लेने की आती है, तो वे चलने के काबिल नहीं हैं।

यहाँ इस शोध पत्र का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. समस्या: "कला समीक्षक" बनाम "वास्तुकार"

वर्तमान मेडिकल AI मॉडल कला समीक्षकों (Art Critics) की तरह हैं। वे किसी पेंटिंग (या एक्स-रे) को देखने और यह कहने में माहिर हैं कि, "यह एक तूफानी समुद्र जैसा दिखता है," या "यह एक सुंदर सूर्यास्त है।" वे आपको बता सकते हैं कि एक तस्वीर "सामान्य" है या "असामान्य"।

लेकिन डॉक्टरों को वास्तुकारों (Architects) की आवश्यकता होती है। एक वास्तुकार केवल यह नहीं कहता कि "वह दीवार टेढ़ी दिख रही है।" उन्हें एक इंची टेप निकालना होगा और कहना होगा, "वह दीवार 4.2 मीटर लंबी है और 3 डिग्री बाईं ओर झुकी हुई है।"

शोध पत्र का तर्क है कि वर्तमान AI मॉडल कला समीक्षक बने रहने में ही फंसे हुए हैं। जब उन्हें वास्तुकार की तरह कार्य करने के लिए कहा जाता है, तो वे बुरी तरह विफल हो जाते हैं। वे अनुमान लगा सकते हैं कि ट्यूमर "बड़ा" है जबकि वास्तव में वह बहुत छोटा हो सकता है, या वे जोड़ (joint) के कोण को पूरी तरह से गलत बता सकते हैं।

2. समाधान: मापने के लिए एक "जिम" बनाना (MedVision)

इसे ठीक करने के लिए, शोधकर्ताओं ने MedVision नामक एक विशाल प्रशिक्षण मैदान बनाया।

• डेटासेट: एक विशाल पुस्तकालय की कल्पना करें जिसमें 22 विभिन्न सार्वजनिक संग्रहों से 30.8 मिलियन मेडिकल इमेज (CT स्कैन, MRI, X-ray) शामिल हैं।
• "रूलर" एनोटेशन: अन्य डेटासेट्स के विपरीत, जिनमें केवल "ट्यूमर यहाँ है" जैसे लेबल होते हैं, MedVision के साथ छवियों में "रूलर" (पैमाने) जुड़े हुए हैं। यह हर ट्यूमर का सटीक भौतिक आकार, हर हड्डी का सटीक कोण और लैंडमार्क्स के बीच की दूरी जानता है।
• तीन अभ्यास (Drills): उन्होंने इस जिम को AI के लिए तीन विशिष्ट अभ्यासों में व्यवस्थित किया:
  1. वस्तु को पहचानना (Spot the Object): विशिष्ट शरीर के अंगों या असामान्यताओं को ढूंढना और उन्हें बॉक्स में बंद करना।
  2. आकार मापना (Measure the Size): ट्यूमर या घावों की लंबाई और चौड़ाई की गणना करना।
  3. कोण/दूरी मापना (Measure the Angles/Distance): एक जोड़ के कोण या दो बिंदुओं के बीच की दूरी की गणना करना।

3. प्रयोग: "पहले और बाद का" अंतर

शोधकर्ताओं ने सबसे अच्छे, प्रसिद्ध AI मॉडलों (मौजूदा "ऑफ-द-शेल्फ" मॉडल) को लिया और उन्हें इस जिम में डाला।

• "पहले" (Zero-Shot): जब उन्होंने इन स्मार्ट मॉडलों को बिना किसी विशेष प्रशिक्षण के चीजें मापने के लिए कहा, तो परिणाम विनाशकारी थे। यह एक कवि से उन्नत कैलकुलस (calculus) करने के लिए कहने जैसा था। वे सही स्थानों को भी नहीं ढूंढ पा रहे थे, और उनके नंबर बहुत गलत थे।
• "बाद में" (Training): इसके बाद शोधकर्ताओं ने नए MedVision डेटा का उपयोग करके मॉडलों को प्रशिक्षित किया। उन्होंने दो विधियों का उपयोग किया:
  • सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): मॉडल को बार-बार सही उत्तर दिखाना।
  • रीइन्फोर्समेंट फाइन-ट्यूनिंग (RFT): एक कोच की तरह स्कोर देना। यदि मॉडल माप के करीब पहुँचता है, तो उसे "अच्छा काम" मिलता है। यदि वह गलत है, तो उसे "फिर से प्रयास करें" कहा जाता है। यह मॉडल को सही उत्तर पाने के लिए चरणों (जैसे पहले लैंडमार्क्स ढूंढना, फिर गणित करना) के माध्यम से सोचने के लिए प्रोत्साहित करता है।

4. परिणाम: एक नया चैंपियन

प्रशिक्षण के बाद, उन्होंने MedVision-V0 नामक एक नया मॉडल बनाया।

• विजय: यह प्रशिक्षित मॉडल प्रतियोगिता में बहुत आगे निकल गया। यह केवल थोड़ा बेहतर नहीं हुआ; यह वस्तुओं को खोजने, ट्यूमर के आकार को मापने और कोणों की गणना करने में स्पष्ट विजेता बन गया।
• अंतर (The Gap): यहाँ तक कि सबसे अच्छे मौजूदा मेडिकल AI मॉडल (जो आमतौर पर बहुत स्मार्ट होते हैं) भी इन विशिष्ट कार्यों में विफल रहे, जहाँ त्रुटि दर अक्सर 100% से अधिक थी। MedVision-V0 ने दिखाया कि सही प्रशिक्षण डेटा के साथ, AI वास्तव में एक सटीक वास्तुकार बनना सीख सकता है।

5. चेतावनी (सीमाएं)

शोध पत्र बहुत सावधानी से यह स्पष्ट करता है कि यह मॉडल क्या नहीं है:

• यह डॉक्टर नहीं है: यह मॉडल वास्तविक जीवन के निर्णय लेने या निदान करने के लिए पर्याप्त सटीक होने से अभी भी बहुत दूर है। यह एक शोध उपकरण है, नैदानिक (clinical) उपकरण नहीं।
• यह एक विशेषज्ञ है, सामान्यज्ञ नहीं: यह मॉडल मापने में बहुत अच्छा है, लेकिन इसे डॉक्टर के सभी कार्य करने (जैसे पूरी रिपोर्ट लिखना या सामान्य प्रश्नों के उत्तर देना) के लिए प्रशिक्षित नहीं किया गया है। यह "क्वांटिटेटिव रीजनिंग" (मात्रात्मक तर्क) में एक विशेषज्ञ है।

सारांश

MedVision को AI के लिए एक नए, विशेष स्कूल के रूप में समझें। इस स्कूल से पहले, AI मॉडल उन प्रतिभाशाली लेखकों की तरह थे जो गणित नहीं कर सकते थे। MedVision इन मॉडलों को यह सिखाने के लिए किताबें, अभ्यास परीक्षा और ग्रेडिंग प्रणाली प्रदान करता है कि कैसे एक इंची टेप और प्रोट्रैक्टर (चांदा) उठाना है। परिणाम एक ऐसा मॉडल है जो अंततः वे सटीक माप कर सकता है जिनकी डॉक्टरों को आवश्यकता होती है, भले ही वह अभी भी मानव डॉक्टर की जगह लेने के लिए तैयार नहीं है।