💬 NLP

UniReason-Med: A Shared Grounded Reasoning Interface for 2D-to-3D Transfer in Medical VQA

यह शोधपत्र UniReason-Med को प्रस्तुत करता है, जो एक एकीकृत ढांचा है जो एक साझा ग्राउंडेड रीजनिंग इंटरफेस और एक बड़े पैमाने के 2D-3D इंस्ट्रक्शन-ट्यूनिंग डेटासेट (UniMed-CoT) का लाभ उठाता है ताकि प्रचुर मात्रा में उपलब्ध 2D मेडिकल इमेज से रीजनिंग क्षमताओं को स्थानांतरित करके 3D मेडिकल विजुअल क्वेश्चन अनस्विंग (VQA) में सुधार किया जा सके।

मूल लेखक: Mengzhuo Chen, Yan Shu, Chi Liu, Hongming Piao, Xidong Wang, Derek Li, Bryan Dai

प्रकाशित 2026-06-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mengzhuo Chen, Yan Shu, Chi Liu, Hongming Piao, Xidong Wang, Derek Li, Bryan Dai

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को डॉक्टर बनना सिखाने की कोशिश कर रहे हैं। रोबोट को मेडिकल तस्वीरों (जैसे एक्स-रे या सीटी स्कैन) को देखना होगा और जो वह देख रहा है उसे समझाना होगा, और यह भी बताना होगा कि समस्याएँ ठीक कहाँ स्थित हैं।

यह शोध पत्र एक नया सिस्टम पेश करता है जिसे UniReason-Med कहा जाता है। इस सिस्टम को आप मेडिकल रीजनिंग के लिए एक "यूनिवर्सल ट्रांसलेटर" के रूप में देख सकते हैं जो सपाट 2D तस्वीरों और घने 3D वॉल्यूम (volumes) दोनों के लिए काम करता है।

यहाँ बताया गया है कि यह कैसे काम करता है, सरल उपमाओं (analogies) का उपयोग करते हुए:

1. समस्या: दो अलग-अलग भाषाएँ

डॉक्टर दो बहुत ही अलग प्रकार की छवियों को देखते हैं:

2D इमेज: जैसे चेस्ट एक्स-रे की एक सपाट तस्वीर।
3D वॉल्यूम: जैसे ब्रेड का एक लोफ (loaf of bread) (एक सीटी स्कैन)। इसे देखने के लिए, आपको इसे कई पतले स्लाइस में काटना होगा और उन्हें एक-एक करके देखना होगा।

पहले, AI मॉडल ऐसे छात्रों की तरह थे जिन्होंने केवल एक विषय पढ़ा हो। यदि आप उन्हें सपाट फोटो पर पढ़ाते, तो वे 3D ब्रेड-लोफ स्कैन देखकर भ्रमित हो जाते। यदि आप उन्हें केवल 3D स्कैन पर पढ़ाते, तो वे सपाट फोटो में उतने अच्छे नहीं होते। इसके अलावा, अधिकांश AI बिना अपना काम दिखाए या छवि पर विशिष्ट स्थान की ओर इशारा किए बिना ही उत्तर का "अनुमान" लगा लेते थे।

2. समाधान: एक साझा "पॉइंटिंग" प्रणाली

लेखकों ने एक नया तरीका बनाया जिससे AI एक ही समय में "सोच" और "इशारा" (point) कर सके। वे इसे Grounded Chain-of-Thought (GCoT) कहते हैं।

उपमा: कल्पना कीजिए कि एक शिक्षक छात्र से पूछता है, "टूटी हुई हड्डी कहाँ है?"
- पुराना AI: बस कहता है, "यह हाथ में है।" (कोई प्रमाण नहीं)।
- UniReason-Med: कहता है, "मुझे यहाँ एक टूट (break) दिख रहा है [यह तस्वीर पर एक बॉक्स की ओर इशारा करता है], और इसके कारण, मैं निष्कर्ष निकालता हूँ कि यह एक फ्रैक्चर है।"
जादू: यह सिस्टम एक ही "भाषा" (syntax) का उपयोग करता है जिससे वह एक सपाट फोटो पर किसी स्थान की ओर इशारा करता है और 3D ब्रेड-लोफ के अंदर किसी स्थान की ओर इशारा करता है। यह फोटो पर एक बॉक्स बनाता है या 3D स्लाइस के चारों ओर एक 3D क्यूब बनाता है। यह AI को उन "पॉइंटिंग" कौशल का उपयोग करने की अनुमति देता है जो उसने लाखों 2D फोटो से सीखे हैं ताकि वह 3D स्कैन को समझने में मदद कर सके।

3. प्रशिक्षण: एक विशाल "होमवर्क" सेट

इस सिस्टम को सिखाने के लिए, शोधकर्ताओं ने एक विशाल डेटासेट बनाया जिसे UniMed-CoT कहा जाता है।

आकार: इसमें 220,000 उदाहरण हैं।
मिश्रण: 170,000 उदाहरण 2D इमेज हैं, और 50,000 3D स्कैन हैं।
सामग्री: प्रत्येक उदाहरण केवल एक प्रश्न और उत्तर नहीं है। यह एक पूरी "कहानी" है जहाँ AI अपनी रीजनिंग को चरण-दर-चरण समझाता है, और ऐसा करते समय साक्ष्य के चारों ओर बॉक्स बनाता है।
इसे कैसे बनाया गया: उन्होंने इन कहानियों को उत्पन्न करने के लिए एक स्वचालित पाइपलाइन (एक स्मार्ट रोबोट सहायक की तरह) का उपयोग किया और फिर यह सुनिश्चित करने के लिए कि "पॉइंटिंग" सटीक है, मनुष्यों से एक नमूने की जांच करवाई।

4. दो चरणों वाली सीखने की प्रक्रिया

AI दो चरणों में सीखता है, जैसे एक छात्र परीक्षा देता है और फिर एक्स्ट्रा क्रेडिट प्राप्त करता है:

चरण 1 (Supervised Fine-Tuning): AI को 220,000 उदाहरण दिखाए जाते हैं और कहा जाता है, "यहाँ बताया गया है कि आपको कैसे सोचना और इशारा करना चाहिए।" यह टेक्स्ट रीजनिंग और विजुअल पॉइंटिंग को मिलाना सीखता है।
चरण 2 (Reinforcement Learning): यह दिलचस्प हिस्सा है। आमतौर पर, रोबोट को सही ढंग से इशारा करने के लिए सिखाने के लिए, आपको उसे एक स्कोर देना होता है कि उसका बनाया गया बॉक्स वास्तविक वस्तु के साथ कितनी सटीकता से ओवरलैप (overlap) करता है (जैसे एक वीडियो गेम स्कोर)।
- शोध पत्र का दावा: शोधकर्ताओं ने AI को ये "ओवरलैप स्कोर" नहीं दिए। इसके बजाय, उन्होंने AI को केवल तभी पुरस्कृत किया जब अंतिम उत्तर सही था।
- परिणाम: आश्चर्यजनक रूप से, केवल सही अंतिम उत्तर देकर पुरस्कृत करने से, AI अपने आप सटीक रूप से इशारा करने में बेहतर हो गया। उसने समझ लिया कि सही उत्तर पाने के लिए, उसे सही जगह पर देखना ही होगा।

5. उन्होंने क्या पाया (परिणाम)

2D से 3D में मदद मिली: जब उन्होंने AI को 2D और 3D दोनों डेटा पर एक साथ प्रशिक्षित किया, तो AI 3D स्कैन को समझने में बहुत बेहतर हो गया, तुलना में जब उन्होंने इसे केवल 3D डेटा पर प्रशिक्षित किया था। सपाट फोटो से प्राप्त "पॉइंटिंग" कौशल 3D ब्रेड-लोफ स्कैन में स्थानांतरित हो गए।
पहले से बेहतर: इस सिस्टम ने मानक परीक्षणों पर अन्य मेडिकल AI मॉडल से बेहतर प्रदर्शन किया, जो 2D और 3D दोनों इमेज के लिए थे।
बिना "चीट शीट" के: AI ने अपनी ड्राइंग स्किल्स के लिए स्पष्ट रूप से ग्रेड प्राप्त किए बिना, केवल अपने अंतिम निदान (diagnosis) के आधार पर सटीक रूप से इशारा करना सीख लिया।

सारांश

UniReason-Med एक एकल AI मस्तिष्क है जो एक सपाट एक्स-रे या 3D सीटी स्कैन देख सकता है और जो वह देख रहा है उसके चारों ओर बॉक्स "बनाकर" अपनी रीजनिंग समझा सकता है। इसे एक ही समय में दोनों प्रकार की छवियों के लिए ऐसा करने के लिए सिखाकर, 2D ज्ञान 3D समझ में मदद करता है। सबसे महत्वपूर्ण बात यह है कि इसने केवल सही उत्तर पाने की कोशिश करके सटीक रूप से इशारा करना सीख लिया, बिना किसी शिक्षक द्वारा इसके ड्राइंग कौशल को ग्रेड दिए।

नोट: लेखक बताते हैं कि यह केवल अनुसंधान और बेंचमार्किंग उद्देश्यों के लिए है, अभी वास्तविक जीवन के चिकित्सा निर्णय लेने के लिए नहीं।

तकनीकी सारांश: UniReason-Med

समस्या विवरण (Problem Statement)

मेडिकल मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) को 2D प्लेनर इमेजिंग (जैसे, एक्स-रे) और 3D वॉल्यूमेट्रिक डेटा (जैसे, CT, MRI) के बीच के अंतर को पाटने में एक गंभीर चुनौती का सामना करना पड़ता है। जबकि चिकित्सक इन मौलिक रूप से भिन्न स्थानिक निरूपणों (spatial representations) के बीच साक्ष्य को नियमित रूप से संश्लेषित करते हैं, मौजूदा मेडिकल MLLMs आमतौर पर अलग-अलग क्षेत्रों (silos) में कार्य करते हैं: शुरुआती मॉडल 2D इंस्ट्रक्शन फॉलोइंग पर ध्यान केंद्रित करते हैं, जबकि नए 3D-सक्षम मॉडल अक्सर स्पष्ट ग्राउंडिंग तंत्र (grounding mechanisms) की कमी रखते हैं। इसके अलावा, वर्तमान रीजनिंग-ओरिएंटेड मॉडल मुख्य रूप से टेक्स्टुअल चेन-ऑफ-थॉट (CoT) पर निर्भर करते हैं जिसमें स्थानीयकृत दृश्य साक्ष्य (localized visual evidence) का समावेश नहीं होता, जिससे व्याख्यात्मकता (interpretability) और सटीकता सीमित हो जाती है। एक साझा इंटरफेस की कमी है जो क्रॉस-डायमेंशनल ग्राउंडेड ट्रांसफर (cross-dimensional grounded transfer) को सक्षम कर सके, विशेष रूप से यह जांचना कि क्या प्रचुर मात्रा में उपलब्ध 2D ग्राउंडेड रीजनिंग सुपरविजन, 3D मेडिकल विजुअल क्वेश्चन अनसरिंग (VQA) में सुधार कर सकता है जब दोनों मोडैलिटीज एक एकीकृत रीजनिंग प्रोटोकॉल साझा करती हों।

कार्यप्रणाली (Methodology)

लेखक UniReason-Med का प्रस्ताव करते हैं, जो एक सिंगल-चेकपॉइंट फ्रेमवर्क है जिसे या तो 2D इमेज या स्लाइस-सीरियलाइज्ड 3D वॉल्यूम को एक साझा ग्राउंडेड चेन-ऑफ-थॉट (GCoT) इंटरफेस का उपयोग करके प्रोसेस करने के लिए डिज़ाइन किया गया है।

1. यूनिफाइड इंटरफेस और GCoT

मुख्य नवाचार एक साझा लैंग्वेज-साइड इंटरफेस है जहाँ रीजनिंग ट्रेजेक्टरीज (reasoning trajectories) टेक्स्ट टोकन्स को विशिष्ट क्षेत्रों से निकाले गए विजुअल एविडेंस के साथ इंटरलीव (interleave) करती हैं।

इनपुट हैंडलिंग: 2D इमेज को सीधे प्रोसेस किया जाता है। 3D वॉल्यूम्स को विजुअल एनकोडिंग से पहले स्लाइस-सीरियलाइज्ड ऑर्डर में 32 स्लाइस (M3D प्रोटोकॉल का पालन करते हुए) में सीरियलाइज किया जाता है।
ग्राउंडिंग सिंटैक्स: मॉडल टास्क-रेलेवेंट क्षेत्रों को लोकलाइज़ करने के लिए कोऑर्डिनेट्स जेनरेट करता है। 2D के लिए, यह बाउंडिंग बॉक्स $(x_1, y_1, x_2, y_2)$ आउटपुट करता है। 3D के लिए, यह क्यूबॉइड्स (cuboids) $(x_1, y_1, z_1, x_2, y_2, z_2)$ आउटपुट करता है, जहाँ $z$ -एक्सिस स्लाइस इंडेक्स के अनुरूप होता है।
विजुअल टोकन इंजेक्शन: कोऑर्डिनेट्स जेनरेट होने पर, मॉडल संबंधित क्षेत्र (2D आयत या 3D स्लाइस रेंज) को क्रॉप करता है और परिणामी विजुअल टोकन्स को रीजनिंग चेन में इंजेक्ट करता है। यह मॉडल को केवल टेक्स्ट पर निर्भर रहने के बजाय "जो वह देख रहा है" उस पर तर्क करने की अनुमति देता है।
आर्किटेक्चर: यह फ्रेमवर्क एक फ्रोजन Qwen2.5-VL विजन टॉवर और प्रोजेक्टर का उपयोग करता है, जिसका योगदान स्लाइस-सीरियलाइज्ड इनपुट्स पर $z$ -अवेयर ग्राउंडेड रीजनिंग इंटरफेस में निहित है, न कि किसी नेटिव 3D वॉल्यूमेट्रिक एनकोडर में।

2. UniMed-CoT डेटासेट

इस इंटरफेस को प्रशिक्षित करने के लिए, लेखकों ने UniMed-CoT बनाया है, जिसमें 220K इंस्ट्रक्शन-ट्यूनिंग डेटासेट्स शामिल हैं:

170K 2D सैंपल्स जो SAMed2D-v1 से प्राप्त किए गए हैं।
50K 3D सैंपल्स जो M3D ट्रेनिंग केसेस से प्राप्त किए गए हैं।
एनोटेशन पाइपलाइन: ग्राउंडिंग कोऑर्डिनेट्स को सीधे मौजूदा सेगमेंटेशन मास्क से निकाला जाता है। GPT-4o का उपयोग इंटरलीव्ड रीजनिंग ट्रेसेस को <thought>...</thought> ब्लॉक्स के भीतर जेनरेट करने के लिए किया जाता है, जो स्ट्रक्चर के पहले उल्लेख पर बाउंडिंग बॉक्स/क्यूबॉइड्स के लिए विशेष टोकन्स इंजेक्ट करता है।
क्वालिटी कंट्रोल: डेटासेट को ऑटोमेटेड फिल्टरिंग (मैलबोर्म्ड कोऑर्डिनेट्स या उथली रीजनिंग को हटाना) और मैनुअल ऑडिटिंग से गुजारा जाता है, जिससे सही ग्राउंडिंग और सुसंगत रीजनिंग के लिए 92% पास रेट प्राप्त होता है।

3. टू-स्टेज ट्रेनिंग पैराडाइम

स्टेज 1: सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): मॉडल को डिस्क्रीट टोकन्स (रीजनिंग टेक्स्ट, कोऑर्डिनेट्स और फाइनल आंसर्स) पर क्रॉस-एंट्रॉपी लॉस का उपयोग करके UniMed-CoT पर प्रशिक्षित किया जाता है। कंटीन्यूअस विजुअल एम्बेडिंग्स को इंजेक्ट किया जाता है लेकिन उन्हें टोकन-लेवल सुपरविजन से बाहर रखा जाता है। यह चरण इंटरलीव्ड रीजनिंग फॉर्मेट को स्थापित करता है।
स्टेज 2: रीइन्फोर्समेंट लर्निंग (RL): मॉडल को ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) का उपयोग करके और अधिक अनुकूलित किया जाता है। महत्वपूर्ण रूप से, रिवॉर्ड फंक्शन आउटकम-लेवल (उत्तर की शुद्धता और फॉर्मेट एडहेरेंस पर आधारित) है और यह स्पष्ट रूप से IoU या Dice-आधारित लोकलाइजेशन रिवार्ड्स को बाहर रखता है। यह परीक्षण करता है कि क्या अंतिम उत्तर के लिए अनुकूलन (optimizing) स्थानिक ग्राउंडिंग को स्पष्ट रूप से बेहतर बनाता है।

मुख्य योगदान (Key Contributions)

क्रॉस-डायमेंशनल ग्राउंडेड ट्रांसफर: पेपर इस परिकल्पना को फॉर्म्युलेट और वैलिडेट करता है कि प्रचुर मात्रा में उपलब्ध 2D ग्राउंडेड रीजनिंग सुपरविजन, जब एक साझा लैंग्वेज-साइड इंटरफेस के माध्यम से संरेखित (aligned) हो, तो 3D मेडिकल VQA को बेहतर बना सकता है।
UniReason-Med फ्रेमवर्क: एक सिंगल-चेकपॉइंट मॉडल जो साझा बॉक्स सिंटैक्स, रीजन-टोकन इंजेक्शन और एक ग्राउंडेड रीजनिंग पॉलिसी के माध्यम से 2D इमेज और स्लाइस-सीरियलाइज्ड 3D वॉल्यूम्स को एकीकृत करता है।
UniMed-CoT डेटासेट: इंटरलीव्ड ग्राउंडेड CoT एनोटेशन्स के साथ एक बड़े पैमाने का (220K) डेटासेट, जिसे कठोर क्वालिटी फिल्टरिंग के साथ एक ऑटोमेटेड पाइपलाइन के माध्यम से बनाया गया है।
लोकलाइजेशन रिवार्ड्स के बिना RL का अनुभवजन्य सत्यापन: यह प्रदर्शित करना कि आउटकम-लेवल रीइन्फोर्समेंट लर्निंग, RL चरण के दौरान स्पष्ट IoU/Dice रिवार्ड्स की आवश्यकता के बिना, स्थानिक ग्राउंडिंग और लोकलाइजेशन सटीकता को बेहतर बनाती है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक अपने मॉडल का मूल्यांकन OmniMedVQA (2D) और M3D-VQA (3D) पर करते हैं।

क्रॉस-डायमेंशनल ट्रांसफर (RQ1): जॉइंट 2D+3D ट्रेनिंग, 3D-ओनली ट्रेनिंग की तुलना में काफी बेहतर प्रदर्शन करती है। 3D M3D-VQA बेंचमार्क पर, मैचड ट्रेनिंग स्टेप्स के तहत औसत सटीकता 61.2 (3D-ओनली) से बढ़कर 70.2 (2D+3D) हो गई, जो पुष्टि करती है कि 2D सुपरविजन वॉल्यूमेट्रिक रीजनिंग को लाभ पहुँचाता है।
कंपोनेंट एब्लेशन (RQ2):
- GCoT इंटरफेस: Text-CoT से Box-only GCoT, और अंततः Full GCoT (विजुअल टोकन्स के साथ) की ओर बढ़ने से 2D (62.0 $\to$ 65.3) और 3D (67.7 $\to$ 70.2) दोनों में प्रदर्शन में लगातार सुधार हुआ।
- ट्रेनिंग स्टेज: SFT और RL को मिलाने से सबसे अच्छे परिणाम मिले (2D में 71.1, 3D में 83.8), जो SFT-ओनली या RL-ओनली कॉन्फ़िगरेशन से बेहतर हैं।
लोकलाइजेशन रिवार्ड्स के बिना ग्राउंडिंग में सुधार (RQ3): RL के दौरान IoU/Dice रिवार्ड्स की अनुपस्थिति के बावजूद, ग्राउंडिंग की गुणवत्ता में महत्वपूर्ण सुधार हुआ।
- 2D (Kvasir-SEG): Dice स्कोर 0.54 (SFT) से सुधरकर 0.65 (SFT+RL) हो गया।
- 3D (AMOS22/MSD): Dice स्कोर ~0.37 से सुधरकर ~0.43–0.45 हो गया।
- सहसंबंध (Correlation): ग्राउंडिंग सटीकता और उत्तर की शुद्धता के बीच एक मजबूत सकारात्मक सहसंबंध ( $r=0.832$ ) देखा गया, जो सुझाव देता है कि सही उत्तरों के लिए अनुकूलन स्पष्ट रूप से लोकलाइजेशन को परिष्कृत करता है।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि एक साझा ग्राउंडेड रीजनिंग इंटरफेस स्लाइस-सीरियलाइज्ड वॉल्यूमेट्रिक मेडिकल अंडरस्टैंडिंग के लिए 2D इमेज से रीजनिंग स्ट्रक्चर को सफलतापूर्वक ट्रांसफर कर सकता है। इसका महत्व इस बात को प्रदर्शित करने में है कि:

संयुक्त सुपरविजन श्रेष्ठ है: एक यूनिफाइड ग्राउंडिंग सिंटैक्स के साथ 2D और 3D डेटा के मिश्रण पर प्रशिक्षण, 3D-ओनली ट्रेनिंग की तुलना में बेहतर 3D रीजनिंग प्रदान करता है।
इंप्लिसिट ग्राउंडिंग संभव है: आउटकम-लेवल रीइन्फोर्समेंट लर्निंग, RL चरण के दौरान स्पष्ट लोकलाइजेशन रिवार्ड्स (IoU/Dice) की कम्प्यूटेशनल लागत या डेटा आवश्यकताओं के बिना स्थानिक ग्राउंडिंग और लोकलाइजेशन सटीकता को बढ़ा सकती है।
व्याख्यात्मकता (Interpretability): फ्रेमवर्क रीजनिंग के साथ स्पष्ट विजुअल एविडेंस (बाउंडिंग बॉक्स/क्यूबॉइड्स और क्रॉप किए गए टोकन्स के माध्यम से) प्रदान करता है, जो कई मेडिकल MLLMs की "ब्लैक बॉक्स" प्रकृति को संबोधित करता है।

लेखक एक विनम्र रुख बनाए रखते हैं, यह नोट करते हुए कि यह कार्य अनुसंधान और बेंचमार्क विश्लेषण के लिए है, न कि स्वायत्त क्लिनिकल निर्णय लेने के लिए, और भविष्य के कार्यों को सघन (denser) वॉल्यूमेट्रिक एनकोडर्स और प्रोस्पेक्टिव क्लिनिकल वैलिडेशन की खोज करनी चाहिए।