⚡ electrical engineering

MedFormer-UR: Uncertainty-Routed Transformer for Medical Image Classification

MedFormer-UR एक उन्नत मेडिकल विजन ट्रांसफार्मर है जो मॉडल अंशांकन (कैलिब्रेशन) में सुधार करने, अस्पष्टता को स्थानीयकृत करने और विविध चिकित्सा इमेजिंग मोडैलिटीज में विश्वसनीय नैदानिक निर्णय लेने को सुनिश्चित करने के लिए प्रोटोटाइप-आधारित लर्निंग को डिरिचलेट डिस्ट्रीब्यूशन-गाइडेड अनसर्टेनिटी रूटिंग के साथ एकीकृत करता है।

मूल लेखक: Mohammed Maaz Sibhai, Abedalrhman Alkhateeb, Saad B. Ahmed

प्रकाशित 2026-04-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mohammed Maaz Sibhai, Abedalrhman Alkhateeb, Saad B. Ahmed

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक डॉक्टर हैं जो एक्स-रे या एमआरआई स्कैन देख रहे हैं। आपको एक कंप्यूटर प्रोग्राम की आवश्यकता है जो आपको यह निर्णय लेने में मदद कर सके कि छवि पर दिख रहा धब्बा एक हानिरहित गांठ है या एक खतरनाक ट्यूमर।

लंबे समय से, ये कंप्यूटर प्रोग्राम (जिन्हें एआई कहा जाता है) ट्यूमर को पहचानने में बहुत अच्छे रहे हैं। लेकिन उनमें एक बड़ा व्यक्तित्व दोष है: वे अति-आत्मविश्वासी हैं।

भले ही छवि धुंधली हो, रोशनी खराब हो, या ट्यूमर अजीब दिख रहा हो, एआई पूरे आत्मविश्वास के साथ कहेगा, "मुझे 99% यकीन है कि यह कैंसर है!" पूर्ण विश्वास के साथ। वास्तविक दुनिया में, यह खतरनाक है। यदि एआई गलत होता है, तो डॉक्टर अनावश्यक सर्जरी कर सकता है।

यह पेपर एक नए एआई जिसे MedFormer-UR कहा जाता है, का परिचय देता है। इसे केवल एक स्मार्ट छात्र के रूप में नहीं, बल्कि एक बुद्धिमान, सतर्क डॉक्टर के रूप में सोचें जो जानता है कि वह कब अनिश्चित है।

यह कैसे काम करता है, यहाँ सरल अवधारणाओं और उपमाओं में दिया गया है:

1. समस्या: "अति-आत्मविश्वासी छात्र"

कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है।

पुराना एआई: हर सवाल का जवाब तेजी से देता है। भले ही वह केवल अनुमान लगा रहा हो, वह हाथ उठाता है और चिल्लाकर कहता है, "मैं 100% सही हूँ!" उसे यह नहीं पता कि वह क्या नहीं जानता।
जोखिम: यदि छात्र गलत होता है, तो शिक्षक (डॉक्टर) फिर भी उस पर भरोसा करते हैं क्योंकि वह बहुत आश्वस्त लग रहा था।

2. समाधान: "अनिश्चितता रडार" (Uncertainty Radar)

नए MedFormer-UR के पास एक विशेष आंतरिक रडार है। केवल उत्तर देने के बजाय, यह खुद से लगातार पूछता है: "मैं इस विशिष्ट छवि के बारे में कितना निश्चित हूँ?"

उपमा: कल्पना कीजिए कि एआई एक धुंधले जंगल को देख रहा है।
- यदि वह एक स्पष्ट हिरण देखता है, तो वह कहता है, "वह एक हिरण है।"
- यदि वह धुंध में एक धुंधली आकृति देखता है, तो वह कहता है, "वह एक हिरण हो सकता है, लेकिन मैं केवल 60% सुनिश्चित हूँ। वह एक झाड़ी भी हो सकती है।"
- यह क्यों महत्वपूर्ण है: डॉक्टर अब जानते हैं, "ठीक है, एआई इस जगह के बारे में अनिश्चित है। मुझे इसे करीब से देखने या दूसरी राय लेने की आवश्यकता है।"

3. यह कैसे काम करता है: "ट्रैफिक पुलिस" (Uncertainty-Guided Routing)

पेपर में अनिश्चितता-निर्देशित रूटिंग (Uncertainty-Guided Routing) नामक एक तंत्र का वर्णन किया गया है।

उपमा: कल्पना कीजिए कि एक व्यस्त राजमार्ग (एआई का मस्तिष्क) है जहाँ सूचना कारों की तरह यात्रा कर रही है।
पुराना तरीका: सभी कारें पूरी गति से चलती हैं, चाहे सड़क साफ हो या कोहरे से बाधित हो।
नया तरीका (MedFormer-UR): हर चौराहे पर एक ट्रैफिक पुलिस खड़ा है।
- यदि रास्ता साफ है (कम अनिश्चितता), तो पुलिस कारों को तेजी से जाने का इशारा करती है।
- यदि रास्ता धुंधला या खतरनाक है (उच्च अनिश्चितता), तो पुलिस कारों की गति धीमी कर देती है या उन्हें दूसरा, सुरक्षित रास्ता लेने के लिए कहती है।
- परिणाम: एआई छवि के धुंधले हिस्से पर कठिन निर्णय लेने में अपनी ऊर्जा बर्बाद नहीं करता है। यह अपनी मानसिक शक्ति केवल उन हिस्सों पर केंद्रित करता है जिन्हें वह स्पष्ट रूप से देख सकता है।

4. "फ्लैशकार्ड" प्रणाली (प्रोटोटाइप लर्निंग)

एआई वास्तव में अपना निर्णय कैसे लेता है?

पुराना एआई: यह एक विशाल, अदृश्य गणितीय सूत्र का उपयोग करता है जिसे कोई नहीं समझता (एक "ब्लैक बॉक्स")।
नया एआई: यह फ्लैशकार्ड का उपयोग करता है।
- प्रशिक्षण के दौरान, एआई हर प्रकार की बीमारी के लिए "पूर्ण उदाहरणों" (प्रोटोटाइप) का एक सेट बनाता है। यह एक स्टैक फ्लैशकार्ड रखने जैसा है जो दिखाते हैं कि एक "सौम्य सिस्ट" (Benign Cyst) कैसा दिखता है और एक "घातक ट्यूमर" (Malignant Tumor) कैसा दिखता है।
- जब एक नई छवि आती है, तो एआई केवल अनुमान नहीं लगाता। वह नई छवि को अपने फ्लैशकार्ड के सामने रखता है और कहता है, "यह 'घातक' फ्लैशकार्ड से 80% मिलता-जुलता है और 'सौम्य' वाले से 20%।"
- यह क्यों शानदार है: यदि कोई डॉक्टर पूछता है, "आपने क्यों कहा कि यह कैंसर है?" तो एआई उस विशिष्ट फ्लैशकार्ड की ओर इशारा कर सकता है जिससे वह मेल खाता है। यह अब ब्लैक बॉक्स नहीं है; यह एक पारदर्शी तर्क मशीन है।

5. परिणाम: तेज नहीं, बल्कि भरोसेमंद

शोधकर्ताओं ने चार अलग-अलग प्रकार की चिकित्सा छवियों पर इस नए एआई का परीक्षण किया:

मैमोग्राम (स्तन एक्स-रे)
अल्ट्रासाउंड
एमआरआई (ब्रेन स्कैन)
माइक्रोस्कोप स्लाइड (ऊतक के नमूने)

निष्कर्ष प्रभावशाली थे:

बेहतर अंशांकन (Better Calibration): एआई अपने आत्मविश्वास के बारे में बहुत अधिक ईमानदार हो गया। यदि उसने कहा "80% सुनिश्चित हूँ," तो वह वास्तव में 80% बार सही था। (पुराना एआई "80% सुनिश्चित" कहता था लेकिन केवल 50% बार सही होता था)।
चयनात्मक भविष्यवाणी (Selective Prediction): जब एआई वास्तव में अनिश्चित था, तो वह कह सकता था, "मुझे नहीं पता, कृपया मानव से पूछें।" इसने कठिन मामलों में खतरनाक गलतियाँ करने से रोका।
ट्रेड-ऑफ (Trade-off): दिलचस्प बात यह है कि एआई को अधिक सतर्क बनाने से वह हमेशा अनुमान लगाने में अधिक स्मार्ट नहीं हुआ। कभी-कभी, बहुत अधिक सतर्क होने से वह निदान करने से चूक सकता था। शोधकर्ताओं ने एक "गोल्डिलॉक्स ज़ोन" (एक विशिष्ट सेटिंग) पाया जहाँ एआई सटीक और ईमानदार दोनों था।

बड़ी तस्वीर

यह पेपर केवल बीमारियों को पहचानने में एआई को स्मार्ट बनाने के बारे में नहीं है। यह एआई को भरोसेमंद बनाने के बारे में है।

चिकित्सा में, एक "स्मार्ट" एआई जो आत्मविश्वास के साथ गलत उत्तर देता है, खतरनाक है। एक "बुद्धिमान" एआई जो कहता है, "मैं एक ट्यूमर देख रहा हूँ, लेकिन मैं 100% सुनिश्चित नहीं हूँ, इसलिए आइए दोबारा जाँच करें," एक ऐसा साथी है जो जीवन बचाता है। MedFormer-UR एक ऐसे एआई के निर्माण की दिशा में एक कदम है जो केवल एक मशीन की तरह व्यवहार नहीं करता, बल्कि एक जिम्मेदार चिकित्सा पेशेवर की तरह व्यवहार करता है।

यहाँ शोध पत्र "MEDFORMER-UR: UNCERTAINTY-ROUTED TRANSFORMER FOR MEDICAL IMAGE CLASSIFICATION" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डीप लर्निंग मॉडल, विशेष रूप से विजन ट्रांसफॉर्मर्स (ViTs) जैसे कि MedFormer, मेडिकल इमेज विश्लेषण में अत्याधुनिक प्रदर्शन (state-of-the-art performance) प्राप्त कर चुके हैं। हालाँकि, नैदानिक सेटिंग्स (clinical settings) में उनकी तैनाती विश्वसनीयता (trustworthiness) की कमी के कारण बाधित है।

अति-आत्मविश्वास (Overconfidence): मानक मॉडल खराब कैलिब्रेटेड संभावनाएँ (poorly calibrated probabilities) उत्पन्न करते हैं, जो अक्सर अस्पष्ट या आउट-ऑफ-डिस्ट्रीब्यूशन इनपुट पर अत्यधिक आत्मविश्वास प्रदर्शित करते हैं।
ब्लैक बॉक्स प्रकृति (Black Box Nature): उनमें इस संबंध में पारदर्शिता की कमी होती है कि कोई निर्णय क्यों लिया गया।
डेटा चुनौतियाँ: नैदानिक डेटा स्वाभाविक रूप से शोर युक्त (noisy), असंतुलित और अस्पष्ट होता है (जैसे, कम कंट्रास्ट वाले मैमोग्राम, ओवरलैपिंग ऊतक), जिससे उच्च एलीटोरिक (aleatoric - डेटा संबंधी) और एपिस्टेमिक (epistemic - मॉडल संबंधी) अनिश्चितता उत्पन्न होती है।
मौजूदा समाधानों की सीमाएँ: बेयसियन विधियाँ (जैसे, मोंटे कार्लो ड्रॉपआउट) कम्प्यूटेशनल रूप से महंगी हैं, और पोस्ट-हॉक कैलिब्रेशन तकनीकें (जैसे, टेम्परेचर स्केलिंग) प्रशिक्षण चरण के दौरान अति-आत्मविश्वास को संबोधित नहीं करती हैं।

यह शोध पत्र एक ऐसे ढांचे का प्रस्ताव करता है जो सुरक्षित, विश्वसनीय और व्याख्या योग्य नैदानिक एकीकरण सुनिश्चित करने के लिए सीखने की प्रक्रिया में सीधे अनिश्चितता मात्रा निर्धारण (uncertainty quantification) को एकीकृत करता है।

2. कार्यप्रणाली: MedFormer-UR (Methodology: MedFormer-UR)

लेखक MedFormer-UR का प्रस्ताव करते हैं, जो पदानुक्रमित (hierarchical) MedFormer आर्किटेक्चर का एक विस्तार है। यह ढांचा कोर ड्यूल स्पार्स सिलेक्शन अटेंशन (DSSA) बैकबोन को बदले बिना तीन मुख्य तंत्रों को पेश करता है:

A. प्रति-टोकन एविडेंशियल अनसर्टेन्टी एस्टीमेशन (Per-Token Evidential Uncertainty Estimation)

मानक सॉफ्टमैक्स आउटपुट के बजाय, मॉडल एक डिरिचलेट वितरण (Dirichlet distribution) का उपयोग करके एक एविडेंशियल लर्निंग फ्रेमवर्क नियोजित करता है।

तंत्र (Mechanism): एक हल्का "एविडेंशियल हेड" प्रत्येक स्थानिक टोकन (spatial token) के लिए गैर-ऋणात्मक साक्ष्य मान ( $e_i$ ) की भविष्यवाणी करता है। इन्हें डिरिचलेट मापदंडों ( $\alpha_i = e_i + 1$ ) में परिवर्तित किया जाता है।
अनिश्चितता गणना (Uncertainty Calculation): अनिश्चितता ( $\sigma_i$ ) को डिरिचलेट स्ट्रेंथ ( $S_i = \sum \alpha_{i,c}$ ) से प्राप्त किया जाता है। कम साक्ष्य का अर्थ है उच्च अनिश्चितता।
लाभ: यह मॉडल को वास्तविक समय में टोकन स्तर (स्थानिक क्षेत्रों) पर अस्पष्टता को मापने और स्थानीयकृत करने की अनुमति देता है, जिससे एलीटोरिक और एपिस्टेमिक अनिश्चितता के बीच अंतर किया जा सके।

B. अनसर्टेन्टी-गाइडेड रूटिंग एंड रिफाइनमेंट (Uncertainty-Guided Routing and Refinement - UGTR)

अनिश्चितता केवल एक आउटपुट नहीं है; यह फॉरवर्ड पास के दौरान एक सक्रिय नियंत्रण संकेत (active control signal) के रूप में कार्य करती है।

ड्यूल पाथ आर्किटेक्चर: ट्रांसफॉर्मर ब्लॉक्स में एक मुख्य अटेंशन पाथ (वैश्विक संदर्भ कैप्चर करने के लिए) और एक रिफाइनमेंट पाथ (स्थानीय विवरण कैप्चर करने के लिए) होता है।
रूटिंग मास्क (Routing Mask): एक रूटिंग नेटवर्क एक सॉफ्ट मास्क की भविष्यवाणी करता है ताकि यह निर्धारित किया जा सके कि रिफाइनमेंट की आवश्यकता कहाँ है।
अनसर्टेन्टी गेटिंग (Uncertainty Gating): रिफाइनमेंट अपडेट को टोकन-स्तरीय अनिश्चितता द्वारा नियंत्रित (modulate) किया जाता है।
- उच्च अनिश्चितता: रिफाइनमेंट को दबा दिया जाता है (गेट डाउन किया जाता है) ताकि मॉडल अविश्वसनीय विशेषताओं को बढ़ाने से बच सके। मॉडल एक स्थिर बेसलाइन प्रतिनिधित्व पर निर्भर रहता है।
- कम अनिश्चितता: नैदानिक रूप से प्रासंगिक विशेषताओं (जैसे, लीजन बाउंड्रीज़) को तेज करने के लिए रिफाइनमेंट लागू किया जाता है।
ग्लोबल गेट (Global Gate): एक ग्लोबल अनसर्टेन्टी कोएफिशिएंट ( $\beta$ ) छवि की एकत्रित अनिश्चितता के आधार पर रिफाइनमेंट के समग्र परिमाण को नियंत्रित करता है।

C. प्रोटोटाइप-आधारित प्रतिनिधित्व लर्निंग (Prototype-Based Representation Learning)

व्याख्यात्मकता (interpretability) में सुधार के लिए, क्लासिफिकेशन हेड को एक प्रोटोटाइप-आधारित दृष्टिकोण के साथ बदला या बढ़ाया जाता है।

अवधारणा (Concept): एक लीनियर क्लासिफायर के बजाय, मॉडल क्लास-विशिष्ट प्रोटोटाइप (संदर्भ पैटर्न) सीखता है।
निर्णय तर्क (Decision Logic): भविष्यवाणियाँ इनपुट फीचर्स और इन सीखे गए प्रोटोटाइप के बीच समानता (कोसाइन सिमिलैरिटी) के आधार पर की जाती हैं।
नियमितीकरण (Regularization): एक क्लस्टर लॉस यह सुनिश्चित करता है कि प्रोटोटाइप टोकन से मेल खाएं, और एक डायवर्सिटी लॉस प्रोटोटाइप कोलैप्स को रोकता है।
लाभ: यह निर्णयों को ज्ञात पैटर्न के साथ दृश्य समानता (visual similarity) में स्थापित करता है, जिससे इसकी तर्क प्रक्रिया पारदर्शी और नैदानिक रूप से व्याख्या योग्य बन जाती है।

D. प्रशिक्षण उद्देश्य (Training Objective)

मॉडल को एक संयुक्त लॉस फंक्शन का उपयोग करके प्रशिक्षित किया जाता है:
$L = L_{CE} + \lambda_{route}L_{routing} + L_{prototype}$
जहाँ $L_{CE}$ क्रॉस-एन्ट्रॉपी है, $L_{routing}$ रूटिंग मास्क को सुपरवाइज करता है (उपलब्ध टिश्यू मास्क का उपयोग करके), और $L_{prototype}$ प्रोटोटाइप संरचना को लागू करता है।

3. प्रमुख योगदान (Key Contributions)

नवल आर्किटेक्चर (Novel Architecture): प्रति-टोकन अनसर्टेन्टी डिकम्पोजिशन और अनसर्टेन्टी-गाइडेड फीचर रूटिंग के लिए एविडेंशियल हेड्स को शामिल करने वाला एक एकीकृत मेडफॉर्मर विस्तार।
सक्रिय अनसर्टेन्टी कंट्रोल (Active Uncertainty Control): एक तंत्र जहाँ अनिश्चितता प्रशिक्षण के दौरान फीचर अपडेट को गतिशील रूप से दबाती या परिष्कृत करती है, न कि केवल एक पोस्ट-हॉक मीट्रिक के रूप में।
व्याख्या योग्य एम्बेडिंग स्पेस (Interpretable Embedding Space): कॉन्ट्रास्टिव लॉस के साथ सीखने योग्य क्लास प्रोटोटाइप का एकीकरण, जो समानता-आधारित तर्क को सक्षम बनाता है।
व्यापक मूल्यांकन (Comprehensive Evaluation): चार विविध मोडालिटीज़ (मैमोग्राफी, अल्ट्रासाउंड, एमआरआई, हिस्टोपैथोलॉजी) में व्यापक परीक्षण, जो सटीकता और विश्वसनीयता दोनों में सुधार प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

मॉडल का मूल्यांकन चार डेटासेट्स पर किया गया: CBIS-DDSM (मैमोग्राफी), BUSI (अल्ट्रासाउंड), IDC (हिस्टोपैथोलॉजी), और Brain MRI।

वर्गीकरण प्रदर्शन (Classification Performance):
- अल्ट्रासाउंड (BUSI): सटीकता (0.800 $\to$ 0.893) और AUROC (0.919 $\to$ 0.956) में महत्वपूर्ण सुधार।
- हिस्टोपैथोलॉजी (BreaKHis): मध्यम लेकिन निरंतर लाभ (सटीकता 0.9206 $\to$ 0.9303)।
- Brain MRI: उच्च बेसलाइन प्रदर्शन में और सुधार हुआ (सटीकता 0.9733 $\to$ 0.9809)।
- मैमोग्राफी (CBIS-DDSM): अंतर्निहित डेटा कठिनाई (कम कंट्रास्ट, शोर) के बावजूद, मॉडल ने सटीकता (0.629 $\to$ 0.673) और AUROC (0.727 $\to$ 0.755) में सुधार किया।
कैलिब्रेशन और विश्वसनीयता (महत्वपूर्ण निष्कर्ष) (Calibration and Reliability):
- सबसे महत्वपूर्ण प्रभाव मॉडल कैलिब्रेशन पर था। प्रस्तावित विधि ने एक्सपेक्टेड कैलिब्रेशन एरर (ECE) को 35% तक कम कर दिया (इष्टतम $\beta$ पर 0.1836 से 0.0688 तक)।
- चयनात्मक भविष्यवाणी (Selective Prediction): मॉडल ने अनिश्चित भविष्यवाणियों को अस्वीकार करने की बेहतर क्षमता प्रदर्शित की। इष्टतम रूटिंग स्ट्रेंथ ( $\beta \approx 0.8$ ) पर, इसने सबसे कम एरिया अंडर द रिस्क-कवरेज कर्व (AURC) प्राप्त किया, जो दर्शाता है कि जब मॉडल आश्वस्त होता है, तो उसके सही होने की संभावना बहुत अधिक होती है।
- गैर-मोनोटोनिक व्यवहार (Non-Monotonic Behavior): अध्ययन में पाया गया कि अनसर्टेन्टी रूटिंग स्ट्रेंथ ( $\beta$ ) बढ़ाने से प्रदर्शन रैखिक रूप से बेहतर नहीं होता है। एक मध्यवर्ती मान (जैसे, $\beta=0.8$ ) ने भेदभाव और विश्वसनीयता के बीच सबसे अच्छा संतुलन प्रदान किया, जबकि अत्यधिक मानों ने कैलिब्रेशन को खराब कर दिया।

5. महत्व और निष्कर्ष (Significance and Conclusion)

MedFormer-UR उच्च सटीकता और नैदानिक विश्वसनीयता के बीच के महत्वपूर्ण अंतर को संबोधित करता है।

नैदानिक प्रासंगिकता (Clinical Relevance): अनिश्चितता मानचित्रों (uncertainty maps) को प्रदान करके (जो अस्पष्ट क्षेत्रों को उजागर करते हैं, जैसे घने ऊतक या अस्पष्ट लीजन बाउंड्रीज़), यह मॉडल सुरक्षित निर्णय लेने में सहायता करता है, जिससे अति-आत्मविश्वास कम होता है। यह चिकित्सकों को उच्च-विश्वास वाली भविष्यवाणियों पर भरोसा करने और कम-विश्वास वाले मामलों के लिए मानव समीक्षा खोजने की अनुमति देता है।
व्याख्यात्मकता (Interpretability): अनसर्टेन्टी मैप्स (जो दिखाते हैं कि मॉडल कहाँ अनिश्चित है) और प्रोटोटाइप समानता (जो दिखाते हैं कि कौन से दृश्य पैटर्न निर्णय को संचालित करते हैं) का संयोजन भविष्यवाणियों के लिए एक पारदर्शी तर्क प्रदान करता है।
सामान्यीकरण क्षमता (Generalizability): यह ढांचा विविध इमेजिंग मोडालिटीज़ में प्रभावी साबित हुआ है, जो बताता है कि अनसर्टेन्टी-अवेयर रूटिंग और प्रोटोटाइप लर्निंग मेडिकल एआई के लिए मजबूत रणनीतियाँ हैं।

संक्षेप में, यह शोध पत्र प्रदर्शित करता है कि पदानुक्रमित ट्रांसफॉर्मर्स में एविडेंशियल अनसर्टेन्टी और प्रोटोटाइप लर्निंग को एकीकृत करने से एक ऐसा मॉडल बनता है जो न केवल सटीक है, बल्कि कैलिब्रेटेड, विश्वसनीय और व्याख्या योग्य भी है, जो स्वास्थ्य सेवा में सुरक्षित तैनाती के लिए आवश्यक पूर्व शर्तें हैं।