🤖 machine learning

Beyond Symmetric Alignment: Spectral Diagnostics of Modality Imbalance in Vision-Language Models in the Medical Domain

यह शोध पत्र स्पेक्ट्रल अलाइनमेंट स्कोर (SAS) को प्रस्तुत करता है, जो एक असममित मीट्रिक है जो यह दर्शाकर मेडिकल विजन-लैंग्वेज मॉडल्स में छिपे हुए मोडैलिटी असंतुलन को उजागर करता है कि क्लिनिकल रिपोर्ट्स में अक्सर मेडिकल इमेजेस की तुलना में कम स्ट्रक्चरल जानकारी होती है, जो एक महत्वपूर्ण नैदानिक अंतर्दृष्टि है जिसे मौजूदा सममित मीट्रिक्स पकड़ने में विफल रहते हैं।

मूल लेखक: Alessandro Gambetti, Qiwei Han, Cláudia Soares, Hong Shen

प्रकाशित 2026-06-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alessandro Gambetti, Qiwei Han, Cláudia Soares, Hong Shen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी समस्या: अस्पताल में एक टूटा हुआ अनुवादक (Translator)

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान अनुवादक है जिसने इंटरनेट से लाखों किताबें पढ़कर और लाखों तस्वीरें देखकर "चित्र" (Image) और "पाठ" (Text) की भाषा सीखी है। यह अनुवादक एक कुत्ते की तस्वीर को "कुत्ता" शब्द या सूर्यास्त को "सुंदर" शब्द के साथ जोड़ने में बहुत माहिर है।

लेकिन जब डॉक्टर इस अनुवादक को अस्पताल में इस्तेमाल करने की कोशिश करते हैं, तो यह विफल होने लगता है। एक डॉक्टर टूटी हुई हड्डी का एक्स-रे अपलोड करता है, और अनुवादक उससे मेल खाती मेडिकल रिपोर्ट नहीं ढूँढ पाता। यह ऐसा है जैसे अनुवादक "इंटरनेट इंग्लिश" बोलने में तो माहिर है, लेकिन वह "हॉस्पिटल इंग्लिश" बोलना भूल गया है।

इस शोध पत्र के शोधकर्ताओं ने पूछा: यह विफल क्यों हो रहा है? और अधिक महत्वपूर्ण बात यह है कि, बातचीत के किस पक्ष में समस्या है? क्या अनुवादक चित्रों को समझने में बुरा है, या वह मेडिकल रिपोर्ट्स को समझने में बुरा है?

पुराने उपकरण: "औसत" स्कोर

इस शोध पत्र से पहले, वैज्ञानिक यह मापने के लिए कि अनुवादक कैसा प्रदर्शन कर रहा है, कुछ उपकरणों का उपयोग करते थे। ये उपकरण एक एकल स्कोर देते थे, जैसे किसी परीक्षा में मिला ग्रेड।

दोष: ये उपकरण चित्र और पाठ को एक टीम की तरह मानते थे। यदि टीम को "C" ग्रेड मिला, तो टूल बस इतना कहता था, "टीम खराब प्रदर्शन कर रही है।" यह आपको यह नहीं बताता था कि चित्र कमजोर कड़ी थी या पाठ। यह एक कोच की तरह था जो केवल यह कहता है, "टीम हार गई," बिना यह बताए कि क्वार्टरबैक ने खराब पास फेंके या डिफेंस ने चूक की।

नया उपकरण: "स्पेक्ट्रल अलाइनमेंट स्कोर" (SAS)

लेखकों ने SAS नामक एक नया उपकरण बनाया है। SAS को एक दो-तरफा दर्पण (two-way mirror) के रूप में सोचें जो आपको दोनों पक्षों को अलग-अलग देखने की अनुमति देता है।

एक एकल ग्रेड देने के बजाय, SAS दो प्रश्न पूछता है:

यदि मैं पाठ (Text) को देखूँ, तो मैं चित्र (Image) के बारे में कितना अनुमान लगा सकता हूँ? (Text $\to$ Image)
यदि मैं चित्र को देखूँ, तो मैं पाठ के बारे में कितना अनुमान लगा सकता हूँ? (Image $\to$ Text)

इन दोनों उत्तरों की तुलना करके, SAS एक असंतुलन (imbalance) को पकड़ सकता है।

बड़ी खोज: चित्र, रिपोर्ट की तुलना में अधिक "समृद्ध" है

जब शोधकर्ताओं ने चिकित्सा डेटा पर इसका परीक्षण किया, तो उन्हें कुछ ऐसा मिला जो पुराने उपकरणों ने मिस कर दिया था:

"इंटरनेट" की दुनिया में (Natural Data): चित्र और पाठ संतुलित थे। आप पाठ से चित्र का और चित्र से पाठ का समान रूप रूप से अनुमान लगा सकते थे।
"अस्पताल" की दुनिया में (Medical Data): यहाँ एक बड़ा असंतुलन था।
- निष्कर्ष: चिकित्सा चित्रों (एक्स-रे, एमआरआई) में विस्तृत संरचनात्मक जानकारी का एक विशाल भंडार होता है। हालाँकि, मेडिकल रिपोर्ट्स (पाठ) अक्सर छोटी, अस्पष्ट या विशिष्ट शब्दावली (jargon) वाली होती हैं जो चित्र के सभी विवरणों को कैप्चर नहीं कर पाती हैं।
- उदाहरण: कल्पना कीजिए कि 100 गतिशील पुर्जों वाली एक जटिल मशीन की तस्वीर है। लिखित विवरण केवल यह कहता है, "यह मशीन खराब है।"
  - यदि आप पाठ को देखते हैं, तो आप मशीन के विवरण का अनुमान नहीं लगा सकते (Text $\to$ Image कमजोर है)।
  - यदि आप चित्र को देखते हैं, तो आप अनुमान लगा सकते हैं कि पाठ एक खराब मशीन के बारे में है (Image $\to$ Text मजबूत है)।
- परिणाम: SAS टूल ने दिखाया कि अस्पतालों में, चित्र में पाठ द्वारा व्यक्त की जाने वाली जानकारी से कहीं अधिक जानकारी होती है। पाठ ही यहाँ "बॉटलनेक" (रुकावट) है।

यह डॉक्टरों के लिए क्यों महत्वपूर्ण है

यह शोध पत्र दावा करता है कि यह नया टूल यह भविष्यवाणी करने में सबसे अच्छा है कि क्या कोई सिस्टम वास्तव में मेडिकल रिकॉर्ड खोजने (रिट्रीवल) के लिए काम करेगा।

पुराना तरीका: आप एक सिस्टम को प्रशिक्षित करते हैं, उसका परीक्षण करते हैं, और यदि वह विफल होता है, तो आप केवल अनुमान लगाते हैं कि क्यों।
नया तरीका (SAS): आप सिस्टम को तैनात करने से पहले ही SAS का उपयोग करते हैं। यह आपको बताता है: "हे, आपका सिस्टम इसलिए विफल हो रहा है क्योंकि पाठ विवरण इतने विस्तृत नहीं हैं कि वे जटिल एक्स-रे से मेल खा सकें।"

शोध पत्र से एक वास्तविक उदाहरण

शोधकर्ताओं ने दंत चिकित्सा एक्स-रे (पैनोरैमिक रेडियोग्राफ) पर इसका परीक्षण किया।

केस A: एक एक्स-रे में एक साधारण समस्या दिखाई दी, और रिपोर्ट उससे अच्छी तरह मेल खाती थी। SAS स्कोर संतुलित थे।
केस B: एक एक्स-रे में पेंच (screws) और ग्राफ्ट के साथ एक बहुत ही जटिल सर्जरी दिखाई दी। रिपोर्ट थोड़ी सामान्य थी।
- SAS टूल ने एक बड़ा अंतर दिखाया: चित्र में बहुत सारे विवरण थे, लेकिन टेक्स्ट स्कोर कम था। टूल ने सही ढंग से पहचाना कि टेक्स्ट चित्र की जटिलता को पकड़ने में विफल रहा।

सारांश

समस्या: मेडिकल AI संघर्ष कर रहा है क्योंकि इसे अस्पताल के डेटा के बजाय इंटरनेट डेटा पर प्रशिक्षित किया गया था।
पुरानी गलती: पिछले उपकरण एक एकल स्कोर देते थे जो यह छिपा देता था कि AI क्यों विफल हो रहा है।
समाधान: नया SAS टूल स्कोर को दो भागों में विभाजित करता है, जिससे पता चलता है कि कौन सा पक्ष (चित्र या पाठ) कमजोर कड़ी है।
खोज: चिकित्सा में, चित्र अक्सर उन रिपोर्टों की तुलना में अधिक विस्तृत होते हैं जो उनका वर्णन करती हैं। पाठ ही कमजोर कड़ी है, न कि चित्र।

यह टूल डेवलपर्स को यह जानने में मदद करता है कि उन्हें AI को कहाँ सुधारना है: उन्हें चित्रों को "बेहतर" बनाने के बजाय, अपने पाठ विवरणों को समृद्ध बनाना होगा ताकि वे विस्तृत चित्रों से मेल खा सकें।

तकनीकी सारांश: सममित संरेखण से परे: चिकित्सा डोमेन में विजन-लैंग्वेज मॉडल्स में मोडैलिटी असंतुलन का स्पेक्ट्रल डायग्नोस्टिक्स

समस्या विवरण
विजन-लैंग्वेज मॉडल्स (VLMs) चिकित्सा इमेज-टेक्स्ट डेटा पर लागू होने पर अक्सर खराब प्रदर्शन करते हैं, जबकि प्राकृतिक डोमेन में वे सफल रहे हैं। जबकि मौजूदा रिप्रजेंटेशन एलाइनमेंट मेट्रिक्स (जैसे CKA, SVCCA, CORAL, MMD, RMG) यह पता लगा सकते हैं कि डोमेन शिफ्ट के तहत संरेखण (alignment) कैसे कम होता है, वे स्वाभाविक रूप से सममित (symmetric) होते हैं। ये मेट्रिक्स क्रॉस-मोडल एलाइनमेंट को एक एकल द्विदिश स्कोर में समाहित कर देते हैं, जिससे यह पहचानना असंभव हो जाता है कि गिरावट किस मोडैलिटी के कारण हुई है। मेडिकल इमेजिंग में, जहाँ विजुअल स्ट्रक्चर अक्सर सूचना-सघन होते हैं जबकि युग्मित क्लिनिकल रिपोर्ट्स संक्षिप्त और डोमेन-विशिष्ट होती हैं, यह दिशात्मक विषमता (directional asymmetry) अत्यंत महत्वपूर्ण है। वर्तमान उपकरण यह अंतर नहीं कर सकते कि विफलता इमेज एनकोडर की टेक्स्ट की बारीकियों को पकड़ने में असमर्थता से आई है या टेक्स्ट एनकोडर की जटिल विजुअल स्ट्रक्चर्स को पुनः प्राप्त करने में अक्षमता से आई है।

कार्यप्रणाली (Methodology)
लेखक स्पेक्ट्रल एलाइनमेंट स्कोर (SAS) पेश करते हैं, जो एक ऐसा मेट्रिक है जिसे क्रॉस-मोडल एलाइनमेंट को दिशात्मक, आइगेनमोड-विशिष्ट घटकों में विभाजित करने के लिए डिज़ाइन किया गया है।

गणितीय सूत्रीकरण: सेंटर्ड रिप्रजेंटेशन मैट्रिसेस $X$ (इमेज) और $Y$ (टेक्स्ट) के दिए जाने पर, SAS दोनों मोडैलिटीज को एक एंकर मोडैलिटी (जैसे $X$ ) के मुख्य आइगेनबेसिस (principal eigenbasis) पर प्रोजेक्ट करता है। यह एक क्वांटाइल पैरामीटर $q$ द्वारा परिभाषित शीर्ष स्पेक्ट्रल दिशाओं पर आइगेनवैल्यू-वेटेड प्रति-आइगेनमोड सहसंबंधों ( $\rho_k$ ) की गणना करता है।
दिशात्मक स्कोर: इससे दो दिशात्मक स्कोर प्राप्त होते हैं: $S_{X \to Y}$ (टेक्स्ट इमेज के प्रमुख आइगेनस्पेस को कितनी अच्छी तरह रिकवर करता है) और $S_{Y \to X}$ (इमेज टेक्स्ट के प्रमुख आइगेनस्पेस को कितनी अच्छी तरह रिकवर करता है)।
इम्बैलेंस मेट्रिक: $\Delta SAS = S_{X \to Y} - S_{Y \to X}$ मोडैलिटी सूचना असंतुलन को मापता है। एक सकारात्मक $\Delta SAS$ यह दर्शाता है कि इमेज मोडैलिटी में टेक्स्ट द्वारा रिकवर किए जा सकने वाले हिस्से की तुलना में अधिक समृद्ध संरचनात्मक जानकारी मौजूद है।
लोकल एक्सटेंशन: लेखक SAS को इंस्टेंस-लेवल फॉर्मूलेशन तक विस्तारित करते हैं, जिससे संदर्भ जनसंख्या पर फिट किए गए फ्रोजन स्पेक्ट्रल प्रायर का उपयोग करके व्यक्तिगत इमेज-कैप्शन पेयर्स को स्कोर करना संभव होता है।

प्रायोगिक सेटअप (Experimental Setup)
यह अध्ययन 15 VLMs (13 सामान्य-उद्देश्यीय, 2 मेडिकल-विशिष्ट: PubMedCLIP और PLIP) को चार डेटासेट्स पर बेंचमार्क करता है:

प्राकृतिक (Natural): MS-COCO 2014, Flickr30k।
मेडिकल (Medical): ROCO, MIMIC-CXR।
अध्ययन मौजूदा छह एलाइनमेंट मेट्रिक्स (CKA, SVCCA, CORAL, MMD, RMG, और कोसाइन सिमिलरिटी डिफरेंस) और द्विदिश रिट्रीवल परफॉरमेंस (R@1) के विरुद्ध SAS का मूल्यांकन करता है।

मुख्य परिणाम

डोमेन शिफ्ट का पता लगाना: दस में से नौ मेट्रिक्स प्राकृतिक से मेडिकल डेटासेट में जाने पर एलाइनमेंट में गिरावट का सफलतापूर्वक पता लगाते हैं। हालांकि, केवल SAS ही इस गिरावट की दिशा को प्रकट करता है।
मेडिकल डोमेन में दिशात्मक विषमता: प्राकृतिक डेटासेट्स में, $\Delta SAS$ सांख्यिकीय रूप से शून्य से भिन्न नहीं है (सममित संरेखण)। इसके विपरीत, सभी 13 सामान्य-उद्देश्यीय VLMs और दोनों मेडिकल डेटासेट्स में, $\Delta SAS$ महत्वपूर्ण रूप से सकारात्मक ( $+0.049, p < 0.001$ ) है। यह इंगित करता है कि मेडिकल इमेजेस अपने प्रमुख आइगेनस्पेस में समृद्ध संरचनात्मक जानकारी बनाए रखती हैं, जिसे युग्मित क्लिनिकल रिपोर्ट्स रिकवर नहीं कर पातीं। यह विषमता सभी सममित मेट्रिक्स के लिए अदृश्य है।
स्पेक्ट्रल संवेदनशीलता (Spectral Sensitivity): असंतुलन सबसे अधिक तब स्पष्ट होता है जब शीर्ष आइगेनमोड्स (कम $q$ ) पर ध्यान केंद्रित किया जाता है। जैसे-जैसे $q$ बढ़ता है और इसमें लो-वेरिएंस मोड्स शामिल होते हैं, अंतर कम होता जाता है, जो यह सुझाव देता है कि महत्वपूर्ण सूचना असंतुलन प्राथमिक स्पेक्ट्रल दिशाओं में निहित है।
भविष्यवाणी शक्ति (Predictive Power): SAS मेडिकल डोमेन में डाउनस्ट्रीम रिट्रीवल पर सबसे मजबूत ज़ीरो-लेबल सहसंबंध ( $\rho = +0.969$ ) प्रदर्शित करता है, जो CKA, SVCCA और अन्य मेट्रिक्स से बेहतर है।
मेडिकल मॉडल प्रदर्शन: विशेष मेडिकल VLMs (PubMedCLIP, PLIP) भी MIMIC-CXR पर रिट्रीवल में संघर्ष करते हैं (लगभग शून्य R@1), भले ही वे सामान्य मॉडल्स की तुलना में बेहतर एलाइनमेंट स्कोर दिखाते हैं। यह सुझाव देता है कि संरेखण आवश्यक तो है, लेकिन जटिल क्लिनिकल जारगन (jargon) के कारण यह मजबूत मेडिकल रिट्रीवल के लिए पर्याप्त नहीं है।
केस स्टडी: डेंटल पैनोरैमिक रेडियोग्राफ (OPGs) पर लागू इंस्टेंस-लेवल SAS ने सफलतापूर्वक उन विशिष्ट पेयर्स की पहचान की जहाँ टेक्स्ट इमेज में मौजूद सर्जिकल हार्डवेयर विवरणों को कैप्चर करने में विफल रहा (उच्च $S_{X \to Y}$ , निम्न $S_{Y \to X}$ ), जिससे सैंपल स्तर पर मेट्रिक की डायग्नोस्टिक उपयोगिता की पुष्टि हुई।

महत्व और दावे
पेपर का दावा है कि SAS "मिसिंग डायग्नोस्टिक डायमेंशन" प्रदान करता है। इसका प्राथमिक योगदान मौजूदा मेट्रिक्स को बदलने के बजाय, उनके साथ तालमेल बिठाकर काम करना है:

डायग्नोसिस: जबकि कोसाइन सिमिलरिटी ( $\Delta cos$ ) यह मापती है कि युग्मित आइटम अलग किए जा सकते हैं या नहीं (रिट्रीवल तत्परता), SAS यह पहचानता है कि कौन सा एनकोडर बाधा (bottleneck) है।
कार्रवाई योग्य अंतर्दृष्टि (Actionable Insight): लेखक तर्क देते हैं कि एक सकारात्मक $\Delta SAS$ यह सुझाव देता है कि टेक्स्ट एनकोडर कमजोर कड़ी है, जिसका अर्थ है कि जॉइंट फाइन-ट्यूनिंग के बजाय डोमेन-विशिष्ट लैंग्वेज मॉडल प्री-ट्रेनिंग या क्लिनिकल रिपोर्ट्स पर टेक्स्ट-एनकोडर फाइन-ट्यूनिंग जैसे हस्तक्षेप अधिक प्रभावी हो सकते हैं।
क्लिनिकल प्रासंगिकता: दिशात्मक असंतुलन को उजागर करके, SAS अधिक व्याख्या योग्य (explainable) मेडिकल AI की ओर एक मार्ग प्रदान करता है, जिससे संभावित रूप से क्लिनिशियन यह निरीक्षण कर सकते हैं कि कौन सी विजुअल अवधारणाओं के विश्वसनीय टेक्स्ट समकक्षों की कमी है।

लेखक एक मध्यम रुख अपनाते हुए, समान फीचर डायमेंशन की आवश्यकता और इस तथ्य जैसी सीमाओं का उल्लेख करते हैं कि उच्च एलाइनमेंट स्कोर जटिल क्लिनिकल डोमेन में गारंटीकृत डाउनस्ट्रीम रिट्रीवल सफलता सुनिश्चित नहीं करते हैं। वे SAS को पारदर्शी, व्याख्या योग्य और सक्रिय रूप से सुधारा जा सकने वाले क्लिनिकल AI सिस्टम के एक टूल के रूप में प्रस्तुत करते हैं।