🤖 machine learning

LongMoE: Longitudinal Multimodal Learning via Trajectory-Aware Mixture-of-Experts

LongMoE एक एकीकृत ढांचा है जो संदर्भ-जागरूक प्रतिस्थापन (context-aware imputation), आवृत्ति-डोमेन टेम्पोरल टोकनाइज़ेशन (frequency-domain temporal tokenization), और प्रक्षेपवक्र-जागरूक स्पार्स मिक्चर-ऑफ-एक्सपर्ट्स रूटिंग (trajectory-aware Sparse Mixture-of-Experts routing) को एकीकृत करके क्लिनिकल लर्निंग में मोडैलिटी की अनुपलब्धता और अनुदैर्ध्य गतिशीलता (longitudinal dynamics) की दोहरी चुनौतियों का समाधान करता है ताकि अनियमित, अपूर्ण मल्टीमॉडल विज़िट अनुक्रमों के माध्यम से सुदृढ़ रोगी-विशिष्ट मॉडलिंग सक्षम की जा सके।

मूल लेखक: Maxx Richard Rahman, Prakhar Kumar, Wolfgang Maass

प्रकाशित 2026-06-10

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Maxx Richard Rahman, Prakhar Kumar, Wolfgang Maass

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ LONGMOE पेपर का स्पष्टीकरण दिया गया है, जिसे सरल अवधारणाओं और रोज़मर्रा के उदाहरणों में विभाजित किया गया है।

बड़ी समस्या: "गायब पहेली के टुकड़े" और "चलती हुई तस्वीर"

कल्पना कीजिए कि एक डॉक्टर अल्जाइमर से पीड़ित मरीज का निदान करने की कोशिश कर रहा है। उनके पास एक विशाल पहेली को सुलझाने का काम है, लेकिन इसके टुकड़े अलग-अलग बक्सों से आते हैं:

बॉक्स 1: ब्रेन स्कैन (MRI)।
बॉक्स 2: रक्त परीक्षण और स्पाइनल फ्लूइड के नमूने।
बॉक्स 3: जेनेटिक डेटा (आनुवंशिक डेटा)।
बॉक्स 4: संज्ञानात्मक परीक्षण स्कोर (जैसे याददाश्त वाले खेल)।

चुनौती 1: गायब टुकड़े (मोडैलिटी मिसिंगनेस - Modality Missingness)
वास्तविक दुनिया में, मरीज हमेशा हर अपॉइंटमेंट पर सभी बक्से लेकर नहीं आते। कभी-कभी उनके पास केवल ब्लड टेस्ट होता है; कभी-कभी केवल ब्रेन स्कैन। पुराने कंप्यूटर मॉडल कठोर शेफ (रसोइयों) की तरह होते हैं: यदि आप उन्हें सभी सामग्रियां नहीं देते हैं, तो वे खाना बनाना मना कर देते हैं या बस गलत अंदाज़ा लगाने लगते हैं। वे हर विज़िट को एक पूरी तरह से नई, अलग घटना मानते हैं, और इस बात को नज़रअंदाज़ कर देते हैं कि मरीज पिछले महीने भी आया था।

चुनौती 2: चलती हुई तस्वीर (लॉन्जिट्यूडिनल डायनेमिक्स - Longitudinal Dynamics)
अल्जाइमर कोई स्थिर तस्वीर नहीं है; यह एक फिल्म की तरह है। एक ब्रेन स्कैन जो एक "मध्यम आकार" के हिप्पोकैम्पस (मस्तिष्क का याददाश्त वाला हिस्सा) को दिखाता है, उसका अर्थ बहुत अलग होता है यदि मरीज का मस्तिष्क पिछले एक वर्ष में तेजी से सिकुड़ा है बनाम यदि वह एक दशक से स्थिर रहा है। पुराने मॉडल अक्सर फिल्म के वर्तमान फ्रेम को देखते हैं लेकिन पिछले दृश्यों की कहानी को भूल जाते हैं।

समाधान: LONGMOE (एक स्मार्ट, अनुकूलन योग्य टीम)

लेखकों ने LONGMOE का प्रस्ताव दिया है, जो एक नया AI सिस्टम है जिसे लापता टुकड़ों और चलती हुई तस्वीर, दोनों को एक साथ संभालने के लिए डिज़ाइन किया गया है। इसे एक अकेले रोबोट डॉक्टर के रूप में नहीं, बल्कि एक विशेषज्ञ मेडिकल टीम के रूप में सोचें जो मिलकर काम करती है।

यहाँ उनके सिस्टम के चार मुख्य भाग कैसे काम करते हैं:

1. "कॉन्टेक्स्ट-अवेयर इम्प्यूटेशन" (स्मार्ट फिलर/खाली जगह भरने वाला)

जब कोई मरीज बिना किसी विशिष्ट परीक्षण (जैसे, बिना MRI) के आता है, तो सिस्टम केवल खाली जगह नहीं छोड़ता या बेतरतीब ढंग से अनुमान नहीं लगाता।

उदाहरण: कल्पना कीजिए कि आप एक किताब पढ़ रहे हैं, और कुछ पन्ने गायब हैं। यदि कहानी में अभी-अभी एक पात्र कमरे में दाखिल हुआ था, तो आप उचित रूप से अनुमान लगा सकते हैं कि वह अगले पैराग्राफ में भी कमरे में ही होगा।
यह कैसे काम करता है: यदि मरीज का पिछले महीने MRI हुआ था, तो सिस्टम उस अंतिम ज्ञात मान को एक अस्थायी प्लेसहोल्डर के रूप में "आगे ले जाता है"। यदि यह पहला विज़िट है और कोई डेटा मौजूद नहीं है, तो यह अन्य उपलब्ध परीक्षणों (जैसे ब्लड वर्क) को देखता है ताकि एक शिक्षित अनुमान लगाया जा सके कि गायब MRI कैसा दिख सकता है। यह खाली जगह को संदर्भ (context) का उपयोग करके भरता है, न कि केवल एक खाली स्थान के रूप में।

2. "अटेंशनल टोकनाइज़ेशन" (टाइम-स्टैम्पिंग क्लॉक/समय बताने वाली घड़ी)

सिस्टम को यह समझने की आवश्यकता है कि चीजें कब हुईं, न कि केवल यह कि क्या हुआ। विज़िट्स समान अंतराल पर नहीं होतीं; कुछ मरीज हर 6 महीने में आते हैं, कुछ हर 2 साल में।

उदाहरण: एक गाने के बारे में सोचें। यदि आप केवल नोट्स सुनते हैं, तो आप धुन जानते हैं। लेकिन यदि आप नहीं जानते कि टेम्पो (गति) क्या है, तो गाना गलत लगेगा। LONGMOE डेटा में एक "टेम्पो" परत जोड़ता है। यह एक विशेष गणितीय कोड (एक अनूठी घड़ी की सुई की तरह) का उपयोग करता है जो AI को ठीक से बताता है कि विज़िट के बीच कितना समय बीता है, जिससे यह पता लगाने में मदद मिलती है कि बीमारी धीरे-धीरे बदल रही है (एक धीमी वाल्ट्ज की तरह) या तेजी से (एक तेज़ ड्रम सोलो की तरह)।

3. "ट्रैजेक्टरी-अवेयर एनकोडर" (कहानी सुनाने वाला)

यह ऑपरेशन का मस्तिष्क है। यह सभी विज़िट्स (अतीत और वर्तमान) को लेता है और उन्हें एक एकल कहानी में बुनता है।

उदाहरण: एक धावक की एकल फोटो देखने के बजाय, यह मॉड्यूल पूरी रेस के वीडियो को देखता है। यह समझता है कि एक धावक जो धीमा हो रहा है, वह उस धावक से अलग स्थिति में है जिसने अभी दौड़ शुरू की है, भले ही वे अभी ट्रैक के बिल्कुल उसी स्थान पर हों। यह मरीज की स्थिति को समझने के लिए उसके इतिहास को जोड़ता है।

4. "स्पार्स मिक्सचर-ऑफ-एक्सपर्ट्स" (विशेषज्ञों की विविध टीम)

यह सबसे अनूठा हिस्सा है। एक विशाल AI होने के बजाय जो सब कुछ करने में अच्छा हो, LONGMOE के पास एक राउटर (Router) और विशेषज्ञों (Experts) की एक टीम है।

राउटर (Router): यह एक "ट्रैफिक पुलिस" है। जब कोई मरीज आता है, तो राउटर उनकी विशिष्ट स्थिति को देखता है: "ओह, इस मरीज के पास जेनेटिक्स और ब्लड वर्क है, लेकिन ब्रेन स्कैन नहीं है। और वे गिरावट के शुरुआती चरणों में हैं।"
विशेषज्ञ (Experts): राउटर फिर उस काम के लिए आवश्यक विशिष्ट विशेषज्ञों को बुलाता है।
- यह एक्सपर्ट A को जगा सकता है (जो जेनेटिक्स में माहिर है)।
- यह एक्सपर्ट B को जगा सकता है (जो धीमी गिरावट को ट्रैक करने में माहिर है)।
- यह एक्सपर्ट C को अनदेखा कर देता है (जो केवल ब्रेन स्कैन पढ़ना जानता है, जो हमारे पास अभी नहीं है)।
लाभ: यह सिस्टम को कुशल और अत्यधिक सटीक बनाता है। यह उन विशेषज्ञों पर ऊर्जा बर्बाद नहीं करता जिनकी आवश्यकता नहीं है, और यह सुनिश्चित करता है कि सही विशेषज्ञ मरीज के पास उपलब्ध डेटा के विशिष्ट मिश्रण को संभाल रहा है।

उन्होंने क्या पाया? (परिणाम)

शोधकर्ताओं ने इस सिस्टम का परीक्षण तीन विशाल वास्तविक दुनिया के मेडिकल डेटासेट्स (ADNI, OASIS-3, और MIMIC-IV) पर किया।

"मिसिंग पीस" टेस्ट: जब उन्होंने डेटा हटाया (मरीजों के डेटा की कमी का अनुकरण किया जिन्हें सभी परीक्षण नहीं मिले थे), तो पुराने मॉडल विफल हो गए या खराब प्रदर्शन किया। LONGMOE मजबूत बना रहा। यह एक ऐसे शेफ की तरह था जो स्वादिष्ट भोजन बना सकता था भले ही रसोई का सामान आधा खाली हो, क्योंकि वह रेसिपी के इतिहास के आधार पर सामग्रियों को बदलना जानता था।
"फुल डेटा" टेस्ट: जब सभी डेटा उपलब्ध था, तब भी LONGMOE ने मौजूदा सर्वश्रेष्ठ मॉडलों के बराबर या उनसे बेहतर प्रदर्शन किया।
"स्टोरी" टेस्ट: सिस्टम ने साबित किया कि मरीज का इतिहास (ट्रैजेक्टरी) जानना महत्वपूर्ण था। जब उन्होंने AI के "कहानी सुनाने वाले" हिस्से को हटाया, तो प्रदर्शन काफी गिर गया, जिससे साबित हुआ कि अतीत को देखना वर्तमान को देखने जितना ही महत्वपूर्ण है।

सारांश

LONGMOE मरीज के डेटा से सीखने का एक नया तरीका है जो अव्यवस्थित, अधूरा और समय के साथ फैला हुआ है। यह एक स्मार्ट मेडिकल टीम की तरह कार्य करता है जो:

अतीत से जो वह जानता है उसका उपयोग करके गायब जानकारी को भरता है।
बीमारी के समय और गति को समझता है।
उस मरीज के लिए उपलब्ध डेटा के विशिष्ट मिश्रण का विश्लेषण करने के लिए गतिशील रूप से सही विशेषज्ञ को चुनता है।

परिणामस्वरूप, यह एक ऐसा सिस्टम है जो वास्तविक नैदानिक सेटिंग्स (clinical settings) के लिए बहुत अधिक विश्वसनीय और मजबूत है, जहाँ पूर्ण डेटा मिलना दुर्लभ है और मरीज का इतिहास जटिल होता है।

तकनीकी सारांश: LONGMOE

समस्या विवरण (Problem Statement)

मल्टीमॉडल क्लिनिकल लर्निंग को दो मौलिक, परस्पर जुड़े हुए चुनौतियों का सामना करना पड़ता है जिन्हें मौजूदा विधियाँ संयुक्त रूप से संबोधित करने में विफल रहती हैं:

मोडैलिटी की अनुपलब्धता (Modality Missingness): वास्तविक दुनिया के क्लिनिकल कोहॉर्ट्स में, विषम अधिग्रहण प्रोटोकॉल और संसाधन बाधाओं के कारण, किसी दिए गए रोगी के विज़िट पर मोडैलिटीज़ के मनमाने उपसमुच्चय (जैसे इमेजिंग, टेक्स्ट, जेनेटिक डेटा) अनुपलब्ध हो सकते हैं।
अनुदैर्ध्य गतिशीलता (Longitudinal Dynamics): एक अवलोकन का नैदानिक महत्व रोगी के विकसित होते रोग प्रक्षेपवक्र (disease trajectory) से अविभाज्य है। एक बायोमार्कर का मूल्य केवल एक एकल स्थिर स्नैपशॉट में उसके पूर्ण मान पर नहीं, बल्कि गिरावट के व्यक्तिगत प्रक्षेपवक्र में उसकी स्थिति पर निर्भर करता है।

मौजूदा दृष्टिकोण इन चुनौतियों को अलग-अलग मानते हैं। मिसिंग-मोडैलिटी फ्रेमवर्क (जैसे Flex-MoE, FuseMoE) आमतौर पर प्रत्येक विज़िट को एक स्वतंत्र स्थिर स्नैपशॉट के रूप में देखते हैं, जिससे टेम्पोरल कॉन्टेक्स्ट (सांकेतिक संदर्भ) लुप्त हो जाता है। इसके विपरीत, लोंगिट्यूडिनल मॉडल (जैसे GRU-आधारित दृष्टिकोण) अक्सर प्रत्येक विज़िट पर पूर्ण मोडैलिटी उपलब्धता मानकर चलते हैं और व्यवस्थित कमी (systematic missingness) के तहत प्रदर्शन में गिरावट आती है। कोई भी मौजूदा मॉडल अनियमित विज़िट अंतराल, मनमाने मोडैलिटी संयोजनों और जनसंख्या विषमता की संयुक्त चुनौती को प्रभावी ढंग से नहीं संभाल पाता है।

कार्यप्रणाली: LONGMOE आर्किटेक्चर

लेखक LONGMOE (लॉन्गिट्यूडिनल मिक्सचर-ऑफ-एक्सपर्ट्स) प्रस्तावित करते हैं, जो एक एकीकृत फ्रेमवर्क है जिसे मोडैलिटी मिसिंगनेस और लोंगिट्यूडिनल डायनेमिक्स को संयुक्त रूप से संबोधित करने के लिए डिज़ाइन किया गया है। यह आर्किटेक्चर एक रोगी के लोंगिट्यूडिनल विज़िट अनुक्रम को चार क्रमिक मॉड्यूल के माध्यम से प्रोसेस करता है:

1. मोडैलिटी-विशिष्ट एम्बेडिंग्स (Modality-Specific Embeddings)

प्रत्येक मोडैलिटी $m_l$ को उसकी संरचनात्मक विशेषताओं के अनुरूप एक समर्पित एनकोडर $\phi_l$ द्वारा प्रोसेस किया जाता है:

MRI: एक 3D कनवल्शनल एनकोडर जिसके बाद एक MLP प्रोजेक्शन।
क्लिनिकल स्कोर, बायोमार्कर, और जेनेटिक्स: मोडैलिटी-विशिष्ट MLPs।
टेम्पोरल एम्बेडिंग: विज़िट टाइमस्टैम्प को सीखे गए एम्बेडिंग्स के रूप में एनकोड किया जाता है जो पूर्ण समय (absolute time) और इंटर-विज़िट अंतराल को कैप्चर करते हैं।
अनुपलब्ध मोडैलिटीज को शुरू में शून्य वेक्टर्स के रूप में सेट किया जाता है।

2. मोडैलिटी इम्प्यूटेशन और टोकेनाइजेशन (Modality Imputation and Tokenization)

यह मॉड्यूल मिसिंग डेटा को हैंडल करता है और एक एकीकृत विज़िट टोकन बनाता है:

कॉन्टेक्स्ट-अवेयर इम्प्यूटेशन:
- कैर-फॉरवर्ड (Carry-Forward): यदि कोई मोडैलिटी पिछले विज़िट में देखी गई थी, तो सबसे हालिया एम्बेडिंग को पुनरावृत्त (replicate) किया जाता है (बायोमार्कर के मजबूत शॉर्ट-टर्म ऑटोकोरिलेशन से प्रेरित)।
- कॉन्टेक्स्टुअल इम्प्यूटेशन: यदि पिछला कोई अवलोकन मौजूद नहीं है, तो एक सीखा हुआ नेटवर्क वर्तमान विज़िट में उपलब्ध मोडैलिटीज पर आधारित होकर एक एम्बेडिंग उत्पन्न करता है, जिसमें मिसिंग सिग्नल्स से होने वाले संदूषण को रोकने के लिए ज़ीरो-मास्किंग का उपयोग किया जाता है।
अटेंशनल टोकेनाइजेशन:
- मोडैलिटी फ्यूजन: इंटर-मोडैलिटी डिपेंडेंसीज को सीखने के लिए उपलब्ध मोडैलिटी एम्बेडिंग्स पर मल्टी-हेड सेल्फ-अटेंशन लागू किया जाता है।
- विस्कोड एनकोडिंग (Viscode Encoding): एक निरंतर-समय मल्टी-फ्रीक्वेंसी साइनुसोइडल पोजीशनल एनकोडिंग विज़िट टाइमस्टैम्प को एक निश्चित-आयामी वेक्टर में मैप करती है। यह एनकोडिंग गैर-समान रूप से सैंपल किए गए अनुक्रमों के लिए प्रमाणित रूप से इंजेक्टिव (provably injective) है, जो समान विज़िट अंतराल का अनुमान लगाए बिना धीमे लोंगिट्यूडनल रुझानों और तीव्र दर परिवर्तनों दोनों को कैप्चर करती है।
- फ्यूजन: मोडैलिटी एम्बेडिंग और विस्कोड एनकोडिंग को एलिमेंट-वाइज एडिशन के माध्यम से फ्यूज किया जाता है ताकि विज़िट टोकन $z_t$ बनाया जा सके।

3. प्रक्षेपवक्र-जागरूक लोंगिट्यूडिनल मॉडलिंग (Trajectory-Aware Longitudinal Modeling)

एक स्टैक ऑफ ट्रांसफार्मर एनकोडर ब्लॉक्स विज़िट टोकन $\{z_t\}$ के अनुक्रम को प्रोसेस करता है।

कॉज़ल मास्किंग (Causal Masking): एक कॉज़ल अटेंशन मास्क यह सुनिश्चित करता है कि विज़िट $t$ का प्रतिनिधित्व केवल इतिहास $\{v_1, \dots, v_t\}$ पर निर्भर है, जिससे भविष्य की जानकारी का लीकेज (leakage) रुकता है।
आउटपुट: यह एक कॉन्टेक्स्टुअलाइज्ड एम्बेडिंग $h_t$ उत्पन्न करता है जो रोगी के पूर्ण रोग-प्रगति प्रक्षेपवक्र को एकीकृत करता है, जो रूटिंग मॉड्यूल के लिए एक समृद्ध इनपुट के रूप में कार्य करता है।

4. कॉन्टेक्स्ट-अवेयर स्पार्स MoE रूटिंग (Context-Aware Sparse MoE Routing)

अंतिम परत रोगी-विशिष्ट विषमता और मोडैलिटी पैटर्न को संभालने के लिए एक स्पार्स मिक्सचर-ऑफ-एक्सपर्ट्स (SMoE) आर्किटेक्चर का उपयोग करती है:

एक्सपर्ट आर्किटेक्चर: लेयर में $K=8$ $K = 8$ एक्सपर्ट्स हैं जिन्हें विभाजित किया गया है:
- इंडिविजुअल एक्सपर्ट्स: विशिष्ट रोगी उप-जनसंख्याओं के लिए विशेष सब-नेटवर्क्स।
- शेयर्ड एक्सपर्ट्स: जनसंख्या-स्तर के सामान्य पैटर्न को कैप्चर करने और ओवर-स्पेशलाइजेशन को रोकने के लिए सभी इनपुट्स के लिए सुलभ।
रूटिंग: एक राउटर नेटवर्क प्रक्षेपवक्र एम्बेडिंग $h_t$ को एक स्कोर वेक्टर में मैप करता है। हार्ड टॉप-1 रूटिंग सबसे प्रासंगिक एकल एक्सपर्ट (हमेशा सक्रिय रहने वाले शेयर्ड एक्सपर्ट्स के साथ) का चयन करती है।
एग्रीगेशन: सभी विज़िट्स में एक्सपर्ट आउटपुट्स के अटेंशनल एग्रीगेशन के माध्यम से अंतिम भविष्यवाणियां प्राप्त की जाती हैं, जो राउटर के कॉन्फिडेंस द्वारा भारित (weighted) होती हैं।
रेगुलराइजेशन: एक लोड-बैलेंसिंग लॉस राउटर कोलैप्स को रोकता है, जिससे समान एक्सपर्ट यूटिलाइजेशन सुनिश्चित होता है।

मुख्य योगदान (Key Contributions)

एकीकृत फ्रेमवर्क: LONGMOE पहला मॉडल है जो क्लिनिकल मल्टीमॉडल लर्निंग में मोडैलिटी मिसिंगनेस और लोंगिट्यूडिनल टेम्पोरल डायनेमिक्स को संयुक्त रूप से संबोधित करता है।
नवीन आर्किटेक्चरल घटक:
- एक कॉन्टेक्स्ट-अवेयर इम्प्यूटेशन मॉड्यूल जो ऐतिहासिक डेटा और वर्तमान कॉन्टेक्स्ट दोनों का लाभ उठाता है।
- एक अटेंशनल टोकेनाइजेशन मॉड्यूल जो अनियमित अनुक्रमों के लिए क्रॉस-मोडल अटेंशन के साथ एक प्रमाणित रूप से इंजेक्टिव, मल्टी-फ्रीक्वेंसी टेम्पोरल एनकोडिंग को जोड़ता है।
- एक ट्रैजेक्टरी-अवेयर एनकोडर जो रोग की प्रगति को मॉडल करता है।
- एक कॉन्टेक्स्ट-कंडीशन्ड SMoE रूटिंग लेयर जो देखे गए मोडैलिटी संयोजन और रोगी प्रक्षेपवक्र के आधार पर डायनेमिक रूप से एक्सपर्ट्स का चयन करती है।
मजबूती (Robustness): फ्रेमवर्क मिसिंग या कमजोर समकालीन मोडैलिटीज के तहत मजबूती प्रदर्शित करता है और फुल-मोडैलिटी सेटिंग्स में भी प्रतिस्पर्धी बना रहता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन डेटासेट्स पर LONGMOE का मूल्यांकन किया: ADNI (Alzheimer's Disease Neuroimaging Initiative), OASIS-3, और MIMIC-IV।

प्रदर्शन: LONGMOE ने ADNI और MIMIC-IV पर सभी मोडैलिटी संयोजनों पर सर्वश्रेष्ठ AUC-ROC प्राप्त किया। OASIS-3 पर, यह सात में से चार संयोजनों में अग्रणी रहा, विशेष रूप से इमेजिंग और जेनेटिक्स-प्रधान सेटिंग्स में जहाँ अन्य बेसलाइन्स विफल रहे।
मिसिंग मोडैलिटी मजबूती:
- ADNI पर, LONGMOE ने तब भी उच्च प्रदर्शन (AUC $\approx$ 0.94–0.97) बनाए रखा जब केवल एक मोडैलिटी मौजूद थी, जबकि TF जैसे बेसलाइन्स रैंडम चांस (0.50) पर गिर गए और अन्य काफी कम प्रदर्शन करने लगे।
- ट्रैजेक्टरी-अवेयर एनकोडर ने मिसिंग समकालीन मोडैलिटी जानकारी के लिए लोंगिट्यूडिनल कॉन्टेक्स्ट को प्रभावी ढंग से प्रतिस्थापित किया, जिसके परिणामस्वरूप मोडैलिटी हटाने पर भी प्रदर्शन में गिरावट बहुत कम रही।
एब्लेशन स्टडीज (Ablation Studies): लोंगिट्यूडिनल एनकोडर (LE) या विस्कोड एनकोडिंग (VE) को हटाने से सबसे बड़े प्रदर्शन ड्रॉप देखे गए, जो उनकी महत्वपूर्ण भूमिका की पुष्टि करते हैं। शेयर्ड एक्सपर्ट्स और लोड बैलेंसिंग तंत्र को भी महत्वपूर्ण पाया गया, विशेष रूप से गंभीर मिसिंगनेस या छोटे कोहॉर्ट्स वाले सेटिंग्स में।
जटिलता: ट्रैजेक्टरी-अवेयर ट्रांसफार्मर के कारण LONGMOE में स्टैटिक बेसलाइन्स (जैसे 4.4M पैरामीटर्स बनाम Flex-MoE के लिए 183K) की तुलना में अधिक पैरामीटर काउंट और फॉरवर्ड-पास लेटेंसी है। हालांकि, लेखक नोट करते हैं कि यह ऑफलाइन बैच इन्फरेंस के लिए व्यावहारिक है, लेकिन यह रियल-टाइम बेडसाइड उपयोग को वर्जित करता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि LONGMOE लोंगिट्यूडनल-अवेयर मल्टीमॉडल क्लिनिकल लर्निंग के लिए एक मजबूत आधार स्थापित करता है। इसका प्राथमिक महत्व मिसिंग डेटा को हैंडल करने और रोग की प्रगति को मॉडल करने के बीच के अंतर को पाटने में निहित है। रोगी के इतिहास को स्वतंत्र स्नैपशॉट के बजाय एक निरंतर, अनियमित प्रक्षेपवक्र के रूप में मानकर, मॉडल उस समय भी डिस्क्रिमिनेटिव सिग्नल निकाल सकता है जब वर्तमान विज़िट में महत्वपूर्ण मोडैलिटीज की कमी हो।

लेखक स्पष्ट रूप से कहते हैं कि जबकि मॉडल ऑफलाइन बैच इन्फरेंस और जटिल, अपूर्ण क्लिनिकल रिकॉर्ड को संभालने के लिए अत्यधिक प्रभावी है, ट्रैजेक्टरी-अवेयर एनकोडर की बढ़ी हुई कम्प्यूटेशनल लागत इसे रियल-टाइम बेडसाइड सपोर्ट के लिए सीमित करती है। इसके अतिरिक्त, मॉडल पहले-संपर्क वाले रोगियों के लिए लोंगिट्यूडिनल कॉन्टेक्स्ट का लाभ नहीं उठा सकता जिनके पास कोई पूर्व विज़िट इतिहास नहीं है, क्योंकि एनकोडर को अर्थपूर्ण एम्बेडिंग्स उत्पन्न करने के लिए कम से कम एक पिछले अवलोकन की आवश्यकता होती है।