तकनीकी सारांश: AURORA – स्वास्थ्य सेवा फाउंडेशन मॉडल में ज्यामितीय प्रतिनिधित्व शिक्षण के लिए प्रासंगिक ऑर्थोगोनलाइजेशन (Contextual Orthogonalization)

1. समस्या विवरण

हाल के स्वास्थ्य सेवा फाउंडेशन मॉडलों ने विविध बायोमेडिकल मोडैलिटीज, जिनमें संरचित इलेक्ट्रॉनिक हेल्थ रिकॉर्ड्स (EHR), इमेजिंग और फिजियोलॉजिकल सिग्नल शामिल हैं, पर बड़े पैमाने पर सेल्फ-सुपरवाइज्ड लर्निंग (SSL) के माध्यम से मजबूत भविष्य कहनेवाला प्रदर्शन हासिल किया है। हालांकि, ये मॉडल आमतौर पर एक ही प्रमुख उद्देश्य के लिए अनुकूलित होते हैं: रोगी की जानकारी को एक एकीकृत लेटेंट रिप्रजेंटेशन (latent representation) में संपीड़ित करना जो डाउनस्ट्रीम प्रेडिक्टिव सटीकता को अधिकतम करता है।

यह शोध पत्र इस प्रतिमान (paradigm) में एक महत्वपूर्ण सीमा की पहचान करता है: लेटेंट एंटैंगलमेंट (latent entanglement)। वर्तमान मॉडलों में, विशिष्ट नैदानिक अवधारणाएं—जैसे कि शारीरिक गंभीरता (physiological severity), हस्तक्षेप तीव्रता (intervention intensity), अवलोकनात्मक संरचना (जैसे माप की आवृत्ति), और संस्थागत वर्कफ़्लो—अक्सर साझा एम्बेडिंग दिशाओं में समाहित हो जाती हैं। जबकि ये एंटैंगल्ड रिप्रजेंटेशन उच्च AUROC स्कोर दे सकते हैं, वे निम्नलिखित से ग्रस्त होते हैं:

• सिमेंटिक ओपेसिटी (Semantic Opacity): लेटेंट स्पेस ज्यामितीय रूप से व्याख्या करने में कठिन है।
• अस्थिरता (Instability): संदर्भ परिवर्तनों (जैसे अस्पताल के वर्कफ़्लो या माप प्रोटोकॉल में परिवर्तन) के तहत रिप्रजेंटेशन अस्थिर होते हैं।
• डिसेंटैंगलमेंट का अभाव (Lack of Disentanglement): एक एकल वेक्टर एक साथ रोग की गंभीरता और परिचालन तीव्रता को एनकोड कर सकता है, जिससे शारीरिक अवस्थाओं को अवलोकनात्मक आर्टिफैक्ट्स (observational artifacts) से अलग करना कठिन हो जाता है।

मौजूदा SSL उद्देश्य (पुनर्निर्माण, कंट्रास्टिव लर्निंग, सेल्फ-डिस्टिलेशन) प्रासंगिक साक्ष्यों के रिलेशनल ऑर्गनाइजेशन को संरक्षित करने या इन कारकों के बीच ज्यामितीय पृथकता को लागू करने के लिए कोई स्पष्ट तंत्र प्रदान नहीं करते हैं।

2. कार्यप्रणाली: AURORA फ्रेमवर्क

लेखक AURORA (Adaptive Uncertainty-aware Representations through Orthogonalized Relational Alignment) प्रस्तावित करते हैं, जो स्वास्थ्य सेवा प्रतिनिधित्व शिक्षण को केवल प्रेडिक्टिव कंप्रेशन के बजाय लेटेंट सिमेंटिक ज्योमेट्री की समस्या के रूप में पुनर्गठित करता है।

मुख्य परिकल्पना (Core Hypothesis)

नैदानिक रूप से सार्थक प्रतिनिधित्व को न केवल भविष्य कहनेवाला (predictive) जानकारी को संरक्षित करना चाहिए, बल्कि प्रासंगिक साक्ष्यों के रिलेशनल ऑर्गनाइजेशन को भी बनाए रखना चाहिए। विशिष्ट सिमेंटिक कारकों को लेटेंट स्पेस में ज्यामितीय रूप से पृथक (ऑर्थोगोनल) दिशाओं में होना चाहिए।

प्रतिनिधित्व अपघटन (Representation Decomposition)

एक एकल एकीकृत एम्बेडिंग $z$ सीखने के बजाय, AURORA लेटेंट रिप्रजेंटेशन को सिमेंटिक रूप से संरचित, ऑर्थोगोनल सबस्पेस में विभाजित करता है:
$$z = z^{(phys)} + z^{(int)} + z^{(obs)} + z^{(ctx)}$$
जहाँ:

• $z^{(phys)}$: शारीरिक अवस्था (physiological state) को कैप्चर करता है।
• $z^{(int)}$: हस्तक्षेप संरचना (intervention structure) को कैप्चर करता है।
• $z^{(obs)}$: अवलोकन और माप व्यवहार (observation and measurement behavior) को कैप्चर करता है।
• $z^{(ctx)}$: अवशिष्ट प्रासंगिक जानकारी (residual contextual information) को कैप्चर करता है।

शिक्षण उद्देश्य (Learning Objectives)

यह फ्रेमवर्क पूरी तरह से सेल्फ-सुपरवाइज्ड है, जो विशेषज्ञ एनोटेशन की आवश्यकता के बिना सीधे EHR डेटा के भीतर पैटर्न से रिलेशनल स्ट्रक्चर प्राप्त करता है। यह दो प्राथमिक उद्देश्यों को अनुकूलित करता है:

1. प्रासंगिक संरेखण (Contextual Alignment - $L_{align}$):
   प्रत्येक सिमेंटिक कारक $k$ के लिए, मॉडल प्रासंगिक समानता (जैसे साझा हस्तक्षेप पैटर्न या समान प्रयोगशाला अधिग्रहण संरचनाएं) के आधार पर रोगी के पड़ोस (neighborhoods) का निर्माण करता है। यह संबंधित सबस्पेस के भीतर प्रासंगिक रूप से समान रोगियों के रिप्रजेंटेशन के बीच की दूरी को कम करता है:
   $$L^{(k)}_{align} = \mathbb{E}_{i,j} \left[ R_k(x_i, x_j) \| z^{(k)}_i - z^{(k)}_j \|^2_2 \right]$$
   यहाँ, $R_k(x_i, x_j)$ एक रिलेशनल अलाइनमेंट ऑपरेटर है जो कारक $k$ के तहत प्रासंगिक समानता को मापता है।

2. ऑर्थोगोनलाइजेशन रेगुलराइजेशन (Orthogonalization Regularization - $L_{orth}$):
   विभिन्न कारकों को एक ही लेटेंट दिशाओं में ढहने से रोकने के लिए, मॉडल विभिन्न सिमेंटिक सबस्पेस के ओवरलैप को दंडित करता है:
   $$L_{orth} = \sum_{k \neq l} \| (z^{(k)})^\top z^{(l)} \|_F^2$$
   यह विभिन्न कारकों के लेटेंट वेक्टर्स को ज्यामितीय रूप से ऑर्थोगोनल होने के लिए प्रोत्साहित करता है।

कुल हानि (Total Loss):
$$L_{AURORA} = \sum_{k} L^{(k)}_{align} + \lambda L_{orth}$$
जहाँ $\lambda > 0$ सिमेंटिक अलाइनमेंट और प्रासंगिक डिसेंटैंगलमेंट के बीच ट्रेड-ऑफ को नियंत्रित करता है।

3. प्रमुख योगदान

• ज्यामितीय पुनर्व्याख्या (Geometric Reinterpretation): यह पेपर लेटेंट मैनिफोल्ड के संगठन को स्वयं एक प्राथमिक मॉडलिंग लक्ष्य के रूप में मानने का प्रस्ताव करता है, न कि प्रेडिक्टिव कंप्रेशन के उपोत्पाद के रूप में।
• प्रासंगिक ऑर्थोगोनैलिटी सिद्धांत (Contextual Orthogonality Principle): यह सिमेंटिक रूप से भिन्न कारकों (गंभीरता, हस्तक्षेप, अवलोकन) को ऑर्थोगोनल सबस्पेस में स्पष्ट रूप से अलग करने के लिए एक तंत्र पेश करता है, जो मानक SSL में निहित एंटैंगलमेंट को संबोधित करता है।
• सेल्फ-सुपरवाइज्ड डिसेंटैंगलमेंट: फ्रेमवर्क मैन्युअल लेबल के बिना सिमेंटिक डिसेंटैंगलमेंट प्राप्त करता है, जो केवल EHR डेटा में अंतर्निहित रिलेशनल स्ट्रक्चर पर निर्भर करता है।
• स्केलेबिलिटी (Scalability): यह दृष्टिकोण ट्रांसफार्मर-आधारित एनकोडर्स, मल्टीमॉडल आर्किटेक्चर और बड़े पैमाने पर वितरित प्रीट्रेनिंग सिस्टम के साथ संगत है।

4. प्रयोगात्मक परिणाम

लेखकों ने तीन वर्गों के बेसलाइन्स के विरुद्ध AURORA का मूल्यांकन किया: मास्क ऑटोएनकोडिंग (MAE), कंट्रास्टिव SSL, और DINO-शैली का सेल्फ-डिस्टिलेशन। सभी मॉडलों ने समान ट्रांसफार्मर बैकबोन और पैरामीटर बजट का उपयोग किया, जिसे एक बड़े पैमाने के EHR कॉर्पस पर प्रीट्रेन किया गया था।

डाउनस्ट्रीम क्लिनिकल प्रेडिक्शन

• प्रदर्शन: AURORA ने मृत्यु दर भविष्यवाणी (mortality prediction), सेप्सिस डिटेक्शन, रीडमिशन प्रेडिक्शन और पेशेंट रिट्रीवल में लगातार सभी बेसलाइन्स को पछाड़ दिया।
• रिट्रीवल (Retrieval): सबसे महत्वपूर्ण लाभ रिट्रीवल कार्यों (Recall@10) में देखा गया, जो यह सुझाव देता है कि प्रासंगिक ऑर्थोगोनलाइजेशन लेटेंट स्पेस में सिमेंटिक रूप से स्वच्छ पड़ोस (neighborhoods) बनाता है।
• मजबूती (Robustness): संस्थागत वितरण बदलावों (हस्तक्षेप आवृत्ति, लैब ऑर्डरिंग और जनसांख्यिकी में परिवर्तन) के तहत, AURORA ने बेसलाइन्स (जैसे MAE 0.781 पर) की तुलना में काफी अधिक मजबूती (AUROC 0.879) प्रदर्शित की।

डिसेंटैंगलमेंट और ज्योमेट्री

• डिसेंटैंगलमेंट की गुणवत्ता: AURORA ने सबसे कम म्यूचुअल इंफॉर्मेशन (MI) ओवरलैप (0.181) और उच्चतम ऑर्थोगोनैलिटी स्कोर (0.854) प्राप्त किया, जो सिमेंटिक कारकों के सफल पृथक्करण को दर्शाता है।
• पड़ोस की शुद्धता (Neighborhood Purity): मॉडल ने बेसलाइन्स की तुलना में काफी उच्च नेबरहुड प्योरिटी (0.843) और कम प्रासंगिक एंट्रॉपी (0.61) उत्पन्न की, जो पुष्टि करती है कि स्थानीय मैनिफोल्ड क्षेत्र मिश्रित सहसंबंधों के बजाय नैदानिक रूप से सार्थक सिमेंटिक्स द्वारा व्यवस्थित हैं।

5. महत्व और दावे

पेपर का तर्क है कि वर्तमान स्वास्थ्य सेवा फाउंडेशन मॉडलों की प्राथमिक सीमा अपर्याप्त स्केल (पैरामीटर्स या डेटा) नहीं है, बल्कि लेटेंट रिप्रजेंटेशन स्पेस के भीतर अपर्याप्त संरचना है।

• प्रेडिक्टिव कंप्रेशन से परे: लेखक दावा करते हैं कि केवल प्रेडिक्टिव प्रदर्शन के लिए अनुकूलित करने से ऐसे रिप्रजेंटेशन मिलते हैं जो सिमेंटिक रूप से अस्पष्ट और अस्थिर होते हैं। प्रासंगिक सिमेंटिक्स के अनुसार लेटेंट स्पेस को स्पष्ट रूप से संरचित करके, AURORA फाउंडेशन मॉडल डिजाइन के लिए एक पूरक दिशा प्रदान करता है।
• ज्यामितीय क्षमता एक स्केलिंग एक्सिस के रूप में (Geometric Capacity as a Scaling Axis): यह कार्य सुझाव देता है कि "ज्यामितिक क्षमता"—लेटेंट स्पेस का सिमेंटिक संगठन—स्वास्थ्य सेवा मॉडलों के लिए स्केलिंग का एक अतिरिक्त अक्ष है, जो बड़े आर्किटेक्चर की आवश्यकता के बिना मजबूती और व्याख्यात्मकता में सुधार कर सकता है।
• नैदानिक व्याख्यात्मकता (Clinical Interpretability): परिणाम बताते हैं कि डिसेंटैंगल्ड रिप्रजेंटेशन न केवल अधिक व्याख्या योग्य हैं बल्कि मौलिक रूप से अधिक मजबूत और भविष्य कहनेवाला भी हैं, क्योंकि वे मॉडल को शारीरिक गंभीरता को परिचालन आर्टिफैक्ट्स (जैसे माप घनत्व) से अलग करने की अनुमति देते हैं।

लेखक निष्कर्ष निकालते हैं कि लेटेंट ज्योमेट्री केवल एक मध्यवर्ती प्रतिनिधित्व नहीं है, बल्कि अपने आप में एक नैदानिक रूप से सार्थक वस्तु है, और इस स्थान को स्पष्ट रूप से संरचित करना अधिक विश्वसनीय स्वास्थ्य सेवा फाउंडेशन मॉडल की ओर जाने का मार्ग प्रदान करता है।