HypEHR: Hyperbolic Modeling of Electronic Health Records for Efficient Question Answering

यहाँ शोध पत्र "HypEHR: Efficient Question Answering के लिए Electronic Health Records का Hyperbolic Modeling" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा (Problem Definition)

Electronic Health Record (EHR) Question Answering (EHR-QA) में रोगी के दीर्घकालिक चिकित्सा इतिहास के आधार पर प्राकृतिक भाषा वाले नैदानिक (clinical) प्रश्नों के उत्तर देना शामिल है।

• वर्तमान सीमाएँ: मौजूदा दृष्टिकोण आम तौर पर तीन श्रेणियों में आते हैं:
  1. Representation Learning: अनुक्रमिक (sequential) या ग्राफ-आधारित मॉडल जो अक्सर चिकित्सा डेटा की अंतर्निहित पदानुक्रमित (hierarchical) संरचना की उपेक्षा करते हैं।
  2. Text-to-SQL: प्रश्नों को SQL क्वेरी में बदलना, जो बड़े पैमाने के LLMs पर निर्भर करता है और जटिल स्कीमा संरेखण (schema alignment) के साथ संघर्ष करता है।
  3. LLM-आधारित पाइपलाइन: विशाल मॉडलों (जैसे, GPT-4, Llama-3) का उपयोग करके रिट्रीवल-ऑगमेंटेड जनरेशन। हालांकि ये सटीक हैं, लेकिन ये गणनात्मक रूप से महंगे हैं, गोपनीयता-संवेदनशील नैदानिक सेटिंग्स में तैनात करना कठिन है, और चिकित्सा ऑन्टोलॉजी (जैसे, ICD कोड) की वृक्ष जैसी (tree-like) पदानुक्रम का स्पष्ट रूप से लाभ उठाने में विफल रहते हैं।
• मुख्य अंतर्दृष्टि (Core Insight): मेडिकल कोड और रोगी प्रक्षेपवक्र (trajectories) हाइपरबोलिक ज्यामिति (hyperbolic geometry) के गुणों (पदानुक्रमित, वृक्ष जैसी संरचनाओं) को प्रदर्शित करते हैं। यूक्लिडियन एम्बेडिंग इन संरचनाओं को विकृत कर देती है, जबकि हाइपरबोलिक स्पेस न्यूनतम विरूपण (distortion) के साथ पदानुक्रमों को एम्बेड कर सकते हैं।
• अनुसंधान प्रश्न: क्या एक संक्षिप्त मॉडल, जो EHR की अंतर्निहित हाइपरबोलिक ज्यामिति के साथ स्पष्ट रूप से संरेखित है, जटिल QA कार्यों में अरबों पैरामीटर वाले LLMs के साथ प्रतिस्पर्धा कर सकता है?

2. कार्यप्रणाली: HypEHR फ्रेमवर्क (Methodology: HypEHR Framework)

HypEHR एक संक्षिप्त, दो-चरणीय फ्रेमवर्क है जो लोरेंत्ज़ियन (hyperbolic) मॉडलिंग पर आधारित है। इसमें एक Patient Encoder और एक Question-Answering Head शामिल है।

A. Hyperbolic Clinical Sequence Encoder (Pretraining Stage)

इसका लक्ष्य हाइपरबोलिक स्पेस ($H^d_L$) में एक रोगी प्रतिनिधित्व सीखना है जो चिकित्सा कोड के पदानुक्रम का सम्मान करता है।

1. Embedding: चिकित्सा अवधारणाओं (निदान, प्रक्रियाएं, दवाएं) को एक सीखने योग्य फलन $e_c \in H^d_L$ के माध्यम से लोरेंट्ज़ियन मैनिफोल्ड में एम्बेड किया जाता है।
2. Visit Aggregation: एक विज़िट के भीतर, विज़िट प्रतिनिधित्व $h_t$ बनाने के लिए हाइपरबोलिक अटेंशन मैकेनिज्म का उपयोग करके कोड एम्बेडिंग को एकत्रित किया जाता है।
3. Sequence Modeling: एक Lorentz Transformer विज़िट के अनुक्रमों $\{h_t\}$ को प्रोसेस करता है, जो लोरेंट्ज़ मैनिफोल्ड के अनुकूल सेल्फ-अटेंशन, रेसिडुअल्स और नॉर्मलाइजेशन को अपनाता है। यह संदर्भयुक्त (contextualized) विज़िट अवस्थाओं $\{z_t\}$ और एक वैश्विक सारांश $z_{[CLS]}$ को उत्पन्न करता है।
4. Multi-Task Pretraining Objective: एनकोडर को एक संयुक्त हानि (joint loss) को कम करने के लिए प्रशिक्षित किया जाता है:
   $$L = L_{diag} + \lambda L_{hier}$$
   • $L_{diag}$ (Next-visit Diagnosis Prediction): वर्तमान प्रक्षेपवक्र के आधार पर अगले निदान कोड की भविष्यवाणी करता है (Binary Cross-Entropy)।
   • $L_{hier}$ (Hierarchy-Aware Regularization): ICD ऑन्टोलॉजी संरचना (Chapters $\to$ Blocks $\to$ Categories $\to$ Subcategories) को लागू करता है। इसे विभाजित किया गया है:
     • Radial Term ($L_{rad}$): सुनिश्चित करता है कि पदानुक्रम के गहरे नोड्स मूल (origin) से दूर हों (त्रिज्या गहराई के साथ बढ़ती है)।
     • Relative Term ($L_{rel}$): एक ट्रिपलेट लॉस जो यह सुनिश्चित करता है कि एक पूर्वज-संबंधित (ancestor-related) कोड, एक गैर-पूर्वज कोड की तुलना में हाइपरबोलिक दूरी में लक्ष्य कोड के करीब हो।

B. Hyperbolic EHR-QA Model (Inference Stage)

1. Question Encoding: एक प्राकृतिक भाषा प्रश्न $q$ को एक बायोमेडिकल टेक्स्ट एनकोडर (Bio_ClinicalBERT) द्वारा यूक्लिडियन स्पेस में एनकोड किया जाता है, फिर एक एफाइन मैप और एक्सपोनेंशियल मैप के माध्यम से हाइपरबोलिक मैनिफोल्ड में प्रोजेक्ट किया जाता है, जिससे $z_q$ प्राप्त होता है।
2. Hyperbolic Cross-Attention: मॉडल नेगेटिव स्केल्ड हाइपरबोलिक दूरियों का उपयोग करके प्रश्न $z_q$ और विज़िट अवस्थाओं $\{z_t\}$ के बीच अटेंशन स्कोर की गणना करता है:
   $$s_t = -\gamma d_H(z_q, z_t)$$
   यह सबसे प्रासंगिक विज़िट की पहचान करता है।
3. Aggregation: एक Hyperbolic Weighted Fréchet Mean (HypAgg) अटेंडेड विज़िट को एक प्रश्न-सशर्त रोगी सारांश ($z_{p|q}^{visit}$) में एकत्रित करता है। एक माध्यमिक अटेंशन मैकेनिज्म एक कोड-स्तरीय तर्क वेक्टर (rationale vector) ($z_{p|q}^{code}$) का निर्माण करता है।
4. Answer Heads: विशेष हेड्स हाइपरबोलिक प्रतिनिधित्व को (लॉगैरिथमिक मैप के माध्यम से टेंगेंट स्पेस में वापस मैप करके) प्रोसेस करते हैं और चार प्रकार के उत्तरों की भविष्यवाणी करते हैं:
   • Boolean: किसी स्थिति की उपस्थिति।
   • Concept: विशिष्ट निदान या निष्कर्ष।
   • Numerical: लैब मान या माप।
   • Integer Count: घटनाओं की संख्या।

3. मुख्य योगदान (Key Contributions)

1. Novel Architecture: HypEHR का परिचय, जो पहला संक्षिप्त मॉडल है जो EHR और नैदानिक प्रश्नों को पूरी तरह से हाइपरबोलिक (लोरेंट्ज़ियन) ज्यामिति के भीतर मॉडल करता है, जो चिकित्सा ऑन्टोलॉजी की अंतर्निहित वृक्ष जैसी संरचना का लाभ उठाता है।
2. Efficiency: मॉडल अरबों पैरामीटर वाले LLMs (जैसे, Llama-3-8B, GPT-आधारित पाइपलाइन) के समान प्रदर्शन प्राप्त करता है, लेकिन इसके लिए परिमाण के क्रम में कम पैरामीटर्स (~22M पैरामीटर बनाम अरबों) का उपयोग करता है।
3. Geometry-Aware Regularization: एक पदानुक्रम-जागरूक हानि फलन का विकास जो ICD कोड ट्री के साथ एम्बेडिंग को स्पष्ट रूप से संरेखित करता है, यह सुनिश्चित करता है कि सिमेंटिक समानता हाइपरबोलिक दूरी के साथ सह-संबंधित हो।
4. Theoretical Justification: एक औपचारिक प्रमाण (Proposition 1) जो यह प्रदर्शित करता है कि ICD-10-CM पदानुक्रम लोोरेंट्ज़ मॉडल में कम-विरूपण (low-distortion) एम्बेडिंग को स्वीकार करता है, जो ज्यामितीय परिकल्पना को मान्य करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

मॉडल का मूल्यांकन दो MIMIC-IV आधारित बेंचमार्क पर किया गया: EHRXQA और MIMIC-IV-Ext-Instr।

• QA Performance:
  • HypEHR ने EHRXQA पर 89.53% सटीकता और MIMIC-IV-Ext-Instr पर 76.02% सटीकता प्राप्त की।
  • इसने पारंपरिक रिप्रेजेंटेशन लर्निंग मॉडल (RETAIN) और लाइटवेट LLMs (Llama-3-8B) को पीछे छोड़ दिया।
  • इसने भारी LLM-आधारित बेसलाइन्स (NeuralSQL with GPT-5.2, EHRAgent) के प्रदर्शन के करीब पहुँचकर, बिना भारी पैरामीटर काउंट के प्रदर्शन किया।
• Clinical Prediction:
  • जब मानक कार्यों (Mortality, Readmission, Length-of-Stay, Phenotype prediction) पर लागू किया गया, तो HypEHR ने LLM-आधारित बेसलाइन्स (जैसे, Readmission और Phenotype prediction में सर्वश्रेष्ठ प्रदर्शन) के समान या उससे बेहतर परिणाम दिए।
• Ablation Studies:
  • Pretraining: प्रीट्रेनिंग चरण को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई, जो पहले रोगी प्रक्षेपवक्र प्रतिनिधित्व सीखने की आवश्यकता की पुष्टि करता है।
  • Geometry: हाइपरबोलिक मॉडल (HypEHR) अपने यूक्लिडियन समकक्ष (EucEHR) की तुलना में काफी बेहतर रहा, जो इस डेटा के लिए हाइपरबोलिक ज्यामिति के लाभ को सिद्ध करता है।
  • Hierarchy Loss: हालांकि यह प्राथमिक चालक नहीं था, लेकिन पदानुक्रम हानि ($L_{hier}$) ने मॉडल की संरचनात्मक संबंधों को पकड़ने की क्षमता में सुधार किया, जैसा कि ICD ट्री डेप्थ के साथ एम्बेडिंग रेडियस के निरंतर बढ़ते हुए क्रम से सिद्ध हुआ।

5. महत्व और सीमाएँ (Significance and Limitations)

महत्व:

• Privacy & Deployment: HypEHR उन गोपनीयता-संवेदनशील नैदानिक सेटिंग्स के लिए एक व्यवहार्य समाधान प्रदान करता है जहाँ लागत या डेटा संप्रभुता कारणों से अरबों-पैरामीटर वाले LLMs को तैनात करना असंभव है।
• Data Efficiency: यह प्रदर्शित करता है कि चिकित्सा डेटा की ज्यामितीय संरचना को स्पष्ट रूप से मॉडल करने से न्यूनतम पैरामीटर्स के साथ उच्च प्रदर्शन प्राप्त किया जा सकता है, जो "बड़ा ही बेहतर है" (bigger is better) के प्रतिमान को चुनौती देता है।
• Interpretability: हाइपरबोलिक दूरियों का उपयोग चिकित्सा अवधारणाओं के बीच उनकी पदानुक्रमित दूरी के आधार पर समानता को मापने के लिए एक ज्यामितीय रूप से सहज तरीका प्रदान करता है।

सीमाएँ:

• Answer Type Restriction: वर्तमान में डिस्क्रिमिनेटिव उत्तर प्रकारों (Boolean, Concept, Numeric, Count) तक सीमित है। यह अभी तक ओपन-एंडेड, जेनेरेटिव टेक्स्ट प्रतिक्रियाओं का समर्थन नहीं करता है।
• Preprocessing Overhead: पूर्व-निर्धारित श्रेणियों में डेटासेट को पुनर्गठित करने और उत्तरों को विशिष्ट शब्दावलियों (vocabularies) के साथ मैप करने की आवश्यकता होती है।
• Computational Complexity: हाइपर-बोलिक ऑपरेशन (exponential/logarithmic maps, Riemannian optimization) यूक्लिडियन ऑपरेशन्स की तुलना में अधिक गणनात्मक रूप से जटिल हैं, और हाइपरबोलिक डीप लर्निंग के लिए सार्वजनिक लाइब्रेरी अभी भी परिपक्व हो रही हैं।

निष्कर्ष (Conclusion)

HypEHR सफलतापूर्वक चिकित्सा डेटा के संरचनात्मक पूर्वाग्रहों (structural priors) और कुशल मशीन लर्निंग के बीच के अंतर को पाटता है। हाइपरबोलिक ज्यामिति का लाभ उठाकर, यह अपने गणनात्मक लागत के एक अंश के साथ EHR क्वेश्चन अनswering में LLM-स्तर का प्रदर्शन प्राप्त करता है, जो स्केलेबल और गोपनीयता-संरक्षित नैदानिक AI के लिए एक आशाजनक दिशा प्रदान करता है।