🧬 biology

Clin-JEPA: A Multi-Phase Co-Training Framework for Joint-Embedding Predictive Pretraining on EHR Patient Trajectories

Clin-JEPA एक स्थिर, पांच-चरणीय सह-प्रशिक्षण ढांचे को पेश करता है जो जॉइंट-एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर (JEPA) को EHR डेटा के अनुकूल बनाने में सफलतापूर्वक सक्षम बनाता है, जिससे एक एनकोडर और प्रेडिक्टर को संयुक्त रूप से प्रशिक्षित करके, एक एकल बैकबोन को प्रति-कार्य फाइन-ट्यूनिंग के बिना बेहतर लेटेंट-स्पेस प्रक्षेपवक्र पूर्वानुमान और बहु-कार्य जोखिम भविष्यवाणी प्राप्त करने में सक्षम बनाया जा सके।

मूल लेखक: Yixuan Yang, Mehak Arora, Ryan Zhang, Baraa Abed, Junseob Kim, Tilendra Choudhary, Md Hassanuzzaman, Kevin Zhu, Ayman Ali, Chengkun Yang, Alasdair Edward Gent, Victor Moas, Rishikesan Kamaleswaran

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yixuan Yang, Mehak Arora, Ryan Zhang, Baraa Abed, Junseob Kim, Tilendra Choudhary, Md Hassanuzzaman, Kevin Zhu, Ayman Ali, Chengkun Yang, Alasdair Edward Gent, Victor Moas, Rishikesan Kamaleswaran

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ⚕️ यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक डॉक्टर को भविष्य की "कल्पना" करना सिखाना

कल्पना कीजिए कि आप एक मेडिकल छात्र को यह सिखाने की कोशिश कर रहे हैं कि इंटेंसिव केयर यूनिट (ICU) में एक मरीज की स्थिति कैसे सुधरेगी या बिगड़ेगी, इसका पूर्वानुमान कैसे लगाया जाए।

वर्तमान में अधिकांश AI मॉडल फोटोग्राफर की तरह होते हैं। वे मरीज की अभी की एक तस्वीर लेते हैं (उनके वाइटल्स, ब्लड वर्क और उपचार) और फिर एक एकल परिणाम का अनुमान लगाने की कोशिश करते हैं, जैसे "क्या वे जीवित बचेंगे?" या "क्या उन्हें सेप्सिस होगा?" वे विशिष्ट प्रश्नों के उत्तर देने में बेहतरीन हैं, लेकिन वे वास्तव में यह नहीं समझते कि समय के साथ मानव शरीर कैसे बदलता है।

अन्य मॉडल उपन्यास लेखकों की तरह होते हैं। वे मरीज के इतिहास को पढ़ते हैं और कहानी का अगला वाक्य लिखने की कोशिश करते हैं। लेकिन वे अक्सर केवल टेक्स्ट के पैटर्न के आधार पर अगले शब्द का अनुमान लगाते हैं, बिना मानव शरीर के अंतर्निहित भौतिक विज्ञान (physics) को वास्तव में समझे।

CLIN-JEPA एक नया दृष्टिकोण है जो एक सिमुलेशन इंजन बनने की कोशिश करता है। यह केवल एक एकल परिणाम का अनुमान नहीं लगाता; बल्कि यह मरीज के भविष्य की एक "मूवी" चलाने (roll out) के बारे में सीखता है। यह पूछता है: "यदि हम इस मरीज को अभी यह दवा दें, तो 1 घंटे में? 10 घंटे में? 48 घंटे में? उनके वाइटल संकेत कैसे दिखेंगे?"

समस्या: "जमा हुआ मस्तिष्क" बनाम "बदलता लक्ष्य"

शोधकर्ताओं ने JEPA (Joint-Embedding Predictive Architecture) नामक तकनीक का उपयोग करके इस सिमुलेशन को बनाने की कोशिश की, जो रोबोटिक्स और विजन में प्रसिद्ध है। हालाँकि, मेडिकल डेटा पर इसे लागू करते समय उन्हें एक बाधा का सामना करना पड़ा।

AI को दो भागों के रूप में सोचें:

एन्कोडर (मस्तिष्क): यह जटिल मेडिकल टेक्स्ट (वाइटल्स, दवाएं, नोट्स) को पढ़ता है और उसे एक साफ, गणितीय "विचार" (एक लेटेंट एम्बेडिंग) में बदल देता है।
प्रेडिक्टर (क्रिस्टल बॉल): यह उन "विचारों" को देखता है और अनुमान लगाने की कोशिश करता है कि अगला "विचार" क्या होगा।

विफलता के प्रकार:

"जमा हुआ मस्तिष्क" (Frozen Brain) की समस्या: पिछले तरीकों में, उन्होंने पहले मस्तिष्क को प्रशिक्षित किया, फिर उसे फ्रीज (स्थिर) कर दिया, और उसके बाद क्रिस्टल बॉल को प्रशिक्षित किया। समस्या क्या थी? मस्तिष्क को पता ही नहीं था कि क्रिस्टल बॉल का अस्तित्व है। इसने इस तरह से सोचने के लिए खुद को प्रशिक्षित किया जो पढ़ने के लिए तो अच्छा था, लेकिन भविष्य की भविष्यवाणी करने के लिए बुरा था। क्रिस्टल बॉल संघर्ष कर रही थी क्योंकि मस्तिष्क के "विचार" भविष्यवाणी के लिए व्यवस्थित नहीं थे।
"बदलता लक्ष्य" (Moving Target) की समस्या: यदि आप दोनों को एक साथ प्रशिक्षित करने की कोशिश करते हैं (co-training), तो यह अराजक हो जाता है। मस्तिष्क बार-बार अपना विचार बदलता है, और क्रिस्टल बॉल भ्रमित हो जाती है, एक ऐसे लक्ष्य का पीछा करने में जो लगातार बदल रहा है। अंततः, पूरा सिस्टम ध्वस्त हो जाता है, और AI निरर्थक या "भ्रमित" (hallucinating) भविष्य दिखाने लगता है जहाँ कुछ भी नहीं बदलता।

समाधान: पांच चरणों वाला "ट्रेनिंग कैंप"

लेखकों ने CLIN-JEPA बनाया, जो एक विशिष्ट, पांच-चरणीय प्रशिक्षण कार्यक्रम है जिसे इन समस्याओं को ठीक करने के लिए डिज़ाइन किया गया है। इसे एक नए एथलीट और उनके कोच को एक साथ प्रशिक्षित करने जैसा समझें, न कि केवल उन्हें खेल में झोंक देने जैसा।

चरण 1: वार्मअप (सोलो ड्रिल)।
सबसे पहले, वे क्रिस्टल बॉल को अकेले प्रशिक्षित करते हैं जबकि मस्तिष्क (एन्कोडर) स्थिर रहता है। इससे क्रिस्टल बॉल खेल के बुनियादी नियमों को सीख पाती है बिना इस डर के कि मस्तिष्क उसके लिए नियम बदल देगा।
चरण 2: संयुक्त परिशोधन (साझेदारी)।
अब, वे मस्तिष्क को अनलॉक करते हैं और दोनों को एक साथ प्रशिक्षित करते हैं। यह जादुई कदम है। मस्तिष्क विशेष रूप से इस तरह से अपने विचारों को व्यवस्थित करना सीखता है ताकि क्रिस्टल बॉल भविष्य की भविष्यवाणी कर सके। वे एक-दूसरे में "ग्राउंडेड" (स्थापित) होते हैं।
चरण 3: संरेखण (सॉफ्ट कैच-अप)।
मस्तिष्क को फिर से फ्रीज कर दिया जाता है, लेकिन "लक्ष्य" (मस्तिष्क का एक संदर्भ संस्करण) धीरे-धीरे उसके करीब पहुँचता है। यह अचानक लगने वाले झटके को रोकता है जो क्रिस्टल बॉल को भ्रमित कर सकता है।
चरण 4: हार्ड सिंक (द स्नैप)।
वे तुरंत मस्तिष्क की वर्तमान स्थिति को लक्ष्य (Target) में कॉपी कर देते हैं। यह सुनिश्चित करता है कि वे पूरी तरह से समान हैं, जिससे किसी भी शेष भ्रम को हटाया जा सके।
चरण 5: अंतिम रूप देना (सिमुलेशन)।
अंत में, वे क्रिस्टल बॉल को अतीत के "सही" उत्तरों के बजाय वास्तविक भविष्य (जो वह स्वयं प्रेडिक्ट करता है) का उपयोग करके प्रशिक्षित करते हैं। यह इसे लंबी अवधि तक स्थिर रहने के लिए प्रशिक्षित करता है, बिल्कुल एक वास्तविक सिमुलेशन की तरह।

उन्होंने क्या पाया? (परिणाम)

टीम ने इसका परीक्षण MIMIC-IV पर किया, जो वास्तविक ICU रोगी रिकॉर्ड का एक विशाल डेटाबेस है। यहाँ क्या हुआ:

यह क्रैश नहीं होता: जब अन्य तरीकों ने 48 घंटे आगे की भविष्यवाणी करने की कोशिश की, तो उनकी भविष्यवाणियाँ नियंत्रण से बाहर हो गईं (जैसे सिग्नल खो जाने पर GPS)। CLIN-JEPA की भविष्यवाणियाँ वास्तव में जितनी दूर तक देखती हैं, उतनी ही अधिक सटीक होती जाती हैं, और एक स्थिर वास्तविकता की ओर बढ़ती हैं।
यह "बीमार" बनाम "स्थिर" को समझता है: शोधकर्ताओं ने उस डेटा के "आकार" (shape) को देखा जिसे AI ने सीखा।
- उपमा: एक मानचित्र की कल्पना करें जहाँ बीमार और स्वस्थ मरीज बिंदु (dots) हैं।
- पुराना AI: बीमार और स्वस्थ मरीजों के बिंदु आपस में मिले हुए थे, या वे बेतरतीब ढंग से इधर-उधर भटक रहे थे।
- CLIN-JEPA: "बीमार" मरीज मानचित्र पर "स्वस्थ" मरीजों से बहुत दूर चले गए। AI ने एक स्पष्ट, अलग ज्यामिति सीखी जहाँ बिगड़ता हुआ मरीज एक स्थिर मरीज से बहुत अलग दिखता है।
एक ही मॉडल सब कुछ करता है: आमतौर पर, आपको हर विशिष्ट कार्य के लिए एक अलग AI मॉडल की आवश्यकता होती है (एक मृत्यु की भविष्यवाणी के लिए, एक सेप्सिस के लिए, एक अस्पताल में रुकने की अवधि के लिए)। CLIN-JEला CLIN-JEPA एक ही बैकबोन (सीखे हुए विचारों का एक सेट) का उपयोग करता है जो बिना पुन: प्रशिक्षित हुए 15 विभिन्न कार्यों पर विशेषज्ञ मॉडलों को भी पीछे छोड़ देता है।

निचोड़

CLIN-JEPA एक नया ढांचा है जो सफलतापूर्वक एक AI को ICU में रोगी के प्रक्षेपवक्र (trajectories) का अनुकरण करना सिखाता है। एक चतुर पांच-चरणीय प्रशिक्षण कैंप का उपयोग करके, इसने इस समस्या को हल किया कि AI के "मस्तिष्क" और "प्रेडिक्शन इंजन" को बिना क्रैश हुए एक साथ कैसे काम कराया जाए।

परिणामस्वरूप, यह एक एकल, मजबूत मॉडल है जो एक मरीज के इतिहास को देख सकता है और विश्वसनीय रूप से उनके भविष्य की स्थिति की "कल्पना" कर सकता है, जो उन लोगों को अलग करता है जो बिगड़ रहे हैं और उन्हें जो स्थिर हैं, और विभिन्न स्वास्थ्य जोखिमों की भविष्यवाणी करने में मौजूदा तरीकों से बेहतर प्रदर्शन करता है।

तकनीकी सारांश: CLIN-JEPA

समस्या विवरण

इंटेंसिव केयर यूनिट (ICU) में इलेक्ट्रॉनिक हेल्थ रिकॉर्ड (EHR) मॉडलिंग एक मौलिक सीमा का सामना कर रही है: मौजूदा दृष्टिकोण या तो रोगी डेटा को स्थिर टेक्स्ट अनुक्रमों (टोकन-ऑटोरेग्रेसिव मॉडल) के रूप में देखते हैं जो निरंतर शारीरिक अवस्थाओं (physiological states) को मॉडल करने में विफल रहते हैं, या फिर वे विशिष्ट कार्य-आधारित फाउंडेशन मॉडल के रूप में होते हैं जिन्हें प्रत्येक डाउनस्ट्रीम कार्य के लिए विशिष्ट फीचर इंजीनियरिंग और फाइन-ट्यूनिंग की आवश्यकता होती है। इनमें से कोई भी दृष्टिकोण एक एकीकृत लेटेंट रिप्रेजेंटेशन (latent representation) प्रदान नहीं करता है जो रोगी के प्रक्षेपवक्र (trajectories) के पूर्वानुमान और विविध जोखिम-भविष्यवाणी कार्यों को बिना किसी प्रति-कार्य अनुकूलन (per-task adaptation) के समर्थन देने में सक्षम हो।

यद्यपि जॉइंट-एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर (JEPA) ने रोबोटिक्स और विजन में लेटेंट-स्पेस प्लानिंग को सफलतापूर्वक सक्षम किया है, लेकिन इस प्रतिमान (paradigm) को क्लिनिकल EHR पर अनुकूलित करना एक खुला चैलेंज बना हुआ है। पूर्ववर्ती JEPA डिजाइन क्लिनिकल सिमुलेशन के अनुप्रयोग में विशिष्ट आर्किटेक्चरल अंतराल से ग्रस्त हैं:

I-JEPA और V-JEPA: प्रीट्रेनिंग के बाद प्रेडिक्टर को हटा देते हैं, जिससे भविष्य का प्रक्षेपवक्र सिमुलेशन असंभव हो जाता है।
V-JEPA 2-AC: प्रेडिक्टर को बनाए रखता है लेकिन इसे एक फ्रोजन एनकोडर पर प्रशिक्षित करता है। इसके परिणामस्वरूप, एनकोडर "रोलआउट सिग्नल" से अनभिज्ञ रहता है जो इन्फरेंस के लिए आवश्यक है, जिससे रिप्रेजेंटेशन स्पेस और प्रेडिक्शन डायनेमिक्स के बीच एक विच्छेद (disconnect) पैदा होता है।

एक साझा JEPA ऑब्जेक्टिव के तहत एनकोडर और प्रेडिक्टर का नैव (naïve) सह-प्रशिक्षण (co-training) अस्थिर है, जो रिप्रेजेंटेशन कोलैप्स (जहाँ एनकोडर स्थिर आउटपुट में पतन हो जाता है) और ऑनलाइन/टारगेट ड्रिफ्ट (जहाँ प्रेडिक्टर एक मूविंग लेटेंट स्पेस में त्रुटियों को संचित करते हुए विचलित हो जाता है) के प्रति संवेदनशील है।

कार्यप्रणाली: CLIN-JEPA फ्रेमवर्क

लेखक CLIN-JEPA का प्रस्ताव करते हैं, जो एक मल्टी-फेज को-ट्रेनिंग करिकुलम है जिसे एक एकल बैकबोन को स्थिर रूप से प्रशिक्षित करने के लिए डिज़ाइन किया गया है जो एक साथ रोगी के प्रक्षेपवक्र का पूर्वानुमान लगाता है और डाउनस्ट्रीम रिस्क-प्रेडिक्शन कार्यों के लिए कार्य करता है।

1. डेटा रिप्रेजेंटेशन और एनकोडर

इनपुट फॉर्मेट: पेशेंट स्टेज़ को 1-घंटे के बिन (72 घंटों तक) के ऊपर स्टेट-एक्शन पेयर्स के एक अनुक्रम के रूप में मॉडल किया गया है, जिसके पहले स्टैटिक डेमोग्राफिक्स दिए गए हैं। संख्यात्मक वेक्टराइजेशन के विपरीत, मॉडल अवस्थाओं (वाइटल्स, लैब्स, गंभीरता स्कोर) और क्रियाओं (हस्तक्षेप, खुराक) का प्रतिनिधित्व करने के लिए स्ट्रक्चर्ड नेचुरल लैंग्वेज टेक्स्ट का उपयोग करता है। यह मानव पठनीयता को बनाए रखता है, लुप्त मानों (missing values) को स्वाभाविक रूप से संभालता है (उन्मूलन द्वारा), और मोडैलिटी-विशिष्ट फीचर इंजीनियरिंग से बचता है।
एनकोडर आर्किटेक्चर: सिस्टम एक Qwen3-8B लैंग्वेज मॉडल का उपयोग बेस एनकोडर के रूप में करता है। बेस वेट्स फ्रोजन हैं, और हल्के LoRA एडेप्टर्स को टेक्स्ट इनपुट (डेमोग्राफिक्स $d$ , स्टेट $s_t$ , एक्शन $a_t$ ) को 4096-आयामी लेटेंट स्पेस में मैप करने के लिए प्रशिक्षित किया जाता है।

2. लेटेंट ट्रजेक्टरी प्रेडिक्टर

आर्किटेक्चर: एक 92M-पैरामीटर ट्रांसफॉर्मर एनकोडर पूरी तरह से 4096-आयामी लेटेंट स्पेस के भीतर संचालित होता है।
मैकेनिज्म: यह डेमोग्राफिक्स, स्टेट्स और एक्शन्स के इंटरलीव्ड सीक्वेंस को ग्रहण करता है। ब्लॉक-कॉज़ल अटेंशन (एक टाइमस्टेप के भीतर द्विदिश और टाइमस्टेप्स के बीच सख्त कॉज़ल) का उपयोग करके, यह अगले लेटेंट स्टेट $\hat{z}_{t+1}$ की भविष्यवाणी करता है।
इन्फरेंस: प्रेडिक्टर को इन्फरेंस के समय बनाए रखा जाता है। यह ऑटोरेग्रेसिव रोलआउट करता है, जो अपने स्वयं के निरंतर एम्बेडिंग प्रेडिक्शन्स को अगले चरणों के इनपुट के रूप में वापस फीड करता है ताकि $H$ -घंटे के क्षितिज (horizon) पर रोगी के प्रक्षेपवक्र का अनुकरण किया जा सके।

3. पांच-चरणीय को-ट्रेनिंग करिकुलम

नैव को-ट्रेनिंग की अस्थिरता को संबोधित करने के लिए, लेखक एक पांच-चरणीय प्रीट्रेनिंग शेड्यूल पेश करते हैं:

वार्मअप: प्रेडिक्टर को एक फ्रोजन, सुपरवाइज्ड फाइन-टयूनड (SFT) एनकोडर के विरुद्ध अकेले प्रशिक्षित किया जाता है। यह प्रेडिक्टर को तुरंत एनकोडर को रिप्रेजेंटेशन कोलैप्स की ओर खींचने से रोकता है।
को-ट्रेनिंग: एनकोडर के LoRA एडेप्टर्स को अनलॉक किया जाता है और एक साझा JEPA ऑब्जेक्टिव के तहत प्रेडिक्टर के साथ संयुक्त रूप से प्रशिक्षित किया जाता है। टीचर-फोर्स्ड रोलआउट का उपयोग यह सुनिश्चित करने के लिए किया जाता है कि एनकोडर डायनामिक रूप से प्रेडिक्टर के लिए ग्राउंडेड रिप्रेजेंटेशन सीखे।
अलाइनमेंट: ऑनलाइन एनकोडर को फिर से फ्रोजन किया जाता है, और एक्सपोनेंशियल मूविंग एवरेज (EMA) टारगेट एनकोडर, ऑनलाइन एनकोडर के पैरामीटर्स के साथ सुचारू रूप से तालमेल बिठाता है।
हार्ड सिंक: एक इंस्टेंटेनियस पैरामीटर कॉपी टारगेट और ऑनलाइन एनकोडर को अलाइन करती है, जिससे अवशेष बेमेल (residual mismatches) समाप्त हो जाते हैं।
फाइनलाइज: प्रेडिक्टर को रिफाइंड रिप्रेजेंटेशन पर स्टेबलाइज्ड एनकोडर का उपयोग करके प्रशिक्षित किया जाता है, जिसमें नेटिव ऑटोरेग्रेसिव रोलआउट (इन्फरेंस स्थितियों की नकल करते हुए) का उपयोग किया जाता है ताकि प्रेडिक्टर पूरी तरह से कन्वर्ज हो सके।

ऑब्जेक्टिव वास्तविक अगले स्टेट के टारगेट एनकोडर एम्बेडिंग और प्रेडिक्टेड नेक्स्ट-स्टेट एम्बेडिंग के बीच $\ell_1$ दूरी को कम करता है, जिसमें मल्टी-स्टेप स्थिरता को प्रोत्साहित करने के लिए एक शॉर्ट-होरिज़न रोलआउट लॉस शामिल है।

मुख्य योगदान

स्टेबल को-ट्रेनिंग करिकुलम: एक अभिनव पांच-फेज शेड्यूल जो एक बड़े लैंग्वेज मॉडल-आधारित एनकोडर और एक लेटेंट ट्रजेक्टरी प्रेडिक्टर को सफलतापूर्वक को-ट्रेन करता है, जिससे रिप्रेजेंटेशन कोलैप्स और ड्रिफ्ट को रोका जा सकता है।
यूनिफाइड टेक्स्ट-बेस्ड रिप्रेजेंटेशन: एक फ्रेमवर्क जो बिना इम्प्यूटेशन, नॉर्मलाइजेशन या हैंड-इंजीनियर्ड फीचर्स के कच्चे क्लिनिकल टेक्स्ट का उपभोग करता है, जो एक ही सेट के लेटेंट एम्बेडिंग्स से सभी डाउनस्ट्रीम कार्यों की सेवा करता है।
रिटेन्ड प्रेडिक्टर के साथ प्रथम क्लिनिकल JEPA: पूर्ववर्ती कार्यों के विपरीत जो प्रेडिक्टर को हटा देते हैं, CLIN-JEPA स्थिर, ऑटोरेग्रेसिव पेशेंट-स्टेट सिमुलेशन को सक्षम करने के लिए प्रेडिक्टर को बनाए रखता है।

प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन MIMIC-IV ICU डेटासेट (84,497 स्टेज़) पर तीन अक्षों पर किया गया था:

1. प्रशिक्षण स्थिरता और अभिसरण (Convergence)

रोलआउट ड्रिफ्ट: 48-घंटे के ऑटोरेग्रेसिव क्षितिज पर, CLIN-JEPA का प्रेडिक्शन एरर कन्वर्ज हुआ (1-घंटे के बेसलाइन के सापेक्ष 15.7% की कमी)। इसके विपरीत, बेसलाइन्स और एब्लेशन (वार्मअप या अलाइनमेंट को हटाना) विनाशकारी रूप से विचलित हो गए, जिसमें ड्रिफ्ट में +3% से +4951% तक की वृद्धि देखी गई।
रिप्रेजेंटेशन कोलैप्स: केवल पूर्ण CLIN-JEPA करिकुलम ने एनकोडर आउटपुट्स में एक स्वस्थ स्टैंडर्ड डेविएशन ( $z_{std}$ ) बनाए रखा, जिससे वार्मअप चरण की कमी वाले वेरिएंट्स में देखे गए कोलैप्स से बचा जा सका।

2. लेटेंट ज्योमेट्री डायग्नोसिस

क्लिनिकल डिस्क्रिमिनेशन: एनकोडर ने एक ऐसी ज्योमेट्री सीखी जहाँ बिगड़ते हुए मरीज (SOFA स्कोर वृद्धि $\ge$ 3) स्थिर मरीजों की तुलना में लेटेंट स्पेस में 4.83 गुना अधिक दूर विस्थापित होते हैं। बेसलाइन एनोडर्स ने काफी कम सेपरेशन रेश्यो (2.62× और 1.03×) दिखाया।
टेम्पोरल डायनेमिक्स: CLIN-JEPA की डिस्क्रिमिनेटिव शक्ति ऑब्जर्वेशन होराइजन के साथ बढ़ी, जो 66वें घंटे पर चरम पर पहुँची, जो ICU प्रोग्रेशन के धीमे, इंटीग्रेटिव टाइमस्केल के आंतरिककरण को दर्शाती है।

3. डाउनस्ट्रीम मल्टी-टास्क परफॉरमेंस

बिना प्रति-कार्य फाइन-ट्यूनिंग के दो बेंचमार्क (ICareFM Early Event Prediction और 8 बाइनरी रिस्क टास्क) पर मूल्यांकन किया गया:

ICareFM EEP: इसने 0.851 का औसत AUROC प्राप्त किया, जो सबसे मजबूत बेसलाइन (LightGBM, 0.827) और एनकोडर एब्लेशन से बेहतर रहा।
बाइनरी रिस्क टास्क: इसने 0.883 का औसत AUROC प्राप्त किया, जो LSTM बेसलाइन (0.865) से बेहतर रहा।
प्रेडिक्टर वैल्यू: ऑटोरेग्रेसिव रोलआउट (भविष्य के पूर्वानुमान) का समावेश इतिहास-मात्र इनपुट्स की तुलना में प्रदर्शन में लगातार सुधार करता है, विशेष रूप से उन कार्यों के लिए जिनमें हेटेरोजेनियस ट्रजेक्टरी इंफॉर्मेशन (जैसे किडनी इंजरी, सेप्सिस, डीकंपेंसेशन) के संयोजन की आवश्यकता होती है।

महत्व

पेपर का दावा है कि CLIN-JEPA पहला फ्रेमवर्क है जिसने प्रेडिक्टर को बनाए रखकर JEPA प्रीट्रेनिंग और क्लिनिकल इन्फरेंस के बीच के अंतर को सफलतापूर्वक भरा है। यह प्रदर्शित करता है कि एक एकल क्लिनिकल बैकबोन एक साथ स्थिर ऑटोरेग्रेसिव रोलआउट, क्लिनिकली डिस्क्रिमिनेटिव लेटेंट ज्योमेट्री, और प्रतिस्पर्धी मल्टी-टास्क परफॉरमेंस प्रदान कर सकता है। यह कार्य स्थापित करता है कि ICU जैसे उच्च-आयामी डायनामिकल सिस्टम में लॉन्ग-होरिज़न सिमुलेशन के लिए रिप्रेजेंटेशन को ग्राउंड करने हेतु एक विशिष्ट करिकुलम के तहत एनकोडर और प्रेडिक्टर को को-ट्रेन करना आवश्यक है।