🤖 machine learning

Physiome-ODE: A Benchmark for Irregularly Sampled Multivariate Time Series Forecasting Based on Biological ODEs

वर्तमान मूल्यांकन बेंचमार्क की सीमाओं को संबोधित करने के लिए, जहाँ ODE-आधारित मॉडल कम प्रदर्शन करते हैं, लेखक Physiome-ODE पेश करते हैं, जो वास्तविक दुनिया के जैविक ODEs से प्राप्त अनियमित रूप से नमूना लिए गए बहुभिन्नरूपी समय श्रृंखलाओं (multivariate time series) का एक बड़े पैमाने का बेंचमार्क है, जो ODE-आधारित पूर्वानुमान मॉडलों के सार्थक विभेदन और बेहतर प्रदर्शन को सक्षम बनाता है।

मूल लेखक: Christian Klötergens, Vijaya Krishna Yalavarthi, Randolf Scholz, Maximilian Stubbemann, Stefan Born, Lars Schmidt-Thieme

प्रकाशित 2026-05-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Christian Klötergens, Vijaya Krishna Yalavarthi, Randolf Scholz, Maximilian Stubbemann, Stefan Born, Lars Schmidt-Thieme

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल प्रणाली, जैसे कि मौसम या किसी मरीज की हृदय गति, के भविष्य की भविष्यवाणी करना सिखाने की कोशिश कर रहे हैं। रोबोट को ऐसे डेटा से सीखना होगा जो बहुत अव्यवस्थित है: माप (measurements) यादृच्छिक (random) समय पर आते हैं, कुछ सेंसर काम करना बंद कर देते हैं, और डेटा गायब रहता है।

पिछले कुछ वर्षों से, शोधकर्ता अपने सबसे अच्छे "समय की यात्रा करने वाले" (उन्नत एआई मॉडल) रोबोटों का परीक्षण चार डेटासेट्स के एक बहुत ही छोटे और सीमित सेट पर कर रहे हैं। यह पेपर तर्क देता है कि यह एक फॉर्मूला 1 रेस कार को केवल एक सपाट, खाली पार्किंग स्थल पर टेस्ट करने जैसा है। यह पता चला है कि इस छोटे से पार्किंग स्थल पर, एक ऐसा रोबोट जो बस यह अनुमान लगाता है कि "भविष्य बिल्कुल वर्तमान जैसा ही दिखेगा" (एक स्थिर अनुमान), अक्सर फैंसी और जटिल रोबोटों से बेहतर प्रदर्शन करता है। यह भ्रमित करने वाला है क्योंकि इन फैंसी रोबोटों को विशेष रूप से जटिल और परिवर्तनशील प्रणालियों को संभालने के लिए बनाया गया था।

यहाँ बताया गया है कि लेखकों ने इस समस्या को कैसे ठीक किया, इसे सरल भाषा में समझाया गया है:

1. समस्या: "खिलौना" परीक्षण (The "Toy" Test)

इन एआई मॉडलों के परीक्षण के लिए वर्तमान मानक एक पूरी रेसिंग लीग को आंकने के लिए कुछ खिलौना कारों का उपयोग करने जैसा है। लेखकों ने पाया कि मौजूदा चार डेटासेट्स पर, सबसे सरल संभव रणनीति (एक सीधी रेखा का अनुमान लगाना) अक्सर सबसे परिष्कृत साधारण अवकल समीकरणों (Ordinary Differential Equations - ODEs) पर आधारित मॉडलों के बराबर या उनसे बेहतर थी।

उपमा: कल्पना कीजिए कि आप एक शेफ की एक जटिल, बहु-कोर्स भोजन बनाने की क्षमता का परीक्षण कर रहे हैं। लेकिन एकमात्र टेस्ट जो आप उन्हें देते हैं, वह है सादा दलिया (oatmeal) बनाना। यदि शेफ दलिया के लिए एक फैंसी 'सू-वीड' (sous-vide) मशीन का उपयोग करने की कोशिश करता है, तो एक साधारण चम्मच वास्तव में बेहतर काम कर सकता है क्योंकि कार्य बहुत आसान है और मशीन के कौशल को दिखाने के लिए पर्याप्त नहीं है। मौजूदा डेटासेट्स बहुत "आसान" या "उबाऊ" थे जो जटिल मॉडलों की वास्तविक क्षमताओं को दिखाने में विफल रहे।

2. समाधान: एक "जैविक जिम" बनाना (Building a "Biological Gym")

इस समस्या को ठीक करने के लिए, लेखकों ने Physiome-ODE नामक एक नया, विशाल परीक्षण मैदान बनाया।

वास्तविक दुनिया के अव्यवस्थित डेटा (जिसे प्राप्त करना कठिन है और जो अक्सर अधूरा होता है) के बजाय, वे Physiome Model Repository की ओर गए, जो जैविक मॉडलों की एक लाइब्रेरी है जिसे जीव विज्ञानियों द्वारा दशकों से जीवित चीजों (जैसे कि दिल कैसे धड़कता है या कोशिकाएं कैसे संवाद करती हैं) के वर्णन के लिए बनाया गया है।

रूपक: पुराने डेटासेट्स को कुछ स्थिर तस्वीरों की तरह समझें। नया बेंचमार्क एक जिम है जिसमें 50 अलग-अलग, अत्यधिक जटिल "वर्कआउट मशीनें" (सिमुलेशन) हैं।
उन्होंने इसे कैसे बनाया: उन्होंने इन जैविक समीकरणों को एक वीडियो गेम की तरह चलाया। उन्होंने कंप्यूटर को निर्देश दिया: "इस सिमुलेशन को चलाओ, लेकिन मुझे परिणाम केवल यादृच्छिक समय पर दिखाओ, और यह नाटक करो कि कुछ सेंसर खराब हैं।" इससे एक आदर्श, नियंत्रित वातावरण बनता है जहाँ "ग्राउंड ट्रुथ" (वास्तविक उत्तर) ज्ञात होता है क्योंकि कंप्यूटर ने ही उसे उत्पन्न किया है।

3. नया पैमाना: "कठिनाई" को मापना

लेखकों को एहसास हुआ कि उन्हें यह जानने के लिए एक तरीका चाहिए कि कौन से सिमुलेशन वास्तव में कठिन थे। उन्होंने जॉइंट ग्रेडिएंट डेविएशन (Joint Gradient Deviation - JGD) नामक एक स्कोर का आविष्कार किया।

उपमा: कल्पना कीजिए कि आप एक गेंद के पथ की भविष्यवाणी करने की कोशिश कर रहे हैं।
- यदि गेंद एक सीधी रेखा में चलती है, तो यह अनुमान लगाना आसान है।
- यदि गेंद दीवारों से टकराकर बेतरतीब ढंग से उछल रही है, घूम रही है और अपनी गति बदल रही है, तो यह कठिन है।
- JGD एक "अराजकता मीटर" (chaos meter) की तरह है। यह मापता है कि डेटा की गति और दिशा कितनी तेजी से बदल रही है। लेखकों ने इस मीटर का उपयोग अपने बेंचमार्क के लिए 50 सबसे "अराजक" और दिलचस्प सिमुलेशन चुनने के लिए किया।

4. परिणाम: दौड़ शुरू होती है

जब उन्होंने पुराने एआई मॉडलों को इस नए "जैविक जिम" पर चलाया, तो परिणाम पूरी तरह से बदल गए:

स्थिर बेसलाइन हार गई: वह सरल रोबोट जो बस यह अनुमान लगाता था कि "कुछ नहीं बदलेगा", अब जीत नहीं सका। कठिन डेटासेट्स पर वह बुरी तरह हार गया।
ODE मॉडल्स चमक उठे: अवकल समीकरणों (जैसे LinODEnet और CRU) को समझने के लिए बनाए गए जटिल मॉडलों ने अंततः अपनी ताकत दिखाई। वे अव्यवस्थित, अनियमित डेटा और जटिल जैविक गतिकी (dynamics) को सरल बेसलाइन की तुलना में बहुत बेहतर तरीके से संभाल सके।
कोई एक विजेता नहीं: बिल्कुल वास्तविक खेलों की तरह, हर डेटासेट के लिए कोई एक "सर्वश्रेष्ठ" मॉडल नहीं था। कुछ मॉडल हृदय की लय (heart rhythms) की भविष्यवाणी करने में बेहतरीन थे, जबकि अन्य कोशिका वृद्धि (cell growth) के लिए बेहतर थे। यह विविधता शोधकर्ताओं को यह जानने के लिए आवश्यक है कि किस काम के लिए किस उपकरण का उपयोग किया जाए।

5. यह क्यों महत्वपूर्ण है

यह पेपर निष्कर्ष निकालता है कि लंबे समय से यह क्षेत्र अटका हुआ था क्योंकि परीक्षण बहुत आसान थे। Physiome-ODE पेश करके, उन्होंने इन एआई मॉडलों के लिए एक "हार्ड मोड" प्रदान किया है।

मुख्य बात: आप एक मास्टर शेफ को टोस्ट बनाने में उनकी कुशलता से नहीं आंक सकते। आपको उन्हें एक जटिल भोज (banquet) देना होगा। यह नया बेंचमार्क वही भोज है। यह शोधकर्ताओं को ऐसे मॉडल बनाने के लिए मजबूर करता है जो जैविक और वैज्ञानिक डेटा की अव्यवस्थित, अनियमित और जटिल वास्तविकता को वास्तव में संभाल सकें, न कि केवल ऐसे मॉडल जो केवल सीधी रेखाओं का अनुमान लगाने में अच्छे हों।

संक्षेप में: लेखकों ने एआई के "समय की यात्रा करने वाले" रोबोटों के लिए एक नया, बहुत कठिन और अधिक यथार्थवादी खेल का मैदान बनाया है, जो वास्तविक जैविक गणित पर आधारित है, ताकि यह साबित किया जा सके कि फैंसी रोबोट काम कर सकते हैं—उन्हें बस इसे दिखाने के लिए एक बेहतर परीक्षण की आवश्यकता थी।

तकनीकी सारांश: PHYSIOME-ODE

समस्या विवरण (Problem Statement)

अनुपलब्ध मानों (missing values) वाले अनियमित रूप से नमूने लिए गए बहुभिन्नीय समय श्रृंखला (irregularly sampled multivariate time series - IMTS) के पूर्वानुमान पर वर्तमान शोध विविध और चुनौतीपूर्ण बेंचमार्क की भारी कमी से ग्रस्त है। यह क्षेत्र मुख्य रूप से चार डेटासेट्स (USHCN, PhysioNet-2012, MIMIC-III, MIMIC-IV) और कुछ खिलौना उदाहरणों (toy examples) के एक छोटे समूह पर निर्भर है। लेखक इस मूल्यांकन परिदृश्य में एक गंभीर दोष की पहचान करते हैं: इन मौजूदा डेटासेट्स पर, एक सरल बेसलाइन मॉडल जो समय से स्वतंत्र एक स्थिर मान (constant value) की भविष्यवाणी करता है, अक्सर परिष्कृत ऑर्डिनरी डिफरेंशियल इक्वेशन (ODE)-आधारित न्यूरल मॉडलों के बराबर या उनसे बेहतर प्रदर्शन करता है। यह अतार्किक निष्कर्ष बताता है कि मौजूदा डेटासेट्स ODE-आधारित मॉडलों की वास्तविक क्षमताओं का मूल्यांकन करने के लिए अनुपयुक्त हो सकते हैं, जिससे अनुसंधान की प्रगति बाधित हो रही है। इसके अलावा, मौजूदा डेटासेट्स में अक्सर आवश्यक सहचरों (covariants) की कमी होती है (जैसे रक्त ग्लूकोज भविष्यवाणी के लिए भोजन का सेवन), जिससे पूर्वानुमान कार्य स्वाभाविक रूप से मॉडल की जटिलता के बावजूद असंभव हो जाता है।

कार्यप्रणाली (Methodology)

इन सीमाओं को दूर करने के लिए, लेखक एक व्यवस्थित कार्यप्रणाली के माध्यम से उत्पन्न एक नया बेंचमार्क, Physiome-ODE, प्रस्तावित करते हैं:

जैविक ODEs से डेटा पीढ़ी (Data Generation from Biological ODEs):
- लेखक Physiome Model Repository (PMR) का उपयोग करते हैं, जिसमें जैविक अनुसंधान से प्राप्त 208 बहुभिन्नीय ODE मॉडल शामिल हैं।
- वे इन ODE सिस्टम को जनरेटिव मॉडल के रूप में उपयोग करते हैं। एक ODE सिस्टम $F$ , स्थिरांक $a$ और प्रारंभिक मान $x_0$ के साथ, एक निरंतर फलन $x(t)$ को परिभाषित करता है।
- IMTS इंस्टेंस बनाने के लिए, वे अनियमित अवलोकन समय और चैनल उत्पन्न करने के लिए एक सैंपलिंग प्रक्रिया $s$ और अवलोकन शोर (observation noise) पेश करने के लिए एक शोर मॉडल $p_{NOISE}$ लागू करते हैं।
- महत्वपूर्ण रूप से, विविधता और कठिनाई सुनिश्चित करने के लिए, वे निश्चित ODE इंस्टेंस का उपयोग नहीं करते हैं। इसके बजाय, वे साहित्य के मानों के आसपास केंद्रित वितरणों से सैंपलिंग करके प्रारंभिक स्थितियों ( $x_0$ ), ODE स्थिरांकों ( $a$ ), और कुल अवधि ( $T$ ) को बदलते हैं, जो स्प्रेड पैरामीटर्स ( $\sigma$ ) द्वारा नियंत्रित होते हैं।
कठिनाई मीट्रिक: जॉइंट ग्रेडिएंट डेविएशन (Joint Gradient Deviation - JGD):
- सबसे चुनौतीपूर्ण डेटासेट्स का चयन करने के लिए, लेखक जॉइंट ग्रेडिएंट डेविएशन (JGD) नामक एक मीट्रिक पेश करते हैं।
- JGD दो मापों को जोड़ता है:
  - मीन ग्रेडिएंट डेविएशन (MGD): एक एकल फलन के भीतर ग्रेडिएंट की विषमता को मापता है (अपने माध्य के आसपास ग्रेडिएंट का समय-सामान्यीकृत $L_2$ नॉर्म)।
  - मीन पॉइंट-वाइज ग्रेडिएंट डेविएशन (MPGD): एक वितरण में विभिन्न फलनों के बीच ग्रेडिएंट की विषमता को मापता है (एन्सेम्बल में प्रत्येक समय बिंदु पर ग्रेडिएंट का मानक विचलन)।
- $JGD(p) = MPGD(p) \cdot E_{x \sim p}[MGD(x)]$ ।
- लेखक सिद्ध करते हैं कि MGD और MPGD को परिमित नमूनों (finite samples) और डिवाइडेड डिफरेंस (divided differences) का उपयोग करके अनुमानित किया जा सकता है (लेम्मा 1 और 2)।
- वे JGD को अधिकतम करने के लिए प्रत्येक ODE मॉडल के लिए स्प्रेड पैरामीटर्स ( $\sigma_{initial}, \sigma_{const}, \sigma_{dur}$ ) को अनुकूलित (optimize) करते हैं, जिससे सबसे कठिन पूर्वानुमान परिदृश्यों का चयन होता है।
बेंचमार्क निर्माण (Benchmark Construction):
- PMR के 208 मॉडलों में से, उच्चतम अनुकूलित JGD स्कोर वाले शीर्ष 50 मॉडलों को चुना गया।
- प्रत्येक चयनित मॉडल के लिए, 2,000 टाइम सीरीज़ इंस्टेंस उत्पन्न किए गए।
- इंस्टेंस एक यादृच्छिक स्टार्ट टाइम को सैंपल करके और अगले 100 स्टेप्स चुनकर बनाए जाते हैं, फिर अनियमित सैंपलिंग का अनुकरण करने के लिए 80% अवलोकनों को यादृच्छिक रूप से हटा दिया जाता है।
- प्रशिक्षण स्थिरता सुनिश्चित करने के लिए चरम मानों (अस्थिर ODE अवस्थाओं के कारण आउटलेयर्स) को खारिज कर दिया जाता है।

प्रमुख योगदान (Key Contributions)

Physiome-ODE बेंचमार्क: वास्तविक दुनिया के जैविक ODEs से प्राप्त 50 अलग-अलग डेटासेट्स वाला पहला बड़े पैमाने का, विविध IMTS पूर्वानुमान बेंचमार्क। यह वर्तमान मूल्यांकन सेटिंग से एक क्रम (order of magnitude) बड़ा है।
बेसलाइन विश्लेषण: एक "कांस्टेंट फोरकास्ट" बेसलाइन (GraFITi-C) का परिचय जो यह दर्शाता है कि वर्तमान अत्याधुनिक मॉडल अक्सर मौजूदा डेटासेट्स पर सरल ह्यूरिस्टिक्स से बेहतर प्रदर्शन करने में विफल रहते हैं, जो बेहतर मूल्यांकन प्रोटोकॉल की आवश्यकता को रेखांकित करता है।
JGD मीट्रिक: टाइम सीरीज पूर्वानुमान कार्यों की कठिनाई को अनुमानित करने के लिए एक सरल, प्रभावी स्कोर के रूप में जॉइंट ग्रेडिएंट डेविएशन का प्रस्ताव, जो चुनौतीपूर्ण ODE इंस्टेंस के चयन की अनुमति देता है।
व्यापक मूल्यांकन: पांच अत्याधुनिक IMTS मॉडलों (GRU-ODE-Bayes, LinODEnet, CRU, Neural Flows, GraFITi) और कांस्टेंट बेसलाइन का इस नए बेंचमार्क पर गहन मूल्यांकन।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने 5-फोल्ड क्रॉस-वैलिडेशन प्रोटोकॉल (सीरीज के अंतिम 50% की भविष्यवाणी करना) का उपयोग करते हुए MSE के साथ 50 Physiome-ODE डेटासेट्स पर मॉडलों का मूल्यांकन किया।

मॉडल प्रदर्शन: पिछले मूल्यांकनों के विपरीत जहाँ सरल बेसलाइन हावी थे, Physiome-ODE पर परिणाम दिखाते हैं कि ODE-आधारित मॉडल अपनी शक्तियों का लाभ उठा सकते हैं। LinODEnet समग्र रूप से सर्वश्रेष्ठ प्रदर्शन करने वाला मॉडल बनकर उभरा, जिसने सबसे अधिक डेटासेट्स जीते और उच्चतम औसत रैंक प्राप्त की। CRU और GraFITi भी प्रतिस्पर्धी रहे।
बेसलाइन तुलना: जबकि जटिल मॉडलों ने कई डेटासेट्स पर कांस्टेंट बेसलाइन से बेहतर प्रदर्शन किया, बेंचमार्क में कठिन इंस्टेंस (जैसे DUP01, DOK01) शामिल हैं जहाँ सर्वश्रेष्ठ मॉडल भी कांस्टेंट बेसलाइन से महत्वपूर्ण रूप से बेहतर प्रदर्शन नहीं कर सके। यह JGD के रूप में कार्य की कठिनाई के भविष्यवक्ता के रूप में JGD की क्षमता की पुष्टि करता है।
सहसंबंध (Correlation): JGD स्कोर और सर्वश्रेष्ठ प्राप्त होने योग्य MSE के बीच एक मजबूत सकारात्मक सहसंबंध (स्पियरमैन गुणांक 0.77) है, जो कार्य की कठिनाई के भविष्यवक्ता के रूप रूप में JGD को मान्य करता है।
चैनल डिपेंडेंसी: इन डेटासेट्स के नियमित रूप से सैंपल किए गए संस्करणों पर पूरक प्रयोगों में, लेखकों ने पाया कि बहुभिन्नीय मॉडल (चैनल डिपेंडेंसी को कैप्चर करने वाले) यूनिवेरिएट मॉडलों की तुलना में काफी बेहतर प्रदर्शन करते हैं, जो पारंपरिक बेंचमार्क के निष्कर्षों के विपरीत है जहाँ चैनल सहसंबंधों को अनदेखा करना कभी-कभी फायदेमंद होता है।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि Physiome-ODE IMTS पूर्वानुमान अनुसंधान को मानकीकृत करने की दिशा में एक महत्वपूर्ण कदम है। पक्षपाती, छोटे पैमाने के डेटासेट्स से हटकर जैविक भौतिकी पर आधारित एक बड़े, अर्ध-सिंथेटिक (semi-synthetic) बेंचमार्क की ओर बढ़कर, लेखक उम्मीद करते हैं कि:

प्रतिस्पर्धी पूर्वानुमान मॉडलों के बीच अधिक सार्थक विभेदन प्रदान किया जा सकेगा।
वर्तमान आर्किटेक्चर की विशिष्ट कमियों की पहचान की जा सकेगी, विशेष रूप से उच्च-कठिनाई वाले डेटासेट्स पर।
उपयुक्त, चुनौतीपूर्ण डेटा पर मूल्यांकन किए जाने पर ODE-आधारित तरीकों के वास्तव में उत्कृष्ट होने का प्रदर्शन करके अनियमित टाइम सीरीज़ मॉडलिंग पर अनुसंधान को एक "नई ऊर्जा" (fresh impulse) दी जा सकेगी।

लेखक इस बात पर जोर देते हैं कि हालांकि डेटा ODEs से उत्पन्न किया गया है (जिससे यह "अर्ध-सिंथेटिक" हो जाता है), अंतर्निहित सिस्टम दशकों के प्रकाशित जैविक अनुसंधान पर आधारित हैं, जो वास्तविक दुनिया की घटनाओं के साथ संबंध सुनिश्चित करते हैं। वे स्वीकार करते हैं कि कोई भी एकल मॉडल सभी डेटासेट्स पर सार्वभौमिक रूप से सर्वश्रेष्ठ नहीं है, जो एक एकल "विजेता-लेता-है" (winner-takes-all) मूल्यांकन के बजाय विविध बेंचमार्क की आवश्यकता को पुष्ट करता है।