Insulin4RL: Real-Time Insulin Management in the Intensive Care Unit for Offline Reinforcement Learning

तकनीकी सारांश: Insulin4RL

समस्या विवरण

ऑफलाइन सुदृढीकरण शिक्षण (Offline Reinforcement Learning - ORL) ऐतिहासिक इलेक्ट्रॉनिक स्वास्थ्य रिकॉर्ड (EHR) डेटा का उपयोग करके नैदानिक निर्णय लेने को अनुकूलित करने की क्षमता रखता है। हालाँकि, स्वास्थ्य सेवा में वर्तमान ORL अनुसंधान अत्यधिक उन डेटासेटों पर निर्भर करता है जिन्हें निश्चित, नियमित समय अंतराल (जैसे, 4-घंटे की विंडो में घटनाओं को एकत्रित करना) में अस्थायी रूप से विविक्त (discretized) किया गया है। लेखक तर्क देते हैं कि यह विवेकीकरण जटिल नैदानिक परिदृश्यों के लिए "काल्पनिक प्रतिनिधित्व" बनाता है, जिससे महत्वपूर्ण पूर्वाग्रह और विंडो आकार चयन के संबंध में अनिश्चितता उत्पन्न होती है। फलस्वरूप, ऐसे डेटा पर प्रशिक्षित और मूल्यांकित मॉडल दुर्भावनापूर्ण नीतियां सीख सकते हैं जो पूर्वव्यापी विश्लेषण में लाभकारी प्रतीत होती हैं, लेकिन वास्तविक दुनिया के कार्यान्वयन में विफल हो जाती हैं जहाँ नैदानिक हस्तक्षेप स्वाभाविक रूप से अनियमित अंतरालों पर होते हैं। क्षेत्र में एक ऐसे बेंचमार्क का अभाव है जो नैदानिक देखभाल की स्टोकेस्टिक (stochastic), निरंतर-समय प्रकृति को संरक्षित करता हो, विशेष रूप से इंसुलिन टाइट्रेशन जैसे महत्वपूर्ण देखभाल कार्यों के लिए।

कार्यप्रणाली

इन सीमाओं को संबोधित करने के लिए, लेखक Insulin4RL पेश करते हैं, जो MIMIC-IV v3.1 डेटासेट से प्राप्त एक क्यूरेटेड डेटासेट है। कार्यप्रणाली का केंद्र डेटा को निश्चित समय बिनों में जबरन डालने के बजाय नैदानिक डेटा की प्राकृतिक अनियमितता को संरक्षित करना है।

• कोहॉर्ट निर्माण (Cohort Construction): इस डेटासेट में 12,209 अद्वितीय वयस्क ICU रोगी शामिल हैं जिन्हें निरंतर अंतःशिरा (intravenous) इंसुलिन इन्फ्यूजन की आवश्यकता थी। एक एपिसोड को इन्फ्यूजन के आसपास की निरंतर अवधि (इन्फ्यूजन के व्यवधानों सहित) के रूप में परिभाषित किया गया है, जिसे इन्फ्यूजन से पहले और बाद के 24 घंटों के डेटा के साथ पैड किया गया है। डेटा को प्रशिक्षण, सत्यापन और परीक्षण के लिए रोगी स्तर पर 80/10/10 के अनुपात में विभाजित किया गया है।
• अवस्था प्रतिनिधित्व (State Representation): मेडिकल इवेंट डेटा स्टैंडर्ड (MEDS) से प्रेरित होकर, रोगी की अवस्थाओं को रेट्रोस्पेक्टिव मेडिकल इवेंट टुपल्स $(f, t, v)$ के कच्चे अनुक्रमों के रूप में दर्शाया गया है, जहाँ $f$ फीचर कोड है, $t$ मिनटों में बीता हुआ समय है, और $v$ मान है। इनपुट में 140 फीचर्स शामिल हैं जो जनसांख्यिकी, लैब, दवाएं और फिजियोलॉजी को कवर करते हैं। अनुक्रम को 400 घटनाओं तक सीमित किया गया है, और पुराने इवेंट्स (>7 दिन) को बाहर रखा गया है।
• एक्शन स्पेस और निर्णय लेबल: मानक MDPs के विपरीत, जो "कुछ न करने" (do nothing) वाले कार्यों को मानते हैं, Insulin4RL निर्णय बिंदुओं को सख्ती से दर्ज किए गए रक्त ग्लूकोज मापन पर परिभाषित करता है। कार्यों को एक विशिष्ट विंडो (चेक से 5 मिनट पहले से 30 मिनट बाद तक) के भीतर क्लिनिशियन के व्यवहार के आधार पर वर्गीकृत किया गया है:
  1. बनाए रखना (Maintain): इंसुलिन दर परिवर्तन < 0.25 यूनिट/घंटा।
  2. रोकना (Stop): दर >0.1 से गिरकर <0.1 यूनिट/घंटा हो जाना।
  3. बदलना (Change): दर में >0.25 यूनिट/घंटा का समायोजन (रोकने के बिना)।
     5.5 यूनिट/घंटा से अधिक के परिवर्तन को आउटलेयर माना जाता है और हटा दिया जाता है।
• फ्रेमवर्क: लेखक प्रस्तावित करते हैं कि वातावरण को एक मानक मार्कोव निर्णय प्रक्रिया (MDP) के बजाय एक परिमित-क्षित आंशिक रूप से अवलोकन योग्य सेमी-मार्कोव निर्णय प्रक्रिया (SMDP) के रूप में मॉडल किया जाए। यह निर्णयों के बीच परिवर्तनशील सोjourn समय ($\eta$) को ध्यान में रखता है और डिस्काउंट फैक्टर ($\gamma^\eta$) को गतिशील रूप से समायोजित करता है।
• बेसलाइन प्रयोग: लेखकों ने एक साझा अनुक्रम-मॉडलिंग आर्किटेक्चर (फीचर एम्बेडिंग, 1D-CNN, और LSTM) को प्रशिक्षित करने के लिए लागू किया:
  • बिहेवियरल क्लोनिंग (BC): क्लिनिशियन के व्यवहार की नकल करने के लिए।
  • इम्प्लिसिट Q-लर्निंग (IQL) और कंजर्वेटिव Q-लर्निंग (CQL): दो अत्याधुनिक मॉडल-फ्री ORL एल्गोरिदम।
  • मूल्यांकन: मॉडलों का मूल्यांकन फिटेड Q-इवैल्यूएशन (FQE) का उपयोग करके दोनों मानक MDP धारणाओं (निश्चित $\gamma$) और SMDP धारणाओं (गतिशील $\gamma^\eta$) के तहत किया गया।

मुख्य योगदान

1. Insulin4RL डेटासेट: एक बड़े पैमाने का संसाधन जिसमें ICU इंसुलिन टाइट्रेशन के लिए 375,000 से अधिक स्वाभाविक रूप से समयबद्ध निर्णय बिंदु शामिल हैं। यह पहला डेटासेट है जिसे स्पष्ट रूप से वास्तविक, अनियमित नैदानिक नमूनाकरण धारणाओं के तहत ORL का मूल्यांकन करने के लिए डिज़ाइन किया गया है।
2. SMDP फ्रेमवर्क का सत्यापन: यह पेपर प्रदर्शित करता है कि नैदानिक डेटा को SMDP के रूप में मानने (अनियमित समय को संरक्षित करने) से मानक MDP विवेकीकरण की तुलना में अलग नीति परिणाम प्राप्त होते हैं।
3. मानकीकृत मूल्यांकन प्रोटोकॉल: लेखक भविष्य के अनुसंधान के लिए एक बेंचमार्क स्थापित करते हुए, फिटेड Q-इवैल्यूएशन (FQE) और बिहेवियरल क्लोनिंग का उपयोग करके एक बेसलाइन मूल्यांकन प्रदान करते हैं।
4. ओपन रिसोर्स: डेटासेट PhysioNet पर होस्ट किया गया है, जिसके साथ सभी प्रयोगों को पुनरुत्पादित करने के लिए जूपिटर नोटबुक और कोड उपलब्ध है, जिसमें विशिष्ट टेंसर ट्रांजिशन और मेटाडेटा भी शामिल हैं।

परिणाम

• कोहॉर्ट की विशेषताएं: डेटासेट में 13,652 विशिष्ट इन्फ्यूजन एपिसोड शामिल हैं जिनकी औसत अवधि 28 घंटे (अधिकतम 35 दिन) है। कोहॉर्ट में को-मॉर्बिडिटीज (जैसे उच्च रक्तचाप, कार्डियक अतालता) का उच्च प्रसार है और 28-दिवसीय उत्तरजीविता दर 91.4% है।
• बिहेवियरल क्लोनिंग प्रदर्शन: BC मॉडल ने सक्रिय हस्तक्षेपों के लिए उच्च भेदभाव (AUROC 0.89–0.94) और निरंतर खुराक समायोजन की भविष्यवाणी करने में उचित सटीकता (Mean Absolute Error 0.61 यूनिट/घंटा) प्राप्त की।
• लेटेंट स्पेस कोहेरेंस: सीखे गए स्टेट स्पेस के UMAP विज़ुअलाइज़ेशन ने रक्त ग्लूकोज, इंसुलिन दरों और एपिसोड की अवधि के अनुरूप स्पष्ट ग्रेडिएंट दिखाए। विशेष रूप से, लेटेंट स्पेस ने जीवित रहने वाले और मृत्यु को प्राप्त होने वाले रोगियों को स्वाभाविक रूप से अलग किया, जबकि उत्तरजीविता कोई स्पष्ट प्रशिक्षण उद्देश्य नहीं था।
• ORL प्रदर्शन: सभी ORL मॉडल (IQL और CQL) बिहेवियरल क्लोनिंग बेसलाइन से बेहतर रहे। महत्वपूर्ण रूप से, SMDP फ्रेमवर्क के तहत प्रशिक्षित और मूल्यांकित मॉडलों ने सर्वोत्तम समग्र रिटर्न प्राप्त किए, जो उनके MDP समकक्षों से बेहतर थे। यह विचलन ORL एल्गोरिदम की टेम्पोरल धारणाओं के प्रति संवेदनशीलता को उजागर करता है।

महत्व और दावे

लेखक दावा करते हैं कि स्वास्थ्य सेवा ORL पर वैज्ञानिक आम सहमति वर्तमान में मूल्यांकन प्रथाओं की गुणवत्ता, विशेष रूप से अस्थायी रूप से विविक्त (temporally discretized) बेंचमार्क पर निर्भरता द्वारा सीमित है। Insulin4RL पेश करके, वे ध्यान को वास्तविक रूप से समयबद्ध नैदानिक डेटा की ओर स्थानांतरित करने का लक्ष्य रखते हैं।

पेपर तर्क देता है कि:

1. टेम्पोरल धारणाएं मायने रखती हैं: समान मॉडल आर्किटेक्चर और इनपुट, MDP या SMDP धारणाओं के तहत प्रशिक्षित और मूल्यांकित होने के आधार पर अलग-अलग इष्टतम व्यवहार सीख सकते हैं।
2. ओवरएस्टिमेशन का जोखिम: समान रूप से अंतराल वाले विविक्त डेटासेट का व्यापक उपयोग वास्तविक दुनिया के अनुप्रयोगों में मॉडल की सुरक्षा और प्रभावकारिता के सामान्य अति-अनुमान (overestimation) की ओर ले जा सकता है जहाँ निर्णय अंतराल अप्रत्याशित होते हैं।
3. भविष्य की दिशा: क्षेत्र को ऐसे मूल्यांकन बेंचमार्क की आवश्यकता है जो निरंतर-समय ORL एल्गोरिदम का विकास और नए ऑफ-पॉलिसी इवैल्यूएशन (OPE) पद्धतियों का मूल्यांकन करने के लिए एक टेस्टबेड के रूप में कार्य कर सके।

लेखक निष्कर्ष निकालते हैं कि निरंतर-समय मूल्यांकन ढांचों को अपनाना अधिक कठोर और यथार्थवादी ORL मॉडल मूल्यांकन की ओर बढ़ने के लिए एक आवश्यक कदम है, जो क्षेत्र को वास्तविक दुनिया के नैदानिक परीक्षणों के लिए आवश्यक स्थितियों के करीब लाता है।