Soft Actor-Critic Control of a Behaviorally Heterogeneous S1S2IR Epidemic Model: Stability, Bifurcation, and COVID-19 Calibration

तकनीकी सारांश: एक व्यवहारिक रूप से विषम S1S2IR महामारी मॉडल का सॉफ्ट एक्टर-क्रिटिक नियंत्रण

समस्या विवरण
यह शोध पत्र व्यवहारिक विषमता प्रदर्शित करने वाली आबादी के लिए महामारी नियंत्रण नीतियां डिजाइन करने की चुनौती को संबोधित करता है। पारंपरिक कम्पार्टमेंटल मॉडल अक्सर स्थिर संक्रमण दरों या निश्चित हस्तक्षेप अनुसूचियों को मानते हैं, जो यह पकड़ने में विफल रहते हैं कि व्यक्ति जोखिम के प्रति अपनी धारणा (जैसे, सुरक्षात्मक उपायों को अपनाना) के जवाब में अपने व्यवहार को गतिशील रूप से कैसे बदलते हैं। इसके अतिरिक्त, महामारी विज्ञान में सुदृढीकरण शिक्षण (Reinforcement Learning - RL) के मौजूदा अनुप्रयोग अक्सर उन अंतर्निहित गतिक प्रणालियों (dynamical systems) के संबंध में कठोर विश्लेषणात्मक आधार की कमी रखते हैं जिन्हें वे नियंत्रित करते हैं। लेखक एक व्यवहारिक रूप से विषम S1S2IR मॉडल (अनभिज्ञ और जागरूक सुग्राही आबादी के बीच अंतर करते हुए) को एक सॉफ्ट एक्टर-क्रिटिक (SAC) सुदृढीकरण शिक्षण एजेंट के साथ एकीकृत करके एक अनुकूलन योग्य, डेटा-संचालित नियंत्रण ढांचे के माध्यम से इस अंतर को पाटने का लक्ष्य रखते हैं।

कार्यप्रणाली
प्रस्तावित ढांचा दो पूरक चरणों में कार्य करता है: क्लोज्ड-लूप सिस्टम का विश्लेषणात्मक लक्षण वर्णन और RL प्रशिक्षण के माध्यम से संख्यात्मक सत्यापन।

1. गणितीय सूत्रीकरण (S1S2IR मॉडल):

   • जनसंख्या को चार कम्पार्टमेंट्स में विभाजित किया गया है: नैविव सुग्राही ($S_1$), जागरूक/संरक्षित सुग्राही ($S_2$), संक्रामक ($I$), और स्वस्थ ($R$)।
   • मॉडल जनसांख्यिकीय टर्नओवर (जन्म और प्राकृतिक मृत्यु) और RL एजेंट द्वारा उत्पन्न तीन समय-परिवर्तनीय नियंत्रण मापदंडों को शामिल करता है:
     • $\beta(t)$: $S_1$ के लिए संक्रमण दर।
     • $\alpha_1(t)$: वह दर जिस पर $S_1$, $S_2$ में परिवर्तित होता है (जागरूकता निर्माण)।
     • $d(t)$: $S_2$ के लिए अवशिष्ट सुग्राह्यता गुणक ($0 \le d \le 1$)।
   • नियंत्रण समस्या को एक मार्कोव निर्णय प्रक्रिया (MDP) के रूप में तैयार किया गया है जहाँ अवस्था (state) में सामान्यीकृत कम्पार्टमेंट जनसंख्या और बीता हुआ समय अंश शामिल है। रिवॉर्ड फंक्शन संक्रमणों के द्विघातीय दंड (quadratic penalty) और हस्तक्षेप की आर्थिक लागत के बीच संतुलन बनाता है।

2. नियंत्रण वास्तुकला (सॉफ्ट एक्टर-क्रिटिक):

   • लेखक सॉफ्ट एक्टर-क्रिटिक (SAC) एल्गोरिदम का उपयोग करते हैं, जो एक मैक्सिमम-एन्ट्रॉपी RL विधि है।
   • एजेंट $[-1, 1]^3$ में एक रॉ एक्शन वेक्टर आउटपुट करता है, जिसे भौतिक रूप से स्वीकार्य सीमाओं के भीतर नियंत्रण संकेतों ($\beta, \alpha_1, d$) को सुनिश्चित करने के लिए "स्क्वैश-गौसियन" मैपिंग के माध्यम से नियत रूप से डिकोड किया जाता है।
   • यह बाध्यकृत-एक्शन (bounded-action) गुण महत्वपूर्ण है, क्योंकि यह प्रशिक्षण प्रक्रिया के दौरान भी क्लोज्ड-लूप सिस्टम को एक सुव्यवस्थित फीडबैक डायनेमिकल सिस्टम के रूप में मानने की अनुमति देता है।

3. विश्लेषणात्मक विश्लेषण:

   • सु-व्यवस्थितता (Well-posedness): प्रमेय 2.1 सिद्ध करता है कि किसी भी मापने योग्य नीति (अनप्रशिक्षित नीतियों सहित) के लिए, सिस्टम धनात्मक रूप से अपरिवर्तनीय और सीमित रहता है, जिससे यह सुनिश्चित होता है कि प्रभावी प्रजनन संख्या $R_{eff}(t)$ हमेशा परिभाषित है।
   • स्थिरता और द्विभाजन (Stability and Bifurcation): नीति को एक स्थिर मान पर "फ्रीज" करके, लेखक रोग-मुक्त साम्यावस्था (DFE) और स्थानिक साम्यावस्था (EE) को व्युत्पन्न करते हैं। वे सिद्ध करते हैं कि जब $R_0 < 1$ हो तो DFE के लिए स्थानीय स्पर्शोन्मुख स्थिरता (local asymptotic stability) होती है और जब $R_0 > 1$ हो तो EE के लिए होती है।
   • द्विभाजन प्रकार: सेंटर-मैनिफोल्ड रिडक्शन का उपयोग करते हुए, प्रमेय 3.3 स्थापित करता है कि जब व्यवहार प्रतिक्रिया पैरामीटर $d$ को बदला जाता है, तो सिस्टम $R_0 = 1$ पर एक फॉरवर्ड (सुपरक्रिटिकल) ट्रांसक्रिटिकल द्विभाजन से गुजरता है। महत्वपूर्ण रूप से, यह सिद्ध करता है कि इस मॉडल संरचना में कोई भी स्थिर स्थानिक अवस्था (stable endemic state) थ्रेशोल्ड के नीचे एक स्थिर रोग-मुक्त साम्यावस्था के साथ सह-अस्तित्व में नहीं रह सकती, जिसका अर्थ है कि $R_0$ को 1 से नीचे लाना उन्मूलन के लिए पर्याप्त है।

4. संख्यात्मक प्रयोग:

   • मॉडल को इटली, जर्मनी और दक्षिण कोरिया के वास्तविक दुनिया के COVID-19 घटना डेटा का उपयोग करके कैलिब्रेट किया गया था।
   • प्रशिक्षित SAC नीति की तुलना दो बेसलाइन के विरुद्ध की गई: "कोई नियंत्रण नहीं" (No Control) और "स्थिर नियंत्रण" (Static Control - निश्चित पैरामीटर)।
   • संवेदनशीलता विश्लेषण (बदलते $\beta_0$ और $\alpha_1$) और मोंटे कार्लो सिमुलेशन (सभी मापदंडों को $\pm 20\%$ तक विचलित करना) के माध्यम से मजबूती (robustness) का परीक्षण किया गया।

प्रमुख परिणाम

• श्रेष्ठ प्रदर्शन: SAC-नियंत्रित रणनीति दोनों बेसलाइन से काफी बेहतर रही। "कोई नियंत्रण नहीं" परिदृश्य की तुलना में, SAC ने सभी तीन देशों में संक्रमण की चरम दर को 95% से अधिक कम कर दिया। "स्थिर नियंत्रण" की तुलना में, SAC ने संक्रमण के चरम को कम करने में अतिरिक्त 26-64% की कमी हासिल की।
• लागत दक्षता: SAC नीति ने स्थिर रणनीति की तुलना में कम संचयी हस्तक्षेप लागत के साथ ये कमी प्राप्त की। एजेंट ने संक्रमण के तेजी से बढ़ने वाले चरण के दौरान प्रयासों को केंद्रित करना और महामारी के कम होने पर प्रतिबंधों को ढीला करना सीखा।
• अनुकूलन योग्य रणनीति: सीखा गया नीति स्वाभाविक रूप से तीन चरणों में विभाजित हो गया: (1) दमन (तीव्र रूप से $\beta$ को कम करना और $\alpha_1$ को अधिकतम करना), (2) रखरखाव (保持 $R_{eff} < 1$), और (3) शिथिलता (प्रतिबंधों को धीरे-धीरे छोड़ना)। यह अनुकूलन योग्य व्यवहार स्थिर, समय-अपरिवर्तनीय नीतियों के लिए संरचनात्मक रूप से असंभव है।
• मजबूती (Robustness): संवेदनशीलता और मोंटे कार्लो विश्लेषणों ने पुष्टि की कि SAC नीति मापदंडों के व्यापक उतार-चढ़ाव के बीच प्रभावी नियंत्रण (चरम संक्रमण < 2%) बनाए रखती है, और केवल अत्यधिक उच्च संक्रामकता और निम्न व्यवहारिक प्रतिक्रियाशीलता वाले चरम परिदृश्यों में ही प्रभावित होती है।

महत्व और दावे
लेखक दावा करते हैं कि उनका प्राथमिक योगदान एक दोहरी-सुबोध (dual-tractable) रूपरेखा का विकास है: एक सुदृढीकरण शिक्षण नियंत्रक जो विश्लेषणात्मक रूप से पारदर्शी और अनुभवजन्य रूप से प्रभावी दोनों है।

• विश्लेषणात्मक पारदर्शिता: कई "ब्लैक-बॉक्स" RL दृष्टिकोणों के विपरीत, लेखक प्रदर्शित करते हैं कि SAC-नियंत्रित सिस्टम शास्त्रीय कम्पार्टमेंटल मॉडलों के गणितीय गुणों को बनाए रखता है। विशेष रूप से, SAC नीति की बाध्यबद्ध प्रकृति द्विभाजन विश्लेषण को सक्षम बनाती है, जो यह सिद्ध करती है कि सीखा गया नियंत्रक बीमारी के मौलिक थ्रेशोल्ड डायनेमिक्स ($R_0 = 1$) का सम्मान करता है।
• पद्धतिगत विशिष्टता: यह कार्य ऑफ-पॉलिसी मैक्सिमम-एन्ट्रॉपी एक्टर-क्रिटिक आर्किटेक्चर को अंतर्निहित मॉडल के स्पष्ट स्थिरता और द्विभाजन विश्लेषण के साथ जोड़कर पिछले साहित्य से स्वयं को अलग करता है।
• व्यावहारिक निहितार्थ: परिणाम बताते हैं कि RL व्यवहारिक रूप से विषम आबादी में वास्तविक समय के महामारी नियंत्रण के लिए एक लचीले उपकरण के रूप में कार्य कर सकता है, जो स्थिर हस्तक्षेपों की तुलना में अधिक प्रभावी और कम खर्चीली रणनीतियाँ प्रदान करता है, जबकि पैरामीटर अनिश्चितता के प्रति मजबूत भी रहता है।

लेखक सीमाओं का उल्लेख करते हैं, जिसमें आयु संरचना, स्थानिक मिश्रण और नीति कार्यान्वयन में समय विलंब का अभाव शामिल है, और भविष्य के कार्य के लिए एक खुले प्रश्न के रूप में जागरूकता पैरामीटर $\alpha_1$ तक द्विभाजन विश्लेषण का विस्तार करने की पहचान करते हैं (जिसके लिए उच्च-क्रम सेंटर-मैनिफोल्ड गणना की आवश्यकता होती है)।