📊 statistics

Latent Utility Q-Learning for Preference-Adaptive Dynamic Treatment Regimes

यह शोधपत्र लेटेंट यूटिलिटी क्यू-लर्निंग (LUQ-Learning) का प्रस्ताव करता है, जो एक नया ढांचा है जो बहुभिन्नरूपी, प्रतिस्पर्धी परिणामों को प्रभावी ढंग से संभालने के लिए रोगी की प्राथमिकता अनुमान को परिणाम प्रतिगमन (outcome regression) से अलग करके व्यक्तिगत गतिशील उपचार व्यवस्थाओं को अनुकूलित करता है, जिसके लिए स्पष्ट परिणाम रैंकिंग की आवश्यकता नहीं होती है।

मूल लेखक: Joshua P. Zitovsky, Yating Zou, Leslie Wilson, Michael R. Kosorok

प्रकाशित 2026-08-07

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Joshua P. Zitovsky, Yating Zou, Leslie Wilson, Michael R. Kosorok

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक अंतरिक्ष यान के कप्तान हैं जो एक ऐसे आकाशगंगा में यात्रा कर रहे हैं जहाँ हर ग्रह के अपने अलग नियम हैं। कुछ दुनियाओं पर, सबसे महत्वपूर्ण चीज़ गति है; कुछ पर, ईंधन दक्षता है; और तीसरी पर, चालक दल को खुश रखना है। यदि आप एक ही, कठोर मानचित्र का उपयोग करने का प्रयास करते हैं जो कहता है "हमेशा तेज़ चलो," तो आप ईंधन-कुशल ग्रहों पर दुर्घटनाग्रस्त हो जाएंगे और खुशहाल चालक दल को ऊब पैदा कर देंगे। यह आधुनिक चिकित्सा का दैनिक संघर्ष है। डॉक्टरों को अक्सर उन उपचारों के बीच चयन करना पड़ता है जो एक चीज़ को सुधारते हैं (जैसे दर्द कम करना) लेकिन दूसरी चीज़ को नुकसान पहुँचा सकते हैं (जैसे थकान पैदा करना)। लंबे समय तक, डॉक्टरों को ये विकल्प बनाने में मदद करने के लिए डिज़ाइन किए गए कंप्यूटर प्रोग्राम, जिन्हें 'डायनेमिक ट्रीटमेंट रिजीम्स' कहा जाता है, उस कठोर मानचित्र की तरह काम करते रहे। उन्होंने रोगी के स्वास्थ्य के सभी जटिल, प्रतिस्पर्धी परिणामों को एक एकल संख्या में समेटने की कोशिश की, इस तथ्य को अनदेखा करते हुए कि रोगी A के लिए नींद अधिक महत्वपूर्ण हो सकती है, जबकि रोगी B के लिए गतिशीलता अधिक महत्वपूर्ण हो सकती है। लेकिन क्या होगा यदि कंप्यूटर यह सीख सके कि प्रत्येक विशिष्ट रोगी वास्तव में क्या चाहता है, और फिर केवल उनके लिए एक मार्ग निर्धारित कर सके?

यह एक नई विधि द्वारा हल की गई समस्या है जिसे लेटेंट यूटिलिटी Q-लर्निंग (LUQ-Learning) कहा जाता है, जिसे UNC चैपल हिल और यूनिवर्सिटी ऑफ कैलिफोर्निया, सैन फ्रांसिस्को के शोधकर्ताओं द्वारा विकसित किया गया है। इसे एक GPS को न केवल सड़क पढ़ने, बल्कि ड्राइवर का मन पढ़ने के लिए सिखाने के रूप में सोचें। चिकित्सा जगत में, रोगियों की अक्सर "पसंद" होती है—वे एक ऐसे उपचार को पसंद कर सकते हैं जो उन्हें जगाए रखे, बजाय उस उपचार के जो उन्हें सोने में मदद करता है, भले ही सोने वाला उपचार बीमारी को ठीक करने में थोड़ा बेहतर हो। हालाँकि, ये पसंद पेचीदा होती हैं। रोगियों के पास हमेशा अपनी पसंद समझाने के लिए सटीक शब्दावली नहीं होती है, और जैसे-जैसे वे बीमार होते हैं या बेहतर महसूस करते हैं, वे अपना मन बदल सकते हैं। शोधकर्ताओं ने महसूस किया कि हालांकि हम रोगी की "पसंद" को सीधे नहीं देख सकते (यह एक "लेटेंट" या छिपी हुई चर है), हम उन सुरागों को देख सकते हैं जो वे पीछे छोड़ते हैं, जैसे कि वे सर्वेक्षण प्रश्नों का उत्तर कैसे देते हैं या संतुष्टि को कैसे रेट करते हैं।

यह शोध पत्र इन सुरागों को सुलझाने के लिए एक चतुर गणितीय तरकीब का प्रस्ताव करता है। रोगी की पसंद और चिकित्सा परिणाम का अनुमान एक साथ लगाने के बजाय, LUQ-Learning काम को दो टीमों में विभाजित करता है। एक टीम यह पता लगाती है कि उनके सर्वेक्षण उत्तरों के आधार पर रोगी संभवतः क्या महत्व देता है ("प्रेफरेंस मॉडल"), और दूसरी टीम यह पता लगाती है कि विभिन्न उपचार उनके स्वास्थ्य को कैसे प्रभावित करते हैं ("आउटकम मॉडल")। फिर, यह इन दोनों अंतर्दृष्टियों को सर्वोत्तम उपचार पथ खोजने के लिए जोड़ता है। शोधकर्ताओं ने इस विचार का परीक्षण कंप्यूटर सिमुलेशन का उपयोग करके किया जो क्रोनिक बैक पेन (पीठ दर्द) के लिए वास्तविक नैदानिक परीक्षणों की नकल करते हैं। उन्होंने पाया कि उनकी नई विधि उन पुराने तरीकों से लगातार बेहतर रही जो सभी परिणामों को एक साथ औसत निकालते थे या केवल अंतिम रिपोर्ट की गई संतुष्टि स्कोर को देखते थे। वास्तव में, उनका दृष्टिकोण एक "ओरेकल" संस्करण के बहुत करीब था—एक आदर्श परिदृश्य जहाँ कंप्यूटर पहले से ही जानता था कि प्रत्येक रोगी वास्तव में क्या चाहता था। परिणाम बताते हैं कि रोगी की प्रतिक्रिया से मिलने वाले सूक्ष्म सुरागों को सुनकर, डॉक्टर व्यक्तिगत उपचार योजनाएं बना सकते हैं जो इस बात का सम्मान करती हैं कि प्रत्येक व्यक्ति के लिए सबसे महत्वपूर्ण क्या है, जिससे एक 'वन-साइज़-फिट्स-ऑल' दृष्टिकोण एक वास्तव में अनुकूलित यात्रा में बदल जाता है।

तकनीकी सारांश: प्राथमिकता-अनुकूल गतिशील उपचार व्यवस्था के लिए लेटेंट यूटिलिटी Q-लर्निंग (Latent Utility Q-Learning)

समस्या विवरण
डायनेमिक ट्रीटमेंट रिजीम्स (DTRs) सांख्यिकीय विधियाँ हैं जिन्हें पुरानी स्थितियों (chronic conditions) के लिए अनुक्रमिक उपचार निर्णयों को अनुकूलित करने के लिए डिज़ाइन किया गया है। मानक DTR विधियाँ आमतौर पर एक एकल यूनिवेरिएट आउटकम (univariate outcome) मानती हैं, जो इस वास्तविकता को संबोधित करने में विफल रहती हैं कि रोगी अक्सर कई, प्रतिस्पर्धी परिणामों (जैसे, दर्द में कमी बनाम कार्यात्मक सुधार) को अलग-अलग तरह से तौलते हैं। मौजूदा प्राथमिकता-आधारित विधियाँ अक्सर दो-चरणीय सेटिंग्स तक सीमित होती हैं, प्रतिबंधात्मक पैरामेट्रिक मॉडल पर निर्भर करती हैं, या रोगियों से उपचार प्रक्षेपवक्रों (trajectories) को स्पष्ट रूप से रैंक करने की मांग करती हैं—जो कि क्लिनिकल ट्रायल्स में अक्सर अव्यवहारिक होता है जहाँ रोगी केवल एक ही प्रक्षेपवक्र का अनुभव करता है। इसके अलावा, डीप रिइन्फोर्समेंट लर्निंग दृष्टिकोणों को आम तौर पर बड़े सैंपल साइज की आवश्यकता होती है जो मध्यम-सैंपल वाले क्लिनिकल अध्ययन जैसे कि 'सीक्वेंशियल मल्टीपल असाइनमेंट रैंडमाइज्ड ट्रायल्स' (SMARTs) के अनुकूल नहीं होते हैं। मुख्य चुनौती एक ऐसी नीति (policy) सीखने की है जो $K$ निर्णय बिंदुओं के माध्यम से बहुभिन्नरूपी परिणामों ( $Y \in \mathbb{R}^d$ ) के रोगी-विशिष्ट, प्राथमिकता-भारित संयोजनों को अनुकूलित करती हो, बिना स्पष्ट परिणाम रैंकिंग या बड़े पैमाने के डेटा की आवश्यकता के।

कार्यप्रणाली: लेटेंट यूटिलिटी Q-लर्निंग (LUQ-Learning)
लेखक LUQ-Learning का प्रस्ताव करते हैं, जो एक लेटेंट-वेरिएबल विस्तार है Q-लर्निंग का, जो एक लेटेंट यूटिलिटी फंक्शन $U^* = E^\top Y^*$ को अनुकूलित करने वाले DTRs का अनुमान लगाता है, जहाँ $E$ एक अनऑब्जर्व्ड $(d-1)$ -आयामी प्राथमिकता वेक्टर है जो प्रोबेबिलिटी सिम्प्लेक्स (probability simplex) पर स्थित है, और $Y^*$ संभावित परिणाम (potential outcomes) हैं।

लेटेंट वेरिएबल फ्रेमवर्क: रोगी की प्राथमिकताएँ ( $E$ ) सीधे तौर पर देखी नहीं जा सकतीं, बल्कि उन्हें अप्रत्यक्ष मापों ( $W_k$ ) के माध्यम से अनुमानित किया जाता है, जैसे कि डिस्क्रीट चॉइस प्रश्न, संतुष्टि रेटिंग, या क्वालिटी-ऑफ-लाइफ सबस्केल्स, जो विभिन्न चरणों में एकत्र किए जाते हैं।
कंडीशनल मीन फैक्टराइजेशन (Conditional Mean Factorization): केंद्रीय पद्धतिगत अंतर्दृष्टि एक कंडीशनल मीन फैक्टराइजेशन है। "सीक्वेंशियल प्रेफरेंस इंडिपेंडेंस" धारणा (Assumption A5) के तहत, अपेक्षित यूटिलिटी को अलग किया जा सकता है:
$E[U^* | H_k, A_k] = E[E | H_k]^\top E[Y | H_k, A_k]$
यह फैक्टराइजेशन समस्या को दो मॉड्यूलर घटकों में विभाजित करता है:
1. प्राथमिकता अनुमान (Preference Estimation): प्रेक्षित प्राथमिकता उपकरणों $W_k$ और कोवेरिएट्स के आधार पर लेटेंट प्राथमिकताओं के पोस्टीरियर वितरण $P(E | H_k)$ का अनुमान लगाना।
2. आउटकम रिग्रेशन (Outcome Regression): परिणामों के कंडीशनल मीन $E[Y | H_k, A_k]$ का अनुमान लगाना।
एल्गोरिदम: एल्गोरिदम बैकवर्ड इंडक्शन (Q-लर्निंग के समान) के माध्यम से आगे बढ़ता है। प्रत्येक चरण $k$ पर, यह पोस्टीरियर मीन प्रेफरेंस $\hat{E}[E | H_k]$ और आउटकम रिग्रेशन का अनुमान लगाता है, फिर इन अनुमानों के इनर प्रोडक्ट के रूप में Q-वैल्यू की गणना करता है। यह बहु-परिणाम, प्राथमिकता-अनुकूल समस्या को क्रमबद्ध स्केलर Q-लर्निंग समस्याओं के एक अनुक्रम में बदल देता है।
अनिश्चितता-जागरूक वेरिएंट्स (Uncertainty-Aware Variants): प्राथमिकता अनुमान में अनिश्चितता को पहचानते हुए, लेखक दो नीति वेरिएंट प्रस्तावित करते हैं:
- मोडल पॉलिसी ( $\hat{\pi}^{mod}$ ): उस क्रिया का चयन करती है जो पोस्टीरियर प्राथमिकता वितरण के सबसे बड़े अनुपात के लिए इष्टतम होती है।
- रोबस्ट पॉलिसी ( $\hat{\pi}^{rob}$ ): उस क्रिया का चयन करती है जो पोस्टीरियर कोवेरिएंस द्वारा परिभाषित एलिप्सॉइडल अनिश्चितता क्षेत्र के भीतर न्यूनतम अपेक्षित यूटिलिटी को अधिकतम करती है।

प्रमुख योगदान

सैद्धांतिक गारंटी:
- कंसिस्टेंसी (Consistency): लेखक स्थापित करते हैं कि अनुमानित वैल्यू फंक्शन प्राथमिकता और आउटकम अनुमानकों पर कमजोर रेगुलैरिटी शर्तों के तहत, वास्तविक इष्टतम मान की ओर अभिसरित (converge) होता है। वैल्यू गैप को प्राथमिकता मॉडल त्रुटि, आउटकम रिग्रेशन त्रुटि और प्रसारित वैल्यू-फंक्शन त्रुटि के योगात्मक संचय द्वारा संचालित दिखाया गया है।
- एकीकृत $\epsilon$ -ऑप्टिमैलिटी: पेपर पॉलिसी वैल्यू लॉस को प्राथमिकता अनिश्चितता के संदर्भ में व्युत्पन्न करता है। ये बाउंड्स नीति चयन के लिए व्याख्या योग्य, डेटा-संचालित मानदंड (जैसे, अनिश्चितता रेडियस $\delta$ या पोस्टीरियर मास $\alpha$ के लिए थ्रेशोल्ड) प्रदान करते हैं।
मॉड्यूलर और लचीला डिज़ाइन: यह फ्रेमवर्क विभिन्न प्रकार के प्राथमिकता डेटा (जैसे, बाइनरी चॉइस, रैंकिंग, लिकर्ट स्केल) को बिना स्केल अलाइनमेंट के समायोजित कर सकता है। इसके लिए यह आवश्यक नहीं है कि रोगी परिणामों या प्रक्षेपवक्रों को स्पष्ट रूप से रैंक करें।
अनिश्चितता का प्रबंधन: एक बेयसियन फ्रेमवर्क का उपयोग करके, यह विधि प्राथमिकता अनुमान से उत्पन्न होने वाली अनिश्चितता को सीधे उपचार अनुशंसाओं और वैल्यू अनुमान में प्रसारित करती है, जिससे रिस्क-अवर्ज (रोबस्ट) या कवरेज-ओरिएंटेड (मोडल) निर्णय लेना संभव होता है।

परिणाम
लेखकों ने बायोमार्कर्स फॉर इवैलुएटिंग स्पाइन ट्रीटमेंट्स (BEST) ट्रायल (क्रोनिक लो बैक पेन के लिए एक टू-स्टेज SMART) के कैलिब्रेटेड सिमुलेशन का उपयोग करके LUQ-Learning का मूल्यांकन किया।

प्रदर्शन: LUQ-Learning ने लगातार निम्नलिखित को पछाड़ दिया:
- स्टैंडर्ड Q-लर्निंग: जो एक साधारण औसत के माध्यम से बहुभिन्नरूपी परिणामों को एकत्रित करता है।
- लास्ट-रिपोर्टेड सैटिस्फैक्शन ( $\hat{\pi}^{W_{last}}$ ): जो अंतिम संतुष्टि रेटिंग के आधार पर केवल अनुकूलित होता है और जिसमें लॉन्गिट्यूडनल प्रिफरेंस डेटा की कमी होती है।
- मौजूदा प्राथमिकता विधियाँ: विशेष रूप से, इस पद्धति ने सिंगल-स्टेज सेटिंग में बटलर एट अल. (2018) की तुलना में कम प्राथमिकता अनुमान त्रुटि और उच्च वैल्यू गेन दिखाया।
स्थिरता: जबकि "ओरेकल" पॉलिसी (जो वास्तविक प्राथमिकताएं जानती है) उच्चतम वैल्यू प्राप्त करती है, LUQ-Learning इसके प्रदर्शन के करीब पहुँच जाता है। इसके विपरीत, लॉन्गिट्यूडनल प्रिफरेंस डेटा को अनदेखा करने वाली विधियों ( $\hat{\pi}^{W_{last}}$ ) में उच्च विचरण (variance) और अस्थिरता देखी गई, विशेष रूप से जैसे-जैसे प्रक्षेपवक्र की लंबाई ( $K$ ) बढ़ती है।
प्रक्षेपवक्र की लंबाई: $K \in \{2, 4, 6, 8\}$ के विस्तारित सिमुलेशन में, LUQ-Learning और ओरेकल के बीच का प्रदर्शन अंतराल $K$ बढ़ने के साथ कम होता गया, जो यह सुझाव देता है कि लंबे प्रक्षेपवक्र लेटेंट प्राथमिकताओं के अनुमान के लिए समृद्ध जानकारी प्रदान करते हैं। इसके विपरीत, केवल टर्मिनल प्रॉक्सी पर निर्भर करने वाली विधियों का प्रदर्शन $K$ बढ़ने के साथ बिगड़ता गया।

महत्व और दावे
लेखक दावा करते हैं कि LUQ-Learning जटिल, बहु-परिणाम क्लिनिकल वातावरण में प्राथमिकता-अनुकूल निर्णय लेने के लिए एक सांख्यिकीय रूप से सिद्धांतवादी आधार प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

अंतराल को भरना: यह डीप रिइन्फोर्समेंट लर्निंग की डेटा आवश्यकताओं या प्रक्षेपवत्य-रैंकिंग बाधाओं के बिना, जटिल बहु-परिणामों में विषम रोगी प्राथमिकताओं को शामिल करने का समाधान प्रदान करता है।
व्याख्यात्मकता: इसके व्युत्पन्न $\epsilon$ -ऑप्टिमैलिटी बाउंड्स नीति चयन के लिए ठोस, डेटा-संचालित मानदंड प्रदान करते हैं, जिससे चिकित्सकों और नियामकों को औसत प्रदर्शन और प्राथमिकता अनिश्चितता के बीच ट्रेड-ऑफ को समझने में मदद मिलती है।
कॉज़ल इंफरेंस फाउंडेशन: स्टैंडर्ड रिइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक के विपरीत, LUQ-Learning प्राथमिकता उपकरणों को लेटेंट यूटिलिटीज के लिए आइडेंटिफिएबल प्रॉक्सी के रूप में मानता है, जो इसे एक कॉज़ल इंफरेंस फ्रेमवर्क (पोटेंशियल आउटकम्स और प्रॉक्सिमल कॉज़ल इंफरेंस अवधारणाओं का उपयोग करके) के भीतर उपयुक्त बनाता है, जिससे यह रैंडमाइज्ड ट्रायल सेटिंग्स के लिए उपयुक्त हो जाता है जहाँ कोई एकल विशेषज्ञ नीति उपचार असाइनमेंट को नियंत्रित नहीं करती है।

लेखक निष्कर्ष निकालते हैं कि हालांकि फ्रेमवर्क मजबूत है, इसकी सफल तैनाती के लिए सावधानीपूर्वक अध्ययन डिजाइन, सत्यापित प्राथमिकता उपकरण और विकास एवं लक्षित आबादी के बीच संरेखण की आवश्यकता है ताकि यह सुनिश्चित किया जा सके कि कैप्चर की गई प्राथमिकताएं क्षणिक संतुष्टि के बजाय स्थिर, दीर्घकालिक ट्रेड-ऑफ को दर्शाती हैं।

इसी तरह के और पेपर