📊 statistics

Risk-inclusive Contextual Bandits for Early Phase Clinical Trials

यह शोध पत्र एक जोखिम-समावेशी कॉन्टेक्स्टुअल बैंडिट एल्गोरिदम का प्रस्ताव करता है जो सुरक्षा और प्रभावकारिता के बीच प्रभावी ढंग से संतुलन बनाकर प्रारंभिक-चरण के नैदानिक परीक्षणों में खुराक आवंटन को अनुकूलित करने के लिए डुअल थॉमसन सैंपलर और सामान्यीकृत एसिम्प्टोटिक कॉन्फिडेंस सीक्वेंस का उपयोग करके प्रतिभागी-विशिष्ट डेटा को एकीकृत करता है।

मूल लेखक: Rohit Kanrar, Chunlin Li, Zara Ghodsi, Margaret Gamalo

प्रकाशित 2026-02-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Rohit Kanrar, Chunlin Li, Zara Ghodsi, Margaret Gamalo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जो एक नए सूप की रेसिपी को बेहतर बनाने की कोशिश कर रहे हैं, जिसे स्वादिष्ट (प्रभावकारिता/efficacy) होने के साथ-साथ खाने के लिए सुरक्षित (सुरक्षा/safety) भी होना चाहिए। आपके पास परीक्षण करने के लिए पांच अलग-अलग मसालों के स्तर (spice levels) हैं।

एक पारंपरिक क्लिनिकल ट्रायल में, आप एक कठोर रोबोट की तरह काम करेंगे: आप 100 लोगों को सूप देंगे, जिसमें से प्रत्येक को 20-20 लोग रैंडमली प्रत्येक स्पाइस लेवल दिया जाएगा। आप परिणामों का स्वाद लेने के लिए अंत तक प्रतीक्षा करेंगे।

समस्या: यह बर्बादी है। यदि स्पाइस लेवल 1 का स्वाद बहुत बुरा है और इससे लोगों को बीमारी हो जाती है, तो भी आपने 20 लोगों को वही खिलाया। यदि स्पाइस लेवल 5 लाजवाब है, तो आपने केवल 20 लोगों को ही इसे खिलाया, जबकि आप 80 लोगों को खिला सकते थे। आप इस बात को भी अनदेखा करते हैं कि कुछ लोगों का पेट संवेदनशील (covariates) होता है जबकि अन्य का नहीं।

यह पेपर इन परीक्षणों को चलाने का एक स्मार्ट तरीका पेश करता है जिसे "रिस्क-इंक्लूसिव कॉन्टेक्स्टुअल बैंडिट्स" (Risk-inclusive Contextual Bandits) कहा जाता है। आइए इसे एक सरल कहानी के माध्यम से समझते हैं।

1. "स्मार्ट वेटर" (एल्गोरिदम)

एक व्यस्त रेस्टोरेंट में एक वेटर की कल्पना करें जिसे ग्राहकों को एक-एक करके सूप परोसना है। सिक्का उछालकर यह तय करने के बजाय कि कौन सा स्पाइस लेवल परोसना है, यह वेटर एक सुपर-स्मार्ट AI है।

कॉन्टेक्स्टुअल (Contextual): वेटर पहले ग्राहक को देखता है। "ओह, इस व्यक्ति का पेट संवेदनशील है (covariate)।"
द बैंडिट (The Bandit): वेटर पिछले ग्राहकों के साथ क्या हुआ, उसे याद रखता है। "पिछली बार, संवेदनशील पेट वाले व्यक्ति के लिए मसालेदार सूप ने उसे रुला दिया था, लेकिन हल्का सूप उबाऊ था।"
निर्णय (The Decision): वेटर इस इतिहास का उपयोग करके एक अनुमान लगाता है। "मुझे लगता है कि इस ग्राहक को मध्यम-मसाले वाला सूप पसंद आएगा, और इससे उन्हें कोई नुकसान भी नहीं होगा।"

यही कॉन्टेक्स्टुअल बैंडिट वाला हिस्सा है। यह चलते-चलते सीखता है, ट्रायल के दौरान अधिक लोगों को बेहतर सूप देता है, न कि किसी कठोर योजना पर अड़ा रहता है।

2. "दो सिरों वाला सिक्का" (रिस्क-इंक्लूसिव)

अधिकांश स्मार्ट वेटर केवल एक ही चीज़ की परवाह करते हैं: स्वाद (Efficacy)। वे एक बहुत ही मसालेदार सूप परोस सकते हैं क्योंकि वह बहुत स्वादिष्ट है, भले ही वह ग्राहक की जीभ जला दे।

यह पेपर एक रिस्क-इंक्लूसिव वेटर पेश करता है। इस वेटर के दो सिर हैं:

सिर A (स्वाद): "यह कितना स्वादिष्ट है?"
सिर B (सुरक्षा): "क्या इससे ग्राहक बीमार पड़ेगा?"

वेटर के पास एक डायल (वेट पैरामीटर) है जिसे शेफ घुमा सकता है।

यदि शेफ कैंसर की दवा का परीक्षण कर रहा है, तो डायल स्वाद (हम इलाज के लिए कुछ जोखिम स्वीकार करते हैं) की ओर मुड़ा होता है।
यदि शेफ स्किन क्रीम का परीक्षण कर रहा है, तो डायल सुरक्षा (हम रैश या त्वचा की जलन का जोखिम नहीं ले सकते) की ओर मुड़ा होता है।

वेटर इन दोनों सिरों के बीच संतुलन बनाता है। वह "सबसे स्वादिष्ट" सूप तब तक नहीं परोसेगा जब तक कि वह बहुत खतरनाक न हो, और वह "सबसे सुरक्षित" सूप भी नहीं परोसेगा जो पानी जैसा बेस्वाद हो। वह सही संतुलन (sweet spot) खोज लेता है।

3. "जादुई सुरक्षा जाल" (AsympCS)

यहाँ पेचीदा हिस्सा आता है। क्योंकि वेटर जो कुछ भी सीख रहा है उसके आधार पर मेनू बदल रहा है, इसलिए डेटा "अव्यवस्थित" हो जाता है। यदि आप अंत में केवल नंबरों को देखते हैं, तो आपको गलत उत्तर मिल सकता है क्योंकि वेटर बहुत चतुर था।

लेखकों ने एक जादुई सुरक्षा जाल बनाया है जिसे AsympCS (Asymptotic Confidence Sequences) कहा जाता है।

उपमा: कल्पना कीजिए कि वेटर एक रस्सी (tightrope) पर चल रहा है। आमतौर पर, आप केवल अंत में देखते हैं कि क्या वह गिर गया। लेकिन इस सुरक्षा जाल के साथ, आप उसका हर एक कदम चेक कर सकते हैं।
लाभ: यदि वेटर किसी खाई (खतरनाक खुराक) की ओर बढ़ने लगता है, तो यह जाल उन्हें तुरंत पकड़ लेता है। आप ट्रायल को जल्दी रोक सकते हैं क्योंकि आप सांख्यिकीय रूप से सुनिश्चित हैं कि सूप खराब है।
"मॉडल-असिस्टेड" ट्रिक: वेटर क्या परोसना है यह तय करने के लिए एक साधारण अनुमान (पैरामीट्रिक मॉडल) का उपयोग करता है। लेकिन जादुई सुरक्षा जाल इतना मजबूत है कि यदि वेटर का अनुमान गलत भी हो जाए, तो भी अंतिम निष्कर्ष कि कौन सा सूप सबसे अच्छा है, 100% सही होगा। यह एक ऐसे GPS की तरह है जो शायद आपको मोड़-दर-मोड़ थोड़ा गलत रास्ता दे सकता है, लेकिन एक बैकअप सिस्टम गारंटी देता है कि आप सही मंजिल पर पहुँचेंगे।

4. यह क्यों महत्वपूर्ण है

मरीजों के लिए: कम लोगों को "बुरा" सूप मिलता है। अधिक लोगों को "अच्छा" सूप मिलता है। यह अधिक नैतिक है।
दवा कंपनियों के लिए: उन्हें विजेता खोजने के लिए उतने लोगों के परीक्षण की आवश्यकता नहीं होती। वे ट्रायल को जल्दी समाप्त कर सकते हैं, जिससे लाखों डॉलर और वर्षों का समय बचता है।
विज्ञान के लिए: यह वास्तविक दुनिया को संभालता है। लोग अलग होते हैं (covariates), और हमें अभी तक एकदम सही रेसिपी नहीं पता है (अनिश्चितता)। यह तरीका उस अराजकता के अनुकूल ढल जाता है।

सारांश

इस पेपर को एक कठोर, आँखों पर पट्टी बांधकर खेला जाने वाले संयोग के खेल से एक स्मार्ट, एडेप्टिव लर्निंग सिस्टम में अपग्रेड करने के रूप में देखें।

यह मरीज को देखता है (Context)।
यह स्वाद और सुरक्षा के बीच संतुलन बनाता है (Risk-Inclusive)।
यह अगले मरीज को बेहतर बनाने के लिए हर मरीज से सीखता है (Bandit)।
इसके पास एक सुपर-सिक्योर सेफ्टी नेट है जो आपको विजेता मिलने के क्षण में ही ट्रायल रोकने की अनुमति देता है, बिना इस बात पर भरोसा किए कि आपकी शुरुआती धारणाएं एकदम सही थीं (AsympCS)।

यह बेहतर दवा को तेज़ी से, सुरक्षित रूप से और कम बर्बादी के साथ खोजने के बारे में है।

यहाँ शोध पत्र "Risk-inclusive Contextual Bandits for Early Phase Clinical Trials" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

प्रारंभिक चरण के नैदानिक परीक्षणों (विशेष रूप से Phase IIb डोज़-रेंजिंग अध्ययनों) को एक महत्वपूर्ण चुनौती का सामना करना पड़ता है: वह इष्टतम दवा खुराक (optimal drug dose) चुनना जो प्रभावकारिता (efficacy) और सुरक्षा (safety) के बीच संतुलन बनाए रखे और साथ ही प्रतिभागी विषमता (participant heterogeneity) (सहचर/covariates) को भी ध्यान में रखे।

पारंपरिक डिजाइनों की सीमाएँ: मानक समान रैंडमाइजेशन (Equal Randomization - ER) कई प्रतिभागियों को उप-इष्टतम खुराकों के संपर्क में डाल देता है क्योंकि यह व्यक्तिगत सहचरों (covariates) की अनदेखी करता है और सभी समूहों (arms) के साथ समान व्यवहार करता है। इससे बड़े सैंपल साइज और विकास समय में वृद्धि होती है।
मौजूदा अनुकूली डिजाइनों (Adaptive Designs) की सीमाएँ: जबकि रिस्पॉन्स एडेप्टिव रैंडमाइजेशन (RAR) और कॉन्टेक्स्टुअल बैंडिट्स मौजूद हैं, वे अक्सर:
- केवल प्रभावकारिता पर ध्यान केंद्रित करते हैं, सुरक्षा बाधाओं की अनदेखी करते हैं।
- प्रतिभागियों के सहचरों (covariates) को प्रभावी ढंग से शामिल करने में विफल रहते हैं।
- पैरामीट्रिक मॉडल पर निर्भर करते हैं, जो यदि गलत (misspecified) हों, तो प्रभाव आकार के अनुमानों को अमान्य (biased) बना सकते हैं।
- इनमें "एनीटाइम-वैलिड" (anytime-valid) निष्कर्ष क्षमता का अभाव होता है, जिसका अर्थ है कि वे टाइप I त्रुटि दर (Type I error rate) को बढ़ाए बिना निरंतर निगरानी (continuous monitoring) का समर्थन नहीं कर सकते।

लेखक एक ऐसा ढांचा विकसित करने का लक्ष्य रखते हैं जो प्रभाव आकार के अनुमानों के लिए डोज़ आवंटन (सुरक्षा/प्रभावकारिता का उपयोग करके) और मजबूत, मॉडल-अज्ञेयवादी (model-agnostic) सांख्यिकीय निष्कर्ष (statistical inference) को एक साथ अनुकूलित करता है।

2. कार्यप्रणाली (Methodology)

प्रस्तावित ढांचा दो मुख्य घटकों से बना है: ट्रायल ऑप्टिमाइजेशन (Trial Optimization) और ट्रायल इवैल्यूएशन (Trial Evaluation)।

A. ट्रायल ऑप्टिमाइजेशन: रिस्क-इंक्लूसिव थॉमसन सैंपलिंग (RiTS)

लेखक परीक्षण को एक कॉन्टेक्स्टुअल मल्टी-आर्म्ड बैंडिट (CMAB) समस्या के रूप में देखते हैं।

दोहरे थॉमसन सैंपलर (Dual Thompson Samplers): मानक थॉमसन सैंपलिंग (जो एक एकल उद्देश्य को अनुकूलित करता है) के विपरीत, RiTS दो अलग-अलग बेयसियन मॉडल का उपयोग करता है:
1. प्रभावकारिता (Efficacy) ( $R_n$ ) के लिए एक मॉडल।
2. सुरक्षा (Safety) ( $S_n$ ) के लिए एक मॉडल।
भारित उपयोगिता (Weighted Utility): एक पूर्व-निर्धारित भार पैरामीटर $w \in (0,1)$ $w \in (0, 1)$ दोनों मॉडलों के पोस्टीरियर सैंपल्स को मिलाकर एक उपयोगिता फलन (utility function) को परिभाषित करता है:
$\omega(x, b_0, b, g_0, g; w) = w \cdot (\text{Efficacy Prediction}) + (1-w) \cdot (\text{Safety Prediction})$
- $w$ डोमेन विशेषज्ञों को ट्रेड-ऑफ को ट्यून करने की अनुमति देता है (उदाहरण के लिए, ऑन्कोलॉजी के लिए उच्च $w$ जहाँ प्रभावकारिता को प्राथमिकता दी जाती है; त्वचा विज्ञान के लिए कम $w$ जहाँ सुरक्षा सर्वोपरि है)।
क्लिपिंग (प्रोपेंसिटी बाधाएं): बाद में वैध निष्कर्ष सुनिश्चित करने के लिए, एल्गोरिदम एक "क्लिपिंग" पैरामीटर $\delta$ लागू करता है। किसी भी आर्म $a$ को आवंटित करने की संभावना को $[\delta, 1-\delta]$ के बीच सीमित किया जाता है। यह एल्गोरिदम को उप-इष्टतम आर्म्स की पर्याप्त खोज करने के लिए मजबूर करता है, जिससे डेटा वितरण बहुत अधिक असंतुलित होने से बचता है।
सहचर एकीकरण (Covariate Integration): आवंटन की संभावना $q_n(a, x)$ प्रतिभागी के सहचर वेक्टर $X_n$ पर निर्भर करती है, जो व्यक्तिगत डोज़ असाइनमेंट को सक्षम बनाती है।

B. ट्रायल इवैल्यूएशन: एसिम्प्टोटिक कॉन्फिडेंस सीक्वेंसेस (AsympCS)

अनुकूली आवंटन के तहत वैध निष्कर्ष की आवश्यकता को संबोधित करने के लिए, लेखक Asymptotic Confidence Sequences (AsympCS) को CMAB सेटिंग में विस्तारित करते हैं।

क्रॉस-फिटिंग और AIPW: यह विधि एक क्रॉस-फिटिंग दृष्टिकोण का उपयोग करती है जहाँ डेटा को प्रशिक्षण ( $D_{trn}$ $D_{t r n}$ ) और मूल्यांकन ( $D_{eval}$ $D_{e v a l}$ ) सेटों में विभाजित किया जाता है। यह ऑगमेंटेड इनवर्स प्रोपेंसिटी वेटेड (AIPW) छद्म-परिणामों (pseudo-outcomes) का निर्माण करती है।
- यह विधि प्रतिगमन अनुमानकों (regression estimators) के माध्यम से विभिन्न आर्म्स से जानकारी प्राप्त करने की अनुमति देती है, साथ ही इनवर्स प्रोपेंसिटी वेटिंग का उपयोग करके अनुकूली रैंडमाइजेशन से उत्पन्न पूर्वाग्रह (bias) को भी ठीक करती है।
मॉडल-असिस्टेड इन्फरेंस:
- ऑप्टिमाइजेशन चरण: कुशल लर्निंग के लिए पैरामीट्रिक मॉडल (जैसे लीनियर रिग्रेशन) का उपयोग करता है।
- इन्फरेंस चरण: निष्कर्षों की वैधता इस बात पर निर्भर नहीं करती है कि पैरामीट्रिक मॉडल सही ढंग से निर्दिष्ट है या नहीं। भले ही मॉडल गलत (misspecified) हो, AsympCS प्रभाव आकारों ( $\Delta(a)$ ) के लिए वैध कवरेज गारंटी प्रदान करता है, जब तक कि रिग्रेशन अनुमानक किसी भी फलन (function) की ओर अभिसरित (converge) होते हैं।
एनीटाइम-वैलिड स्टॉपिंग (Anytime-Valid Stopping): यह विधि निरंतर निगरानी के आधार पर परीक्षण को जल्दी रोकने के लिए कॉन्फिडेंस इंटरवल उत्पन्न करती है, जिससे टाइप I त्रुटि दर को बढ़ाए बिना प्रभावकारिता या निरर्थकता (futility) के लिए शीघ्र समापन संभव होता है।

3. प्रमुख योगदान (Key Contributions)

रिस्क-इंक्लूसिव फ्रेमवर्क (RiTS): थॉमसन सैंपलिंग का एक अभिनव अनुकूलन जो एक भारित मिश्रित उपयोगिता का उपयोग करके स्पष्ट रूप से प्रभावकारिता और सुरक्षा को संतुलित करता है, जो क्लिनिकल ट्रायल्स के लिए मौजूदा मल्टी-ऑब्जेक्टिव बैंडिट साहित्य की कमी को पूरा करता है।
अनुकूलनशीलता के तहत मजबूत निष्कर्ष (Robust Inference under Adaptivity): इस बात का सैद्धांतिक प्रमाण कि AsympCS, मॉडल मिसस्पेसिफिकेशन (model misspecification) के बावजूद, कॉन्टेक्स्टुअल बैंडिट सेटिंग में वैध रहता है। यह AIPW अनुमानकों को क्रॉस-फिटिंग और प्रोपेंसिटी क्लिपिंग के साथ जोड़कर प्राप्त किया जाता है।
एनीटाइम-वैलिड स्टॉपिंग रूल्स: निरंतर निगरानी के आधार पर परीक्षण को जल्दी रोकने के लिए एक सांख्यिकीय रूप से सुव्यवस्थित विधि प्रदान करता है, जो कठोर त्रुटि नियंत्रण बनाए रखते हुए समय और संसाधनों की बचत करता है।
व्यावहारिक कार्यान्वयन दिशानिर्देश: विस्तृत सिफारिशें (बर्न-इन साइज $m$ , क्लिपिंग $\delta$ , प्रारंभिक रैंडमाइजेशन $n_0$ ) ताकि यह सुनिश्चित हो सके कि एसिम्प्टोटिक गुण सीमित नमूनों (finite samples) में भी बने रहें।

4. परिणाम (Results)

लेखकों ने व्यापक सिमुलेशन और एक वास्तविक दुनिया के अनुप्रयोग के माध्यम से अपने तरीके को सत्यापित किया।

सिमुलेशन अध्ययन (High-SNR, Low-SNR, Null-Efficacy):
- रिग्रेट (Regret): RiTS ने मानक TS (जिसने सुरक्षा की अनदेखी की) और समान रैंडमाइजेशन (ER) की तुलना में सबसे कम संचयी सुरक्षा रिग्रेट (safety regret) और तुलनीय उपयोगिता रिग्रेट (utility regret) प्राप्त किया। TS का प्रभावकारिता रिग्रेट सबसे कम था लेकिन सुरक्षा रिग्रेट खतरनाक रूप से उच्च था।
- निष्कर्ष की गुणवत्ता (Inference Quality): RiTS-AIPW ने सभी परिदृश्यों में वैध टाइम-यूनिफॉर्म कवरेज (संचयी मिस-कवरेज नाममात्र स्तर से कम) प्रदान किया।
- दक्षता (Efficiency): हालांकि अनुकूली आवंटन के कारण RiTS को ER की तुलना में थोड़े व्यापक कॉन्फिडेंस इंटरवल की आवश्यकता थी, फिर भी यह सुरक्षा बनाए रखते हुए "विजेता डोज़" की पहचान करने में TS की तुलना में काफी अधिक कुशल था।
- मजबूती (Robustness): मॉडल मिसस्पेसिफिकेशन के तहत, RiTS-AIPW ने संचयी मिस-कवरेज पर नियंत्रण बनाए रखा, जबकि मानक विधियाँ (जैसे Rand-OF) टाइप I त्रुटि दर को नियंत्रित करने में विफल रहीं।
वास्तविक दुनिया का अनुप्रयोग (Alopecia Areata Phase IIb Trial):
- इसे 654 प्रतिभागियों के डेटासेट पर लागू किया गया जिसमें 5 सक्रिय खुराक और एक प्लेसबो शामिल था।
- निष्कर्ष: RiTS ने सबसे प्रभावी खुराक (Arm 6) की सफलतापूर्वक पहचान की, लेकिन अधिक प्रतिभागियों को बेहतर सुरक्षा प्रोफाइल वाली खुराक (Arm 4) में आवंटित किया, जो अध्ययन में लिए गए वास्तविक व्यावसायिक निर्णय के अनुरूप था।
- तुलना: RiTS ने प्रभावकारिता और सुरक्षा को संतुलित करने में TS को पछाड़ दिया, जिससे यह सिद्ध हुआ कि यह रोगी की सुरक्षा सुनिश्चित करते हुए वास्तविक "विजेता" को खोजने में सक्षम है।

5. महत्व (Significance)

यह शोध पत्र सुदृढीकरण शिक्षण (Reinforcement Learning - RL) और नैदानिक परीक्षण डिजाइन (Clinical Trial Design) के बीच के अंतर को एक महत्वपूर्ण तरीके से पाटता है:

रोगी सुरक्षा: यह "केवल प्रभावकारिता" अनुकूलन से आगे बढ़कर, यह सुनिश्चित करता है कि अनुकूली परीक्षण बेहतर परिणामों की तलाश में रोगियों को असुरक्षित खुराकों के संपर्क में न लाएं।
सांख्यिकीय कठोरता: यह अनुकूली परीक्षणों में "निष्कर्ष की समस्या" (inference problem) को हल करता है। ऐतिहासिक रूप से, अनुकूली डिजाइनों ने पोस्ट-हॉक सांख्यिकीय निष्कर्षों को कठिन या अमान्य बना दिया था। यह विधि वैध, एनीटाइम-वैलिड निष्कर्ष प्रदान करती है, भले ही अंतर्निहित डोज़-रिस्पॉन्स मॉडल अज्ञात या गलत तरीके से निर्दिष्ट हो।
नियामक प्रासंगिकता (Regulatory Relevance): कठोर त्रुटि नियंत्रण के साथ शीघ्र समापन और निरंतर निगरानी का समर्थन करने वाला ढांचा प्रदान करके, यह सांख्यिकीय अखंडता से समझौता किए बिना दवा विकास चक्रों को तेज करने की सुविधा देता है।

संक्षेप में, लेखक एक मॉडल-असिस्टेड, रिस्क-इंक्लूसिव दृष्टिकोण का प्रस्ताव करते हैं जो क्लिनिकल ट्रायल्स में निहित जटिल ट्रेड-ऑफ के लिए आधुनिक RL तकनीकों का उपयोग करता है, जबकि मूल्यांकन के लिए मजबूत कॉज़ल इन्फरेंस (causal inference) उपकरणों पर निर्भर करता है।