On Response-Adaptive Targeting Strategies for Multi-Treatment Experiments

तकनीकी सारांश: बहु-उपचार प्रयोगों के लिए रिस्पॉन्स-एडेप्टिव टारगेटिंग रणनीतियाँ

समस्या विवरण

क्लिनिकल ट्रायल्स में रिस्पॉन्स-एडेप्टिव रैंडमाइजेशन (RAR) का उद्देश्य देखे गए परिणामों के आधार पर उपचारों को गतिशील रूप से आवंटित करके नैतिक और सांख्यिकीय दक्षता में सुधार करना है। जबकि दो-आर्म (two-arm) सेटिंग्स के लिए इष्टतम आवंटन लक्ष्यों पर आधारित RAR रणनीतियों का व्यापक अध्ययन किया गया है, बहु-उपचार प्रयोगों ($K \ge 2$) के लिए इनका विस्तार सैद्धांतिक रूप से खंडित बना हुआ है। मौजूदा विधियाँ अक्सर विशिष्ट एल्गोरिदम या प्रतिबंधित लक्ष्य आवंटनों पर ध्यान केंद्रित करती हैं। इसके अलावा, पूर्व सैद्धांतिक कार्य आमतौर पर सख्ती से सकारात्मक लक्ष्य आवंटन मानते हैं, जो "स्पार्स टारगेट रेजीम" (sparse target regimes) को संबोधित करने में विफल रहते हैं जहाँ विशिष्ट मानदंडों, जैसे कि होमोजेनिटी टेस्टिंग पावर को अनुकूलित करने के लिए, कुछ उपचारों को (शून्य संभावना आवंटित करके) स्पर्शोन्मुख रूप से समाप्त कर दिया जाता है। चुनौती एक ऐसे एकीकृत ढांचे को विकसित करने में निहित है जो $K$ आर्म्स के लिए कुशल दो-आर्म डिजाइनों (जैसे ERADE) का सामान्यीकरण कर सके, स्पर्शोन्मुख दक्षता (asymptotic efficiency) की गारंटी दे सके, और तब भी वैध रहे जब लक्ष्य आवंटन स्पार्स (sparse) हो।

कार्यप्रणाली

$\alpha$-रीबैलेंसिंग टारगेटिंग रणनीतियाँ ($\alpha$RTS)

लेखक $\alpha$-रीबैलेंसिंग टारगेटिंग रणनीतियाँ ($\alpha$RTS) नामक एल्गोरिदम के एक एकीकृत परिवार को पेश करते हैं। यह ढांचा Hu et al. [2009] के ERADE को दो आर्म्स से $K \ge 2$ आर्म्स तक सामान्यीकृत करता है।

मुख्य तंत्र अज्ञात उपचार मापदंडों $\Theta = (\theta_1, \dots, \theta_K)$ और एक लक्ष्य आवंटन फलन $\rho(\Theta)$ के अनुक्रमिक अनुमान पर निर्भर करता है। मान लीजिए कि $\hat{\rho}_m$ चरण $m$ पर प्लग-इन एस्टीमेटर है। $\alpha$RTS परिवार को एक रीबैलेंसिंग पैरामीटर $\alpha \in [0, 1)$ और आवंटन प्रायिकता $p_{m+1, k}$ के लिए निम्नलिखित शर्त द्वारा परिभाषित किया गया है:
यदि अनुभवजन्य आवंटन अनुपात $N_{m,k}/m$ अनुमानित लक्ष्य $\hat{\rho}_{m,k}$ से अधिक हो जाता है, तो अगले दौर में आर्म $k$ को चुनने की प्रायिकता घटकर अधिकतम $\alpha \hat{\rho}_{m,k}$ रह जाती है।

यह ढांचा इस बात में लचीलापन प्रदान करता है कि "बचे हुए" प्रायिकता द्रव्यमान (probability mass) को कम-नमूनाकृत (under-sampled) आर्म्स में कैसे पुनर्वितरित किया जाए। शोध पत्र तीन विशिष्ट इंस्टेंशिएशंस का अन्वेषण करता है:

1. डिस्टेंस-बेस्ड एलोकेशन (Distance-Based Allocation): वर्तमान आवंटन और लक्ष्य के बीच की दूरी के अनुपात में द्रव्यमान को पुनर्वितरित करता है।
2. ERADE 2025 (Alkhnefr et al. [2025]): सभी कम-नमूनाकृत आर्म्स में एक समान मात्रा जोड़ता है।
3. इंटरपोलेटेड डी-ट्रैकिंग (Interpolated D-Tracking): रीबैलेंसिंग प्रयास को एकल आर्म पर केंद्रित करता है जो अपने लक्ष्य से सबसे दूर है (यह मल्टी-आर्म्ड बैंडिट साहित्य से एक संबंध है)।

फोर्स्ड एक्सप्लोरेशन वेरिएंट ($\alpha$RTS-FE)

उन स्पार्स टारगेट रेजीम्स को संबोधित करने के लिए जहाँ $\rho_k(\Theta) = 0$ कुछ $k$ के लिए है, लेखक $\alpha$RTS विद फोर्स्ड एक्सप्लोरेशन (FE) का प्रस्ताव करते हैं। यह वेरिएंट एक ऐसी प्रणाली शामिल करता है जो यह सुनिश्चित करती है कि प्रत्येक उपचार को अनंत नमूनाकरण (infinite sampling) प्राप्त हो, जिससे "ट्रीटमेंट स्टारवेशन" (उपचार भुखमरी) को रोका जा सके।

• तंत्र: यदि किसी उपचार $k$ को आवंटित रोगियों की संख्या एक थ्रेशोल्ड फंक्शन $h(n)$ से कम हो जाती है (जहाँ $h(n) \to \infty$ और $h(n) = o(\sqrt{n})$), तो एल्गोरिदम कम-नमूनाकृत आर्म्स को मजबूर (force) करता है।
• एकीकरण: यह तंत्र $\alpha$RTS टारगेटिंग नियम के साथ मिलकर काम करता है, यह सुनिश्चित करते हुए कि भले ही कोई उपचार लक्ष्य द्वारा स्पर्शोन्मुख रूप से समाप्त कर दिया गया हो, फिर भी उसके सांख्यिकीय एस्टीमेटर्स की वैधता बनाए रखने के लिए पर्याप्त नमूनाकरण किया जाए।

मुख्य योगदान

1. एकीकृत ढांचा: शोध पत्र $\alpha$RTS परिवार को परिभाषित करता है, जो मौजूदा ERADE विस्तारों को समाहित करता है और उन्हें बैंडिट ट्रैकिंग रणनीतियों (जैसे D-Tracking) से जोड़ता है।
2. स्पर्शोन्मुख गारंटी (Asymptotic Guarantees): हल्के नियमितता शर्तों (प्रतिक्रियाओं का परिमित प्रसरण और लक्ष्य फलन की सुगमता) के तहत, लेखक सिद्ध करते हैं कि सभी $\alpha$RTS डिजाइन मौलिक गुण साझा करते हैं:
   • स्ट्रॉन्ग कंसिस्टेंसी (Strong Consistency): अनुभवजन्य आवंटन अनुपात लगभग निश्चित रूप से (almost surely) लक्ष्य आवंटन की ओर अभिसरित होते हैं।
   • स्पर्शोन्मुख सामान्यता (Asymptotic Normality): उपचार प्रभाव एस्टीमेटर और आवंटन अनुपात दोनों सेंट्रल लिमिट थ्योरम्स (CLTs) को संतुष्ट करते हैं।
   • स्पर्शोन्मुख दक्षता (Asymptotic Efficiency): आवंटन अनुपात Hu et al. [2006] द्वारा व्युत्पन्न स्पर्शोन्मुख प्रसरण के निचले स्तर (lower bound) को प्राप्त करते हैं।
3. स्पार्स टारगेट विश्लेषण: शोध पत्र $\alpha$RTS-FE वेरिएंट के माध्यम से स्पार्स लक्ष्यों तक इन गारंटियों का विस्तार करता है। यह सिद्ध करता है कि फोर्स्ड एक्सप्लोरेशन स्पर्शोन्मुख दक्षता और निरंतरता को बनाए रखता है, जो एस्टीमेटर्स के लिए एक घटक-वार (component-wise) CLT प्रदान करता है जो इस बात पर निर्भर नहीं करता कि सीमित आवंटन अनुपात सख्ती से सकारात्मक हैं या नहीं।
4. तकनीकी लेम्मा: एक प्रमुख तकनीकी योगदान लेम्मा 4.4 है, जो एक "हिटिंग टाइम" अनुक्रम $\ell_{n,k}$ को शामिल करते हुए पर्याप्त स्थितियों की पहचान करता है जिनके लिए एक RAR डिजाइन स्पर्शोन्मुख रूप से कुशल होता है। यह लेम्मा मानक और फोर्स्ड-एक्सप्लोरेशन दोनों डिजाइनों के विश्लेषण को एकीकृत करता है।

परिणाम

सैद्धांतिक परिणाम

• अभिसरण दर (Convergence Rates): आवंटन अनुपात $N_{n,k}/n$ लक्ष्य $v_k$ की ओर लगभग निश्चित रूप से अभिसरित होते हैं। पैरामीटर एस्टीमेटर $O(\sqrt{\log \log n / n})$ की दर से अभिसरित होते हैं।
• संयुक्त वितरण (Joint Distribution): सामान्यीकृत एस्टिमेशन एरर और आवंटन एरर का संयुक्त वितरण एक मल्टीवेरिएट नॉर्मल वितरण के साथ अभिसरित होता है, जिसका ब्लॉक कोवेरिएंस मैट्रिक्स लक्ष्य फलन के ग्रेडिएंट और प्रतिक्रियाओं के प्रसरण द्वारा निर्धारित होता है।
• स्पार्स रेजीम्स: $\alpha$RTS-FE के लिए, शोध पत्र स्थापित करता है कि सभी $k$ के लिए $N_{n,k} \to \infty$ लगभग निश्चित रूप से होता है, भले ही $v_k = 0$ हो। एस्टीमेटर्स उनके विशिष्ट सैंपल साइज ($\sqrt{N_{n,k}}$) द्वारा स्केल किए जाने पर स्पर्शोन्मुख रूप से सामान्य रहते हैं।

सिमुलेशन अध्ययन

लेखकों ने $K=3$ और $K=4$ आर्म्स के साथ परिमित-नमूना व्यवहार (finite-sample behavior) का मूल्यांकन करने के लिए व्यापक सिमुलेशन किए:

• अभिसरण: सभी $\alpha$RTS वेरिएंट्स (Distance, ERADE2025, D-Tracking) $n$ के बढ़ने के साथ लक्ष्य आवंटन (जैसे नेयमैन आवंटन) की ओर तेजी से अभिसरित हुए। शुरुआती चरण की परिवर्तनशीलता में मामूली अंतर देखे गए, जिसमें D-Tracking ने छोटे सैंपल साइज पर बड़े उतार-चढ़ाव दिखाए।
• स्पार्स लक्ष्य: टायमोफिएव (Tymofyeyev) लक्ष्यों वाले परिदृश्यों में (जहाँ मध्यवर्ती उपचारों का लक्ष्य 0 है), मानक $\alpha$RTS ने "नष्ट किए गए" आर्म को रोगियों का एक गैर-नगण्य हिस्सा आवंटित किया। $\alpha$RTS-FE वेरिएंट्स ने इन आर्म्स को कम रोगी आवंटित किए, जिसके परिणामस्वरूप अनुभवजन्य आवंटन स्पार्स लक्ष्य के करीब रहा और आवंटन एरर का अभिसरण तेज हुआ।
• हाइपोथेसिस टेस्टिंग: लेखकों ने पियर्सन ची-स्क्वायर होमोजेनिटी टेस्ट के प्रदर्शन का मूल्यांकन किया।
  • टाइप I एरर: शून्य परिकल्पना (null hypothesis) के तहत, सभी डिजाइनों ने $n=200$ के लिए नाममात्र 5% स्तर के करीब टाइप I एरर दरों को बनाए रखा।
  • पावर (Power): हालांकि एडेप्टिव डिजाइन आम तौर पर अच्छा प्रदर्शन करते हैं, लेकिन किसी एक सिंगल टारगेटिंग नियम ने सभी कॉन्फ़िगरेशन में लगातार बेहतर प्रदर्शन नहीं किया। विशेष रूप से, टायमोफिएव आवंटन (जो शक्ति के लिए सैद्धांतिक रूप से इष्टतम है) ने हमेशा उच्चतम पावर नहीं दी, और कभी-कभी नेयमैन या RSIHR आवंटन की तुलना में कम प्रदर्शन किया। फोर्स्ड एक्सप्लोरेशन तंत्र का गैर-स्पार्स रेजीम्स में परीक्षण प्रदर्शन पर सीमित प्रभाव पड़ा।

महत्व और दावे

शोध पत्र का दावा है कि यह बहु-आर्म ट्रायल्स के लिए रिस्पॉन्स-एडेप्टिव प्रक्रियाओं को डिजाइन करने के लिए एक लचीला और मजबूत सैद्धांतिक आधार प्रदान करता है। इसका प्राथमिक महत्व निम्नलिखित में निहित है:

1. एकीकरण: विशिष्ट एल्गोरिदम से आगे बढ़कर डिजाइनों के एक वर्ग ($\alpha$RTS) को परिभाषित करना जो संरचनात्मक स्पर्शोन्मुख गुणों को साझा करते हैं, जिससे नए एडेप्टिव रणनीतियों के विश्लेषण को सरल बनाया जा सके।
2. स्पर्सिटी को संभालना: स्पार्स लक्ष्य आवंटन के संबंध में साहित्य के अंतराल को स्पष्ट रूप से संबोधित करना, यह प्रदर्शित करना कि फोर्स्ड एक्सप्लोरेशन एस्टीमेटर्स की सांख्यिकीय वैधता से समझौता किए बिना इष्टतम आवंटन रणनीतियों (जो आर्म्स को समाप्त कर सकती हैं) की अनुमति देता है।
3. व्यावहारिक अंतर्दृष्टि: सिमुलेशन बताते हैं कि जबकि स्पर्शोन्मुख समानता मौजूद है, परिमित-नमूना व्यवहार भिन्न होता है। लेखक स्पार्स रेजीम्स में विश्वसनीय अनुकूलन सुनिश्चित करने के लिए फोर्स्ड एक्सप्लोरेशन की महत्वपूर्ण भूमिका पर जोर देते हैं, जिससे यह सुनिश्चित होता कि प्रारंभिक यादृच्छिक उतार-चढ़ाव के कारण एल्गोरिदम आवश्यक आर्म्स को खोजने (explore) में विफल न हो।

लेखक हाइपोथेसिस टेस्टिंग पावर पर विशिष्ट टारगेटिंग नियमों के व्यावहारिक प्रभाव के संबंध में विनम्र हैं, यह नोट करते हुए कि जबकि स्पर्शोन्मुख दक्षता प्राप्त की जाती है, यूनिफॉर्म सैंपलिंग या विभिन्न $\alpha$RTS वेरिएंट्स की तुलना में परिमित-नमूना लाभ अक्सर मामूली और कॉन्फ़िगरेशन-निर्भर होते हैं।