Deployment of AI-Assisted Interventions: Capacity Constraints and Noisy Compliance

यहाँ चैन, हान, ली और रानार्ड के शोध पत्र "डिप्लॉयमेंट ऑफ एआई-असिस्टेड इंटरवेंशन: कैपेसिटी कंस्ट्रेंट्स एंड नॉइज़ी कंप्लायंस" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र सेवा प्रणालियों (जैसे स्वास्थ्य सेवा, शिक्षा, भर्ती) में एआई-सहायता प्राप्त हस्तक्षेपों (AI-assisted interventions) की तैनाती में एक महत्वपूर्ण अंतराल को संबोधित करता है। मानक अभ्यास यह मानता है कि प्रेडिक्टिव एक्यूरेसी (जैसे AUC, सेंसिटिविटी) को अधिकतम करने से स्वचालित रूप से इष्टतम सिस्टम परिणाम प्राप्त होते हैं। हालाँकि, यह धारणा वास्तविक दुनिया के परिदृश्यों में विफल हो जाती है जो दो विशिष्ट बाधाओं द्वारा चिह्नित हैं:

1. क्षमता संबंधी बाधाएं (Capacity Constraints): सेवा प्रदाताओं के पास एक जनसंख्या ($N$) को सेवा देने के लिए सीमित स्लॉट्स ($M$) होते हैं।
2. नॉइजी कंप्लायंस (Noisy Compliance): एआई उपकरण सीधे असाइनमेंट के बजाय "नज" (nudges) के रूप में कार्य करते हैं। फ्लैग किए गए व्यक्तियों द्वारा सेवा का अनुरोध करने की संभावना अनफ्लैग किए गए व्यक्तियों ($p_0$) की तुलना में अधिक ($p_0 + \Delta P$) होती है, लेकिन अनुपालन (compliance) संभाव्य (probabilistic) होता है।

मुख्य संघर्ष (The Core Conflict):
जब क्षमता सीमित होती है, तो एल्गोरिथमिक फ्लैगिंग और वास्तविक सेवा वितरण के बीच एक "फनल" (funnel) मौजूद होता है। दो प्रतिस्पर्धी बल उत्पन्न होते हैं:

• अल्प-उपयोग (Underutilization): यदि फ्लैगिंग थ्रेशोल्ड बहुत अधिक (रूढ़िवादी) है, तो मांग क्षमता से कम होती है, जिससे सेवा स्लॉट खाली रह जाते हैं।
• कैनिबलाइजेशन (Cannibalization): यदि थ्रेशोल्ड बहुत कम (आक्रामक) है, तो मांग क्षमता से अधिक हो जाती है। रैंडम एलोकेशन (जो निष्पक्षता या लॉजिस्टिक कारणों से सामान्य है) के तहत, अनफ्लैग किए गए या कम स्कोर वाले फ्लैग किए गए व्यक्तियों के निम्न-मूल्य वाले अनुरोध, उच्च-मूल्य वाले अनुरोधों को विस्थापित (crowd out) कर देते हैं, जिससे सेवा किए गए मामलों की औसत प्रभावकारिता कम हो जाती है।

शोध पत्र यह प्रश्न पूछता है: क्षमता और शोर (noise) को देखते हुए, कुल सिस्टम प्रभावकारिता (सेवा किए गए व्यक्तियों के मूल्यों का योग) को अधिकतम करने के लिए वर्गीकरण थ्रेशोल्ड (classification threshold) कैसे सेट किया जाना चाहिए और एल्गोरिदम का चयन कैसे किया जाना चाहिए?

2. कार्यप्रणाली (Methodology)

A. गणितीय मॉडल (Mathematical Model)

लेखक $N$ व्यक्तियों के लिए एक स्टोकेस्टिक मॉडल विकसित करते हैं जहाँ:

• अनुरोध व्यवहार (Request Behavior): यदि अनफ्लैग किया गया है तो एक व्यक्ति द्वारा सेवा का अनुरोध करने की संभावना $p_0$ है और यदि फ्लैग किया गया है तो $p_0 + \Delta P$ है।
• सत्य स्कोर (True Scores): प्रत्येक व्यक्ति का एक गुप्त सत्य स्कोर $r_i$ होता है जो उन्हें सेवा देने के मूल्य का प्रतिनिधित्व करता है।
• एल्गोरिदम (Algorithm): एक एल्गोरिदम $A$ स्कोर $\hat{r}_i$ की भविष्यवाणी करता है।
• एलोकेशन (Allocation): यदि कुल अनुरोध क्षमता $M$ से अधिक हो जाते हैं, तो स्लॉट अनुरोधकर्ताओं के बीच समान रूप से यादृच्छिक (uniformly at random) रूप से आवंटित किए जाते हैं।

B. फ्लूइड एप्रोक्सिमेशन (Fluid Approximation)

विश्लेषणात्मक अंतर्दृष्टि प्राप्त करने के लिए, लेखक एक फ्लूइड मॉडल पेश करते हैं जो स्टोकेस्टिक चरों को उनके अपेक्षा मानों (expectations) से बदल देता है।

• कुल अपेक्षित अनुरोध: $N[p_0 + \Delta P(1-\tau)]$।
• अपेक्षित सेवा प्राप्त अनुरोध: $\min(N[p_0 + \Delta P(1-\tau)], M)$।
• ऑब्जेक्टिव फंक्शन $\tilde{W}$ (सिस्टम प्रभावकारिता) सेवा प्राप्त अनुरोधों की संख्या और प्रति स्लॉट औसत प्रभावकारिता का गुणनफल है।
• प्रपोजिशन 1: फ्लूइड ऑब्जेक्टिव, स्टोकेस्टिक ऑब्जेक्टिव के लिए एक ऊपरी सीमा (upper bound) प्रदान करता है और $N, M \to \infty$ होने पर इसके अनुरूप हो जाता है।

C. थ्रेशोल्ड लक्षण वर्णन (Threshold Characterization)

लेखक अनुरोधों की संख्या को अधिकतम करने (उपयोगिता) और उन अनुरोधों के औसत मूल्य को अधिकतम करने (प्रति स्लॉट प्रभावकारिता) के बीच के व्यापार-बंद (trade-off) का विश्लेषण करते हैं। वे निम्नलिखित को परिभाषित करते हैं:

1. स्कोर-ऑप्टिमल थ्रेशोल्ड ($\tau^*_{score}$): वह थ्रेशोल्ड जो प्रति सेवा स्लॉट औसत प्रभावकारिता को अधिकतम करता है (क्षमता सीमाओं को नजरअंदाज करते हुए)।
2. कैपेसिटी-मैचिंग थ्रेशोल्ड ($\tau_c$): वह थ्रेशोल्ड जो ठीक क्षमता $M$ को भरने के लिए पर्याप्त अपेक्षित अनुरोध उत्पन्न करता है।

3. मुख्य योगदान (Key Contributions)

A. इष्टतम थ्रेशोल्ड का लक्षण वर्णन (Theorem 1)

शोध पत्र सिद्ध करता है कि इष्टतम थ्रेशोल्ड $\tau^*$ का एक उल्लेखनीय सरल दो-बिंदु संरचना (two-point structure) है:
$$\tau^* = \min(\tau^*_{score}, \tau_c)$$

• व्याख्या: इष्टतम नीति प्रति-स्लॉट मूल्य को अधिकतम करने वाले थ्रेशोल्ड और क्षमता उपयोग सुनिश्चित करने वाले थ्रेशोल्ड में से न्यूनतम का चुनाव है।
• रेजिम्स (Regimes):
  • दुर्लभ क्षमता (Scarce Capacity): जब क्षमता आधारभूत मांग के सापेक्ष कम होती है, तो $\tau^* = \tau^*_{score}$ होता है। सिस्टम उच्च-मूल्य वाले व्यक्तियों को सेवा देने को प्राथमिकता देता है, यह स्वीकार करते हुए कि कुछ क्षमता बर्बाद हो सकती है यदि इष्टतम स्कोर थ्रेशोल्ड पर्याप्त वॉल्यूम उत्पन्न नहीं करता है (हालांकि आमतौर पर ऐसा होता है)।
  • प्रचुर क्षमता (Abundant Capacity): जब क्षमता अधिक होती है, तो $\tau^* = \tau_c$ होता है। सिस्टम थ्रेशोल्ड को कम करता है ताकि सभी स्लॉट भरे जा सकें, भले ही इसका अर्थ कम मूल्य वाले व्यक्तियों को सेवा देना हो।

B. मानक नीतियों की उप-इष्टतमता (Suboptimality of Standard Policies)

• प्रेडिक्शन-आधारित थ्रेशोल्ड: केवल सेंसिटिविटी या स्पेसिफिसिटी जैसे मेट्रिक्स पर आधारित नीतियां (परिभाषा 1) आम तौर पर उप-इष्टतम (suboptimal) होती हैं। वे परिचालन मापदंडों ($M, p_0, \Delta P$) को अनदेखा करती हैं और क्षमता परिवर्तनों के अनुकूल होने में विफल रहती हैं, जिससे प्रभावकारिता में भारी कमी आती है।
• कैपेसिटी-मैचिंग थ्रेशोल्ड: हालांकि यह प्रेडिक्शन-आधारित थ्रेशोल्ड से बेहतर है, $\tau_c$ भी उप-इष्टतम है जब कैनिबलाइजेशन मजबूत होता है (अर्थात, जब $p_0 > 0$ और क्षमता कम होती है)। यह मार्जिनल अनुरोधकर्ताओं की गुणवत्ता को अनदेखा करता है, जिससे उच्च-मूल्य वाले मामलों के विस्थापन का खतरा रहता है।

C. एल्गोरिदम चयन: ऑपरेशनल AUC (OpAUC)

शोध पत्र प्रदर्शित करता है कि क्षमता-बाधित सेटिंग्स में AUC का तालमेल (alignment) सिस्टम प्रभावकारिता के साथ बिगड़ जाता है।

• समस्या: AUC सभी संभावित थ्रेशोल्ड्स पर प्रदर्शन को समान रूप से महत्व देता है। हालाँकि, एक इष्टतम परिनियोजन (deployment) केवल थ्रेशोल्ड की एक विशिष्ट सीमा के भीतर कार्य करता है (जो क्षमता द्वारा निर्धारित होता है)। एक उच्च AUC वाला एल्गोरिदम उस विशिष्ट परिचालन सीमा में खराब प्रदर्शन कर सकता है जहाँ सिस्टम वास्तव में कार्य करता है।
• समाधान: लेखक ऑपरेशनल AUC (OpAUC) का प्रस्ताव करते हैं।
  $$\text{OpAUC}(A) = \int \text{Efficacy at } \tau^*(\rho) \, d\mu(\rho)$$
  OpAUC केवल उन थ्रेशोल्ड्स पर एल्गोरिदम के प्रदर्शन को वेटेज देता है जहाँ उसे क्षमता बाधाओं को देखते हुए वास्तव में तैनात किया जाएगा। यह सिद्ध किया गया है कि यह प्रभावकारिता-इष्टतम एल्गोरिदम का चयन करता है।

D. प्राथमिकता (Prioritization) के प्रति मजबूती

लेखक उन परिदृश्यों का विस्तार करते हैं जहाँ प्रदाता उच्च-स्कोर वाले अनुरोधकर्ताओं को आंशिक रूप से प्राथमिकता देते हैं (मिक्सचर मैकेनिज्म)। वे दिखाते हैं कि रैंडम एलोकेशन के तहत व्युत्पन्न दो-बिंदु थ्रेशोल्ड प्राथमिकता के व्यापक स्तरों के बीच भी मजबूत और प्रभावी रहता है, जबकि फिक्स्ड थ्रेशोल्ड विफल हो जाते हैं।

4. परिणाम (Results)

A. सिमुलेशन अध्ययन (सेप्सिस अर्ली वार्निंग)

न्यूयॉर्क-प्रेस्बिटेरियन सिस्टम के 8 अस्पतालों के डेटा (85,160 रोगी मुठभेड़) का उपयोग करके:

• थ्रेशोल्ड ऑप्टिमाइजेशन: क्षमता और व्यवहारिक मापदंडों (दो-बिंदु नियम का उपयोग करके) के आधार पर थ्रेशोल्ड को समायोजित करने से मानक प्रेडिक्शन-आधारित थ्रेशोल्ड की तुलना में सिस्टम प्रभावकारिता में 40% तक सुधार हुआ।
• एल्गोरिदम चयन: अध्ययन ने एपिक सेप्सिस मॉडल (AUC = 0.826) और एक कस्टम XGBoost मॉडल (AUC = 0.806) की तुलना की।
  • कम AUC के बावजूद, XGBoost मॉडल ने क्षमता सीमित होने पर ($M/N \in [0.05, 0.15]$) एपिक मॉडल की तुलना में सिस्टम प्रभावकारिता में 22.8% तक बेहतर प्रदर्शन किया।
  • ऐसा इसलिए हुआ क्योंकि XGBoost का 'ट्रू पॉजिटिव रेट' (TPR) विशेष रूप से उस उच्च-जोखिम थ्रेशोल्ड रेंज में अधिक था जो क्षमता बाधाओं के लिए प्रासंगिक है, एक ऐसी सूक्ष्मता जिसे समग्र AUC मेट्रिक मिस कर देता है।
  • OpAUC ने इस रेजिम में XGBoost को बेहतर विकल्प के रूप में सही ढंग से पहचाना।

B. संवेदनशीलता विश्लेषण (Sensitivity Analysis)

• इष्टतम और नैिव (naive) थ्रेशोल्ड के बीच का अंतर क्षमता के संबंध में नॉन-मोनोटोनिक (non-monotonic) है।
• जैसे-जैसे बेसलाइन अनुरोध की संभावना ($p_0$) बढ़ती है, कैनिबलाइजेशन अधिक गंभीर हो जाता है, जिससे कैपेसिटी-मैचिंग थथ्रेशोल्ड और भी अधिक उप-इष्टतम हो जाता है।

5. महत्व और निहितार्थ (Significance and Implications)

1. डेवलपमेंट से इम्प्लीमेंटेशन की ओर बदलाव: शोध पत्र तर्क देता है कि एआई-सहायता प्राप्त हस्तक्षेपों में बाधा अक्सर मॉडल की सटीकता नहीं, बल्कि डिप्लॉयमेंट रणनीति है। चिकित्सक मॉडल को फिर से प्रशिक्षित किए बिना, केवल थ्रेशोल्ड को परिचालन बाधाओं के आधार पर समायोजित करके, भारी लाभ (40% तक) प्राप्त कर सकते हैं।
2. चयन के लिए नया मेट्रिक: यह क्षमता-बाधित वातावरण में AUC के प्रभुत्व को चुनौती देता है। OpAUC एल्गोरिदम चुनने के लिए एक सैद्धांतिक रूप से ठोस और कार्रवाई योग्य मेट्रिक प्रदान करता है जो विशिष्ट परिचालन वास्तविकताओं के साथ संरेखित है।
3. व्यावहारिक अनुप्रयोग: इस ढांचे के लिए केवल अनुमान लगाने योग्य परिचालन मापदंडों (क्षमता वितरण, बेसलाइन अनुरोध दर और नज़ लिफ्ट) की आवश्यकता होती है, जिससे यह स्वास्थ्य सेवा, शिक्षा और श्रम बाजारों में मौजूदा प्रणालियों के लिए तुरंत लागू करने योग्य बन जाता है।
4. सैद्धांतिक अंतर्दृष्टि: यह एआई डिप्लॉयमेंट में "कैनिबलाइजेशन" प्रभाव को औपचारिक रूप देता है, यह दिखाते हुए कि इष्टतम नीति दो व्याख्या योग्य थ्रेशोल्ड के एक सरल न्यूनतम (minimum) के रूप में है, जो उपयोगिता और गुणवत्ता के बीच के व्यापार-बंद को एकीकृत करती है।

संक्षेप में, शोध पत्र यह सिद्ध करने के लिए एक कठोर ढांचा प्रदान करता है कि परिचालन संबंधी बाधाएं मौलिक रूप से "इष्टतम" एआई परिनियोजन की परिभाषा को बदल देती हैं, जिसके लिए शुद्ध प्रेडिक्टिव एक्यूरेसी के बजाय ऑपरेशनली-अवेयर थ्रेशोल्डिंग और चयन मेट्रिक्स की आवश्यकता होती है।