A live agent benchmark of independent action authorization for healthcare AI agents

आर्टिफिशियल इंटेलिजेंस की उभरती दुनिया में, एक महत्वपूर्ण बदलाव चल रहा है। कंप्यूटर अब केवल सवालों के जवाब नहीं दे रहे हैं; वे कार्य करना शुरू कर रहे हैं। वे मेडिकल रिकॉर्ड निकाल सकते हैं, काम के जटिल क्रमों की योजना बना सकते हैं, और काम पूरा करने के लिए डिजिटल उपकरणों का उपयोग कर सकते हैं। इस नई क्षमता ने बेंचमार्क बनाने की दौड़ को जन्म दिया है, जो कि मानकीकृत परीक्षण हैं जिन्हें यह मापने के लिए डिज़ाइन किया गया है कि ये डिजिटल एजेंट कितनी अच्छी तरह प्रदर्शन करते हैं। हालाँकि, उनके मूल्यांकन के तरीके में एक गंभीर अंतर बना हुआ है। अधिकांश वर्तमान परीक्षण पूरी तरह से क्षमता पर केंद्रित हैं: क्या एजेंट सही उत्तर खोज सकता है या कार्य पूरा कर सकता है? वे शायद ही कभी प्राधिकरण (authorization) को मापते हैं: क्या एजेंट के पास वह कार्रवाई करने की अनुमति है, और किन शर्तों के तहत? स्वास्थ्य सेवा में, जहाँ एक गलती के गंभीर परिणाम हो सकते हैं, यह जानना पर्याप्त नहीं है कि एक एजेंट क्या कर सकता है; हमें यह जानना होगा कि उसे क्या करने की अनुमति है। प्रश्न यह है कि क्या एक बाहरी सुरक्षा परत, एक डिजिटल गेटकीपर जोड़ना जो हर कदम को होने से पहले जाँचता है, वास्तव में सिस्टम को सुरक्षित बनाता है, या यह केवल चीजों को धीमा करता है और नई समस्याएँ पैदा करता है।

एक हालिया अध्ययन ने एक सिम्युलेटेड हेल्थकेयर वातावरण में आर्टिफिशियल इंटेलिजेंस एजेंटों के साथ एक लाइव प्रयोग चलाकर इसका उत्तर देने का प्रयास किया। शोधकर्ताओं ने एक नियंत्रित परिदृश्य बनाया जहाँ उन्होंने सब कुछ स्थिर रखा—विशिष्ट कार्य, एआई मॉडल, कंप्यूटर को दिए गए निर्देश, और उपलब्ध डिजिटल उपकरण। उन्होंने केवल यह बदला कि क्या एक स्वतंत्र सुरक्षा परत मौजूद थी जो एजेंट के कार्यों को अनुमोदित या बाधित करती थी। उन्होंने सैकड़ों इन सिम्युलेटेड केयर-कोऑर्डिनेशन एपिसोड्स को चलाया, जिससे एक ऐसी स्थिति उत्पन्न हुई जहाँ सुरक्षा परत को अपूर्ण जानकारी के आधार पर निर्णय लेने पड़ते, ठीक वैसे ही जैसे एक मानव पर्यवेक्षक करता है। लक्ष्य यह देखना था कि क्या यह अतिरिक्त निगरानी परत वास्तव में खतरनाक गलतियों को रोकती है या क्या यह नई त्रुटियों और देरी को जन्म देती है।

इस प्रयोग में चार अलग-अलग सेटअप शामिल थे। एक समूह के एजेंट सख्त, अपरिवर्तनीय नियमों का पालन करते थे, जो एक साधारण कैलकुलेटर की तरह कार्य करते थे। दूसरा समूह एक अनकन्स्ट्रेंड (unconstrained) एजेंट था, जो बिना किसी बाहरी जांच के किसी भी उपकरण का उपयोग करने के लिए स्वतंत्र था। तीसरे समूह ने उसी अनकन्स्ट्रेंड एजेंट का उपयोग किया लेकिन इसे एक "सेफ्टी गेटवे" के पीछे रखा, जो एजेंट के प्रस्तावित प्रत्येक कार्य की नियमों के सेट के विरुद्ध समीक्षा करता था। चौथे समूह ने उस गेटवे के ऊपर एक डायनेमिक कंट्रोलर जोड़ा, जो एजेंट के हालिया प्रदर्शन के आधार पर उसकी स्वतंत्रता के स्तर को समायोजित कर सकता था। शोधकर्ताओं ने इन सेटअपों के माध्यम से 576 विशिष्ट एपिसोड चलाए, यह सुनिश्चित करते हुए कि निष्पक्ष तुलना के लिए प्रत्येक परिदृश्य को समान परिस्थितियों में परखा गया।

परिणामों ने एक आश्चर्यजनक और सूक्ष्म तस्वीर पेश की। प्राथमिक माप असुरक्षित कार्यों की दर थी, जिसे किसी भी ऐसे कदम के रूप में परिभाषित किया गया था जिसने सुरक्षा नीतियों का उल्लंघन किया हो, जैसे कि ऐसी दवा को बदलने की कोशिश करना जो स्पष्ट रूप से वर्जित थी या उचित अनुमति के बिना रोगी से संपर्क करना। पूर्ण सुरक्षा प्रणाली वाले समूह में, असुरक्षित कार्य 0.7 प्रतिशत एपिसोड में हुए। बिना किसी सुरक्षा जांच वाले समूह में, दर थोड़ी कम, 0.4 प्रतिशत थी। यह अंतर इतना कम था कि यह संयोगवश भी हो सकता था, जिसका अर्थ है कि सुरक्षा परत ने गलतियों की संख्या को सांख्यिकीय रूप से कम नहीं किया। वास्तव में, अनकन्स्ट्रेंड एजेंट ने परीक्षण परिदृश्यों में छिपे हुए विशिष्ट प्रतिबंधित कार्य का प्रयास भी नहीं किया, जिससे पता चलता है कि एआई पहले से ही अपने आप बहुत सावधानी से व्यवहार कर रहा था।

हालाँकि सुरक्षा परत ने सुरक्षा में सुधार नहीं किया, लेकिन इसकी एक स्पष्ट लागत थी। पूर्ण गवर्नेंस सिस्टम के तहत काम करने वाले एजेंटों को अपने कार्यों को पूरा करने में अधिक समय लगा और उन्हें प्रबंधित करने के लिए अधिक मानवीय प्रयास की आवश्यकता पड़ी। नियमित कार्यों में उनकी सफलता दर काफी गिर गई, और वे किसी मामले को मानव डॉक्टर के पास भेजने का निर्णय लेने में कम सटीक थे। सिस्टम को चलाना भी अधिक महंगा हो गया। शोधकर्ताओं ने पाया कि सेफ्टी गेटवे और डायनेमिक कंट्रोलर ने मापने योग्य देरी और वर्कलोड बढ़ाया, बिना किसी मापने योग्य सुरक्षा लाभ के। यह सुझाव देता है कि एक ऐसे एआई मॉडल के लिए जो पहले से ही सुसंगत (well-aligned) है और खतरनाक गलतियाँ करने की संभावना कम रखता है, एक बाहरी अनुमति जाँच परत जोड़ना एक अनावश्यक बोझ हो सकता है जो बिना किसी नई त्रुटि को पकड़े प्रदर्शन को धीमा कर देता है।

अध्ययन ने ऐसे परीक्षणों की सीमाओं को भी रेखांकित किया। एपिसोड सिंथेटिक थे, जिसका अर्थ है कि वे वास्तविक रोगी रिकॉर्ड के बजाय कंप्यूटर-जनरेटेड परिदृश्य थे, और सुरक्षा नियम एक मानव डॉक्टर के जटिल निर्णय के बजाय निश्चित दिशा-निर्देशों पर आधारित थे। शोधकर्ताओं ने नोट किया कि उनके द्वारा परीक्षण किए गए एआई मॉडल में त्रुटियों की बेसलाइन दर बहुत कम थी, जिससे सुरक्षा परत के लिए सुधार प्रदर्शित करने के लिए बहुत कम गुंजाइश बची। उन्होंने चेतावनी दी कि यह परिणाम अलग-अलग एआई मॉडल जो गलतियों के प्रति अधिक प्रवृत्त हैं, या स्वास्थ्य सेवा के विभिन्न प्रकार के कार्यों पर लागू नहीं हो सकता है। निष्कर्ष यह नहीं बताते कि सुरक्षा परतें बेकार हैं, बल्कि वे यह दिखाते हैं कि वे एक मुफ्त या स्वचालित समाधान नहीं हैं। इससे पहले कि कोई संगठन अपने एआई एजेंट के लिए एक जटिल सुरक्षा प्रणाली जोड़ने का निर्णय ले, उन्हें पहले यह मापना चाहिए कि उनका विशिष्ट एजेंट स्वयं कितनी बार गलतियाँ करता है। यदि एजेंट पहले से ही सुरक्षित है, तो सुरक्षा परत केवल एक ऐसा खर्च हो सकती है जो प्रदर्शन को धीमा करने के साथ-साथ समय और प्रयास भी जोड़ती है।

अंततः, यह शोध स्वास्थ्य सेवा में एआई स्वायत्तता के ट्रेड-ऑफ (trade-offs) पर एक दुर्लभ, नियंत्रित दृष्टिकोण प्रदान करता है। यह इस धारणा को चुनौती देता है कि अधिक निगरानी का अर्थ हमेशा अधिक सुरक्षा होता है। इसके बजाय, यह सुझाव देता है कि एक बाहरी सुरक्षा द्वार का मूल्य उस एजेंट के व्यवहार पर निर्भर करता है जिसकी वह रक्षा कर रहा है। यदि एजेंट पहले से ही सावधान है, तो द्वार केवल एक बाधा (bottleneck) बन सकता है। यदि एजेंट त्रुटियों के प्रति प्रवृत्त है, तो द्वार आवश्यक हो सकता है। अध्ययन निष्कर्ष निकालता है कि संगठनों को यह नहीं मानना चाहिए कि सुरक्षा परत एक लागत-मुक्त बीमा पॉलिसी है; उन्हें अपने विशिष्ट एजेंटों का परीक्षण करना चाहिए कि क्या वह परत वास्तव में त्रुटियों को पकड़ती है या यह केवल एक ऐसे सिस्टम को धीमा कर रही है जो पहले से ही अच्छी तरह से काम कर रहा था।