Deployment protocol and base model jointly determine residual risk in rule-based clinical LLM supervision

कल्पना कीजिए कि आपने अभी-अभी एक सुपर-स्मार्ट रोबोट सहायक बनाया है, जो मेडिकल चार्ट पढ़ सकता है और उपचार सुझा सकता है। आप उत्साहित हैं, लेकिन आप यह भी जानते हैं कि सबसे स्मार्ट रोबोट भी कभी-कभी तथ्य बना सकते हैं, खतरनाक सलाह दे सकते हैं, या पेचीदा सवालों से भ्रमित हो सकते हैं। यह क्लिनिकल लार्ज लैंग्वेज मॉडेल्स (LLMs) की दुनिया है: शक्तिशाली AI उपकरण जिन्हें डॉक्टरों की मदद करने के लिए डिज़ाइन किया गया है, लेकिन वे गलतियाँ करने का वास्तविक जोखिम भी रखते हैं जो मरीजों को नुकसान पहुँचा सकती हैं। चीजों को सुरक्षित रखने के लिए, वैज्ञानिक "गार्डरेल्स" (guardrails)—डिजिटल सुरक्षा जाल बना रहे हैं जो किसी के देखने से पहले रोबोट के जवाबों की जाँच करते हैं। लेकिन यहाँ बड़ा सवाल यह है: क्या एक सुरक्षा जाल हर रोबोट पर एक ही तरह से काम करता है? और क्या होगा यदि आप मानव बैकअप योजना को हटा दें? यह शोध ठीक इसी बात की जांच करता है, कि क्या नियमों पर आधारित सुरक्षा जाँचों का एक विशिष्ट सेट विभिन्न AI मॉडलों को सुरक्षित रख सकता है, और यदि हम उन्हें पूरी तरह से अकेले चलने देने की कोशिश करते हैं तो कितना जोखिम बना रहता है।

शोधकर्ताओं ने एक डिजिटल "सेंटिनल" (sentinel)—एक सख्त, नियम मानने वाला रेफरी जो पाँच अलग-अलग द्वारों से बना है—सेट अप किया, जो पाँच अलग-अलग AI मॉडलों (छोटे ओपन-सोर्स से लेकर विशाल, शीर्ष-स्तरीय कमर्शियल मॉडलों तक) की निगरानी करता है। उन्होंने इन मॉडलों का परीक्षण दो प्रकार के चिकित्सा परिदृश्यों पर किया: बनाए गए मामले जिन्हें AI को धोखा देने के लिए डिज़ाइन किया गया था, और वास्तविक जीवन के मामले जो अस्पताल के रिकॉर्ड से लिए गए थे। उन्होंने इन मॉडलों को दो बहुत ही अलग मोड में चलाया। पहला मोड, "हैंडऑफ-ऑन" (Handoff-On), ऐसा है जैसे एक मानव पर्यवेक्षक रोबोट के ठीक बगल में खड़ा हो। यदि सेंटिनल एक गलत उत्तर पकड़ लेता है, तो वह उसे ब्लॉक कर देता है और उसे ठीक करने या समीक्षा करने के लिए एक मानव डॉक्टर के पास भेज देता है। दूसरा मोड, "हैंडऑफ-ऑफ" (Handoff-Off), "स्वायत्त" (autonomous) मोड है: रोबोट को अपना काम पूरी तरह से खुद करना होगा। यदि सेंटिनल यहाँ एक गलत उत्तर पकड़ लेता है, तो यहाँ बचाने के लिए कोई मानव नहीं है; मूल, संभावित रूप से खतरनाक उत्तर अभी भी सामने आ सकता है, या सिस्टम को बस उस गड़बड़ी से निपटना होगा।

परिणाम "शानदार खबर" और "सावधानी, सावधानी से आगे बढ़ें" का मिश्रण थे। जब मानव पर्यवेक्षक मौजूद था (Handoff-On), तो सुरक्षा जाल सभी मॉडलों के लिए अविश्वसनीय रूप से अच्छा काम कर रहा था। चाहे उन्होंने किस भी AI का परीक्षण किया हो, खतरनाक उत्तरों के उपयोगकर्ता तक पहुँचने की दर वास्तव में 6% से नीचे रही। यह एक क्लब के बाउंसर की तरह था जिसने लगभग हर समस्या पैदा करने वाले व्यक्ति को पकड़ लिया। हालाँकि, इसकी लागत अलग-अलग मॉडलों के लिए बहुत भिन्न थी। कमजोर मॉडलों (जैसे Qwen 7B और Llama 8B) को लगभग आधे मामलों में रोका जाना पड़ा और मदद के लिए मानव के पास भेजा जाना पड़ा। मजबूत मॉडलों (जैसे Sonnet 4.5 और Gemma 4) को बहुत कम मदद की आवश्यकता पड़ी, जिससे उनके 99% से अधिक उत्तर सीधे पास हो गए।

लेकिन जब उन्होंने मानव पर्यवेक्षक को बंद कर दिया (Handoff-Off), तो कहानी पूरी तरह बदल गई। सिस्टम की सुरक्षा अचानक इस बात पर निर्भर हो गई कि आप कौन सा रोबोट इस्तेमाल कर रहे हैं। सबसे मजबूत मॉडल सुरक्षित रहे, जिसमें खतरनाक उत्तर बहुत कम (लगभग 0% से 2%) रहे। लेकिन कमजोर मॉडल? उनकी सुरक्षा ढह गई। बिना किसी मानव के उन्हें पकड़ने के लिए, खतरनाक उत्तरों की दर 13% से बढ़कर लगभग 50% तक पहुँच गई। शोध ने पाया कि इस अंतर का मुख्य कारण यह था कि AI कितनी अच्छी तरह "सेल्फ-करेक्ट" (स्वयं सुधार) कर सकता है। जब सेंटिनल ने एक मजबूत मॉडल को कहा, "हे, तुमने गलती की है, फिर से कोशिश करो," तो मजबूत मॉडल ने आमतौर पर इसे ठीक कर लिया। हालाँकि, कमजोर मॉडल, विशेष रूप से यदि उन्होंने अपने उत्तर के बुनियादी प्रारूप (format) में गलती की हो, तो अक्सर अपनी गलतियों को ठीक नहीं कर सके।

शोधकर्ताओं ने यह भी परीक्षण किया कि क्या आप किसी मॉडल को विशिष्ट कार्यों में बेहतर बनाने के लिए "फाइन-ट्यून" (पुनः प्रशिक्षित) करने की कोशिश करते हैं। आश्चर्यजनक रूप से, इसने कभी-कभी मॉडल को सुरक्षा नियमों का पालन करने में खराब बना दिया, जिससे वह अपने स्वयं के फॉर्मेटिंग नियमों को तोड़ने लगा। फिर भी, इन मामलों में भी, नियम-आधारित सेंटिनल त्रुटियों को पकड़ने और अंतिम आउटपुट को सुरक्षित रखने के लिए पर्याप्त सख्त था। उन्होंने एक विशाल 70-बिलियन-पैरामीटर वाले मॉडल का तीन अलग-अलग अस्पतालों के लगभग 3,000 वास्तविक दुनिया के परिदृश्यों पर भी परीक्षण किया, और इसने इस प्रवृत्ति की पुष्टि की: मानव बैकअप के साथ, यह पूरी तरह सुरक्षित था; बिना इसके, यह अभी भी बहुत सुरक्षित था, लेकिन शीर्ष कमर्शियल मॉडलों जितना पूर्ण नहीं था।

एक अंतिम, महत्वपूर्ण प्रयोग में एक मानव डॉक्टर द्वारा AI के अंतिम उत्तरों की समीक्षा शामिल थी। डॉक्टर ने पाया कि जबकि सुरक्षा नियमों ने स्पष्ट त्रुटियों को पकड़ लिया, लेकिन वे चिकित्सा तर्क में सूक्ष्म लेकिन खतरनाक गलतियों को पकड़ने में विफल रहे। उदाहरण के लिए, AI सभी सुरक्षा नियमों का पूरी तरह से पालन कर सकता है लेकिन लैब परिणाम को गलत समझने के कारण गलत दवा की खुराक का सुझाव दे सकता है। यह साबित करता है कि जबकि नियम-आधारित सेंटिनल संरचनात्मक त्रुटियों को पकड़ने के लिए एक शानदार सुरक्षा जाल है, यह डॉक्टर के मस्तिष्क का विकल्प नहीं है। शोध पत्र निष्कर्ष निकालता है कि यदि हम अस्पतालों में इन AI उपकरणों का उपयोग करना चाहते हैं, तो हमें काम के लिए सही मॉडल चुनना होगा और इस बारे में ईमानदार होना होगा कि क्या हमारे पास कदम उठाने के लिए कोई मानव तैयार है। आप यह मान नहीं सकते कि एक सुरक्षा जाल हर रोबोट के लिए एक ही तरह से काम करता है, और आप निश्चित रूप से सबसे कमजोर रोबोटों को अकेले काम करने के लिए नहीं छोड़ सकते।