Lessons Learned and Iterative Enhancements: A 2-Year Experience with an Established Responsible AI Framework
दो वर्षों की अवधि के दौरान, UNC हेल्थ ने एक तीन-स्तरीय जोखिम-आधारित प्रणाली को लागू करके अपने जिम्मेदार एआई (Responsible AI) ढांचे को उन्नत किया, जिसने कड़े निरीक्षण को बनाए रखते हुए मूल्यांकन दक्षता और लीड टाइम में उल्लेखनीय सुधार किया, जिसके परिणामस्वरूप 64 समाधानों की सफल समीक्षा हुई और न्यूनतम प्रतिकूल घटनाओं के साथ मजबूत पोस्ट-डिप्लॉयमेंट निगरानी तंत्र स्थापित हुआ।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि UNC हेल्थ एक विशाल, व्यस्त अस्पताल प्रणाली के रूप में है जो अचानक नए "स्मार्ट" कंप्यूटर प्रोग्रामों (आर्टिफिशियल इंटेलिजेंस) का उपयोग करने के अनुरोधों से भर गई है। दो साल पहले, उन्होंने यह जांचने के लिए एक "गेटकीपर" (द्वारपाल) प्रणाली बनाई थी कि क्या वे प्रोग्राम सुरक्षित और निष्पक्ष हैं। लेकिन जैसे-जैसे अनुरोधों की बाढ़ बढ़ी, गेटकीपर डूबने लगे।
यह शोध पत्र इस बारे में है कि कैसे उन्होंने खतरनाक उपकरणों को अंदर आने से रोके बिना, इस आपाधापी को संभालने के लिए अपने गेटकीपिंग सिस्टम को अपग्रेड किया। उन्होंने इसे कैसे किया, यहाँ सरल भाषा में समझाया गया है:
1. "ट्रैफिक लाइट" सिस्टम (जोखिम स्तर/रिस्क टियर्स)
पहले, हर एक अनुरोध को, चाहे वह छोटा हो या बड़ा, एक ही लंबी और जटिल निरीक्षण लाइन से गुजरना पड़ता था। यह वैसा ही था जैसे कैंडी बार खरीदने वाले व्यक्ति को भी उसी सुरक्षा लाइन में खड़ा कर दिया जाए जिसमें किसी परमाणु रिएक्टर के आयातक को खड़ा किया जाता है।
समाधान: उन्होंने एक तीन-स्तरीय ट्रैफिक लाइट सिस्टम बनाया:
- ग्रीन लाइट (टियर 0): कम जोखिम वाले उपकरण। ये डिजिटल कैलकुलेटर या ऐसे टूल्स की तरह हैं जो मरीज के रहस्यों को नहीं देखते। इन्हें बिना किसी प्रतीक्षा के तुरंत "पास" मिल जाता है।
- येलो लाइट (टियर 1): मध्यम जोखिम वाले उपकरण। ये मरीज के डेटा को देख सकते हैं लेकिन केवल सलाह देते हैं (जैसे एक सुझाव), और एक इंसान को हमेशा उनके काम की दोबारा जांच करनी होती है। इन्हें एक मानक निरीक्षण से गुजरना पड़ता है।
- रेड लाइट (टियर 2): उच्च जोखिम वाले उपकरण। ये बड़े खिलाड़ी हैं—ऐसे टूल्स जो मरीज के नोट्स का सारांश बना सकते हैं, निदान (डायग्नोसिस) कर सकते हैं, या बिना किसी इंसान की निगरानी के काम कर सकते हैं। इन्हें "फुल बॉडी स्कैन" वाले गहन निरीक्षण की आवश्यकता होती है, जिसमें कई विशेषज्ञ और कड़े परीक्षण शामिल होते हैं।
परिणाम: यह छंटनी प्रणाली एक हाईवे पर 'फास्ट लेन' जोड़ने जैसा था। कम जोखिम वाले टूल्स को मंजूरी देने में लगने वाला समय 20 सप्ताह से घटकर केवल 9 सप्ताह रह गया।
2. "वेंडर रिपोर्ट कार्ड" (सर्वेक्षण)
टूल्स की जांच करने के लिए, अस्पताल उन कंपनियों को एक 25-प्रश्नों वाला सर्वेक्षण भेजता है जो AI बनाती हैं। इसे एक रिपोर्ट कार्ड की तरह समझें जो पूछता है: "क्या आप निष्पक्ष हैं? क्या आप पारदर्शी हैं? क्या आपने इसका ठीक से परीक्षण किया है?"
समस्या: कंपनियां (वेंडर्स) अक्सर रिपोर्ट कार्ड भरने में खराब थीं।
- "कोई जोखिम नहीं" वाला झूठ: कई वेंडर्स ने बस "कोई जोखिम नहीं" या "हमारे पास एक इंसान निगरानी कर रहा है" लिख दिया, बिना यह बताए कि वे कैसे कर रहे हैं। यह एक ड्राइवर के समान है जो कहता है, "मैं सुरक्षित हूँ क्योंकि मेरे पास सीटबेल्ट है," लेकिन यह दिखाने से इनकार कर देता है कि कार में ब्रेक भी हैं।
- "कॉपी-पेस्ट" का मुद्दा: कुछ जवाब ऐसे लग रहे थे जैसे उन्हें मार्केटिंग ब्रोशर से कॉपी किया गया हो, न कि उन इंजीनियरों द्वारा लिखा गया हो जिन्होंने वास्तव में कोड बनाया है।
- "ब्लैक बॉक्स" का रहस्य: कई टूल्स विशाल, पहले से बने हुए AI दिमागों (जिन्हें लार्ज लैंग्वेज मॉडल कहा जाता है) के ऊपर बनाए गए थे। वेंडर्स ने वह "दिमाग" नहीं बनाया था; उन्होंने बस उसे एक नए पैकेज में लपेट दिया था। वे अक्सर यह नहीं समझा पाते थे कि उस दिमाग को कैसे प्रशिक्षित किया गया था, जिससे निष्पक्षता की जांच करना कठिन हो जाता था।
परिणाम: अस्पताल ने सर्वेक्षण के प्रश्नों को तीन बार अपडेट किया ताकि वे अधिक स्पष्ट हो सकें। बेहतर प्रश्न होने के बावजूद, "निष्पक्षता" (Fairness) का स्कोर लगातार सबसे कम रहा, जिसका अर्थ है कि वेंडर्स अभी भी यह साबित करने के लिए संघर्ष कर रहे हैं कि उनके टूल्स सभी के साथ समान व्यवहार करते हैं।
3. "सेफ्टी नेट" (तैनाती के बाद की निगरानी)
भले ही किसी टूल को मंजूरी मिल जाए और उसे काम पर लगा दिया जाए, अस्पताल जानता है कि गलतियाँ हो सकती हैं। उन्हें गलतियों को पकड़ने के लिए एक तरीका चाहिए था जो काम के दौरान हो सके।
समाधान: उन्होंने AI टूल्स को दो मौजूदा सुरक्षा जालों (सेफ्टी नेट्स) से जोड़ा:
- "ओप्स" (गलती) बटन: यदि कोई डॉक्टर देखता है कि AI कोई अजीब गलती कर रहा है (जैसे कि कोई फर्जी मेडिकल नोट लिखना), तो वे इसे तुरंत एक सुरक्षा रिपोर्टिंग सिस्टम में फ्लैग कर सकते हैं।
- "शिकायत" लाइन: मरीज कॉल या ईमेल कर सकते हैं यदि वे इस बात को लेकर चिंतित हैं कि उनकी देखभाल में AI का उपयोग कैसे किया जा रहा है।
परिणाम: इस नए सिस्टम के पहले छह महीनों में, उन्होंने 13 सुरक्षा घटनाओं को पकड़ा। दिलचस्प बात यह है कि लगभग सभी "हैलुसिनेशन" (AI द्वारा तथ्य गढ़ना) थे जो मेडिकल नोट्स में हुए थे। इनमें से किसी भी घटना से गंभीर नुकसान नहीं हुआ, और शून्य मरीजों ने नई फोन लाइन के माध्यम से शिकायत की। यह बताता है कि सुरक्षा जाल काम कर रहे हैं, लेकिन यह यह भी दिखाता है कि अब तक अधिकांश AI त्रुटियां बड़ी आपदाओं के बजाय मामूली गड़बड़ी मात्र थीं।
4. "ह्यूमन-इन-द-लूप" का जाल
एक बड़ा सबक यह सीखा गया है कि आप सिर्फ यह नहीं कह सकते कि, "हमने इसमें इंसान को शामिल किया है, इसलिए यह सुरक्षित है।"
- उपमा: एक सेल्फ-ड्राइविंग कार की कल्पना करें जो कहती है, "चिंता न करें, ड्राइवर देख रहा है।" लेकिन यदि ड्राइवर थका हुआ, विचलित या कार पर बहुत अधिक भरोसा करने वाला है, तो वह ब्रेक नहीं लगा पाएगा जब कार विफल होगी।
- वास्तविकता: अस्पताल ने पाया कि कई वेंडर्स "ह्यूमन-इन-द-लूप" का उपयोग एक जादुई बहाने के रूप में करते थे ताकि यह साबित करने से बचा जा सके कि उनका AI वास्तव में सुरक्षित है। उन्होंने सीखा कि इंसान अक्सर AI की गलतियों को नहीं पकड़ पाते क्योंकि वे कंप्यूटर पर बहुत अधिक भरोसा करने लगते हैं (इसे "ऑटोमेशन बायस" कहा जाता है)।
5. भविष्य: "एजेंटिक" (Agentic) AI
शोध पत्र अगली पीढ़ी के AI की ओर देखते हुए समाप्त होता है: एजेंटिक सिस्टम।
- उपमा: वर्तमान AI एक कैलकुलेटर की तरह है जो आपको उत्तर देता है। "एजेंटिक" AI एक रोबोट बटलर की तरह है जो न केवल उत्तर देता है, बल्कि एक लक्ष्य के आधार पर काम भी करता है (जैसे अपॉइंटमेंट बुक करना, आपूर्ति का ऑर्डर देना, या रिकॉर्ड बदलना)।
- जोखिम: यदि कैलकुलेटर गलत है, तो आपको केवल एक गलत नंबर मिलता है। यदि रोबोट बटलर गलत है, तो वह गलत निर्णयों की एक पूरी श्रृंखला बना सकता है। अस्पताल स्वीकार करता है कि उनके वर्तमान नियम इन "काम करने वाले" (doers) सिस्टम को संभालने के लिए अभी पूरी तरह तैयार नहीं हैं और उन्हें विकसित होने की आवश्यकता होगी।
निष्कर्ष
UNC हेल्थ ने टूल्स को जोखिम स्तरों में बांटकर और अपने प्रश्नावली को सख्त बनाकर अपनी AI अनुमोदन प्रक्रिया को सफलतापूर्वक तेज किया। हालांकि, सबसे बड़ी बाधा वेंडर्स स्वयं बने हुए हैं। यदि AI बनाने वाली कंपनियां जोखिमों के बारे में ईमानदार नहीं हैं या यह नहीं दिखाती हैं कि उन्होंने अपने टूल्स का परीक्षण कैसे किया, तो अस्पताल के सर्वोत्तम नियम भी बहुत कुछ नहीं कर सकते। लक्ष्य एक ऐसा सिस्टम बनाना है जहाँ "सही" कार्य (सुरक्षित, निष्पक्ष देखभाल) सभी के लिए सबसे आसान रास्ता हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।