Regulatory Approval Is Not Enough: Gaps in Trustworthy AI Reporting in FDA-Cleared Medical Devices
यह अध्ययन प्रकट करता है कि एआई-सक्षम चिकित्सा उपकरणों की एफडीए (FDA) मंजूरी भरोसेमंद एआई की गारंटी नहीं देती है, क्योंकि 519 रिपोर्टों के एक व्यापक विश्लेषण से स्पष्टता (explainability) और ट्रैसेबिलिटी (traceability) जैसे प्रमुख सिद्धांतों के दस्तावेजीकरण में महत्वपूर्ण और निरंतर अंतराल दिखाई देते हैं, जो यह संकेत देता है कि केवल नियामक अनुमोदन ही सिस्टम की विश्वसनीयता को प्रमाणित करने के लिए पर्याप्त नहीं है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ आपके डॉक्टर के पास एक सुपर-स्मार्ट डिजिटल सहायक है जो बीमारियों का निदान करने, एक्स-रे में ट्यूमर पहचानने या हार्ट अटैक होने से पहले उसकी भविष्यवाणी करने में मदद करता है। यह कोई विज्ञान कथा नहीं है; यह स्वास्थ्य सेवा में आर्टिफिशियल इंटेलिजेंस (AI) है। लेकिन ठीक वैसे ही जैसे एक नई कार को सड़क पर उतरने से पहले सुरक्षा निरीक्षण की आवश्यकता होती है, इन डिजिटल डॉक्टरों को काम करने के लिए एक "लाइसेंस" की भी आवश्यकता होती है। संयुक्त राज्य अमेरिका में, खाद्य एवं औषधि प्रशासन (FDA) एक ट्रैफिक पुलिसकर्मी की तरह कार्य करता है, जो AI के गणित की जाँच करता है और इसे हरी झंडी देने से पहले यह सुनिश्चित करता है कि यह सही ढंग से काम करता है।
हालाँकि, लाइसेंस प्राप्त करना कहानी का केवल आधा हिस्सा है। जब आप एक कार खरीदते हैं, तो आपको एक मैनुअल मिलता है जो बताता है कि वह बारिश में कैसे चलती है, बर्फ पर कैसे ब्रेक लगाती है, और यदि टायर फट जाए तो क्या होता है। AI के लिए, हमें एक समान "यूजर मैनुअल" की आवश्यकता है जो यह समझा सके कि क्या सिस्टम सभी के लिए निष्पक्ष है, क्या संकट के समय इस पर भरोसा किया जा सकता है, और क्या हम समझ सकते हैं कि इसने एक विशिष्ट निर्णय क्यों लिया। इस विचार को "ट्रस्टवर्दी AI" (विश्वसनीय AI) कहा जाता है। यह केवल सटीक होने के बारे में नहीं है; यह सुरक्षित, निष्पक्ष, समझाने योग्य और वास्तविक दुनिया के लिए तैयार होने के बारे में है। बड़ा सवाल यह है: जब FDA कहता है कि किसी AI को उपयोग के लिए "क्लियर" कर दिया गया है, तो क्या सार्वजनिक दस्तावेज़ वास्तव में हमें अपनी सेहत के लिए उस पर भरोसा करने के लिए पर्याप्त जानकारी देते हैं?
महान AI पेपरवर्क रहस्य
जिज्ञासु शोधकर्ताओं की एक टीम ने जासूस की भूमिका निभाने और FDA की फाइलिंग कैबिनेट को खोलने का निर्णय लिया। वे देखना चाहते थे कि क्या AI चिकित्सा उपकरणों के लिए आधिकारिक "सारांश रिपोर्ट" में वास्तव में वह महत्वपूर्ण जानकारी मौजूद है जिसकी हमें उन पर भरोसा करने के लिए आवश्यकता है। उन्होंने केवल यह नहीं देखा कि AI को पासिंग ग्रेड मिला या नहीं; उन्होंने रिपोर्ट कार्ड को खुद देखा ताकि यह पता चल सके कि क्या इसमें भरोसेमंद AI के छह सुनहरे नियमों का उल्लेख है: निष्पक्षता (क्या यह पक्षपाती है?), सार्वभौमिकता (क्या यह सभी के लिए काम करता है?), ट्रेसेबिलिटी (क्या हम इसके इतिहास को ट्रैक कर सकते हैं?), उपयोगिता (क्या यह डॉक्टरों के लिए उपयोग में आसान है?), मजबूती/रोबस्टनेस (क्या यह दबाव में टूट जाता है?), और व्याख्यात्मकता/एक्सप्लेनेबिलिटी (क्या यह बता सकता है कि इसने एक विकल्प क्यों चुना?)।
उन्होंने 2021 और 2025 के बीच प्रकाशित 1,105 FDA रिपोर्टों को स्कैन किया। सही दस्तावेजों को देखने के लिए एक कठोर फिल्टर लगाने के बाद, उनके पास अध्ययन के लिए 519 रिपोर्टें बचीं। इसे ऐसे समझें जैसे कि यह देखने के लिए 519 रहस्यमय बक्से खोलना कि उनके अंदर क्या है।
उन्हें क्या मिला: "गायब मैनुअल" की समस्या
परिणाम कुछ ऐसे थे जैसे कि फैंसी नए गैजेट्स का एक डिब्बा खोलना और यह पाना कि उनमें से अधिकांश बिना किसी निर्देश के आए हैं।
- मौन बहुमत: लगभग हर चार में से एक रिपोर्ट (24.7%) में छह विश्वसनीयता नियमों में से किसी का भी उल्लेख नहीं था। यह ऐसा था जैसे निर्माता ने कहा हो, "यहाँ एक रोबोट डॉक्टर है," लेकिन उसने आपको यह नहीं बताया कि क्या वह निष्पक्ष, सुरक्षित या समझने योग्य है।
- एकल सुर वाला संगीत: अधिकांश रिपोर्ट जिनमें जानकारी थी, वे केवल एक या दो नियमों के बारे में बात करती थीं। लगभग कोई भी रिपोर्ट सभी छह नियमों को कवर नहीं करती थी। वास्तव में, शून्य रिपोर्टों ने प्रत्येक एकल सिद्धांत के लिए साक्ष्य दर्ज करने में सफलता प्राप्त की। यह एक ऐसे रेस्टोरेंट की तरह है जो केवल आपको बताता है कि खाना स्वादिष्ट है लेकिन यह बताने से इनकार कर देता है कि सामग्री कहाँ से आई या रसोई कितनी साफ है।
- स्टार परफॉर्मर: एकमात्र नियम जिसे बहुत ध्यान दिया गया वह था मजबूती (Robustness)। लगभग 57.6% रिपोर्टों ने इसका उल्लेख किया। यह "क्या वाई-फाई धीमा होने पर यह क्रैश हो जाता है?" वाला टेस्ट है। निर्माता यह दिखाने के लिए उत्सुक रहते हैं कि उनका AI मजबूत है।
- मशीन में छिपे भूत: AI को समझने के लिए दो सबसे महत्वपूर्ण नियम लगभग पूरी तरह से अनदेखा कर दिए गए थे। ट्रेसेबिलिटी (AI के इतिहास को जानना) का उल्लेख केवल 8.3% रिपोर्टों में किया गया था, और व्याख्यात्मकता (Explainability) (AI के तर्क को समझाना) सबसे बड़ी कमी थी, जो केवल 3.5% रिपोर्टों में दिखाई दी। यह एक ऐसे न्यायाधीश की तरह है जो आपको फैसला तो सुनाता है लेकिन आपको यह नहीं बताता कि उसने उस फैसले के लिए किस कानून का उपयोग किया।
क्या समय या स्थान मायने रखता है?
आप सोच सकते हैं, "शायद समय के साथ रिपोर्ट बेहतर हो रही हैं?" या "शायद नेत्र विशेषज्ञ की तुलना में हृदय रोग विशेषज्ञ बेहतर हैं?" शोधकर्ताओं ने इन विचारों की जाँच की, लेकिन उत्तर स्पष्ट रूप से नहीं था।
- टाइम ट्रैवल भी काम नहीं आया: चाहे रिपोर्ट 2021 की हो या 2025 की, विश्वसनीयता की जानकारी की गुणवत्ता में वास्तव में कोई बदलाव नहीं हुआ। डिवाइस को क्लियर किए जाने का वर्ष बेहतर पारदर्शिता का संकेत नहीं था।
- विशेषज्ञता भी काम नहीं आई: इससे कोई फर्क नहीं पड़ता था कि AI रेडियोलॉजी (एक्स-रे), कार्डियोलॉजी (हृदय), या पैथोलॉजी (ऊतक नमूने) के लिए था। कमियां हर जगह थीं। यहाँ तक कि उन क्षेत्रों में भी जहाँ आप उच्च-तकनीकी पारदर्शिता की उम्मीद करेंगे, "क्यों" और "कैसे" अभी भी गायब थे।
मुख्य निष्कर्ष
पेपर इस निष्कर्ष पर पहुँचता है कि AI के लिए FDA का "मुहर या स्वीकृति" प्राप्त करना, भरोसेमंद होने को साबित करने के लिए पर्याप्त नहीं है। केवल इसलिए कि किसी डिवाइस को उपयोग के लिए क्लियर किया गया है, इसका मतलब यह नहीं है कि सार्वजनिक दस्तावेज़ हमें पूरी तस्वीर देते हैं। वर्तमान प्रणाली एक ऐसी कार की तरह है जो गति परीक्षण (स्पीड टेस्ट) पास तो कर लेती है लेकिन यह नहीं बताती कि उसके ब्रेक काम करते हैं या एयरबैग असली हैं।
शोधकर्ता सुझाव देते हैं कि हमें AI के लिए एक नए प्रकार के "रिपोर्ट कार्ड" की आवश्यकता है। केवल तकनीकी आँकड़े सूचीबद्ध करने के बजाय, निर्माताओं को एक मानकीकृत फॉर्म भरने की आवश्यकता होनी चाहिए जो विश्वसनीयता के छह नियमों को कवर करता हो। उन्हें यह समझाना चाहिए कि उन्होंने पूर्वाग्रह (bias) की जाँच कैसे की, वे कैसे सुनिश्चित करते हैं कि AI विभिन्न लोगों के लिए काम करता है, और डॉक्टर AI के निर्णयों को कैसे समझ सकते हैं। तब तक, एक भरोसेमंद AI से हमारी अपेक्षा और जो कागजी कार्रवाई वास्तव में दिखाती है, उसके बीच का अंतर बना रहेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।