Trust gap in clinical artificial intelligence: a meta-systematic review
130 नैदानिक एआई (AI) अध्ययनों का यह मेटा-सिस्टमैटिक रिव्यू एक महत्वपूर्ण "विश्वास अंतराल" (trust gap) को प्रकट करता है जहाँ सार्थक नैतिक एकीकरण के बजाय तकनीकी प्रदर्शन को प्राथमिकता दी जाती है, जैसा कि दावा किए गए और वास्तविक विश्वास-संबंधी विचारों के बीच 21.4% संरेखण से सिद्ध होता है, जो अधिक जिम्मेदार एआई कार्यान्वयन के लिए एक नए बहुआयामी ढांचे के प्रस्ताव को प्रेरित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: एक कमजोर नींव पर बना घर
कल्पना कीजिए कि चिकित्सा आर्टिफिशियल इंटेलिजेंस (AI) का क्षेत्र एक विशाल निर्माण परियोजना है। पिछले कुछ वर्षों से, इंजीनियर अविश्वसनीय रूप से ऊंचे, शानदार टावर (AI सिस्टम) बना रहे हैं ताकि डॉक्टरों को बीमारियों के निदान और सर्जरी की योजना बनाने में मदद मिल सके। उन्होंने इन टावरों की ऊंचाई मापने, यह जांचने के लिए कि क्या वे वजन सह सकते हैं, और उनकी संरचनात्मक मजबूती सुनिश्चित करने के लिए अरबों घंटे खर्च किए हैं।
हालाँकि, यह शोध पत्र तर्क देता है कि जबकि इंजीनियर टावरों की ऊंचाई और मजबूती के प्रति जुनूनी हैं, वे पूरी तरह से एक नींव या एक डोरबेल बनाना भूल गए हैं ताकि लोग वास्तव में उन पर भरोसा कर सकें।
लेखिका, असेफ़े असीमा (Asefeh Asemi) ने 2022 से 2025 के बीच प्रकाशित 130 अलग-अलग "रिपोर्ट्स की रिपोर्ट" (जिन्हें मेटा-सिस्टमैटिक रिव्यू कहा जाता है) का अध्ययन किया। ये रिपोर्टें AI टावरों के अंतिम निरीक्षण के रूप में होनी चाहिए थीं। बड़ी खोज क्या थी? निरीक्षक केवल ईंटों की जांच कर रहे हैं, न कि इमारत की उस सुरक्षा की जिसमें लोग रहने वाले हैं।
मुख्य समस्या: "एथिक्स-वॉशिंग" (Ethics-Washing)
यह शोध पत्र एक अवधारणा पेश करता है जिसे "एथिक्स-वॉशिंग" कहा जाता है।
इसे एक कार सेल्समैन की तरह समझें जो एक कार पर एक बड़ा, चमकदार स्टिकर लगाता है जिस पर लिखा होता है "100% सुरक्षित पारिवारिक वाहन।" लेकिन जब आप बोनट के नीचे देखते हैं, तो ब्रेक गायब होते हैं, और सीटबेल्ट काम नहीं करती। सेल्समैन सुरक्षा के बारे में बात तो करता है, लेकिन वे वास्तव में कार में सुरक्षा का निर्माण नहीं करते हैं।
अध्ययन में पाया गया कि क्लिनिकल AI की दुनिया में:
- बातचीत: कई रिपोर्टें अपने सारांश में "एथिक्स" (नैतिकता), "ट्रस्ट" (विश्वास), या "फेयरनेस" (निष्पक्षता) जैसे शब्दों का उल्लेख करती हैं (एक चमकदार स्टिकर की तरह)।
- वास्तविकता: जब लेखिका ने इन रिपोर्टों की वास्तविक सामग्री को करीब से देखा, तो लगभग किसी ने भी यह नहीं बताया कि विश्वास को कैसे मापा जाए या अन्याय को कैसे ठीक किया जाए।
- परिणाम: उन्हें एक "ट्रस्ट गैप" (विश्वास की कमी) मिला। 130 समीक्षाओं में से, शून्य ने वास्तव में यह परिभाषित किया कि वास्तविक, बहु-आयामी तरीके से "विश्वास" का क्या अर्थ है। उन्होंने बस यह मान लिया कि यदि AI सटीक है, तो वह भरोसेमंद है।
विश्वास के चार गायब स्तंभ
शोध पत्र का तर्क है कि "विश्वास" केवल एक चीज़ (जैसे सटीकता) नहीं है। यह एक मेज की तरह है जिसे खड़ा होने के लिए चार पैरों की आवश्यकता होती। वर्तमान में, AI क्षेत्र केवल एक पैर पर इस मेज को संतुलित करने की कोशिश कर रहा है।
- तकनीकी पैर (केवल यही खड़ा है): यह सटीकता, गति और गणित के बारे में है। पेपर कहता है कि 89% समीक्षाएं केवल इसी पर केंद्रित हैं। वे पूछते हैं, "क्या AI सही निदान करता है?"
- पारस्परिक पैर (गायब है): यह डॉक्टर, मरीज और मशीन के बीच के संबंध के बारे में है। क्या डॉक्टर इसे उपयोग करने में सहज महसूस करता है? क्या मरीज सुरक्षित महसूस करता है? पेपर में पाया गया कि लगभग कोई भी इस बारे में बात नहीं कर रहा है (केवल 2.3% समीक्षाएं)।
- संस्थागत पैर (डगमगाता हुआ): यह नियमों, कानूनों और इस बारे में है कि यदि AI गलती करता है तो जिम्मेदार कौन है। यदि AI किसी मरीज की जान ले लेता है, तो जेल कौन जाएगा? डॉक्टर? प्रोग्रामर? या अस्पताल? पेपर में पाया गया कि इस पर बहुत कम चर्चा की गई है (18.5%)।
- ज्ञान संबंधी (एपिस्टेमिक) पैर (पूरी तरह से गायब है): यह ज्ञान के बारे में है। AI जो जानता है, वह कैसे जानता है? यदि AI कोई उत्तर देता है, तो क्या हम समझते हैं कि वह क्यों दे रहा है? पेपर में पाया गया कि 99% समय, इसे नजरअंदाज किया जाता है।
खतरा क्षेत्र: उच्च-जोखिम वाले क्षेत्र
अध्ययन का सबसे चिंताजनक हिस्सा वह है जहाँ विश्वास की कमी हो रही है।
एक अस्पताल की कल्पना करें। सबसे खतरनाक स्थान इमरजेंसी रूम (आपातकालीन कक्ष), ऑपरेटिंग रूम, और कार्डियोलॉजी यूनिट हैं। ये वे स्थान हैं जहाँ एक गलती किसी को तुरंत मार सकती है।
अध्ययन में पाया गया कि इन उच्च-जोखिम वाले क्षेत्रों में उपयोग किए जाने वाले AI सिस्टम को उनके तकनीकी प्रदर्शन के लिए सबसे अधिक ध्यान दिया जा रहा है। हालाँकि, ये वे क्षेत्र भी हैं जहाँ नैतिक जांच की सबसे कम आवश्यकता है।
- उपमा: यह एक भीड़भाड़ वाले शहर में ड्राइवर को रेस कार देने जैसा है। कार अविश्वसनीय रूप से तेज है (उच्च तकनीकी प्रदर्शन), लेकिन किसी ने यह नहीं जांचा कि ड्राइवर के पास लाइसेंस है, या कार में सीटबेल्ट है, या पैदल यात्रियों के लिए सड़कें सुरक्षित हैं। कार जितनी तेज चलेगी, दुर्घटना उतनी ही भयानक होगी।
"साइलो" प्रभाव: लोगों का आपस में बात न करना
पेपर ने यह भी देखा कि इन सिस्टमों को बनाने वाले लोग उन लोगों से बात नहीं कर रहे हैं जिन्हें इनकी जांच करनी चाहिए।
- तकनीशियन गणित और कोड के बारे में रिपोर्ट लिख रहे हैं।
- डॉक्टर रोगी देखभाल के बारे में रिपोर्ट लिख रहे हैं।
- नीतिशास्त्री (Ethicists) सही और गलत के बारे में रिपोर्ट लिख रहे हैं।
वे सभी अलग-अलग कमरों (साइलो) में हैं। बहुत कम रिपोर्टें इन तीनों समूहों को एक साथ लाने का प्रयास करती हैं। पेपर में पाया गया कि केवल 6.9% समीक्षाएं वास्तव में "अंतःविषय" (तीनों समूहों को मिलाने वाली) थीं। इसका मतलब है कि हम ऐसे उपकरण बना रहे हैं जो गणितीय रूप से तो पूर्ण हो सकते हैं लेकिन वास्तविक अस्पताल में बेकार या खतरनाक हो सकते हैं।
समाधान: CAIEE फ्रेमवर्क
इसे ठीक करने के लिए, लेखिका एक नया ब्लूप्रिंट प्रस्तावित करती हैं जिसे CAIEE फ्रेमवर्क (क्लिनिकल AI एथिकल एंगेजमेंट) कहा जाता है।
इसे AI अस्पतालों के निर्माण के लिए एक नया निरीक्षण चेकलिस्ट समझें। केवल टावर की ऊंचाई की जांच करने के बजाय, यह चेकलिस्ट निर्माताओं को निम्नलिखित की जांच करने के लिए मजबूर करती है:
- तकनीकी विश्वास (Technical Trust): क्या यह सटीक है?
- पारस्परिक विश्वास (Interpersonal Trust): क्या डॉक्टर और मरीज इसका उपयोग करने में सुरक्षित महसूस करते हैं?
- संस्थागत विश्वास (Institutional Trust): क्या नियम और जिम्मेदारियां स्पष्ट हैं?
- ज्ञान संबंधी विश्वास (Epistemic Trust): क्या हम समझते हैं कि यह कैसे सोचता है?
निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि चिकित्सा AI क्षेत्र "प्रामाणिकता के संकट" से जूझ रहा है। हम कह रहे हैं कि हमें नैतिकता और विश्वास की परवाह है, लेकिन हमारे कार्य (और हमारी अनुसंधान रिपोर्ट) दिखाते हैं कि हमें केवल गति और सटीकता की परवाह है।
जब तक हम विश्वास की मेज के अन्य तीन पैरों का निर्माण करना शुरू नहीं करते, तब तक हमारे अस्पतालों में AI सिस्टम बहुत बुद्धिमान हो सकते हैं, लेकिन वे सुरक्षित, निष्पक्ष या उन लोगों द्वारा वास्तव में विश्वसनीय नहीं होंगे जिन्हें उनकी सबसे अधिक आवश्यकता है। यह पेपर शोधकर्ताओं से आग्रह करता है कि वे केवल नैतिकता के बारे में "बात करना" बंद करें और वास्तव में इसे सिस्टम में मापना और बनाना शुरू करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।