Algorithm Design and Physician Liability
यह शोध पत्र विश्लेषण करता है कि कैसे एल्गोरिद्मिक असमानता के लिए अमेरिकी दायित्व नियम एआई फर्मों के डिज़ाइन विकल्पों और चिकित्सकों के अपनाए जाने वाले व्यवहारों को प्रभावित करते हैं, जो यह प्रकट करता है कि जबकि ऐसे नियम शुरू में वंचित रोगियों के लिए एआई के उपयोग को कम कर सकते हैं, वे अंततः फर्मों को समानता में सुधार करने के लिए प्रोत्साहित कर सकते हैं, जबकि समूहों के बीच समान सटीकता को अनिवार्य करना निवेश और उपयोग के प्रोत्साहनों को विकृत करके विरोधाभासी रूप से दोनों आबादी को नुकसान पहुँचा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए एक ऐसी दुनिया की जहाँ डॉक्टरों के पास एक सुपर-पावर्ड सहायक है: एक आर्टिफिशियल इंटेलिजेंस (AI) जो उन्हें बीमारियों का निदान करने और उपचार चुनने में मदद करता है। यह कोई विज्ञान कथा नहीं है; यह आधुनिक स्वास्थ्य सेवा की वास्तविकता है। लेकिन किसी भी उपकरण की तरह, यह AI भी पूर्ण नहीं है। कभी-कभी, यह कुछ रोगियों के लिए शानदार काम करता है लेकिन दूसरों के लिए लड़खड़ा जाता है, खासकर यदि वे उन समूहों से ताल्लुक रखते हैं जिनका उस डेटा में पर्याप्त प्रतिनिधित्व नहीं था जिस पर AI को प्रशिक्षित किया गया था। इसे "एल्गोरिदमिक असमानता" (algorithmic disparity) कहा जाता है। अब, कल्पना कीजिए कि सरकार हस्तक्षेप करती है और कहती है, "यदि कोई डॉक्टर इस AI का उपयोग करता है और यह एक ऐसे रोगी के लिए गलती करता है जो एक वंचित समूह से है, तो डॉक्टर कानूनी मुसीबत में पड़ जाएगा।" यह "दायित्व" (liability) की अवधारणा है। बड़ा सवाल यह है: क्या दोषपूर्ण उपकरणों का उपयोग करने के लिए डॉक्टरों को दंडित करना वास्तव में समस्या को ठीक करता है, या यह अनजाने में डॉक्टरों को उस उपकरण का उपयोग करने से डराकर स्थिति को बदतर बना देता है? यह शोध पत्र उस जटिल तालमेल की गहराई में जाता है जो उन लोगों के बीच है जो AI बनाते हैं, वे डॉक्टर जो इसका उपयोग करते हैं, और वे नियम जो उन्हें नियंत्रित करते हैं।
इस शोध पत्र के लेखक, शुजी लुआन, शुभ्रांशु सिंह और टिंगलोंग दाई ने यह पता लगाने के लिए एक गणितीय खेल तैयार किया है कि जब ये तीन समूह आपस में क्रिया करते हैं तो क्या होता है। उन्होंने पाया कि दायित्व और डॉक्टरों द्वारा AI के उपयोग के बीच का संबंध एक सीधी रेखा की तरह नहीं, बल्कि एक रोलरकोस्टर की तरह है।
यहाँ उनकी कहानी दी गई है:
सेटअप: AI फैक्ट्री और डॉक्टर
एक AI कंपनी को एक फैक्ट्री मालिक के रूप में सोचें जो एक हाई-टेक मेडिकल स्कैनर बनाता है। यह फैक्ट्री पैसा कमाना चाहती है, इसलिए वे स्कैनर को यथासंभव बेहतर बनाने की कोशिश करते हैं। हालाँकि, स्कैनर को हर किसी के लिए पूरी तरह से काम करने लायक बनाने में अलग-अलग मात्रा में पैसा खर्च होता है। "ग्रुप A" (मान लीजिए, सामान्य लक्षणों वाले या बहुत अधिक डेटा वाले मरीज़) के लिए इसे बेहतरीन बनाना सस्ता और आसान है, लेकिन "ग्रुप B" (दुर्लभ स्थितियों वाले या कम डेटा वाले मरीज़) के लिए इसे उतना ही अच्छा बनाने के लिए बहुत अधिक पैसा और मेहनत लगती है।
फिर डॉक्टर आता है। डॉक्टर वह है जिसके पास वह स्कैनर है। वे अपने रोगियों की मदद करना चाहते हैं, लेकिन वे मुकदमे से बचना भी चाहते हैं। सरकार का एक नया नियम है: "यदि आप इस स्कैनर का उपयोग ग्रुप B के रोगी पर करते हैं और यह गलत उत्तर देता है जिससे उन्हें नुकसान पहुँचता है, तो आप जुर्माना भरेंगे।"
ट्विस्ट: "डरा हुआ डॉक्टर" प्रभाव
शुरुआत में, आप सोच सकते हैं, "शानदार! जुर्माने का डर फैक्ट्री को ग्रुप B के लिए स्कैनर को ठीक करने के लिए मजबूर करेगा।" लेकिन शोध पत्र दिखाता है कि पहले एक आश्चर्यजनक चीज़ होती है। जब जुर्माना थोड़ा सा भी डरावना होता है, तो डॉक्टर घबरा जाता है। वे सोचते हैं, "अगर मैं इस स्कैनर का उपयोग ग्रुप B के रोगी पर करता हूँ और यह गड़बड़ करता है, तो मैं मुसीबत में पड़ जाऊँगा। लेकिन अगर मैं केवल अपने दिमाग का उपयोग करूँ, तो मैं सुरक्षित हूँ।" इसलिए, डॉक्टर ग्रुप B के रोगियों के लिए स्कैनर का उपयोग करना पूरी तरह से बंद कर देता है। वे अभी भी ग्रुप A के लिए इसका उपयोग कर सकते हैं, जहाँ कोई जुर्माना नहीं है। परिणाम? वे लोग जिन्हें यह नियम बचाने के लिए बनाया गया था (ग्रुप B), उन्हें सहायता के लिए AI टूल तक कम पहुँच प्राप्त होती है। देखभाल में असमानता वास्तव में और बढ़ जाती है, कम नहीं होती।
रोलरकोस्टर: जब दायित्व बहुत अधिक हो जाता है
लेकिन कहानी यहाँ समाप्त नहीं होती। जैसे-जैसे सरकार जुर्माना बढ़ाती जाती है, कुछ बदल जाता है। फैक्ट्री मालिक को एहसास होता है, "ओह नहीं! यदि डॉक्टर हमारे स्कैनर का उपयोग करना बंद कर देते हैं, तो हम अपना व्यवसाय का एक बड़ा हिस्सा खो देंगे!" जुर्माना अब इतना अधिक है कि फैक्ट्री तय करती है कि ग्रुप B के लिए स्कैनर को ठीक करने के लिए अतिरिक्त पैसा खर्च करना सार्थक है। वे सॉफ्टवेयर को अपग्रेड करते हैं, जिससे इस समूह के लिए यह बहुत अधिक सटीक हो जाता है।
एक बार जब स्कैनर ठीक हो जाता है, तो डॉक्टर फिर से सुरक्षित महसूस करता है। "हे, स्कैनर अब बहुत अच्छा है, और गलती होने का जोखिम कम है," वे सोचते हैं। इसलिए, वे ग्रुप B के रोगियों के लिए स्कैनर का उपयोग करना फिर से शुरू कर देते हैं। मध्यम-से-उच्च दायित्व की इस सीमा में, नियम वास्तव में काम करता है: फैक्ट्री तकनीक में सुधार करती है, और रोगियों को बेहतर देखभाल मिलती है।
जाल: "एक-आकार-सभी-के-लिए" का आदेश (One-Size-Fits-All Mandate)
यह शोध पत्र एक अलग विचार का भी परीक्षण करता है। क्या होगा यदि सरकार बस यह कह दे, "आपको स्कैनर को ग्रुप A और ग्रुप B के लिए समान रूप से सटीक बनाना होगा, चाहे कुछ भी हो"? आप सोचेंगे कि यह एकदम सही समाधान होगा। लेकिन लेखक दिखाते हैं कि यह उल्टा भी पड़ सकता है।
क्योंकि स्कैनर को ग्रुप B के लिए ठीक करना बहुत महंगा है, इसलिए फैक्ट्री ग्रुप A की गुणवत्ता को बस इतना कम करने की कोशिश कर सकती है ताकि वह ग्रुप B के नए, थोड़े बेहतर स्तर से मेल खा सके। अब, ग्रुप A को एक खराब स्कैनर मिलता है, और ग्रुप B को थोड़ा बेहतर। लेकिन असली बात यह है कि क्योंकि स्कैनर अब "समान" है, इसलिए डॉक्टर सभी के लिए इसका उपयोग करने में सुरक्षित महसूस करता है। वे इसे तब भी उपयोग करना शुरू कर सकते हैं जब उन्हें नहीं करना चाहिए, या जब सुधार लागत के लायक न हो। शोध पत्र सुझाव देता है कि कुछ मामलों में, यह "समान सटीकता" वाला नियम वास्तव में दोनों समूहों को पहले की तुलना में बदतर स्थिति में पहुँचा सकता है, यदि उन्होंने केवल एक थोड़ा अपूर्ण लेकिन अत्यधिक विशिष्ट उपकरण बनाने दिया होता।
मुख्य निष्कर्ष
मुख्य निष्कर्ष यह है कि AI पूर्वाग्रह को ठीक करना केवल डॉक्टरों को मुकदमों से धमकाने या पूर्ण समानता की मांग करने जितना सरल नहीं है।
- कम दायित्व: डॉक्टर डर जाते हैं और उन लोगों के लिए इसका उपयोग करना बंद कर देते हैं जिन्हें इसकी सबसे अधिक आवश्यकता होती है।
- मध्यम दायित्व: डॉक्टर इसका उपयोग करना बंद कर देते हैं, लेकिन फैक्ट्री टूल को ठीक करने लगती है।
- उच्च दायित्व: टूल ठीक हो जाता है, और डॉक्टर इसे फिर से उपयोग करना शुरू कर देते हैं।
- अनिवार्य समानता: अनजाने में सभी को नुकसान पहुँचा सकती है क्योंकि यह फैक्ट्री को आसान समूह के लिए समझौता करने के लिए मजबूर करती है और डॉक्टरों को टूल का अत्यधिक उपयोग करने के लिए प्रोत्साहित करती है।
लेखक सुझाव देते हैं कि वास्तव में रोगियों की मदद करने के लिए, हम केवल एक नियम पर निर्भर नहीं रह सकते। हमें स्मार्ट दायित्व कानूनों, निष्पक्ष भुगतान प्रणालियों और सावधानीपूर्वक निगरानी के मिश्रण की आवश्यकता है ताकि यह सुनिश्चित किया जा सके कि AI को अच्छी तरह से बनाया गया है और इसका सही ढंग से उपयोग किया जा रहा है। यह एक जटिल संतुलन है जहाँ लक्ष्य यह है कि डॉक्टर, फैक्ट्री और रोगी तीनों एक ही दिशा में आगे बढ़ें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।