Integrating Group and Individual Fairness Auditing in Clinical AI: A Post-Hoc, Model-Agnostic Approach
यह शोधपत्र EquiLense को प्रस्तुत करता है, जो एक व्यावहारिक, पोस्ट-हॉक और मॉडल-अज्ञेय ऑडिटिंग टूल है जो क्लिनिकल एआई में समूह और व्यक्तिगत निष्पक्षता आकलन के बीच के अंतर को पाटने के लिए मीन प्रेडिक्टेड प्रोबेबिलिटी डिफरेंस (MPPD) नामक एक नवीन मीट्रिक का उपयोग करता है ताकि जनसांख्यिकीय समूहों के बीच व्यवस्थित भविष्यवाणी विसंगतियों की पहचान की जा सके।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट, स्वचालित सहायक (automated assistant) है जो डॉक्टरों को यह अनुमान लगाने में मदद करता है कि सर्जरी के बाद मरीज की स्थिति कैसी रहेगी। यह सहायक अपने काम में कुल मिलाकर बहुत अच्छा है, लेकिन एक चिंता सता रही है: क्या यह सभी के साथ निष्पक्षता से व्यवहार कर रहा है?
कभी-कभी, ये सहायक दो अलग-अलग तरीकों से अनुचित हो सकते हैं:
- समूह अननिष्पक्षता (Group Unfairness): यह लगातार लोगों के एक पूरे समूह (जैसे कि एक विशिष्ट जाति या लिंग) के लिए दूसरे समूह की तुलना में खराब भविष्यवाणियां देता है।
- व्यक्तिगत अननिष्पक्षता (Individual Unfairness): यह दो ऐसे मरीजों के साथ अलग व्यवहार करता है जो चिकित्सकीय रूप से समान हैं (उम्र, स्वास्थ्य संबंधी समस्याएं, और सर्जरी सब एक जैसी है) सिर्फ इसलिए क्योंकि वे अलग-अलग समूहों से संबंध रखते हैं।
समस्या यह है कि निष्पक्षता की जांच करने वाले अधिकांश उपकरण केवल एक ही दृष्टिकोण को देखते हैं। वे यह तो देख सकते हैं कि क्या समूह A को समूह B की तुलना में खराब स्कोर मिल रहा है, लेकिन वे इस बात को नजरअंदाज कर देते हैं कि दो विशिष्ट, समान मरीजों के साथ अलग व्यवहार किया जा रहा है। या वे यह देख सकते हैं कि समान मरीजों के साथ एक जैसा व्यवहार हो रहा है, लेकिन वे किसी पूरे समूह के प्रति व्यवस्थित पूर्वाग्रह (systemic bias) के बड़े चित्र को नहीं देख पाते।
पेश है "EquiLense": निष्पक्षता के चश्मे
लेखकों ने इस शोध पत्र में EquiLense नामक एक नया टूल बनाया है। इसे "निष्पक्षता के चश्मे" के रूप में सोचें जिन्हें एक डॉक्टर या डेवलपर AI मॉडल बनने और काम करने के बाद पहन सकता है। आपको इंजन को फिर से बनाने की आवश्यकता नहीं है; आपको बस उन चश्मों के माध्यम से देखना है कि वास्तव में क्या हो रहा है।
EquiLense पूरी तस्वीर देने के लिए तीन मुख्य कार्य करता है:
- समूह की जांच (The Group Check): यह बड़े स्तर पर देखता है कि क्या कुछ जनसांख्यिकीय समूहों (demographic groups) को दूसरों की तुलना में व्यवस्थित रूप से खराब भविष्यवाणियां मिल रही हैं।
- व्यक्तिगत जांच (The Individual Check): यह मरीजों के ऐसे जोड़े ढूंढता है जो "मेडिकल जुड़वां" हैं (समान आयु, समान स्वास्थ्य इतिहास) और यह जांचता है कि क्या AI उन्हें एक ही भविष्यवाणी देता है। यदि यह उन्हें उनकी जाति या बीमा के कारण एक "उच्च जोखिम" स्कोर और दूसरा "कम जोखिम" स्कोर देता है, तो यह एक चेतावनी का संकेत है।
- "मीन प्रेडिक्टेड प्रोबेबिलिटी डिफरेंस" (MPPD): यह इस शोध पत्र का सबसे खास हिस्सा (secret sauce) है। यह उन "मेडिकल जुड़वाओं" के बीच के अंतर को मापने का एक नया तरीका है।
MPPD के लिए एक सरल उपमा यहाँ दी गई है:
कल्पना कीजिए कि आप दो ऐसे लोगों को सजा सुना रहे हैं जिन्होंने बिल्कुल एक जैसा अपराध और एक जैसा इतिहास दिखाया है।
- निष्पक्षता: दोनों को 5 साल की सजा मिलती है।
- अननिष्पक्षता: एक को 5 साल और दूसरे को 10 साल की सजा मिलती है, सिर्फ इसलिए क्योंकि वे अलग पड़ोस से हैं।
MPPD एक रूलर (पैमाने) की तरह है जो ठीक से मापता है कि पूरे कोर्टरूम में, औसतन, दूसरे व्यक्ति को कितना अतिरिक्त समय मिला। यह उन लोगों के बीच के "अनुचित अंतर" को मापता है जिन्हें एक जैसा व्यवहार किया जाना चाहिए था।
उन्हें क्या पता चला?
टीम ने 59,000 से अधिक सर्जिकल मरीजों के वास्तविक अस्पताल डेटा पर EquiLense का परीक्षण किया। उन्होंने दो चीजों की भविष्यवाणी करने वाले मॉडलों की जांच की: डेलिरियम (सर्जरी के बाद भ्रम की स्थिति) और री-एडमिशन (30 दिनों के भीतर अस्पताल वापस आना)।
- आश्चर्य: AI मॉडल कुल मिलाकर परिणामों की भविष्यवाणी करने में काफी सटीक (accurate) थे। हालांकि, जब उन्होंने EquiLense के चश्मे पहने, तो उन्होंने पाया कि मॉडल अभी भी नस्ल के आधार पर "मेडिकल जुड़वाओं" के साथ अलग व्यवहार कर रहे थे।
- विशिष्ट उदाहरण: उन मरीजों के लिए जो श्वेत (White) मरीजों के चिकित्सकीय रूप से समान थे, एशियाई (Asian) मरीजों को व्यवस्थित रूप से अलग (और कम निष्पक्ष) भविष्यवाणियां मिल रही थीं। उनके स्कोर में "गैप" मापने योग्य और महत्वपूर्ण था।
- सुधार परीक्षण: उन्होंने एक सरल प्रयोग किया: उन्होंने AI को निर्देश दिया कि वह अपनी भविष्यवाणियों के दौरान नस्ल और बीमा के प्रकार को अनदेखा करे। जब उन्होंने ऐसा किया, तो "अनुचित अंतर" (MPPD स्कोर) काफी कम हो गया। इससे पता चलता है कि केवल मॉडल के "दिमाग" से उन विशिष्ट डेटा बिंदुओं को हटा देने से, मॉडल ने बिना अपने काम को खराब किए, समान मरीजों के साथ अधिक समान व्यवहार किया।
क्या यह अन्य समस्याओं पर भी काम आया?
यह सुनिश्चित करने के लिए कि उनका नया रूलर (MPPD) वास्तव में काम करता है, उन्होंने दो प्रसिद्ध, गैर-चिकित्सा डेटासेट पर परीक्षण किया जहाँ पूर्वाग्रह पहले से ही ज्ञात है:
- COMPAS: एक टूल जिसका उपयोग यह अनुमान लगाने के लिए किया जाता है कि अपराधी दोबारा अपराध करेंगे या नहीं। (हम जानते हैं कि यह टूल ऐतिहासिक रूप से अश्वेत प्रतिवादियों के खिलाफ पक्षपाती रहा है)।
- UCI Adult Income: एक डेटासेट जो भविष्यवाणी करता है कि क्या कोई $50k से अधिक कमाता है। (हम जानते हैं कि इसमें ऐतिहासिक लिंग पूर्वाग्रह मौजूद है)।
परिणाम: EquiLense के MPPD मेट्रिक ने सफलतापूर्वक उन समूहों को चिह्नित किया जिनके बारे में हमें पहले से पता था कि उनके साथ अनुचित व्यवहार किया जा रहा है (COMPAS डेटा में अश्वेत प्रतिवादी और आय डेटा में महिलाएं)। इसने साबित कर दिया कि यह टूल काम करता है।
यह क्यों मायने रखता है?
यह शोध पत्र तर्क देता है कि हमें एक ऐसे टूल की आवश्यकता है जिसके लिए हमें अपने वर्तमान AI मॉडल को फेंकने और फिर से शुरू करने की आवश्यकता न हो (जो महंगा और कठिन है)। इसके बजाय, हमें उन्हें बनाए जाने के बाद ऑडिट करने के तरीके की आवश्यकता है।
EquiLense स्वास्थ्य सेवा में AI के लिए एक क्वालिटी कंट्रोल इंस्पेक्टर की तरह है। यह आपके लिए मशीन को ठीक नहीं करता है, लेकिन यह आपको एक स्पष्ट, समझने में आसान रिपोर्ट कार्ड देता है जो कहता है: "हे, आपकी मशीन गणित में अच्छी है, लेकिन यह इन दो समान मरीजों के साथ उनके बैकग्राउंड के कारण अलग व्यवहार कर रही है।"
यह डॉक्टरों और डेवलपर्स को सूचित निर्णय लेने की अनुमति देता है, जैसे कि मॉडल को अधिक निष्पक्ष बनाने के लिए कुछ डेटा बिंदुओं (जैसे नस्ल) को हटाना, बिना गणित के विशेषज्ञ बने या पूरे सिस्टम को फिर से बनाए बिना।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।