FairLogue: Evaluating Intersectional Fairness across Clinical Machine Learning Use Cases using the All of Us Research Program
यह शोध पत्र FairLogue प्रस्तुत करता है, जो 'ऑल ऑफ अस' (All of Us) डेटासेट का उपयोग करके क्लिनिकल मशीन लर्निंग मॉडल्स पर इंटरसेक्शनल फेयरनेस ऑडिटिंग लागू करने वाला एक टूलकिट है, जो यह प्रकट करता है कि जहाँ संयुक्त जनसांख्यिकीय विश्लेषण एकल-अक्ष दृष्टिकोणों की तुलना में बड़े विसंगतियों को उजागर करते हैं, वहीं काउंटरफैक्चुअल डायग्नोस्टिक्स यह सुझाव देते हैं कि अधिकांश देखे गए पूर्वाग्रह मॉडल के अंतर्निहित भेदभाव के बजाय यादृच्छिक समूह सदस्यता के अनुरूप हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
यहाँ "FairLogue" पेपर का स्पष्टीकरण दिया गया है, जिसे सरल अवधारणाओं और रचनात्मक उपमाओं (analogies) में विभाजित किया गया है।
बड़ी तस्वीर: हमें एक नए लेंस की आवश्यकता क्यों है
कल्पना कीजिए कि आप एक डॉक्टर हैं जो यह अनुमान लगाने की कोशिश कर रहे हैं कि किसे बीमारी हो सकती है। आप आपकी मदद के लिए एक कंप्यूटर प्रोग्राम (एक AI) बनाते हैं। लेकिन, आप महसूस करते हैं कि कभी-कभी यह AI कुछ विशिष्ट समूहों के लोगों के लिए अधिक गलतियाँ करता है।
लंबे समय से, शोधकर्ता इन गलतियों की जाँच करने के लिए एक समय में एक ही विशेषता (trait) को देखते थे। वे पूछते थे, "क्या AI अश्वेत लोगों के प्रति अन्याय कर रहा है?" या "क्या AI महिलाओं के प्रति अन्याय कर रहा है?" इसे अलग-अलग देखा जाता था।
समस्या: यह एक कार की सुरक्षा की जाँच करने जैसा है जहाँ आप केवल टायरों को देखते हैं, फिर केवल ब्रेक को देखते हैं, लेकिन कभी यह नहीं देखते कि वे साथ मिलकर कैसे काम करते हैं। वास्तविक जीवन में, लोगों की कई पहचानें एक साथ होती हैं (जैसे, एक अश्वेत महिला, या एक बुजुर्ग हिस्पैनिक पुरुष)। जब आप इन विशेषताओं को अलग-अलग देखते हैं, तो आप उन अनूठे, "दोहरी मार" (double-whammy) वाले नुकसानों को मिस कर देते हैं जो उनके मिलने पर होते हैं।
समाधान: लेखकों ने FairLogue नामक एक टूलकिट बनाया है। इसे एक शक्तिशाली माइक्रोस्कोप के रूप में सोचें जो आपको पहचान के विशिष्ट संयोजनों (intersectionality) पर ज़ूम करने की अनुमति देता है ताकि उन छिपे हुए पूर्वाग्रहों को देखा जा सके जिन्हें "एकल-लेंस" वाला दृष्टिकोण नहीं देख पाता।
प्रयोग: दो वास्तविक दुनिया के परीक्षण
इस माइक्रोस्कोप का परीक्षण करने के लिए, शोधकर्ताओं ने "All of Us" नामक एक विशाल, विविध डेटाबेस का उपयोग किया (जो लाखों अमेरिकियों के स्वास्थ्य रिकॉर्ड का एक विशाल पुस्तकालय है)। उन्होंने इस टूलकिट का परीक्षण दो अलग-अलग चिकित्सा परिदृश्यों पर किया:
- ब्लीडिंग टेस्ट (रक्तस्राव परीक्षण): यह अनुमान लगाना कि सामान्य एंटीडिप्रेसेंट्स (SSRIs) लेने वाले मरीज को रक्तस्राव की खतरनाक घटना होगी या नहीं।
- स्ट्रोक टेस्ट (लकवा परीक्षण): यह अनुमान लगाना कि अनियमित हृदय गति (Atrial Fibrillation) वाले मरीज को दो वर्षों के भीतर स्ट्रोक होने की संभावना है या नहीं।
उन्होंने क्या पाया: "परछाई" प्रभाव (The "Shadow" Effect)
जब उन्होंने नए FairLogue माइक्रोस्कोप के साथ डेटा को देखा, तो उन्हें एक आश्चर्यजनक बात पता चली:
- एकल-लेंस वाला दृश्य धुंधला था: जब उन्होंने अकेले नस्ल या लिंग को देखा, तो AI काफी हद तक निष्पक्ष लग रहा था। प्रदर्शन में अंतर बहुत कम था।
- इंटरसेक्शनल (संयोजन संबंधी) दृश्य स्पष्ट था: जब उन्होंने संयोजनों को देखा (जैसे, अश्वेत महिलाएं बनाम श्वेत पुरुष), तो अंतर बहुत बढ़ गया। यह ऐसा था जैसे यह महसूस करना कि हालांकि कार के टायर ठीक हैं और ब्रेक भी ठीक हैं, लेकिन जब बारिश हो रही हो और सड़क बर्फीली हो, तो कार बहुत खराब तरीके से चलती है। कारकों के संयोजन ने एक बड़ी समस्या पैदा की जो अकेले किसी भी कारक से बड़ी थी।
उपमा: एक स्कूल ग्रेडिंग सिस्टम की कल्पना करें।
- यदि आप जाँचते हैं कि सिस्टम "लड़कों" के लिए निष्पक्ष है, तो यह ठीक दिखता है।
- यदि आप जाँचते हैं कि यह "लड़कियों" के लिए निष्पक्ष है, तो यह भी ठीक दिखता है।
- लेकिन यदि आप "उन लड़कियों" की जाँच करते हैं जो "साथ ही देश में नई आई हैं," तो आप पा सकते हैं कि वे असफल हो रही हैं क्योंकि सिस्टम उनके विशिष्ट संघर्ष को ध्यान में नहीं रखता है। "FairLogue" टूलकिट ने चिकित्सा डेटा में इन छिपे हुए संघर्षों को खोज निकाला।
ट्विस्ट: क्या AI वास्तव में "नस्लवादी" या "लैंगिक भेदभावपूर्ण" है?
यहाँ सबसे दिलचस्प हिस्सा है। सिर्फ इसलिए कि AI किसी विशिष्ट समूह के लिए अधिक गलतियाँ करता है, क्या इसका मतलब यह है कि AI जानबूझकर उनके खिलाफ पक्षपाती है?
इसका उत्तर देने के लिए, शोधकर्ताओं ने एक टाइम-ट्रैवल सिमुलेशन (काउंटरफैक्चुअल विश्लेषण) का उपयोग किया।
- उपमा: कल्पना कीजिए कि आपके पास कंचों (marbles) का एक थैला है। कुछ लाल हैं, कुछ नीले हैं। आप जानना चाहते हैं कि क्या थैला लाल कंचों के खिलाफ पक्षपाती है।
- परीक्षण: उन्होंने डेटा लिया और "ताश के पत्तों को फेंट दिया" (shuffled the deck)। उन्होंने सभी चिकित्सा तथ्यों (आयु, स्वास्थ्य, दवाएं) को बिल्कुल समान रखा, लेकिन नस्ल और लिंग के लेबल को यादृच्छिक (randomly) रूप से बदल दिया।
- परिणाम: उन्होंने पूछा, "यदि हम इन लोगों को विभिन्न समूहों में यादृच्छिक रूप से आवंटित करते, तो क्या AI अभी भी वही गलतियाँ करता?"
आश्चर्य: दोनों चिकित्सा परीक्षणों में, उत्तर मुख्य रूप से "हाँ" था।
भले ही उन्होंने समूहों को रैंडम किया, AI अभी भी समान गलतियाँ कर रहा था। यह सुझाव देता है कि AI विशेष रूप से किसी समूह के प्रति "नफरत" नहीं कर रहा है। इसके बजाय, AI अन्य सुरागों (जैसे विशिष्ट स्वास्थ्य स्थितियां, दवा का इतिहास या सामाजिक-आर्थिक कारक) को पकड़ रहा है जो संयोग से उन समूहों में अधिक आम हैं।
रूपक (Metaphor): यह मौसम बताने वाले ऐप जैसा है जो बारिश की भविष्यवाणी करता है।
- यदि ऐप एक घाटी के लिए सभी के लिए बारिश की भविष्यवाणी करता है, लेकिन वास्तव में धूप खिली है, तो ऐप उस घाटी से "नफरत" नहीं कर रहा है। वह बस कम दबाव वाले तंत्र (low pressure system) पर प्रतिक्रिया दे रहा है जो संयोग से उस घाटी के ऊपर है।
- इसी तरह, AI नस्ल के आधार पर भेदभाव नहीं कर रहा था; यह जटिल स्वास्थ्य पैटर्न पर प्रतिक्रिया दे रहा था जो विभिन्न समूहों में असमान रूप से वितरित थे।
निष्कर्ष: यह क्यों मायने रखता है
- केवल एक चीज़ न देखें: यदि आप केवल नस्ल या लिंग के आधार पर पूर्वाग्रह की जाँच करते हैं, तो आप असली कहानी को मिस कर रहे हैं। आपको यह देखना होगा कि ये पहचान आपस में कैसे मिलती हैं।
- पूर्वाग्रह अक्सर एक लक्षण है, बीमारी नहीं: अध्ययन दिखाता है कि AI की अनुचितता अक्सर डेटा (स्वास्थ्य सेवा में वास्तविक दुनिया की असमानताएं) से आती है, न कि AI के "दुष्ट" होने से। AI केवल दुनिया की अव्यवस्थित वास्तविकता का एक दर्पण है।
- टूलकिट एक जासूस है: FairLogue डॉक्टरों और इंजीनियरों को यह समझने में मदद करता है कि AI कहाँ संघर्ष कर रहा है। क्या इसलिए कि AI खराब है? या इसलिए कि वास्तविक दुनिया अनुचित है?
- यदि AI खराब है, तो हम कोड को ठीक करते हैं।
- यदि वास्तविक दुनिया अनुचित है (उदाहरण के लिए, कुछ समूहों की देखभाल तक कम पहुंच है), तो हमें केवल कंप्यूटर को नहीं, बल्कि स्वास्थ्य सेवा प्रणाली को ठीक करने की आवश्यकता है।
संक्षेप में
यह पेपर कहता है: "हमने चिकित्सा AI में छिपे हुए अन्याय को खोजने के लिए एक बेहतर आवर्धक लेंस (FairLogue) बनाया है। हमने पाया कि नस्ल और लिंग को अलग-अलग देखने से वास्तविक समस्याएं छिप जाती हैं। हालाँकि, जब हमने एक 'क्या होगा अगर' वाली दुनिया का अनुकरण किया जहाँ नस्ल और लिंग यादृच्छिक थे, तो हमें एहसास हुआ कि AI आवश्यक रूप से खलनायक नहीं है—यह अक्सर हमारे स्वास्थ्य सेवा तंत्र में मौजूद गहरे, जटिल असमानताओं पर प्रतिक्रिया दे रहा है जिन्हें हमें ठीक करने की आवश्यकता है।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।