Persistent Proxy Discrimination in HIV Testing Prediction Models: A National Fairness Audit of 386,775 US Adults
386,775 अमेरिकी वयस्कों का यह राष्ट्रीय निष्पक्षता ऑडिट यह प्रदर्शित करता है कि विभेदक-भार वाले नैदानिक संदर्भों में एचआईवी परीक्षण भविष्यवाणी मॉडलों में जनसांख्यिकीय समानता (डेमोग्राफिक पैरिटी) को लागू करना अनुचित है, क्योंकि यह उच्च-जोखिम वाले समूहों के लिए स्क्रीनिंग पहुंच को महत्वपूर्ण रूप से कम करता है और उन निष्पक्षता मेट्रिक्स जैसे कि ईक्वलाइज्ड ऑड्स और कैलिब्रेशन की आवश्यकता को रेखांकित करता है जो नैदानिक आवश्यकताओं के अनुरूप हों।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक डॉक्टर हैं जो यह तय करने की कोशिश कर रहे हैं कि किसे एक विशिष्ट चिकित्सा परीक्षण (medical test) की आवश्यकता है। आपके पास इस निर्णय को लेने में आपकी मदद करने के लिए एक नया, हाई-टेक कंप्यूटर प्रोग्राम (एक AI) है। लक्ष्य सभी के प्रति निष्पक्ष होना है।
लेकिन यहाँ एक मोड़ है: कंप्यूटर वैज्ञानिकों द्वारा उपयोग किया जाने वाला "निष्पक्षता" (fairness) का अर्थ वास्तव में उन लोगों को नुकसान पहुँचा सकता है जिन्हें मदद की सबसे अधिक आवश्यकता है।
यह शोधकर्ता हेडन फाकर (Hayden Farquhar) द्वारा लिखा गया एक शोध पत्र है—जो एक वास्तविक दुनिया के उदाहरण—HIV परीक्षण—का उपयोग करके यह दिखाता है कि "डेमोग्राफिक पैरिटी" (Demographic Parity) नामक एक लोकप्रिय नियम का आँख मूंदकर पालन करना स्वास्थ्य सेवा में क्यों खतरनाक हो सकता है।
यहाँ कहानी सरल शब्दों में दी गई है, इसे स्पष्ट करने के लिए कुछ उपमाओं (analogies) का उपयोग किया गया है।
1. परिवेश: एक बाढ़ वाला शहर
एक शहर के दो मोहल्लों की कल्पना करें:
- मोहल्ला A (उच्च जोखिम वाला क्षेत्र): यह क्षेत्र वर्तमान में बाढ़ की चपेट में है। यहाँ के 60% घर पानी के नीचे हैं।
- मोहल्ला B (सुरक्षित क्षेत्र): यह क्षेत्र सूखा है। यहाँ केवल 10% घर बाढ़ की चपेट में हैं।
आपके पास बचाव नौकाओं (rescue boats) का एक बेड़ा (AI मॉडल) है और ईंधन की एक सीमित मात्रा है। आपका काम लोगों को बचाने के लिए नावें भेजना है।
2. वह "निष्पक्ष" नियम जो गलत साबित हुआ
कंप्यूटर वैज्ञानिक कहते हैं: "निष्पक्ष होने के लिए, हमें मोहल्ला A और मोहल्ला B दोनों में बचाव नौकाओं की सटीक समान संख्या भेजनी चाहिए।"
वे इसे डेमोग्राफिक पैरिटी (Demographic Parity) कहते हैं। यह कागज़ पर निष्पक्ष लगता है: "सभी को समान मात्रा में ध्यान दिया जाता है।"
लेकिन यहाँ समस्या है:
- यदि आप बाढ़ वाले मोहल्ले में 50 नावें भेजते हैं, तो आप शायद 40 लोगों को बचा सकते हैं।
- यदि आप सूखे मोहल्ले में 50 नावें भेजते हैं, तो आपको केवल 5 लोग ही मिल सकते जिन्हें वास्तव में बचाने की आवश्यकता है (क्योंकि अधिकांश घर ठीक हैं)।
दोनों जगहों पर समान संख्या में नावें भेजने के लिए मजबूर करके, आप सूखे मोहल्ले में ईंधन बर्बाद कर रहे हैं और बाढ़ वाले मोहल्ले में लोगों को डूबने के लिए छोड़ रहे हैं। आप संख्याओं को समान बनाने की कोशिश कर रहे हैं, लेकिन आप स्थिति की वास्तविकता को अनदेखा कर रहे हैं।
3. वास्तविक दुनिया का उदाहरण: HIV परीक्षण
इस अध्ययन में, "बाढ़" HIV वायरस है।
- अमेरिका में ब्लैक और हिस्पैनिक समुदायों में HIV की दर बहुत अधिक है (वह "बाढ़")।
- व्हाइट और एशियन समुदायों में यह दर बहुत कम है (वह "सूखा क्षेत्र")।
AI को यह अनुमान लगाने के लिए प्रशिक्षित किया गया था कि किसे HIV के लिए परीक्षण कराया गया है। स्वाभाविक रूप से, AI ने सीखा कि उच्च जोखिम वाले क्षेत्रों के लोगों के परीक्षण किए जाने की संभावना अधिक है (क्योंकि सार्वजनिक स्वास्थ्य अभियान उन्हें लक्षित करते हैं)। इसलिए, AI ने ब्लैक और हिस्पैनिक लोगों के लिए अधिक बार परीक्षण की सिफारिश की।
"निष्पक्षता" का सुधार:
जब शोधकर्ताओं ने AI को "निष्पक्ष" बनाने के लिए डेमोग्राफिक पैरिटी का उपयोग किया, तो उन्होंने AI को सभी के लिए (जोखिम की परवाह किए बिना) परीक्षण की समान दर पर सिफारिश करने के लिए मजबूर कर दिया।
परिणाम:
- AI ने उच्च-जोखिम वाले समूहों के लिए परीक्षण की सिफारिश करना बंद कर दिया (क्योंकि उसे निम्न-जोखिम वाले समूहों से मेल खाने के लिए अपने नंबर कम करने थे)।
- AI ने निम्न-जोखिम वाले समूहों के लिए परीक्षण की सिफारिश करना शुरू कर दिया (क्योंकि उसे उच्च-जोखिम वाले समूहों से मेल खाने के लिए अपने नंबर बढ़ाने थे)।
कीमत:
अध्ययन में पाया गया कि इस "निष्पक्ष" कार्य को करने से, AI ने परीक्षण समूह में 1,610 अतिरिक्त लोगों को मिस कर दिया जिन्हें वास्तव में स्क्रीनिंग की आवश्यकता थी। यह बचाव नावों को बाढ़ वाले मोहल्ले में रोकने जैसा था ताकि यह सुनिश्चित किया जा सके कि सूखे मोहल्ले को भी उतनी ही संख्या में नावें मिलें।
4. "जाति-अंधा" (Race-Blind) जाल
शोधकर्ताओं ने एक अलग तरकीब आजमाई: उन्होंने कंप्यूटर को कहा, "जाति को बिल्कुल मत देखो। इसे अनदेखा कर दो।"
उन्होंने सोचा कि इससे समस्या हल हो जाएगी। लेकिन यह अच्छी तरह से काम नहीं कर पाया।
- उपमा: कल्पना कीजिए कि आप एक फायरफाइटर से कहते हैं, "इमारत के रंग को मत देखो।" लेकिन फायरफाइटर अभी भी देख सकता है कि इमारत लकड़ी की बनी है (आग के जोखिम का एक संकेत/proxy) और यह एक गैस स्टेशन के बगल में स्थित है।
- "जाति" वेरिएबल को देखे बिना भी, AI ने अन्य सुराग देखे जैसे आय, लोग कहाँ रहते थे, और स्वास्थ्य देखभाल तक पहुँच। ये सुराग जाति से जुड़े हुए हैं क्योंकि इनमें ऐतिहासिक असमानता शामिल है। इसलिए, AI ने अभी भी समूहों के साथ अलग तरह से व्यवहार किया, बस एक अधिक भ्रमित करने वाले तरीके से।
### 5. बेहतर तरीका: "इक्वलाइज्ड ऑड्स" (Equalized Odds)
तो, सही तरीका क्या है? पेपर इक्वलाइज्ड ऑड्स (Equalized Odds) का सुझाव देता है।
- उपमा: समान संख्या में नावें भेजने के बजाय, आप यह सुनिश्चित करते हैं कि नावें उन लोगों को खोजने में समान रूप से सक्षम हों जो डूब रहे हैं, चाहे वे किसी भी मोहल्ले में हों।
- यदि मोहल्ला A में 100 लोग डूब रहे हैं, तो नाव को उनमें से 90 को खोजना चाहिए।
- यदि मोहल्ला B में 100 लोग डूब रहे हैं, तो नाव को भी 90 को खोजना चाहिए।
यह आपको बाढ़ वाले मोहल्ले में अधिक नावें भेजने की अनुमति देता है (क्योंकि वहां अधिक लोग हैं) जबकि यह सुनिश्चित करता है कि नाव दोनों स्थानों पर उतनी ही सटीक हो। यह ज़रूरत पर आधारित निष्पक्षता है, न कि केवल समान संख्या पर।
6. "इंटरसेक्शनल" (Intersectional) आश्चर्य
अध्ययन में एक पेचीदा दुष्प्रभाव भी मिला। जब उन्होंने जाति (Race) के लिए निष्पक्षता को ठीक किया, तो उन्होंने अनजाने में लिंग (Gender) के लिए इसे अनुचित बना दिया।
- उपमा: कल्पना कीजिए कि आपने पूरे शहर के जल स्तर को ठीक कर दिया, लेकिन ऐसा करते समय, आपने अनजाने में उस विशिष्ट अपार्टमेंट बिल्डिंग के बेसमेंट को बाढ़ की चपेट में ले लिया जहाँ महिलाएं रहती हैं।
- केवल जाति पर ध्यान केंद्रित करके, AI ने नए, अनुचित तरीकों से पुरुषों और महिलाओं के साथ अलग तरह से व्यवहार करना शुरू कर दिया। इसे ठीक करने के लिए, आपको एक साथ दोनों (जाति + लिंग) के संगम (intersection) को देखना होगा, जो बहुत कठिन है।
मुख्य निष्कर्ष (The Big Takeaway)
इस पेपर का मुख्य सबक यह है: स्वास्थ्य सेवा में, "निष्पक्ष" का अर्थ हमेशा "समान संख्या" नहीं होता है।
- एक बैंक में: यदि एक ऋण एल्गोरिदम ग्रुप A के 50% और ग्रुप B के 50% लोगों को ऋण देता है, तो वह निष्पक्ष है।
- एक अस्पताल में: यदि ग्रुप A में एक बीमारी 5 गुना अधिक सामान्य है, तो एक निष्पक्ष प्रणाली को ग्रुप A के लिए 5 गुना अधिक बार उपचार की सिफारिश करनी चाहिए।
यदि हम अस्पताल प्रणाली को सभी के साथ बिल्कुल एक जैसा व्यवहार करने के लिए मजबूर करते हैं (डेमोग्राफिक पैरिटी), तो हम वास्तव में बीमार लोगों को अनदेखा कर देते हैं।
निष्कर्ष:
हमें चिकित्सा AI के लिए डिफ़ॉल्ट नियम के रूप में "डेमोग्राफिक पैरिटी" का उपयोग करना बंद करने की आवश्यकता है। इसके बजाय, डॉक्टरों और समुदायों को बैठकर यह तय करने की आवश्यकता है: "इस विशिष्ट बीमारी के लिए निष्पक्षता वास्तव में कैसी दिखती है?" आमतौर पर, इसका अर्थ यह सुनिश्चित करना है कि AI सभी के लिए सटीक हो, न कि यह कि वह सभी के साथ बिल्कुल एक जैसा व्यवहार करे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।