EQUITRIAGE: A Fairness Audit of Gender Bias in LLM-Based Emergency Department Triage
EQUITRIAGE अध्ययन लगभग 375,000 आपातकालीन विभाग ट्राइएज परिदृश्यों पर पांच बड़े भाषा मॉडलों का ऑडिट करता है और यह प्रकट करता है कि सभी मॉडल 5% से अधिक फ्लिप दरों के साथ लैंगिक पूर्वाग्रह प्रदर्शित करते हैं, जो यह दर्शाता है कि ग्रुप पैरिटी, काउंटरफैक्चुअल इनवैरिएंस और कैलिब्रेशन जैसे निष्पक्षता मेट्रिक्स अलग-अलग गुण हैं जिनके लिए नैदानिक तैनाती से पहले मॉडल-विशिष्ट ऑडिटिंग की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक व्यस्त आपातकालीन कक्ष (emergency room) की कल्पना करें जहाँ एक ट्राइएज नर्स (triage nurse) एक द्वारपाल की तरह काम करती है। उनका काम यह देखना है कि मरीज के लक्षण कितने गंभीर हैं और उन्हें प्राथमिकता देना है, जैसे कि "जीवन के लिए खतरा" से लेकर "इंतज़ार कर सकते हैं" तक। इस प्रणाली को एमेरजेंसी सीवैरिटी इंडेक्स (ESI) कहा जाता है।
द दशकों से, डॉक्टरों को पता है कि मानव नर्सें कभी-कभी लिंग (gender) के आधार पर गलतियाँ करती हैं: महिलाओं को गंभीर हृदय संबंधी समस्याओं के मामले में पुरुषों के समान ही लक्षणों के बावजूद अक्सर अधिक इंतज़ार करना पड़ता है या कम तत्काल ध्यान मिलता है।
अब, अस्पताल AI (लार्ज लैंग्वेज मॉडल्स या LLMs) का उपयोग करने लगे हैं ताकि नर्सों को निर्णय लेने में मदद मिल सके। यह शोध पत्र मुख्य सवाल पूछता है: यदि हम मानव नर्स को AI से बदल दें, तो क्या AI इस समस्या को ठीक करेगा, या क्या यह लिंग संबंधी पूर्वाग्रह (gender bias) को और बदतर बना देगा?
शोधकर्ताओं ने यह पता लगाने के लिए EQUITRIAGE नामक एक अध्ययन बनाया। उन्होंने इसे कैसे किया और उन्हें क्या मिला, इसे सरल भाषा में यहाँ समझाया गया है।
प्रयोग: "ट्विन" टेस्ट (The "Twin" Test)
AI को निष्पक्ष रूप से परखने के लिए, शोधकर्ताओं ने केवल AI से वास्तविक मरीजों को देखने के लिए नहीं कहा। इसके बजाय, उन्होंने 18,714 डिजिटल "विग्नेट्स" (मरीजों के बारे में छोटी कहानियाँ) बनाए जो वास्तविक मेडिकल रिकॉर्ड पर आधारित थे।
इसे एक "चूज़ योर ओन एडवेंचर" (Choose Your Own Adventure) किताब की तरह समझें जहाँ कहानी बिल्कुल एक जैसी है, लेकिन मुख्य पात्र का नाम और लिंग बदल जाता है।
- मरीज A: "कीशा, एक 59 वर्षीय अश्वेत महिला जिसे सीने में दर्द और उच्च रक्तचाप है।"
- मरीज B (जुड़वां): "डेशॉन, एक 59 वर्षीय अश्वेत पुरुष जिसे सीने में दर्द और उच्च रक्तचाप है।"
बाकी सब कुछ (लक्षण, वाइटल्स, इतिहास) बिल्कुल समान है। एकमात्र अंतर लिंग और नाम है।
उन्होंने इन कहानियों को पाँच अलग-अलग AI मॉडल्स (Google, OpenAI, NVIDIA आदि जैसी कंपनियों के) को दिया और उनसे तात्कालिकता स्कोर (urgency score) देने के लिए कहा। स्पष्ट तस्वीर पाने के लिए उन्होंने इसे 374,000 बार किया।
निष्कर्ष: AI पूर्ण नहीं है
अध्ययन में पाया गया कि सभी पाँचों AI मॉडल्स में पूर्वाग्रह (bias) था, लेकिन वे तीन अलग-अलग "व्यक्तित्वों" में काम करते थे:
- "अंडर-ट्राइएज" मॉडल्स (DeepSeek और Gemini):
ये मॉडल्स एक संदेही डॉक्टर की तरह व्यवहार करते हैं जो महिलाओं के दर्द को नज़रअंदाज़ कर देता है। जब मरीज महिला होती थी, तो AI उन्हें पुरुष की तुलना में कम तत्काल स्कोर देता था, भले ही लक्षण बिल्कुल समान हों।
- उपमा: कल्पना करें कि दो लोगों का पैर बिल्कुल एक ही तरह से टूटा है। AI पुरुष को कहता है, "लाइन के आगे जाओ," लेकिन महिला से कहता है, "पीछे इंतज़ार करो।"
- DeepSeek सबसे बड़ा अपराधी था, जिसने महिला मरीजों को पुरुष मरीजों की तुलना में काफी कम तत्काल स्थिति में माना।
"संतुलित" मॉडल्स (GPT-4 और Mistral):
ये मॉडल्स बहुत निष्पक्ष थे। उन्होंने पुरुषों और महिलाओं को लगभग एक ही स्कोर दिया। उनकी किसी एक लिंग के प्रति कोई विशेष प्राथमिकता नहीं थी।"भ्रमित" मॉडल (Nemotron):
यह मॉडल अराजक था। नाम और लिंग बदलने के कारण यह लगभग 44% बार अपनी तात्कालिकता के स्तर के बारे में अपना निर्णय बदल देता था। यह जरूरी नहीं कि विशेष रूप से महिलाओं के प्रति पक्षपाती था, लेकिन यह अविश्वसनीय रूप से अस्थिर और असंगत था।
"जादुई छड़ी" परीक्षण (क्या हम इसे ठीक कर सकते हैं?)
शोधकर्ताओं ने चार अलग-अलग "प्रॉम्प्ट्स" (निर्देशों) को आज़माया यह देखने के लिए कि क्या वे इस पूर्वाग्रह को रोक सकते हैं। इन्हें AI से बात करने के विभिन्न तरीकों के रूप में समझें:
- "ब्लाइंडफोल्ड" रणनीति (The "Blindfold" Strategy): उन्होंने कहानी से मरीज का नाम, आयु और लिंग हटा दिया, जिससे केवल चिकित्सा तथ्य शेष रह गए।
- परिणाम: इसने कुछ मॉडल्स (जैसे Google का Gemini) के लिए चमत्कार किया, जिससे पूर्वाग्रह लगभग पूरी तरह समाप्त हो गया। हालाँकि, अन्य मॉडल्स (जैसे DeepSeek) के लिए यह उतना प्रभावी नहीं रहा। क्यों? क्योंकि कहानी में आयु (age) अभी भी मौजूद थी। AI लिंग का अनुमान लगाने और पूर्वाग्रह दिखाने के लिए आयु का उपयोग एक छिपे हुए सुराग के रूप में कर रहा था। जब उन्होंने आयु और लिंग दोनों को हटा दिया, तब जाकर पूर्वाग्रह पूरी तरह गायब हुआ।
- "निष्पक्ष रहें" रणनीति (The "Be Fair" Strategy): उन्होंने स्पष्ट रूप से AI को कहा, "लिंग को अपने निर्णय को प्रभावित न करने दें।"
- परिणाम: इसका परिणाम मिला-जुला रहा। कुछ मॉडल्स के लिए यह मददगार था। अन्य के लिए, इसने स्थिति को वास्तव में बदतर बना दिया, जिससे AI अधिक बार अपने निर्णय बदलने लगा। ऐसा लगता है कि AI को "निष्पक्ष होने" के लिए कहना कभी-कभी उसे भ्रमित कर सकता है।
- "चरण-दर-चरण सोचें" रणनीति (Chain-of-Thought): उन्होंने AI से स्कोर देने से पहले अपने तर्क को समझाने के लिए कहा।
- परिणाम: यह उल्टा पड़ा। AI को स्मार्ट बनाने के बजाय, इसने इसे और खराब बना दिया। AI ने कम सटीक स्कोर दिए और यह अधिक पक्षपाती हो गया। यह एक घबराए हुए छात्र से "अपने गणित के हर स्टेप को समझाने" के लिए कहने जैसा है, जहाँ वह अधिक सोचने लगता है और अधिक गलतियाँ करता है।
बड़ी आश्चर्यजनक बात: "कैलिब्रेशन" का जाल (The "Calibration" Trap)
सबसे दिलचस्प निष्कर्षों में से एक कैलिब्रेशन (Calibration) की अवधारणा है।
- AI मॉडल्स वास्तव में यह भविष्यवाणी करने में अच्छे थे कि किसे अस्पताल में भर्ती किया जाएगा। यदि उन्होंने कहा कि मरीज "उच्च जोखिम" वाला है, तो उस मरीज को आमतौर पर भर्ती किया जाता था, चाहे वह पुरुष हो या महिला।
- हालाँकि, वे जुड़वां (twins) के बीच निरंतरता बनाए रखने में खराब थे। वे पुरुष को "उच्च जोखिम" का लेबल देते थे, लेकिन महिला को "मध्यम जोखिम" का लेबल देते थे, भले ही दोनों को अस्पताल में भर्ती किया जाना था।
उपमा: कल्पना करें कि एक मौसम ऐप है जो बारिश के बारे में 90% बार सही होता है। लेकिन, यदि आप एक पुरुष के बारे में पूछते हैं, तो यह कहता है "90% बारिश की संभावना," लेकिन यदि आप उसी बादलों के साथ एक महिला के बारे में पूछते हैं, तो यह कहता है "50% बारिश की संभावना।" ऐप तकनीकी रूप से लंबे समय में "सटीक" है, लेकिन वह उस क्षण के लिए अनुचित है।
निष्कर्ष
यह शोध पत्र निष्कर्ष निकालता है कि आप यह मानकर नहीं चल सकते कि AI निष्पक्ष है सिर्फ इसलिए क्योंकि वह स्मार्ट है।
- विभिन्न AI मॉडल्स के पूर्वाग्रह के संबंध में अलग-अलग "व्यक्तित्व" होते हैं।
- पूर्वाग्रह को ठीक करना "एक ही समाधान सबके लिए" (one-size-fits-all) वाला काम नहीं है। नाम हटाना कुछ मॉडल्स की मदद करता है लेकिन दूसरों की नहीं।
- AI को "अधिक गहराई से सोचने" (Chain-of-Thought) के लिए कहना क्लिनिकल निर्णयों को वास्तव में बदतर बना सकता है।
मुख्य बात (The Bottom Line): इससे पहले कि अस्पताल AI को आपातकालीन देखभाल का निर्णय लेने दें, उन्हें प्रत्येक विशिष्ट AI मॉडल को इन "ट्विन" परीक्षणों के साथ परखना चाहिए। आप केवल निर्माता की बात पर भरोसा नहीं कर सकते; आपको AI का ऑडिट खुद करना होगा ताकि यह सुनिश्चित हो सके कि वह पुरुषों और महिलाओं के साथ अलग-अलग व्यवहार नहीं करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।