Auditing Sex/Gender Disparities in Emergency Triage with LLM-based Paired Comparisons
यह शोध पत्र आपातकालीन ट्राइएज दस्तावेज़ीकरण में लिंग संबंधी असमानताओं का ऑडिट करने के लिए एक LLM-आधारित युग्मित-तुलना (paired-comparison) पद्धति प्रस्तुत करता है, जो यह प्रकट करता है कि समान नैदानिक प्रस्तुतियों को महिला के रूप में लेबल किए जाने पर कम गंभीरता स्कोर प्राप्त करने की संभावना थोड़ी अधिक होती है, एक ऐसा निष्कर्ष जो इस दृष्टिकोण को प्रत्यक्ष नैदानिक अंडरट्रिएज (undertriage) की पुष्टि करने के बजाय पूर्वाग्रह परिकल्पनाएं उत्पन्न करने के लिए एक स्केलेबल उपकरण के रूप में मान्य करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य को सुलझाने की कोशिश कर रहे हैं, लेकिन उंगलियों के निशान खोजने के बजाय, आप लोगों के निर्णय लेने के तरीके के भीतर छिपे अदृश्य पूर्वाग्रहों (biases) की तलाश कर रहे हैं। यह शोध पत्र आर्टिफिशियल इंटेलिजेंस (AI) और स्वास्थ्य सेवा (Healthcare) की दुनिया में रहता है, जो विशेष रूप से इस बात पर केंद्रित है कि हम यह जांचने के लिए स्मार्ट कंप्यूटर प्रोग्राम का उपयोग कैसे कर सकते हैं कि डॉक्टर और नर्स मरीजों के साथ निष्पक्ष व्यवहार कर रहे हैं या नहीं। इसका मूल विचार एक अवधारणा पर आधारित है जिसे "काउंटरफैक्चुअल" (counterfactual) कहा जाता है, जो बस एक फैंसी तरीका है यह पूछने का कि, "क्या होता यदि चीजें थोड़ी अलग होतीं?" इस मामले में, सवाल यह है: "यदि यह मरीज किसी अन्य लिंग (gender) का होता, लेकिन इसके लक्षण बिल्कुल समान होते, तो क्या इसे देखभाल का एक अलग स्तर मिलता?" हमें इसकी चिंता इसलिए है क्योंकि आपातकालीन कक्षों (emergency rooms) में, सेकंड बहुत कीमती होते हैं। यदि किसी मरीज को इस आधार पर लाइन के पीछे भेज दिया जाता है कि वह कौन है, न कि इस आधार पर कि वह कितना बीमार है, तो यह खतरनाक हो सकता है। वैज्ञानिक लंबे समय से संदेह करते रहे हैं कि लिंग (gender) एक छिपी हुई भूमिका निभा सकता है, लेकिन इसे साबित करना बहुत कठिन है क्योंकि हम समय को पीछे नहीं मोड़ सकते और किसी नर्स से पूछ नहीं सकते, "अगर यह एक पुरुष होता तो क्या होता?"
यह अध्ययन एक नए प्रकार के AI टूल का उपयोग करता है, जिसे "लार्ज लैंग्वेज मॉडल" (LLM) कहा जाता है, जो एक "बायस मिरर" (bias mirror - पूर्वाग्रह का दर्पण) के रूप में कार्य करता है। LLM को एक सुपर-स्मार्ट रोबोट के रूप में समझें जिसने लाखों मेडिकल रिकॉर्ड पढ़े हैं और यह सीखने के लिए सीखा है कि मानव नर्सें मरीज की गंभीरता तय करने के लिए कैसे निर्णय लेती हैं। शोधकर्ताओं ने इस रोबोट को डॉक्टरों को बदलने के लिए नहीं बनाया; उन्होंने इसे एक पल के लिए 'डॉक्टर होने' के लिए बनाया, ताकि वे इसका परीक्षण कर सकें। उन्होंने फ्रांस के एक अस्पताल और अमेरिका के एक डेटाबेस से 1,40,000 वास्तविक आपातकालीन रूम की कहानियों को लिया। फिर, उन्होंने इन कहानियों के "जुड़वां" संस्करण बनाने के लिए AI का उपयोग किया। महिला के बारे में हर कहानी के लिए, AI ने एक नया संस्करण लिखा जहाँ मरीज एक पुरुष था, लेकिन लक्षण, दर्द और इतिहास बिल्कुल समान रखे गए थे—जैसे किसी व्यक्ति को बदले बिना उसकी लाल शर्ट को नीली शर्ट से बदल देना। उन्होंने पुरुषों को महिलाओं में बदलने के लिए भी यही किया।
परिणाम ऐसे थे जैसे किसी पूरी तरह से चिकने दर्पण में एक छोटे, निरंतर दिखने वाले दरार को ढूंढ लिया गया हो। अध्ययन में पाया गया कि जब AI ने इन "जेंडर-स्वैप्ड" (लिंग-बदले हुए) जुड़वाओं को देखा, तो इसने महिला संस्करण को पुरुष संस्करण की तुलना में थोड़ा कम गंभीर स्कोर देने की प्रवृत्ति दिखाई। सरल शब्दों में, रोबोट ने सोचा, "यह व्यक्ति कम बीमार है क्योंकि वह एक महिला है," भले ही लक्षण बिल्कुल समान थे। संख्याएँ छोटी लेकिन स्पष्ट थीं: फ्रांसीसी डेटा में, महिला प्रस्तुति के पुरुष संस्करण की तुलना में कम गंभीर स्कोर मिलने की संभावना लगभग 1.1% अधिक थी। अमेरिकी डेटा में, यह अंतर लगभग 2.2% था। यह वैसा ही है जैसे यदि आप और आपका जुड़वां भाई दोनों का हाथ टूटा हुआ हो, और रोबोट ट्राइएज नर्स यह निर्णय ले कि आपके भाई को डॉक्टर को जल्दी दिखाना चाहिए क्योंकि वह एक लड़का है।
शोधकर्ता इस बात की सावधानीपूर्वक जांच करने में लगे थे कि क्या यह केवल रोबोट के दिमाग की कोई गड़बड़ी (glitch) थी या यह वास्तव में वास्तविक डेटा को दर्शा रहा था। उन्होंने दो चीजें आजमाईं: पहले, उन्होंने जांच की कि क्या रोबोट केवल "हैलुसिनेट" (hallucinating - मनगढ़ंत बातें बनाना) कर रहा था, और दूसरा, उन्होंने जांच की कि क्या पूर्वाग्रह रोबोट के सामान्य प्रशिक्षण से आया था या विशिष्ट चिकित्सा डेटा से। उन्होंने पाया कि जब उन्होंने रोबोट को सिखाने से पहले डेटा से सभी लिंग संबंधी शब्दों और नंबरों को हटा दिया, तो पूर्वाग्रह गायब हो गया। इससे पता चलता है कि रोबोट कोई अंतर बना नहीं रहा था; वह वास्तव में उस पैटर्न की नकल कर रहा था जो उसने वास्तविक मेडिकल रिकॉर्ड में देखा था। दिलचस्प बात यह है कि पूर्वाग्रह तब सबसे मजबूत था जब नर्स और मरीज एक ही लिंग के थे (जैसे एक महिला नर्स द्वारा महिला मरीज का इलाज करना), जो यह सुझाव देता है कि ये पैटर्न जटिल और मानवीय हैं, न कि केवल यादृच्छिक त्रुटियां।
हालांकि, लेखक बहुत सावधानी से चेतावनी देने के लिए नहीं कह रहे हैं। वे इस बात पर जोर देते हैं कि ये छोटे, दस्तावेजीकरण-स्तर के प्रभाव हैं। रोबट लिखित नोट्स देख रहा है, न कि सामने खड़े वास्तविक मरीज को। अध्ययन यह साबित करता है कि लिखित रिकॉर्ड में ये लिंग-आधारित पैटर्न मौजूद हैं, लेकिन यह यह साबित नहीं करता कि वास्तव में हर मरीज के साथ बेडसाइड पर पक्षपातपूर्ण व्यवहार किया गया था। लेखक इसे एक "व्यवहार्यता अध्ययन" (feasibility study) कहते हैं—एक प्रमाण कि हम इन छिपे हुए संकेतों को खोजने के लिए AI का उपयोग कर सकते हैं। वे सुझाव देते हैं कि यदि नोट्स में ये छोटे अंतर वास्तविक जीवन में भी अनुवादित होते हैं, तो इसका मतलब यह हो सकता है कि फ्रांस में हर साल हजारों महिलाओं को इलाज में थोड़ी देरी का सामना करना पड़ सकता है। लेकिन जब तक मानव विशेषज्ञ इन विशिष्ट मामलों की दोबारा जांच नहीं करते, हम निश्चित रूप से नहीं कह सकते कि वास्तव में कितना नुकसान हो रहा है। मुख्य निष्कर्ष यह है कि अब हमारे पास इन अदृश्य पूर्वाग्रहों को खोजने के लिए एक शक्तिशाली, स्केलेबल आवर्धक लेंस (magnifying glass) है, और हम जानते हैं कि वे वहां हैं, उन्हें ठीक करने की प्रतीक्षा कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।