Gender bias in AI-based model according to the sex composition of the training sets: the case of a model triaging patients requiring referral to hospital emergencies among those seeking emergency or unscheduled care by phone

जब कोई व्यक्ति आपातकालीन सहायता के लिए कॉल करता है, तो पहला निर्णय अक्सर दूसरी ओर की एक आवाज़ द्वारा लिया जाता है। इस डिस्पैचर को यह जल्दी से तय करना होता है कि क्या कॉलर को एम्बुलेंस की आवश्यकता है, डॉक्टर के घर आने की आवश्यकता है, या केवल प्रतीक्षा करने की सलाह देनी है। हाल के वर्षों में, अस्पतालों और आपातकालीन सेवाओं ने इस कठिन कार्य में सहायता के लिए आर्टिफिशियल इंटेलिजेंस (AI) का उपयोग करना शुरू कर दिया है। ये कंप्यूटर प्रोग्राम बातचीत को सुनते हैं, बोले गए शब्दों को पढ़ते हैं, और यह गणना करते हैं कि स्थिति कितनी गंभीर है। उम्मीद यह है कि मशीनें मनुष्यों की तुलना में जानकारी को अधिक तेज़ी से और अधिक निरंतरता के साथ संसाधित कर सकती हैं, विशेष रूप से तब जब कॉलर दर्द या संकट में हो। हालाँकि, चिकित्सा के क्षेत्र में एक निरंतर समस्या यह है कि महिलाओं को अक्सर पुरुषों की तुलना में अलग देखभाल मिलती है, जो कभी-कभी उनके लिए हानिकारक भी होती है। उन्हें दर्द से राहत के लिए अधिक प्रतीक्षा करनी पड़ सकती है या लक्षणों का वर्णन करने पर उन्हें कम गंभीरता से लिया जा सकता है। चिकित्सा तकनीक के इस नए युग के लिए महत्वपूर्ण प्रश्न यह है कि क्या ये कंप्यूटर प्रोग्राम केवल उन पुराने मानवीय दोषों को दोहराएंगे या क्या इन्हें सभी के साथ निष्पक्ष व्यवहार करने के लिए बनाया जा सकता है।

फ्रांस में शोधकर्ताओं की एक टीम ने आपातकालीन चिकित्सा प्रेषण (डिस्पैच) के संदर्भ में ठीक इसी मुद्दे की जांच करने का निर्णय लिया। उन्होंने 'एसओएस मेडिसिन ग्रैंड पेरिस' नामक एक बड़े संगठन के साथ काम किया, जो प्रतिदिन उन लोगों के हजारों कॉल संभालता है जिन्हें उसी दिन चिकित्सा सहायता की आवश्यकता होती है। शोधकर्ताओं ने एक विशिष्ट प्रकार के कॉल पर ध्यान केंद्रित किया: वे कॉल जहाँ अंततः एक डॉक्टर ने मरीज के घर जाकर दौरा किया। प्रत्येक दौरे के अंत में, डॉक्टर यह दर्ज करता था कि मरीज को अस्पताल के आपातकालीन विभाग में भेजा गया या घर वापस भेज दिया गया। यह रिकॉर्ड अध्ययन के लिए 'ग्राउंड ट्रुथ' (वास्तविक सत्य) के रूप में कार्य करता था, जिससे शोधकर्ता यह देख पाते थे कि वास्तव में किन कॉल्स के लिए तत्काल अस्पताल देखभाल की आवश्यकता थी। उन्होंने 2018 और 2023 के बीच किए गए लगभग बीस लाख कॉल्स का डेटा एकत्र किया, जिसमें शुरुआती फोन कॉल्स की ऑडियो रिकॉर्डिंग को मरीजों के अंतिम मेडिकल रिकॉर्ड के साथ मिलाया गया। डेटा को साफ करने और मिलाने के बाद, उनके पास एक मिलियन से अधिक युग्मित (paired) कॉल्स और परिणामों का एक विशाल संग्रह था।

शोधकर्ताओं ने यह देखने के लिए कि प्रशिक्षण डेटा में पुरुषों और महिलाओं का मिश्रण परिणामों को कैसे प्रभावित करता है, तीन अलग-अलग कंप्यूटर मॉडल बनाए। उन्होंने केवल एक मॉडल नहीं बनाया और उसका परीक्षण नहीं किया; उन्होंने जेंडर बैलेंस (लिंग संतुलन) के प्रभाव को अलग करने के लिए तीन अलग-अलग संस्करण बनाए। पहला मॉडल केवल पुरुषों के डेटा पर प्रशिक्षित था। दूसरा मॉडल केवल महिलाओं के डेटा पर प्रशिक्षित था। तीसरा मॉडल पुरुषों और महिलाओं का एक पूरी तरह से संतुलित मिश्रण था, लेकिन इसमें अन्य दो की तुलना में उदाहरणों की कुल संख्या आधी थी। इसके बाद उन्होंने नए, अनदेखे कॉल्स पर प्रत्येक मॉडल का परीक्षण किया ताकि यह देखा जा सके कि कौन को अस्पताल जाने की आवश्यकता है, इसका पूर्वानुमान लगाने में वे कितने सक्षम हैं। लक्ष्य यह देखना था कि क्या संतुलित समूह पर प्रशिक्षित मॉडल दोनों लिंगों के लिए समान रूप से अच्छा प्रदर्शन करेगा, या प्रशिक्षण डेटा की संरचना मशीन के पुरुषों और महिलाओं को "देखने" के तरीके को बदल देगी।

परिणामों ने इन मशीनों के सीखने के तरीके के बारे में एक आश्चर्यजनक और जटिल तस्वीर पेश की। विशेष रूप से पुरुषों पर प्रशिक्षित मॉडल पुरुषों के लिए अच्छा प्रदर्शन करता था लेकिन महिलाओं पर लागू होने पर काफी संघर्ष करता था। यह उन कई महिलाओं को पहचानने में विफल रहा जिन्हें वास्तव में आपातकालीन देखभाल की आवश्यकता थी, जो प्रदर्शन में एक स्पष्ट अंतर दर्शाता है। इसके विपरीत, विशेष रूप से महिलाओं पर प्रशिक्षित मॉडल महिलाओं के लिए अच्छा प्रदर्शन करता था और शायद अधिक आश्चर्यजनक रूप से, पुरुषों के लिए भी उतना ही अच्छा प्रदर्शन करता था। पुरुष आबादी पर लागू होने पर इसकी सटीकता में कोई कमी नहीं आई। तीसरा मॉडल, जो पुरुषों और महिलाओं के संतुलित मिश्रण पर प्रशिक्षित था, बीच में कहीं आता है। यह महिलाओं की तुलना में पुरुषों के लिए बेहतर प्रदर्शन करता था, लेकिन यह अंतर पहले वाले पुरुष-मात्र मॉडल की तुलना में कम था। महत्वपूर्ण रूप से, शोधकर्ताओं ने पाया कि प्रशिक्षण डेटा में पुरुषों और महिलाओं की संख्या को संतुलित करना गारंटी देने के लिए पर्याप्त नहीं था कि यह निष्पक्षता सुनिश्चित करेगा। यहाँ तक कि संतुलित मॉडल ने भी पुरुषों के प्रति मामूली झुकाव दिखाया, जिससे पता चलता है कि समस्या केवल उदाहरणों की संख्या को समान रखने के बारे में नहीं है, बल्कि यह कुछ गहरे स्तर पर है कि लक्षण और परिणाम विभिन्न लिंगों के लिए एक-दूसरे से कैसे संबंधित हैं।

यह समझने के लिए कि ऐसा क्यों हो रहा था, शोधकर्ताओं ने बारीकी से उन शब्दों को देखा जिन्हें मॉडलों ने निर्णय लेते समय सबसे महत्वपूर्ण माना। उन्होंने पाया कि आपात स्थिति का वर्णन करने वाली भाषा का वजन अलग-अलग मॉडलों के आधार पर अलग-अलग था। उदाहरण के लिए, गिरने या सांस फूलने से संबंधित शब्द दोनों समूहों के लिए महत्वपूर्ण थे, लेकिन "दर्द" और "पेट" जैसे अन्य शब्द महिला मॉडल के लिए अत्यधिक प्रभावशाली थे, जबकि "रक्त" और "चक्कर आना" जैसे शब्द पुरुष मॉडल के निर्णयों को संचालित करते थे। यह इंगित करता है कि जो मरीज कहता है और उसे अस्पताल की आवश्यकता है या नहीं, उसके बीच का संबंध पुरुषों और महिलाओं के लिए एक जैसा नहीं है। कंप्यूटर मॉडल केवल महिलाओं के पर्याप्त उदाहरण देखने में विफल नहीं हो रहे थे; वे यह सीख रहे थे कि आपातकाल के संकेत कॉलर के लिंग के आधार पर अलग दिखते हैं। एक एकल मॉडल जो एक साथ दोनों समूहों से सीखने की कोशिश करता है, अंततः एक ऐसा समझौता करता है जो बहुमत समूह के पैटर्न की ओर झुक जाता है, जो इस मामले में पुरुषों की ओर झुका हुआ था।

अध्ययन निष्कर्ष निकालता है कि आर्टिफिशियल इंटेलिजेंस में लैंगिक पूर्वाग्रह को ठीक करना केवल प्रशिक्षण डेटा में पुरुषों और महिलाओं की संख्या को समान सुनिश्चित करने जितना सरल नहीं है। डेटा को संतुलित करना मदद तो करता है, लेकिन यह समस्या को स्वतः हल नहीं करता है। शोधकर्ताओं का सुझाव है कि महिलाओं और पुरुषों के बीच बीमारी का अनुभव और वर्णन करने के तरीके के बीच के अंतर संरचनात्मक और मौलिक हैं। इस कारण से, महिलाओं के लिए विशेष रूप से बनाया गया मॉडल पुरुषों को संभालने के लिए पर्याप्त मजबूत दिखता है, लेकिन पुरुषों के लिए बनाया गया मॉडल महिलाओं पर अच्छी तरह से लागू नहीं होता है। यह निष्कर्ष इस सामान्य धारणा को चुनौती देता है कि एक एकल, संतुलित एल्गोरिदम सभी के साथ समान व्यवहार कर सकता है। इसके बजाय, यह सुझाव देता है कि चिकित्सा AI में निष्पक्षता के लिए डिजाइन प्रक्रिया की शुरुआत से ही इन गहरे अंतरों को स्वीकार करने की आवश्यकता है, न कि बाद में सरल डेटा समायोजन के साथ उन्हें ठीक करने की। यह कार्य इस बात पर प्रकाश डालता है कि इन उपकरणों को वास्तव में सुरक्षित और प्रभावी होने के लिए, उन्हें इस समझ के साथ बनाया जाना चाहिए कि बीमारी का मानवीय अनुभव लिंगों के आधार पर एक समान नहीं है।