Investigating Gender Stereotypes in Large Language Models via Social Determinants of Health
यह अध्ययन फ्रांसीसी स्वास्थ्य सेवा संदर्भों के भीतर लार्ज लैंग्वेज मॉडल्स (Large Language Models) में लैंगिक पूर्वाग्रह की जांच करता है, जो यह प्रदर्शित करता है कि ये मॉडल लिंग और स्वास्थ्य के अन्य सामाजिक निर्धारकों के बीच होने वाली अंतःक्रियाओं को संसाधित करते समय अंतर्निहित रूढ़ियों पर निर्भर करते हैं, जिससे व्यक्तिगत कारकों का अलग-थलग मूल्यांकन करने से परे संदर्भ-विशिष्ट आकलन की आवश्यकता पर बल मिलता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट, डिजिटल सहायक है जिसने इंटरनेट पर लगभग सब कुछ पढ़ लिया है, जिसमें लाखों मेडिकल रिकॉर्ड भी शामिल हैं। आप इसे एक डॉक्टर की मदद करने के लिए पूछते हैं। लेकिन यहाँ एक पेंच है: इस सहायक ने केवल तथ्य नहीं सीखे; इसने उस समाज के छिपे हुए पूर्वाग्रहों और रूढ़ियों (stereotypes) को भी सीख लिया है जिसने इस डेटा को बनाया है।
यह शोध पत्र एक जासूसी कहानी की तरह है जहाँ शोधकर्ता इस डिजिटल सहायक को पुराने जमाने की रूढ़ियों के आधार पर गलत अनुमान लगाने के अपराध में रंगे हाथों पकड़ने की कोशिश कर रहे हैं।
परिवेश: "मेडिकल मिरर" (चिकित्सा दर्पण)
लार्ज लैंग्वेज मॉडल्स (LLMs) को दर्पण की तरह समझें। वे दुनिया को हमारे सामने प्रतिबिंबित करते हैं। यदि दुनिया में पूर्वाग्रह हैं (जैसे यह सोचना कि "नर्स ज्यादातर महिलाएं होती हैं" या "इंजीनियर ज्यादातर पुरुष होते हैं"), तो दर्पण उन पूर्वाग्रहों को भी दिखाएगा।
चिकित्सा जगत में, यह खतरनाक है। यदि एक डॉक्टर AI से पूछता है, "इस मरीज के साथ क्या समस्या हो सकती है?" और AI गुप्त रूप से सोचता है, "ओह, यह व्यक्ति एक सेवानिवृत्त (retired) पुरुष है जो धूम्रपान करता है, इसलिए यह हृदय संबंधी समस्या होनी चाहिए," लेकिन वास्तव में वह महिला है जिसकी स्थिति अलग है, तो AI गलत सलाह दे सकता है। इसे बायस (bias/पूर्वाग्रह) कहा जाता है, और इससे गलत निदान (misdiagnosis) हो सकता है।
जांच: "नाम के टैग" हटाना
शोधकर्ता यह देखना चाहते थे कि क्या AI इन अनुमानों को स्वास्थ्य के सामाजिक निर्धारकों (Social Determinants of Health - SDoH) के आधार पर लगा रहा है। ये आपके जीवन की स्थितियाँ हैं: आपकी नौकरी, आपकी आय, क्या आप धूम्रपान करते हैं, आपकी वैवाहिक स्थिति आदि।
इसे परखने के लिए, उन्होंने "अंध अनुमान" (Blind Guessing) का खेल खेला:
- सेटअप: उन्होंने एक फ्रांसीसी अस्पताल के वास्तविक रोगी रिकॉर्ड लिए।
- जादुई ट्रिक: उन्होंने टेक्स्ट को इस तरह साफ किया कि कोई भी स्पष्ट लिंग संकेत (जैसे "वह" या "उसने" - पुरुष/स्त्री के संदर्भ में) हट जाए और यहाँ तक कि पेशों को भी तटस्थ बना दिया (जैसे "नर्स" को बिना लिंग निर्दिष्ट किए "नर्स" ही रहने दिया)।
- चुनौती: उन्होंने AI को तथ्यों की एक सूची दी: "मरीज सेवानिवृत्त है, धूम्रपान करता है, अकेला रहता है, मजदूर के रूप में काम करता है।"
- प्रश्न: "केवल इन तथ्यों के आधार पर, क्या यह व्यक्ति पुरुष है या महिला?"
यदि AI हर बार "सेवानिवृत्त धूम्रपान करने वाला" या "मजदूर" देखते ही "पुरुष" कहता है, तो इसका मतलब है कि AI वास्तविक चिकित्सा साक्ष्यों के बजाय रूढ़ियों पर निर्भर कर रहा है। यह किसी के लिंग का अनुमान लगाने जैसा है क्योंकि उसने एक विशिष्ट प्रकार की टोपी पहनी है, भले ही आप उसका चेहरा न देख पा रहे हों।
निष्कर्ष: AI की "आंतरिक लाइब्रेरी"
शोधकर्ताओं ने 9 अलग-अलग AI मॉडल (कुछ छोटे, कुछ बहुत बड़े) का परीक्षण किया और कुछ दिलचस्प बातें पाईं:
- AI एक रूढ़िवादी मशीन है: भले ही लिंग छिपा दिया गया था, AI ने सेवानिवृत्त लोगों, धूम्रपान करने वालों और शारीरिक श्रम करने वाले लोगों के लिए लगातार "पुरुष" का अनुमान लगाया। उसने छात्रों, रिश्तों में रहने वाले लोगों और गृहिणियों के लिए "महिला" का अनुमान लगाया। यह अनिवार्य रूप से एक सामाजिक नियम पुस्तिका पढ़ रहा था जिसे उसने इंटरनेट से सीखा था।
- आकार का मतलब हमेशा बुद्धिमत्ता नहीं होता: आप सोच सकते हैं कि एक बड़ा, अधिक शक्तिशाली AI कम पक्षपाती होगा। लेकिन अध्ययन में पाया गया कि छोटे मॉडल अपनी रूढ़िवादी भविष्यवाणियों में वास्तव में अधिक आश्वस्त थे। वे एक ऐसे छात्र की तरह थे जिसने कुछ नियम रट लिए हैं और उन पर सख्ती से अडिग रहता है, जबकि बड़े मॉडल थोड़े अनिश्चित थे लेकिन फिर भी उन्हीं पैटर्न का पालन कर रहे थे।
- मेडिकल ट्रेनिंग इसे (कभी-कभी) बदतर बना देती है: उन्होंने उन AI मॉडल्स का परीक्षण किया जिन्हें विशेष रूप से मेडिकल डेटा पर प्रशिक्षित किया गया था। आश्चर्यजनक रूप से, ये "विशेषज्ञ" डॉक्टर-प्रशिक्षु सामान्य मॉडल्स की तुलना में अधिक पक्षपाती थे। यह ऐसा है जैसे यदि कोई मेडिकल छात्र केवल 1950 के दशक की पाठ्यपुस्तकों को पढ़े; तो वे उस युग की पुरानी रूढ़ियों को सीख लेंगे।
- इंसान भी उतने ही दोषी हैं: शोधकर्ताओं ने वास्तविक मनुष्यों को भी वही अनुमान लगाने का खेल खेलने के लिए कहा। मनुष्यों ने AI के समान ही रूढ़िवादी अनुमान लगाए! यह साबित करता है कि AI "बुरा" नहीं है; यह केवल इस बात का प्रतिबिंब है कि कैसे मनुष्य (और समाज) अक्सर सोचते हैं।
उपमा: "गुफा"
लेखक प्लेटो के एलेगरी ऑफ द केव (गुफा का रूपक) का उपयोग करते हैं। कल्पना कीजिए कि AI गुफा में एक कैदी है, जो दीवार पर परछाइयों को देख रहा है। छायाएं इंटरनेट से प्राप्त डेटा हैं। AI सोचता है कि छायाएं ही पूर्ण सत्य हैं। लेकिन छायाएं केवल मानवीय अनुभवों के प्रतिबिंब हैं, जो पूर्वाग्रहों से भरे हुए हैं। AI गुफा के बाहर की वास्तविक दुनिया को नहीं देख सकता; वह केवल उन छायाओं के आधार पर अनुमान लगा सकता है जो उसे दिख रही हैं।
यह क्यों मायने रखता है?
यदि हम इन पक्षपाती AI मॉडल्स को डॉक्टरों की मदद करने देते हैं:
- हृदय रोग वाली एक महिला मरीज को अनदेखा किया जा सकता है क्योंकि AI सोचता है कि "हार्ट अटैक पुरुषों के लिए है।"
- प्रसव के बाद अवसाद (postpartum depression) से जूझ रहे एक पुरुष मरीज को नजरअंदाज किया जा सकता है क्योंकि AI सोचता है कि "जन्म के बाद का अवसाद महिलाओं के लिए है।"
समाधान: हम क्या कर सकते हैं?
शोध पत्र कुछ तरीके सुझाता है जिनसे इसे ठीक किया जा सकता है:
- दर्पण की जाँच करें: हमें अस्पतालों में AI मॉडल्स को लाने से पहले विशेष रूप से इन छिपे हुए रूढ़ियों के लिए उनका परीक्षण करना चाहिए।
- बेहतर प्रॉम्प्ट्स (Prompts): कभी-कभी, यदि आप स्पष्ट रूप से AI को कहते हैं, "सामाजिक रूढ़ियों को अनदेखा करें, केवल चिकित्सा तथ्यों को देखें," तो यह बेहतर काम कर सकता है (हालांकि यह एक पूर्ण समाधान नहीं है)।
- मानवीय निरीक्षण: हमें याद रखना होगा कि AI एक उपकरण है, भगवान नहीं। डॉक्टरों को अंतिम निर्णय लेने वाला होना चाहिए, और उन्हें यह पता होना चाहिए कि AI पुराने पूर्वाग्रहों के आधार पर "भ्रमित" (hallucinating) हो सकता है।
मुख्य निष्कर्ष
यह शोध पत्र एक चेतावनी है। यह दिखाता है कि हमारे सबसे उन्नत AI उपकरण भी मानवीय पूर्वाग्रहों का बोझ ढो रहे हैं। स्वास्थ्य सेवा में इनका सुरक्षित रूप से उपयोग करने के लिए, हमें उस बोझ को अनपैक करना सीखना होगा और यह सुनिश्चित करना होगा कि AI मरीजों का निर्णय उनके वास्तविक स्वास्थ्य के आधार पर ले, न कि इस आधार पर कि वे कौन हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।