Evaluating the Presence of Sex Bias in Clinical Reasoning by Large Language Models
यह अध्ययन प्रकट करता है कि समकालीन लार्ज लैंग्वेज मॉडल्स गैर-सूचनात्मक रोगी विनेट्स (vignettes) को संसाधित करते समय नैदानिक तर्क में महत्वपूर्ण, मॉडल-विशिष्ट लिंग पूर्वाग्रह प्रदर्शित करते हैं, जो सुरक्षित स्वास्थ्य सेवा एकीकरण सुनिश्चित करने के लिए रूढ़िवादी कॉन्फ़िगरेशन, डेटा ऑडिटिंग और मानवीय निरीक्षण की महत्वपूर्ण आवश्यकता को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास चार अलग-अलग "डिजिटल डॉक्टर" (AI चैटबॉट्स) हैं जो मेडिकल टेक्स्टबुक्स पढ़ने और रिपोर्ट लिखने में अविश्वसनीय रूप से स्मार्ट हैं। आप यह देखना चाहते हैं कि क्या वे मरीजों का निदान करने में निष्पक्ष हैं। इसे टेस्ट करने के लिए, शोधकर्ताओं ने 50 नकली मरीज की कहानियाँ बनाईं। ये कहानियाँ बहुत सावधानी से लिखी गई थीं ताकि मरीज का लिंग (पुरुष या महिला) वास्तव में यह जानने के लिए मायने न रखे कि समस्या क्या है। यह एक पहेली की तरह था जहाँ समाधान वही रहता था चाहे टुकड़ा लाल हो या नीला।
यहाँ बताया गया है कि जब उन्होंने इन AI डॉक्टरों को पहेलियाँ हल करने के लिए कहा तो क्या हुआ:
1. "अनुमान लगाने वाला खेल" (The "Guessing Game" Bias)
जब शोधकर्ताओं ने AI से पूछा, "मरीज का लिंग क्या है?" बिना कोई सुराग दिए, तो AI ने यह नहीं कहा, "मुझे नहीं पता।" इसके बजाय, वे रूढ़ियों (stereotypes) के आधार पर अनुमान लगाने लगे, जैसे कोई व्यक्ति नाम के आधार पर किसी की नौकरी का अनुमान लगाता है।
- "महिला" अनुमान लगाने वाले: तीन AI (ChatGPT, Claude और DeepSeek) की एक मजबूत आदत थी कि वे मरीज को महिला होने का अनुमान लगाते थे। उदाहरण के लिए, यदि कहानी दिल की समस्या या मूत्र संबंधी समस्या के बारे में थी, तब भी वे अक्सर "महिला" ही अनुमान लगाते थे।
- "पुरुष" अनुमान लगाने वाला: एक AI (Gemini) ने इसके विपरीत किया, वह ज्यादातर समय पुरुष होने का अनुमान लगाता था।
- विशेषज्ञता की रूढ़ियाँ (Specialty Stereotypes): विशेषज्ञता के आधार पर यह पूर्वाग्रह और भी अजीब हो गया।
- यदि कहानी मनोचिकित्सा (psychiatry), रूमेटोलॉजी (rheumatology), या रक्त विकारों (blood disorders) के बारे में थी, तो सभी AI ने 100% समय "महिला" का अनुमान लगाया।
- यदि कहानी दिल या मूत्र संबंधी समस्याओं के बारे में थी, तो सभी AI ने 100% समय "पुरुष" का अनुमान लगाया।
- ऐसा लगता है जैसे AI के पास एक मानसिक मानचित्र है जहाँ "उदासी" हमेशा एक महिला है और "दिल की परेशानी" हमेशा एक पुरुष है, भले ही कहानी में इसके बारे में कुछ भी न कहा गया हो।
2. "तापमान" का नॉब (The "Temperature" Knob)
शोधकर्ताओं ने AI पर एक "तापमान" (temperature) डायल आज़माया। इसे एक मसाले के स्तर के नॉब की तरह समझें:
- कम तापमान (0.2): AI बहुत सख्त, तार्किक और दोहराव वाला होता है।
- उच्च तापमान (1.0): AI अधिक रचनात्मक, रैंडम और अनियंत्रित होता है।
उन्हें उम्मीद थी कि AI को अधिक "रचनात्मक" बनाकर (तापमान बढ़ाकर) वे इन रूढ़ियों को तोड़ पाएंगे। ऐसा नहीं हुआ। हालांकि उच्च-तापमान वाले AI ने अनुमानों की थोड़ी अलग सूचियाँ दीं, लेकिन मूल पूर्वाग्रह (विशेषज्ञता के आधार पर गलत लिंग का अनुमान लगाना) बिल्कुल वैसा ही रहा। "मसाले" ने रेसिपी को ठीक नहीं किया; इसने बस उसी पक्षपाती व्यंजन का स्वाद थोड़ा अलग कर दिया।
3. "मुझे नहीं पता" का विकल्प (The "I Don't Know" Option)
एक दूसरे परीक्षण में, शोधकर्ताओं ने AI को तीसरा विकल्प दिया: "परहेज करना" (या "मुझे नहीं पता")।
- ChatGPT ने तुरंत सुरक्षित रास्ता चुना और हर बार "मुझे नहीं पता" कहा।
- अन्य AI ने ज्यादातर समय "मुझे नहीं पता" कहा, लेकिन हमेशा नहीं।
पेंच (The Catch): भले ही AI ने यह कहना बंद कर दिया कि मरीज का लिंग क्या है, फिर भी वे इसके बारे में सोच रहे थे। जब एक "पुरुष" संस्करण की कहानी बनाम एक "महिला" संस्करण की कहानी के लिए संभावित बीमारियों की सूची बनाने को कहा गया, तो बीमारियों की सूची बदल गई। वे पर्दे के पीछे अभी भी दोनों मरीजों के साथ अलग व्यवहार कर रहे थे, भले ही उन्होंने स्पष्ट रूप से इसे लेबल न किया हो।
4. निचोड़ (The Bottom Line)
पेपर यह निष्कर्ष निकालता है कि ये AI मॉडल उन छात्रों की तरह हैं जिन्होंने पुरानी, पक्षपाती टेक्स्टबुक्स को रट लिया है। उन्होंने तटस्थ रूप से सोचना नहीं सीखा है; वे केवल उन पैटर्न को दोहरा रहे हैं जो उन्होंने अपने प्रशिक्षण डेटा में देखे थे।
- पूर्वाग्रह अंतर्निहित है: यह पूर्वाग्रह कोई खराबी नहीं है; यह इस बात का हिस्सा है कि मॉडल कैसे बनाए गए हैं।
- सेटिंग्स से सुधार नहीं होता: आप केवल एक सेटिंग (जैसे तापमान) को बदलकर उन्हें निष्पक्ष नहीं बना सकते।
- खतरा: क्योंकि ये मॉडल इस आधार पर अपनी चिकित्सा सलाह बदलते हैं कि वे मरीज को पुरुष या महिला समझते हैं (भले ही लक्षण बिल्कुल समान हों), लेखक कहते हैं कि इन सामान्य AI टूल्स का उपयोग अभी वास्तविक चिकित्सा निर्णय लेने के लिए नहीं किया जाना चाहिए।
मुख्य बात (The Takeaway): यदि आप इन डिजिटल डॉक्टरों से मदद मांगते हैं, तो वे स्मार्ट हो सकते हैं, लेकिन वे पुराने ढर्रे की रूढ़ियों का भारी बोझ भी ढो रहे हैं। जब तक उन्हें इन रूढ़ियों को अनदेखा करना नहीं सिखाया जाता, तब तक इंसानों को उनके काम पर कड़ी नज़र रखनी होगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।