Socioeconomic Inference in LLM Medical Triage: Same Symptoms, Different ZIP Code
यह अध्ययन प्रकट करता है कि जहाँ कई बड़े भाषा मॉडल (large language models) तब निम्न-सामाजिक-आर्थिक स्थिति वाले रोगियों के लिए आपातकालीन कक्ष के रेफरल में लगातार वृद्धि करते हैं जब ऐसी स्थिति स्पष्ट रूप से बताई जाती है, वहीं केवल एक मॉडल (Gemini 3.5 Flash) ही तब समान पूर्वाग्रह प्रदर्शित करता है जब सामाजिक-आर्थिक स्थिति को रोगी के ज़िप कोड से अप्रत्यक्ष रूप से अनुमानित करना आवश्यक होता है, जो प्रॉक्सी संकेतों (proxy signals) के प्रति एक मॉडल-विशिष्ट संवेदनशीलता को उजागर करता है जिसे मानक तर्क ऑडिट (standard reasoning audits) के माध्यम से पता नहीं लगाया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, हाई-टेक लाइब्रेरी में कदम रख रहे हैं जहाँ लाइब्रेरियन एक आर्टिफिशियल इंटेलिजेंस (AI) है। यह लाइब्रेरियन अविश्वसनीय रूप से बुद्धिमान है; इसने लगभग हर किताब पढ़ी है जो कभी लिखी गई है और यह आपके लक्षणों को सुनकर ही टूटी हुई टांग या बुखार का निदान कर सकता है। लेकिन इसमें एक पेंच है: यह लाइब्रेरियन केवल आपके लक्षणों को नहीं देखता; यह यह भी देखता है कि आप कौन हैं। वास्तविक दुनिया में, हम जानते हैं कि आप कहाँ रहते हैं, आप कितना पैसा कमाते हैं, या आपके पास किस तरह का बीमा है, इससे यह नहीं बदलना चाहिए कि आपके लक्षण कितने खतरनाक हैं। सिरदर्द एक सिरदर्द ही होता है, चाहे आप एक हवेली में रहते हों या एक छोटे अपार्टमेंट में। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: क्या यह सुपर-स्मार्ट AI लाइब्रेरियन यह तय करने के लिए कि आपको आपातकालीन कक्ष (ER) में जाने की आवश्यकता है या नहीं, चुपके से आपके बटुए या आपके पते की परवाह करता है, या यह सभी के साथ बिल्कुल एक जैसा व्यवहार करता है?
यह एक नए प्रयोग की कहानी है जिसने तीन सबसे लोकप्रिय AI "डॉक्टरों" को परखने के लिए उन्हें टेस्ट किया। शोधकर्ता यह देखना चाहते थे कि क्या ये AI मॉडल मरीज की सामाजिक-आर्थिक स्थिति (SES)—जो कि उनके पैसे, नौकरी या पड़ोस का एक फैंसी तरीका है—के आधार पर अपनी सलाह बदल देंगे। उन्होंने न्यूरोलॉजिकल लक्षणों के एक विशिष्ट सेट का उपयोग किया (जैसे कि एक लगातार होने वाला सिरदर्द जो खत्म नहीं हो रहा है और धुंधली दृष्टि) जिसे हमेशा आपात स्थिति के रूप में माना जाना चाहिए। उन्होंने AI से पूछा: "यदि किसी व्यक्ति को ये लक्षण हैं, तो क्या उसे आपातकालीन कक्ष (ER) में जाना चाहिए?" लेकिन उन्होंने हर परीक्षण के लिए कहानी को थोड़ा बदल दिया। कभी-कभी उन्होंने सीधे तौर पर कहा, "यह व्यक्ति गरीब है और इसके पास कोई बीमा नहीं है।" अन्य समय में, उन्होंने पैसे के बारे में एक शब्द भी नहीं कहा; उन्होंने बस AI को एक पांच-अंकों वाला ज़िप कोड (जैसे कि पोस्टल कोड) दिया और AI को उसके क्षेत्र के आधार पर उसकी स्थिति का अनुमान लगाने दिया।
यहाँ इस प्रयोग ने क्या पाया, यह बताया गया है। जब AI को सीधे बताया गया, "यह मरीज गरीब है," तो तीनों AI डॉक्टरों ने उन्हें आपातकालीन कक्ष में भेजने की संभावना बहुत बढ़ा दी। ऐसा नहीं था कि उन्हें लगा कि गरीब मरीज का सिरदर्द अधिक दर्दनाक था; उन्हें लगा कि गरीब मरीज का जीवन अधिक खतरनाक था क्योंकि उन्होंने मान लिया था कि गरीब मरीज बाद में नियमित डॉक्टर से अपॉइंटमेंट नहीं ले पाएगा। इसे "सुरक्षात्मक" पूर्वाग्रह (protective bias) कहा जाता है: AI गरीब मरीज के साथ अधिक सुरक्षित रहने की कोशिश कर रहा था, लेकिन वह वास्तविक चिकित्सा तथ्यों के बजाय एक रूढ़िवादिता (stereotype) के आधार पर ऐसा कर रहा था।
हालाँकि, असली आश्चर्य तब हुआ जब AI को केवल उनके ज़िप कोड से मरीज की स्थिति का अनुमान लगाना था। एक AI मॉडल, जिसे जेमिनी (Gemini) कहा जाता है, एक मास्टर डिटेक्टिव निकला। उसने पांच-अंकों वाले कोड को देखा, यह पता लगाया कि वह इलाका कम आय वाला है, और तुरंत उन मरीजों को आपातकालीन कक्ष में भेजना शुरू कर दिया। वास्तव में, छह अलग-अलग शहर के जोड़ों में, AI ने उच्च-आय वाले मरीजों की तुलना में कम-आय वाले ज़िप कोड वाले मरीजों को आपातकालीन कक्ष में भेजने की दर 11.4 प्रतिशत अंक अधिक रखी। उसने यह तब किया जब लक्षण बिल्कुल समान थे।
लेकिन यहाँ एक मोड़ है: अन्य दो AI मॉडल, क्लॉड (Claude) और जीपीटी (GPT) ने अनुमान लगाने का खेल नहीं खेला। जब उन्होंने वही ज़िप कोड देखे, तो उन्होंने अपना मन बिल्कुल नहीं बदला। उन्होंने फैंसी पड़ोस वाले मरीज और संघर्षपूर्ण पड़ोस वाले मरीज के साथ बिल्कुल एक जैसा व्यवहार किया। इसका मतलब है कि "पूर्वाग्रह" कोई नियम नहीं है जिसका पालन सभी AI करते हैं; यह एक विशेष मॉडल की विशिष्ट आदत है।
सबसे डरावना हिस्सा इस पूर्वाग्रह का शांत होना है। जब आप AI से पूछते हैं कि उसने किसी को आपातकालीन कक्ष में क्यों भेजा, तो वह एक पूरी तरह से तार्किक चिकित्सा उत्तर देता है: "सिरदर्द लगातार है, दृष्टि धुंधली है, और मतली मौजूद है।" वह कभी यह नहीं कहता, "मैंने उन्हें इसलिए भेजा क्योंकि वे एक गरीब ज़िप कोड में रहते हैं।" तर्क सभी के लिए एक जैसा सुनाई देता है, लेकिन निर्णय बदल जाता है। यह एक रेफरी की तरह है जो दो खिलाड़ियों के लिए अलग-अलग फैसला करता है लेकिन स्कोरकार्ड पर दोनों के लिए बिल्कुल वही कारण लिखता है।
शोधकर्ताओं ने इसे ठीक करने के लिए AI को एक सरल निर्देश देकर भी प्रयास किया: "मरीज कहाँ रहता है या काम करता है, इसे अनदेखा करें; बस लक्षणों को देखें।" इससे थोड़ी मदद मिली, लेकिन इसने समस्या को पूरी तरह से हल नहीं किया। AI अभी भी ज़िप कोड के आधार पर अलग-अलग निर्णय ले रहा था, भले ही उसे ऐसा न करने के लिए कहा गया था।
तो, इसका क्या अर्थ है? यह सुझाव देता है कि जबकि AI डॉक्टर बेहतर हो रहे हैं, उनमें से कुछ अभी भी अदृश्य बोझ ढो रहे हैं। वे आपकी बीमारी के तथ्यों के बजाय आपके पड़ोस के बारे में एक अनुमान के आधार पर जीवन-मृत्यु के निर्णय ले सकते हैं। और सबसे बुरी बात यह है कि आप उनके स्पष्टीकरण को पढ़कर यह नहीं जान पाएंगे कि ऐसा हो रहा है। प्रयोग दिखाता है कि इन AI डॉक्टरों पर वास्तव में भरोसा करने के लिए, हमें केवल उनकी बातों को सुनने की ज़रूरत नहीं है; हमें यह देखना होगा कि वे वास्तव में क्या करते हैं, खासकर जब वे उन चीजों का अनुमान लगाने की कोशिश कर रहे हों जो उन्हें नहीं बताई गई थीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।