Counterfactual Cultural Cues Reduce Medical QA Accuracy in LLMs: Identifier vs Context Effects
यह शोध पत्र एक काउंटरफैक्चुअल बेंचमार्क प्रस्तुत करता है जो यह प्रदर्शित करता है कि चिकित्सा संबंधी प्रश्नों में गैर-निर्णायक सांस्कृतिक पहचानकर्ताओं और संदर्भ को सम्मिलित करने से विभिन्न लार्ज लैंग्वेज मॉडल्स की नैदानिक सटीकता में महत्वपूर्ण गिरावट आती है, जिससे अक्सर सांस्कृतिक संकेतों की उपस्थिति में चिकित्सकीय रूप से सही तर्क विफल हो जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली, अत्यंत बुद्धिमान AI डॉक्टर है। इस डॉक्टर ने अब तक लिखी गई हर मेडिकल टेक्स्टबुक को पढ़ा है और अविश्वसनीय गति से बीमारियों का निदान कर सकता है। लेकिन इसमें एक पेंच है: यह डॉक्टर मरीज की कहानी के "स्वाद" (flavor) के प्रति थोड़ा अधिक संवेदनशील है, भले ही वह स्वाद चिकित्सा संबंधी तथ्यों को वास्तव में न बदले।
यह शोध पत्र उस AI डॉक्टर के लिए एक 'स्ट्रेस टेस्ट' की तरह है। शोधकर्ता यह देखना चाहते थे कि क्या AI अपना निदान बदल देता है सिर्फ इसलिए क्योंकि उन्होंने मरीज की सांस्कृतिक पृष्ठभूमि बदल दी, जबकि लक्षण और सही उत्तर बिल्कुल समान थे।
यहाँ उस कहानी का विवरण है जो उन्हें मिला, जिसे सरल भागों में विभाजित किया गया है:
1. सेटअप: "वही केक, अलग रैपर"
शोधकर्ताओं ने 150 वास्तविक चिकित्सा परीक्षा प्रश्न (जैसे वे प्रश्न जो डॉक्टर लाइसेंस प्राप्त करने के लिए देते हैं) लिए। ये प्रश्न एक मरीज के साथ विशिष्ट लक्षणों का वर्णन करते हैं, और केवल एक ही सही चिकित्सा उत्तर होता है।
फिर, उन्होंने इन प्रश्नों के 1,650 नए संस्करण बनाए। उन्होंने लक्षणों या बीमारी को नहीं बदला। इसके बजाय, उन्होंने कहानी में केवल कुछ "सांस्कृतिक रंग" (cultural sprinkles) जोड़ दिए। उन्होंने यह तीन तरीकों से किया:
- ID टैग: उन्होंने एक वाक्य जोड़ा कि मरीज कौन है (जैसे, "यह मध्य पूर्व से एक 35 वर्षीय मुस्लिम पुरुष है")।
- संदर्भ (Context): उन्होंने मरीज के बारे में एक वाक्य जोड़ा कि वह क्या कर रहा था (जैसे, "दर्द तब शुरू हुआ जब वह मस्जिद में प्रार्थना कर रहा था")।
- कॉम्बो (Combo): उन्होंने ID और संदर्भ दोनों को जोड़ा।
उन्होंने यह तीन विशिष्ट समूहों के लिए किया: स्वदेशी कनाडाई (Indigenous Canadians), मध्य-पूर्वी मुस्लिम, और दक्षिण-पूर्व एशियाई। उन्होंने "तटस्थ" (neutral) संस्करण भी बनाए (जैसे केवल एक उबाऊ वाक्य जोड़ना जैसे "मरीज एक परिवार के सदस्य के साथ आया") ताकि यह सुनिश्चित हो सके कि AI केवल अतिरिक्त शब्दों के कारण भ्रमित नहीं हो रहा है।
स्वर्ण नियम: एक वास्तविक मानव डॉक्टर ने प्रत्येक नए संस्करण की समीक्षा की और पुष्टि की: "सही उत्तर नहीं बदला है। बीमारी अभी भी वही है।"
2. प्रयोग: AI डॉक्टरों का परीक्षण
उन्होंने इन प्रश्नों को पांच अलग-अलग AI मॉडल (GPT-5.2, Llama, और MedGemma जैसे बड़े नामों सहित) को खिलाया। उन्होंने AI को सही उत्तर चुनने के लिए कहा, कभी-कभी केवल अक्षर (A, B, C) देकर और कभी-कभी पहले एक संक्षिप्त स्पष्टीकरण मांगकर।
इसे एक छात्र को गणित का सवाल हल करने के लिए कहने जैसा समझें। यदि आप छात्र को बताते हैं, "यह सवाल अहमद नाम के छात्र के लिए है," तो क्या वह अचानक गणित गलत कर देता है?
3. परिणाम: AI "स्वाद" से भ्रमित हो गया
परिणाम आश्चर्यजनक और थोड़े चिंताजनक थे।
- "कॉम्बो" प्रभाव: जब AI ने मरीज की पहचान और सांस्कृतिक संदर्भ दोनों को देखा, तो वह सबसे अधिक भ्रमित हुआ। इसकी सटीकता काफी गिर गई (लगभग 3 से 7 प्रतिशत अंक)। ऐसा लगा जैसे AI सोचने लगा, "ओह, यह एक मुस्लिम व्यक्ति है जो प्रार्थना कर रहा है? शायद उसके लिए उत्तर अलग हो सकता है," भले ही चिकित्सा तथ्य कुछ और कह रहे हों।
- "ID" की समस्या: आश्चर्यजनक रूप से, केवल मरीज की पहचान जोड़ने ( "ID टैग") से भी लगभग उतना ही व्यवधान आया जितना कि पूर्ण कॉम्बो से। ऐसा लगा जैसे AI उस लेबल (जैसे, "मुस्लिम," "स्वदेशी") पर अटक गया और उस लेबल को अपने तर्क को बदलने दिया।
- "संदर्भ" की समस्या: केवल संदर्भ (वे क्या कर रहे थे) को बदलने का प्रभाव छोटा था, लेकिन इसने फिर भी काम बिगाड़ दिया।
- "तटस्थ" परीक्षण: जब उन्होंने उबाऊ, तटस्थ वाक्य जोड़े, तो AI का प्रदर्शन काफी हद तक वैसा ही रहा। इससे सिद्ध हुआ कि AI केवल लंबे वाक्यों को पढ़ने से थक नहीं रहा था; बल्कि वह विशेष रूप से सांस्कृतिक शब्दों के प्रति प्रतिक्रिया दे रहा था।
4. "क्यों": AI की बुरी आदतें
शोधकर्ताओं ने यह देखने के लिए कि AI क्यों विफल हो रहा है, गहराई से जांच की। उन्होंने पाया कि जब AI गलत उत्तर देता था, तो उसका स्पष्टीकरण अक्सर ऐसा लगता था जैसे वह रूढ़ियों (stereotypes) के आधार पर अनुमान लगा रहा हो।
- "अनुमान लगाने का खेल": लक्षणों को देखने के बजाय, AI ने सांस्कृतिक धारणाओं के आधार पर अनुमान लगाना शुरू कर दिया। उदाहरण के लिए, वह मान सकता है कि एक निश्चित समूह एक विशिष्ट आहार लेता है या एक विशिष्ट जीवनशैली जीता है, और फिर वह उस अनुमान का उपयोग गलत बीमारी चुनने के लिए कर सकता है।
- "पलटना" (The Flip): यदि AI ने मूल प्रश्न पर सही उत्तर दिया था, तो सांस्कृतिक संकेतों को जोड़ने से अक्सर वह गलत उत्तर की ओर "पलट" जाता था। यह एक छात्र की तरह है जो जानता है कि उत्तर "4" है, लेकिन फिर वह कोने में एक बिल्ली की तस्वीर देखता है और अचानक सोचता है, "ओह, शायद यह 5 है क्योंकि बिल्लियों के 5 जीवन होते हैं?"
5. बड़ा निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि वर्तमान चिकित्सा AI मॉडल सांस्कृतिक रूप से तटस्थ नहीं हैं। वे एक ऐसे शेफ की तरह हैं जो रेसिपी बदल देता है सिर्फ इसलिए क्योंकि ग्राहक ने एक विशिष्ट टोपी पहनी हुई है।
भले ही चिकित्सा तथ्य नहीं बदले, लेकिन AI का "निदान" सांस्कृतिक संकेतों के आधार पर बदल गया। इसका अर्थ यह है कि यदि हम इन AI उपकरणों का वास्तविक अस्पतालों में बिना इस समस्या को ठीक किए उपयोग करते हैं, तो वे मरीजों की पृष्ठभूमि के आधार पर अलग (और संभावित रूप से खतरनाक) सलाह दे सकते हैं।
संक्षेप में: AI स्मार्ट है, लेकिन वह थोड़ा पक्षपाती भी है। वह सांस्कृतिक लेबल को अपने चिकित्सा निर्णय को धुंधला करने देता है, जिससे एक साधारण निदान, विज्ञान के बजाय रूढ़ियों पर आधारित एक अनुमान लगाने के खेल में बदल जाता है। शोधकर्ताओं ने अपने परीक्षण प्रश्न जारी किए हैं ताकि अन्य लोग भविष्य के AI मॉडल में इस "सांस्कृतिक अंधापन" को ठीक करने का प्रयास कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।