Calibrated? Not for Everyone: How Sexual Orientation and Religious Markers Distort LLM Accuracy and Confidence in Medical QA
यह शोध पत्र प्रकट करता है कि सामाजिक पहचान के संकेतक, विशेष रूप से यौन अभिविन्यास और धार्मिक संबद्धता, चिकित्सा संबंधी लार्ज लैंग्वेज मॉडल्स (LLMs) की सटीकता और अनिश्चितता अंशांकन (uncertainization calibration) दोनों को महत्वपूर्ण रूप से विकृत करते हैं, जिससे एक "कैलिब्रेशन संकट" उत्पन्न होता है जो न्यायसंगत और सुरक्षित नैदानिक तैनाती के लिए गंभीर जोखिम पैदा करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बेहद बुद्धिमान मेडिकल छात्र है जिसका नाम "LLM" (लार्ज लैंग्वेज मॉडल) है। इस छात्र ने दुनिया की हर मेडिकल किताब पढ़ ली है और वह अविश्वसनीय गति से बीमारियों का निदान कर सकता है। डॉक्टर अब निर्णय लेने में मदद के लिए इस छात्र पर भरोसा करने लगे हैं।
लेकिन, एक पेच है: एक मेडिकल छात्र को वास्तव में सुरक्षित होने के लिए, उसे यह पता होना चाहिए कि वह कब अनिश्चित है। यदि वह 90% सुनिश्चित है कि वह सही है, तो उसे सही होना चाहिए। यदि वह केवल 50% सुनिश्चित है, तो उसे कहना चाहिए, "मुझे नहीं पता, किसी मानव डॉक्टर से पूछें।" इसे "कैलिब्रेटेड" (calibrated) होना कहा जाता है।
यह शोध पत्र एक जासूसी कहानी की तरह है जो यह सवाल पूछता है: क्या होगा यदि हम उस मेडिकल छात्र को रोगी के व्यक्तिगत जीवन के बारे में बताते हैं, जैसे कि उनका धर्म या वे किससे प्रेम करते हैं?
प्रयोग: "पहचान" परीक्षण (The "Identity" Test)
शोधकर्ताओं ने हजारों मेडिकल प्रश्नों को लिया (जैसे "एक 45 वर्षीय महिला को सीने में दर्द है; क्या समस्या है?") और प्रत्येक के तीन संस्करण बनाए:
- तटस्थ संस्करण (The Neutral Version): केवल मेडिकल तथ्य।
- "विषमलैंगिक" संस्करण (The "Heterosexual" Version): इसमें एक वाक्य जोड़ा गया, "रोगी विषमलैंगिक है।"
- "समलैंगिक" संस्करण (The "Homosexual" Version): इसमें एक वाक्य जोड़ा गया, "रोगी समलैंगिक है।"
- "इंटरसेक्शनल" संस्करण (The "Intersectional" Version): इसमें यौन रुझान और धर्म दोनों को जोड़ा गया (जैसे, "रोगी समलैंगिक और कैथोलिक है")।
उन्होंने यह देखने के लिए इन प्रश्नों को 9 अलग-अलग AI मॉडलों के माध्यम से चलाया कि क्या उनके उत्तर बदलते हैं।
बड़ी खोज: "आत्मविश्वास का जाल" (The "Confidence Trap")
यहाँ डरावना हिस्सा है, जिसे एक सरल उपमा से समझाया गया है:
कल्पना कीजिए कि AI एक मौसम विज्ञानी है।
- परिदृश्य A (तटस्थ): आप पूछते हैं, "क्या बारिश होगी?" AI कहता है, "हाँ, 90% संभावना है।" बारिश होती है। बिल्कुल सही।
- परिदृश्य B (पूर्वाग्रह): आप वही सवाल पूछते हैं, लेकिन आप कहते हैं, "मैं एक समलैंगिक पुरुष हूँ।" अचानक, AI कहता है, "हाँ, 90% संभावना है," लेकिन बारिश नहीं होती।
AI गलत उत्तर दे गया, लेकिन वह उतना ही आत्मविश्वासी था जितना कि वह सही होने पर था।
शोध पत्र में, उन्होंने पाया कि जब उन्होंने "समलैंगिक" या विशिष्ट धार्मिक लेबल जोड़े:
- सटीकता (Accuracy) गिर गई: AI ने अधिक बार गलत मेडिकल उत्तर देना शुरू कर दिया।
- आत्मविश्वास बना रहा (या बदतर हो गया): AI को यह एहसास नहीं हुआ कि वह भ्रमित था। वह तब भी चिल्लाता रहा, "मुझे यकीन है!" जब वह गलत था।
- "दोहरी मुसीबत" का प्रभाव (The "Double Trouble" Effect): जब उन्होंने पहचानों को मिलाया (जैसे, "समलैंगिक और मुस्लिम"), तो AI और भी अधिक भ्रमित और गलत हो गया जितना कि केवल एक लेबल जोड़ने पर होता। ऐसा लगा जैसे AI का दिमाग मेडिकल तथ्यों के बजाय रूढ़ियों (stereotypes) को मिलाने लगा।
यह खतरनाक क्यों है
सोचिए कि AI एक डॉक्टर के लिए एक को-पायलट है।
- यदि को-पायलट कहता है, "मुझे 90% यकीन है कि यह हार्ट अटैक है," तो डॉक्टर तुरंत इलाज के लिए भाग सकता है।
- यदि को-पायलट पक्षपाती है और कहता है, "मुझे 90% यकीन है कि यह हार्ट अटैक है" (जबकि वास्तव में यह कुछ और है) सिर्फ इसलिए क्योंकि मरीज समलैंगिक है, तो डॉक्टर गलत इलाज कर सकता है।
- सबसे बुरा हिस्सा: आमतौर पर, यदि AI अनिश्चित होता है, तो वह कहता है, "हे, मुझे यकीन नहीं है, चलिए किसी इंसान से पूछते हैं।" लेकिन क्योंकि इन पहचान वाले लेबल के कारण AI का "कॉन्फिडेंस मीटर" टूट गया है, वह मदद मांगने में विफल रहता है। वह गलती करते समय भी चुप और आत्मविश्वासी बना रहता है।
"ओपन-एंडेड" टेस्ट
शोधकर्ताओं को चिंता थी कि शायद AI बहुविकल्पीय उत्तर चुनने में खराब था। इसलिए, उन्होंने AI को अपने शब्दों में उत्तर लिखने के लिए कहा (जैसे एक वास्तविक डॉक्टर रिपोर्ट लिखता है)।
- परिणाम: समस्या और भी बढ़ गई।
- उदाहरण: एक मामले में, एक रोगी को लिवर फेलियर था। जब रोगी तटस्थ था, तो AI ने इसे सही ढंग से पहचाना। लेकिन जब टेक्स्ट में लिखा था कि रोगी "समलैंगिक" है, तो AI अचानक "HIV-संबंधित किडनी रोग" (एक रूढ़िवादी धारणा) का अनुमान लगाने लगा, जबकि लक्षण बिल्कुल समान थे। और वह इस गलत अनुमान के बारे में बहुत आत्मविश्वासी था।
मुख्य निष्कर्ष (The Takeaway)
शोध पत्र निष्कर्ष निकालता है कि सामाजिक पहचान के निशान (social identity markers) ऐसे "शोर" की तरह हैं जो AI के आंतरिक दिशा-सूचक यंत्र को तोड़ देते हैं।
- यह केवल "राजनीतिक रूप से गलत" होने के बारे में नहीं है। यह सुरक्षा के बारे में है।
- यदि एक AI एक समलैंगिक रोगी के लिए उतना ही स्तर का आत्मविश्वास नहीं दे सकता है जितना कि वह एक विषमलैंगिक रोगी के लिए देता है, तो हम इसे अस्पतालों में सुरक्षित रूप से उपयोग नहीं कर सकते।
- रोगी की फ़ाइल से इन शब्दों को हटा देना ही समाधान नहीं है, क्योंकि AI अक्सर अन्य सुरागों (जैसे कहानी कैसे लिखी गई है) से इन चीजों का अनुमान लगा सकता है।
संक्षेप में: हम ऐसे AI डॉक्टर बना रहे हैं जो बुद्धिमान तो हैं लेकिन रोगी कौन है, इससे आसानी से विचलित हो जाते हैं। जब तक हम उनके "कॉन्फिडेंस मीटर" को ठीक नहीं कर देते ताकि वह पहचान की परवाह किए बिना सभी के लिए समान रूप से काम करे, हम उन्हें अकेले गाड़ी चलाने नहीं दे सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।