Implicit Geographic Inference in LLM Medical Triage: Language-Driven Disparities in Emergency Recommendations
यह अध्ययन प्रकट करता है कि बड़े भाषा मॉडल चिकित्सा ट्राइएज (medical triage) में महत्वपूर्ण भाषा-संचालित असमानताएं प्रदर्शित करते हैं, जो लक्षण की गंभीरता के आकलन में अंतर के बजाय केवल इनपुट भाषा के कारण निहित भौगोलिक अनुमानों के आधार पर, समान न्यूरोलॉजिकल लक्षणों के लिए आपातकालीन कक्ष जाने की सिफारिश करने की दरों में भारी अंतर रखते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास "जेमिनी" (Gemini) नाम का एक बहुत ही बुद्धिमान, सुशिक्षित डिजिटल डॉक्टर है। आप उस डॉक्टर से बिल्कुल एक ही मेडिकल सवाल पूछते हैं: "मुझे बहुत तेज़ सिरदर्द है, मेरी दृष्टि धुंधली हो रही है और मुझे मतली महसूस हो रही है। मुझे क्या करना चाहिए?"
आप उम्मीद करेंगे कि डॉक्टर हर बार एक ही जवाब देगा, है ना? आखिर लक्षण तो बिल्कुल एक जैसे हैं।
लेकिन यह शोध पत्र कुछ अजीब बात उजागर करता है: आपका जवाब इस बात पर बदल जाता है कि आप सवाल पूछने के लिए किस भाषा का उपयोग कर रहे हैं।
जादू का खेल: भाषा एक "लोकेशन डिटेक्टर" के रूप में
AI को केवल एक अनुवादक के रूप में नहीं, बल्कि एक जासूस के रूप में सोचें जो आपकी भाषा के आधार पर तुरंत यह अनुमान लगाता है कि आप कहाँ हैं।
- यदि आप अंग्रेजी में पूछते हैं: AI सोचता है, "आह, एक अंग्रेजी बोलने वाला व्यक्ति! वे निश्चित रूप से संयुक्त राज्य अमेरिका में होंगे।" अमेरिका में, डॉक्टर अक्सर सुरक्षित रास्ता अपनाते हैं और डरावने लक्षणों के लिए लोगों को इमरजेंसी रूम (ER) जाने के लिए कहते हैं। इसलिए, AI कहता है, "ER जाइए!" (30% बार)।
- यदि आप जापानी में पूछते हैं: AI सोचता है, "आह, एक जापानी बोलने वाला व्यक्ति! वे निश्चित रूप से जापान में होंगे।" जापान में, चिकित्सा प्रणाली आमतौर पर लोगों को वास्तविक संकट के बिना, पहले एक नियमित क्लिनिक में भेजती है, न कि ER में। इसलिए, AI कहता है, "एक क्लिनिक में डॉक्टर को दिखाएं।" (0% बार)।
- यदि आप हिंदी में पूछते हैं: AI यह मान लेता है कि आप भारत में हैं और क्लिनिक जाने का सुझाव देता है, भले ही लक्षण समान हों।
डरावना हिस्सा: AI हर भाषा में लक्षणों को पूरी तरह से समझता है। यह सिरदर्द को हर भाषा में एक जैसा "खतरे का स्कोर" (लग लगभग 8 में से 10) देता है। वह जानता है कि लक्षण गंभीर हैं। लेकिन वह यह निर्णय लेने के लिए लक्षणों के बजाय आपके स्थान के बारे में एक अनुमान पर आधारित होता है कि क्या करना है।
"जादुई मंत्र" प्रयोग
शोधकर्ताओं ने इस सिद्धांत का परीक्षण करने के लिए तीन चतुर तरीकों, जैसे जादू के मंत्रों का उपयोग किया, ताकि यह साबित किया जा सके कि AI स्थान का अनुमान लगा रहा था:
"मैं अमेरिका में हूँ" वाला मंत्र:
उन्होंने जापानी, हिंदी और अरबी में एक ही सवाल पूछा, लेकिन उसमें एक वाक्य जोड़ दिया: "मान लें कि रोगी संयुक्त राज्य अमेरिका में है।"- परिणाम: AI ने तुरंत अपना मन बदल लिया! अचानक, जापानी और हिंदी बोलने वालों को भी ER जाने के लिए उसी उच्च दर पर कहा जाने लगा, जैसा कि अंग्रेजी बोलने वालों को कहा जा रहा था। AI ने "जापान" या "भारत" का अनुमान लगाना बंद कर दिया और अमेरिकी नियमों का पालन करने लगा।
"मैं टोक्यो में हूँ" वाला मंत्र:
उन्होंने अंग्रेजी में सवाल पूछा लेकिन साथ में जोड़ा: "मान लें कि रोगी टोक्यो, जापान में है।"- परिणाम: ER जाने की सिफारिश की दर 30% से गिरकर लगभग 0% हो गई। भले ही AI अंग्रेजी बोल रहा था, लेकिन उसने एक अमेरिकी डॉक्टर की तरह व्यवहार करना बंद कर दिया और एक जापानी डॉक्टर की तरह व्यवहार करने लगा।
"अनुवाद" परीक्षण:
उन्होंने जापानी प्रश्न को लिया, उसका अंग्रेजी में अनुवाद किया, और AI से पूछा।- परिणाम: AI ने "ER जाइए" वाला जवाब दिया। इससे यह साबित हुआ कि AI जापानी शब्दों से भ्रमित नहीं था; वह बस "जापान = क्लिनिक" के नियम का पालन कर रहा था। एक बार जब शब्द अंग्रेजी हो गए, तो उसने "USA = ER" नियम को अपना लिया।
इससे किसे नुकसान पहुँच सकता है?
यह उस व्यक्ति के लिए समस्या नहीं है जो अपनी भाषा से मेल खाने वाले देश में रहता है। टोक्यो में रहने वाला एक जापानी व्यक्ति ऐसी सलाह प्राप्त करता है जो उसके स्थानीय अस्पताल तंत्र के अनुकूल होती है।
समस्या उन लोगों के लिए है जो इस सांचे में फिट नहीं बैठते:
- प्रवासी: एक व्यक्ति जो हिंदी बोलता है लेकिन सैन फ्रांसिस्को में रहता है, उसे "इंतज़ार करें और देखें" (क्योंकि AI उसे भारत में समझता है) कहा जा सकता है, जबकि उसी सिरदर्द वाले अंग्रेजी बोलने वाले पड़ोसी को "ER जाने" के लिए कहा जा सकता है।
- यात्री: टोक्यो में एक अमेरिकी पर्यटक को ER में भागने के लिए कहा जा सकता है, भले ही स्थानीय प्रणाली उन्हें एक नियमित क्लिनिक में भेज दे।
- बहुभाषी लोग: यदि आप अंग्रेजी और हिंदी दोनों बोलते हैं, तो केवल इसलिए कि आपने एक अलग भाषा में टाइप किया है, आपको दो पूरी तरह से अलग मेडिकल सलाह मिल सकती है।
सरल समाधान
यह शोध पत्र एक बहुत ही सरल समाधान का सुझाव देता है: अनुमान लगाना बंद करें।
AI को आपकी भाषा के आधार पर आपके स्थान का अनुमान लगाने देने के बजाय, सिस्टम को पूछना चाहिए: "आप कहाँ स्थित हैं?" या इसे एक विशिष्ट नियम के साथ प्रोग्राम किया जाना चाहिए: "रोगी [देश] में है। [देश] के नियमों का उपयोग करें।"
मुख्य बात:
AI सिरदर्द को समझने के लिए पर्याप्त स्मार्ट है, लेकिन यह यह अनुमान लगाने में बहुत जल्दबाजी करता है कि आप कहाँ हैं। यह एक ऐसे वेटर की तरह है जो यह मान लेता है कि आप तीखा खाना चाहते हैं क्योंकि आपने स्पेनिश में ऑर्डर दिया है, भले ही आप वास्तव में न्यूयॉर्क के एक रेस्टोरेंट में बैठे हों। यह शोध पत्र दिखाता है कि चिकित्सा सलाह के लिए, हमें AI को यह बताना चाहिए कि रोगी वास्तव में कहाँ है, बजाय इसके कि उसे भाषा के आधार पर अनुमान लगाने दिया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।