How much does context affect the accuracy of AI health advice?
यह अध्ययन प्रदर्शित करता है कि स्वास्थ्य संबंधी दावों को सत्यापित करने में बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) की सटीकता भाषाई, विषयगत और स्रोत संदर्भों पर अत्यधिक निर्भर है, जो गैर-अंग्रेजी भाषाओं और जटिल वास्तविक दुनिया की स्थितियों में महत्वपूर्ण प्रदर्शन अंतराल को उजागर करती है जो अंग्रेजी-भाषा के बेंचमार्क की सामान्यीकरण क्षमता को चुनौती देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास सात सुपर-स्मार्ट रोबोटों (AI चैटबॉट्स) की एक टीम है जिन्हें हर कोई चिकित्सा सलाह के लिए भरोसा करने लगा है। आप उनसे पूछते हैं, "क्या यह स्वास्थ्य संबंधी टिप सही है?" और वे "हाँ" या "नहीं" में उत्तर देते हैं।
यह शोध पत्र उन रोबोटों के लिए एक रिपोर्ट कार्ड की तरह है, लेकिन इसमें एक ट्विस्ट है: शिक्षक यह जाँच रहे हैं कि क्या रोबोट न केवल अंग्रेजी में, बल्कि 21 अलग-अलग भाषाओं में भी सही उत्तर दे रहे हैं, और न केवल सरल तथ्यों के लिए, बल्कि वास्तविक दुनिया की जटिल समाचार कहानियों के लिए भी।
यहाँ उनके निष्कर्षों का विवरण दिया गया है, रोजमर्रा के उपमाओं (analogies) का उपयोग करते हुए:
1. "पाठ्यपुस्तक" परीक्षण बनाम "स्ट्रीट स्मार्ट्स" परीक्षण
शोधकर्ताओं ने रोबोटों को दो बहुत ही अलग प्रकार के परीक्षण दिए:
परीक्षण A: आधिकारिक नियम पुस्तिका (द "टेक्स्टबुक")
उन्होंने स्वास्थ्य संबंधी दावों की एक सूची का उपयोग किया जो यूके (UK) और यूरोपीय संघ (EU) सरकारों द्वारा कानूनी रूप से स्वीकृत हैं (जैसे "विटामिन सी प्रतिरक्षा प्रणाली को सहायता प्रदान करता है")।- परिणाम: रोबोट अंग्रेजी या अंग्रेजी के करीब की भाषाओं (जैसे स्पेनिश या फ्रेंच) में बोलने पर सितारा छात्रों की तरह थे। उन्होंने इनमें से लगभग 97% सही पहचाने।
- सावधानी: जैसे-जैसे भाषा अंग्रेजी से दूर होती गई (जैसे फारसी, हिंदी, या कोरियाई), रोबोट लड़खड़ाने लगे। यह एक ऐसे छात्र की तरह है जिसने अंग्रेजी में पाठ्यपुस्तक तो रट ली है, लेकिन जब शिक्षक एक पूरी तरह से अलग व्याकरण वाली भाषा में बात करता है, तो वह भ्रमित हो जाता है।
परीक्षण B: वास्तविक दुनिया का न्यूज़ फीड (द "स्ट्रीट स्मार्ट्स")
इसके बाद उन्होंने रोबोटों का परीक्षण 9,000 वास्तविक स्वास्थ्य दावों पर किया जो समाचार लेखों, सरकारी रिपोर्टों और सोशल मीडिया (जिसमें कोविड-19, गर्भपात और राजनीति जैसे विषय शामिल थे) में पाए गए।- परिणाम: यहाँ रोबोट वास्तव में संघर्ष करने लगे। वे एक व्यस्त, शोर-शराबे वाले शहर में नेविगेट करने की कोशिश कर रहे भ्रमित पर्यटकों की तरह थे। उनकी सटीकता काफी कम हो गई।
- पैटर्न:
- वे सरल, सीधे समाचार अंशों (जैसे "CDC कहता है...") या कोविड-19 के बारे में सच्चाई को पहचानने में सबसे बेहतर थे (क्योंकि हर कोई इसके बारे में बहुत बात कर रहा था, इसलिए रोबोट ने इस पर बहुत अधिक "अध्ययन" किया था)।
- वे जटिल वैज्ञानिक सारांशों (जैसे कि जर्नल Nature से) या सामान्य स्वास्थ्य सलाह को समझने में सबसे खराब थे। ये धुंधले चश्मे पहनकर एक घने, कानूनी अनुबंध को पढ़ने की कोशिश करने जैसा है।
2. वे क्यों विफल होते हैं? ("गलतियों के पीछे का कारण")
यह शोध पत्र सुझाव देता है कि रोबोट पूर्ण क्यों नहीं हैं, इसके तीन मुख्य कारण हैं:
- लाइब्रेरी बायस (प्रशिक्षण डेटा): रोबोटों को मुख्य रूप से "ओपन वेब" पर प्रशिक्षित किया गया था। यह एक ऐसी लाइब्रेरी की तरह है जिसमें The New York Times और Fox News (छोटे, प्रभावशाली वाक्य) की लाखों प्रतियां हैं, लेकिन Nature (जटिल, सूक्ष्म विज्ञान) की बहुत कम प्रतियां हैं। रोबोट समाचार पत्र पढ़ने में तो माहिर हैं लेकिन विज्ञान पत्रिकाओं को पढ़ने में कमजोर हैं।
- "हेजिंग" (Hedge) की समस्या: वास्तविक विज्ञान अक्सर "हो सकता है," "संभवतः," या "सुझाव देता है" जैसे शब्दों का उपयोग करता है। रोबोट स्पष्ट, साहसिक बयानों को पसंद करते हैं। जब कोई वाक्य कहता है, "यह दवा मदद कर सकती है," तो रोबोट भ्रमित हो जाता है और गलत अनुमान लगा सकता है।
- "विशेषज्ञ" अंतराल: रोबोटों को कोविड-19 संकट को संभालने के लिए बहुत अधिक ट्यून किया गया था (एक ऐसे छात्र की तरह जिसने केवल गणित की फाइनल परीक्षा के लिए पढ़ाई की है)। लेकिन जब राजनीति या सामान्य स्वास्थ्य के बारे में पूछा गया, तो उनके पास वह "विशेषज्ञ प्रशिक्षण" नहीं था, इसलिए उन्होंने अधिक गलतियाँ कीं।
3. बड़ी चेतावनी
मुख्य निष्कर्ष किसी ऐसे व्यक्ति के लिए एक चेतावनी लेबल है जो सोचता है, "हे, यह AI अंग्रेजी में बहुत अच्छा काम करता है, इसलिए यह सभी के लिए सुरक्षित होगा।"
यह नहीं है।
किसी दूसरी भाषा या जटिल विषय पर स्वास्थ्य सलाह देने के लिए अंग्रेजी बोलने वाले AI पर भरोसा करना, एक ऐसे टूर गाइड को काम पर रखने जैसा है जो केवल शहर के केंद्र को जानता है ताकि वह आपको खतरनाक, घुमावदार गलियों में घुमा सके। वे आपको रास्ता भटका सकते हैं, या इससे भी बुरा, आपको खतरनाक दिशा निर्देश दे सकते हैं।
4. हमें क्या करना चाहिए?
लेखक सुझाव देते हैं कि हम यह मानना बंद कर दें कि रोबोट पूरी दुनिया के लिए तैयार हैं। इसके बजाय:
- स्थानीय रूप से परीक्षण करें: किसी विशिष्ट देश या भाषा में AI को स्वास्थ्य सलाह देने से पहले, हमें विशेष रूप से उस संस्कृति और भाषा के लिए इसका परीक्षण करने की आवश्यकता है।
- ह्यूमन इन द लूप (मानवीय हस्तक्षेप): गंभीर स्वास्थ्य मुद्दों के लिए, एक मानव विशेषज्ञ को रोबोट के काम की दोबारा जांच करनी चाहिए, खासकर जब विषय जटिल हो या भाषा दुर्लभ हो।
- बेहतर लाइब्रेरी बनाएं: हमें इन रोबोटों को कई भाषाओं में अधिक विविध, उच्च-गुणवत्ता वाले वैज्ञानिक डेटा पर प्रशिक्षित करने की आवश्यकता है, न कि केवल अंग्रेजी पर।
संक्षेप में: AI स्वास्थ्य सलाह एक शक्तिशाली उपकरण है, लेकिन वर्तमान में, यह एक "वन-साइज़-फिट्स-ऑल" (एक ही आकार सबके लिए) सूट की तरह है जो अंग्रेजी बोलने वालों पर अच्छी तरह फिट बैठता है, लेकिन बाकी सभी के लिए या तो बहुत तंग है या बहुत ढीला। हमें रोबोट को अस्पताल में जाने देने से पहले इस सूट को टेलर से सिलवाने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।