Healthy LLMs? Benchmarking LLM Knowledge of UK Government Public Health Information
यह शोध पत्र PubHealthBench प्रस्तुत करता है, जो सार्वजनिक स्वास्थ्य ज्ञान पर LLMs का मूल्यांकन करने के लिए यूके सरकारी मार्गदर्शन से प्राप्त 8,000 से अधिक प्रश्नों वाला एक नया बेंचमार्क है, और यह पाता है कि जहाँ अत्याधुनिक मॉडल बहुविकल्पीय कार्यों में उत्कृष्ट हैं, वहीं मुक्त-रूप (free-form) प्रतिक्रियाओं पर उनका प्रदर्शन सीमित बना हुआ है, जो वास्तविक दुनिया के अनुप्रयोगों में अतिरिक्त सुरक्षा उपायों की आवश्यकता को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अभी-अभी एक नया, अविश्वसनीय रूप से बुद्धिमान सहायक "द एआई" (The AI) नियुक्त किया है। आप यह जानना चाहते हैं कि क्या यह सहायक आपके परिवार के लिए महत्वपूर्ण स्वास्थ्य संबंधी निर्णय लेने में मदद करने के लिए तैयार है। आप पूछते हैं, "क्या आप फ्लू शॉट्स के नवीनतम नियमों के बारे में जानते हैं?" या "अगर मुझे रैशेस (चकत्ते) हो जाएं तो मुझे क्या करना चाहिए?"
यह शोध पत्र वास्तव में इन 24 एआई सहायकों का एक रिपोर्ट कार्ड है, जो यूके सरकार की सार्वजनिक स्वास्थ्य सलाह के बारे में उनके ज्ञान का परीक्षण करता है। यूके हेल्थ सिक्योरिटी एजेंसी (UKHSA) के शोधकर्ताओं ने एक विशाल, कस्टम-निर्मित परीक्षा बनाई जिसे पब्लहेल्थबेंच (PubHealthBench) कहा जाता है, ताकि यह देख सकें कि ये एआई कैसा प्रदर्शन करते हैं।
यहाँ उनके निष्कर्षों का विवरण दिया गया है, जिसमें कुछ सरल उपमाओं (analogies) का उपयोग किया गया है:
1. परीक्षा: एक विशाल लाइब्रेरी क्विज़
शोधकर्ताओं ने केवल मनमाने सवाल नहीं बनाए। उन्होंने 687 से अधिक आधिकारिक सरकारी स्वास्थ्य दस्तावेजों (जैसे नियमों की एक विशाल लाइब्रेरी) को लिया और एक रोबोट का उपयोग करके उन्हें 8,000+ प्रश्नों में बदल दिया।
- बहुविकल्पीय परीक्षण (MCQA): यह एक मानक स्कूली परीक्षा की तरह है। एआई को एक प्रश्न और उत्तर विकल्पों की एक सूची (A, B, C, D, आदि) दी जाती है। उसे बस सही विकल्प चुनना होता है।
- मुक्त-रूप परीक्षण (Free-Form Test): यह एक बातचीत की तरह है। एआई को अपने शब्दों में उत्तर समझाना होता है, ठीक वैसे ही जैसे एक वास्तविक चैटबॉट करता है।
2. परिणाम: "स्मार्ट" बनाम "बातूनी"
बहुविकल्पीय परीक्षण: 'ए' ग्रेड वाले छात्र
जब एआई ने बहुविकल्पीय परीक्षण दिया, तो शीर्ष मॉडल (जैसे GPT-4.5 और o1) अद्भुत थे।
- स्कोर: उन्होंने 90% से अधिक सही उत्तर दिए।
- तुलना: उन्होंने एक सामान्य इंसान से बेहतर प्रदर्शन किया जिसे उत्तर खोजने के लिए गूगल (Google) का उपयोग करने की अनुमति थी (लेकिन वह चिकित्सा विशेषज्ञ नहीं था)।
- उपमा: कल्पना कीजिए कि एक छात्र ने पूरी विश्वकोश (encyclopedia) को रट लिया है। यदि आप उससे पूछते हैं, "फ्रांस की राजधानी क्या है?" या "X के लिए नियम क्या है?", तो वह तुरंत सही पन्ना दिखा सकता है। वे तथ्यों को प्राप्त (retrieve) करने में अविश्वसनीय रूप से अच्छे हैं जब उन्हें संकेत (बहुविकल्पीय विकल्प) दिए जाते हैं।
मुक्त-रूप परीक्षण: "भ्रमित" करने वाला कहानीकार (The "Hallucinating" Storyteller)
जब शोधकर्ताओं ने उन्हीं एआई से बिना बहुविकल्पीय संकेतों के, अपने शब्दों में उत्तर समझाने के लिए कहा, तो स्कोर काफी गिर गया।
- स्कोर: कोई भी मॉडल 75% से ऊपर नहीं स्कोर कर सका।
- समस्या: एआई "हैलुसिनेट" (hallucinate) करने लगे। यह उस छात्र की तरह है जो तथ्य तो जानता है लेकिन घबरा जाता है और स्मार्ट दिखने के लिए विवरण गढ़ने लगता है। वे ऐसी अतिरिक्त सलाह दे सकते हैं जो आधिकारिक नियमों में नहीं है, या वे चिकित्सा हस्तक्षेप के समय को थोड़ा गलत कर सकते हैं।
- उपमा: कल्पना कीजिए कि उसी विश्वकोश-छात्र से निबंध लिखने के लिए कहा जाए। तथ्यों को बताने के बजाय, वे एक ऐसी "नई" नियम की कहानी बनाने लग सकते हैं जो अस्तित्व में ही नहीं है, या बहुत अधिक संवादात्मक होने के कारण किसी महत्वपूर्ण विवरण को भूल सकते हैं।
3. "सार्वजनिक" बनाम "प्रो" (The "Public" vs. The "Pro")
शोधकर्ताओं ने गौर किया कि एआई को क्या सबसे अच्छी तरह पता था:
- सार्वजनिक सलाह: एआई आम लोगों के लिए दिए गए प्रश्नों (जैसे, "मुझे कब हाथ धोने चाहिए?") का उत्तर देने में बेहतरीन थे।
- क्लिनिकल सलाह: वे डॉक्टरों और विशेषज्ञों के लिए दी जाने वाली जटिल सलाह के साथ अधिक संघर्ष करते हैं।
- उपमा: एआई को एक टूर गाइड की तरह समझें। वे पर्यटकों (जनता) को यह बताने में उत्कृष्ट हैं कि निकटतम बाथरूम कहाँ है या खुलने का समय क्या है। लेकिन यदि आप उनसे इमारत का विस्तृत वास्तुशिल्प ब्लूप्रिंट (architectural blueprint) मांगते हैं (क्लिनिकल सलाह), तो वे भ्रमित हो सकते हैं या आपको एक अस्पष्ट उत्तर दे सकते हैं।
4. छोटे बनाम बड़े मॉडल
"सुपर एआई" (महंगे, प्रोप्राइटरी मॉडल) और "मिनी एआई" (छोटे, ओपन-सोर्स मॉडल) के बीच एक बड़ा अंतर था।
- बड़े एआई: एक पीएचडी वाले वरिष्ठ प्रोफेसर की तरह। वे विश्वसनीय हैं लेकिन बातचीत करते समय अभी भी गलतियाँ करते हैं।
- छोटे एआई: एक होनहार हाई स्कूल छात्र की तरह। वे बहुविकल्पीय परीक्षण पर ठीक-ठाक प्रदर्शन कर सकते हैं, लेकिन जब निबंध लिखने के लिए कहा जाता है, तो उनके द्वारा तथ्य गढ़ने की संभावना बहुत अधिक होती है। बड़े और छोटे मॉडलों के प्रदर्शन के बीच का अंतर मुक्त-रूप परीक्षण में बहुत बड़ा हो गया।
निचोड़: एक चेतावनी लेबल
शोध पत्र एक बहुत ही महत्वपूर्ण संदेश के साथ समाप्त होता है जो उन लोगों के लिए है जो स्वास्थ्य सलाह के लिए एआई का उपयोग करने के बारे में सोच रहे हैं:
"एआई एक बेहतरीन लाइब्रेरियन है, लेकिन एक जोखिम भरा डॉक्टर है।"
- अच्छी खबर: यदि आप जानकारी खोजने के लिए एआई का उपयोग करते हैं (जैसे एक सर्च इंजन), तो नवीनतम मॉडल बहुत सटीक हैं और आपको आधिकारिक सरकारी मार्गदर्शन खोजने में मदद कर सकते हैं।
- बुरी खबर: यदि आप एआई को सलाह समझाने या चैट में कोई योजना देने के लिए छोड़ देते हैं, तो वह नियम गढ़ सकता है या महत्वपूर्ण विवरण छोड़ सकता है।
सीख: हमें केवल एआई को सीधे चिकित्सा सलाह देने के लिए भरोसा नहीं करना चाहिए। हमें इसे एक ऐसे सहायक के रूप में मानना चाहिए जो आपको आधिकारिक नियम पुस्तिका की ओर इशारा करता है, लेकिन हमें हमेशा अपनी "मुक्त-रूप" कहानियों की जांच किसी मानव विशेषज्ञ या आधिकारिक सरकारी वेबसाइट से करनी चाहिए। एआई स्मार्ट हो रहा है, लेकिन इसे अभी भी एक सुरक्षा जाल (safety net) की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।