Assessing the Quality of AI-Generated Health Information: A Comparative Study of Large Language Models in Patient Education on Dental Veneers

डिजिटल डेंटिस्ट: एआई, विनियर्स और रीडिंग स्कोर की एक कहानी

कल्पना कीजिए कि आप एक विशाल, शोर-शराबे वाले पुस्तकालय में खड़े हैं जहाँ अदृश्य रोबोटों द्वारा हर सेकंड लाखों किताबें लिखी जा रही हैं। यह इंटरनेट है, और विशेष रूप से, आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया। इन AI "रोबोटों" को लार्ज लैंग्वेज मॉडल्स (Large Language Models) कहा जाता है। उन्हें सुपर-पावर्ड तोतों के रूप में सोचें जिन्होंने इंटरनेट पर लिखी गई लगभग हर चीज़ पढ़ ली है। वे चैट कर सकते हैं, कहानियाँ लिख सकते हैं और सवालों के जवाब दे सकते हैं, लेकिन वे वास्तव में चीजों को वैसे नहीं जानते जैसे इंसान जानते हैं; वे बस उन पैटर्न्स के आधार पर अनुमान लगाते हैं जो उन्होंने पहले देखे हैं कि अगला शब्द क्या होना चाहिए।

अब, इस लाइब्रेरी के एक विशिष्ट कोने की कल्पना करें जो आपकी मुस्कान के लिए समर्पित है: डेंटिस्ट्री (दंत चिकित्सा)। यहाँ सबसे लोकप्रिय विषयों में से एक है "लैमिनेट विनियर्स" (laminate veneers)। ये छोटे, कस्टम-मेड पोर्सिलेन स्टिकर की तरह होते हैं जिन्हें डेंटिस्ट आपके दांतों को परफेक्ट, सीधा और सफेद दिखाने के लिए आपके दांतों के सामने चिपकाते हैं। क्योंकि लोग अपनी मुस्कान की बहुत परवाह करते हैं, इसलिए वे अक्सर इंटरनेट की ओर मुड़ते हैं ताकि पूछ सकें, "क्या इसमें दर्द होगा?" या "यह कितने समय तक चलेगा?" लेकिन यहाँ एक पेंच है: इंटरनेट शोर से भरा है। कुछ जानकारी बेहतरीन है, कुछ गलत है, और कुछ इतनी जटिल भाषा में लिखी गई है जिसे केवल एक वैज्ञानिक ही समझ सकता है। यहीं से आज का सवाल आता है: यदि आप एक सुपर-स्मार्ट AI रोबोट से विनियर्स के बारे में पूछते हैं, तो क्या वह आपको सही उत्तर देगा, और क्या आप वास्तव में इसे समझ पाएंगे?

द ग्रेट चैटबॉट शोडाउन

इस अध्ययन में, चार अलग-अलग AI चैटबॉट्स ने एक मैत्रीपूर्ण (लेकिन गंभीर) प्रतियोगिता में उतरने का फैसला किया। प्रतियोगी थे ChatGPT-5.3 mini, Gemini-3.5 Flash, DeepSeek-V4, और Microsoft Copilot। शोधकर्ता यह देखना चाहते थे कि इनमें से कौन सा डिजिटल दिमाग डेंटल विनियर्स के बारे में लोगों द्वारा पूछे जाने वाले 20 सबसे सामान्य सवालों के जवाब देने में सबसे अच्छा था।

प्रतियोगियों को जज करने के लिए, शोधकर्ताओं ने केवल यह नहीं पूछा, "क्या आपको उत्तर पसंद आया?" इसके बजाय, उन्होंने तीन विशेषज्ञ डेंटिस्टों के एक पैनल की तरह सख्त स्कोरिंग नियमों का उपयोग किया। उन्होंने चार मुख्य चीजों को देखा:

1. सटीकता (Accuracy): क्या रोबोट ने सच बताया? (कल्पना कीजिए कि एक जज यह चेक कर रहा है कि रोबोट ने "विनियर्स पोर्सिलेन से बने हैं" बनाम "विनयर्स चॉकलेट से बने हैं" कहा है।)
2. विश्वसनीयता (Reliability): क्या आप स्रोत पर भरोसा कर सकते थे? क्या रोबोट ने समझाया कि वह उत्तर क्यों जानता था, या उसने सिर्फ अनुमान लगाया?
3. गुणवत्ता (Quality): क्या उत्तर मददगार और पूर्ण था, या यह एक अस्पष्ट, अधूरा जवाब था?
4. पठनीयता (Readability): क्या उत्तर सरल अंग्रेजी में लिखा गया था जिसे एक आम आदमी समझ सके, या यह बड़े शब्दों का एक भ्रमित करने वाला ढेर था?

परिणाम: ताज किसने जीता?

प्रतियोगिता कड़ी थी, और परिणामों ने दिखाया कि सभी AI रोबोट एक समान नहीं होते हैं। जजों ने चारों मॉडल्स के बीच सांख्यिकीय रूप से महत्वपूर्ण अंतर (statistically significant differences) पाया, जिसका अर्थ है कि विजेता केवल भाग्यशाली नहीं थे; वे वास्तव में अपने काम में बेहतर थे।

सटीकता और विश्वसनीयता का चैंपियन:
ChatGPT-5.3 mini सबसे सटीक और विश्वसनीय होने के लिए स्वर्ण पदक लेकर घर गया। इसने सटीकता के पैमाने पर उच्चतम स्कोर किया, औसतन 4.400 (5 में से)। इसने विश्वसनीयता की प्रतियोगिता में भी जीत हासिल की जिसका स्कोर 4.517 था और समग्र गुणवत्ता प्रतियोगिता में 4.400 रहा। सरल शब्दों में, यदि आपने ChatGPT-5.3 mini से विनियर्स के बारे में पूछा, तो इसकी संभावना सबसे अधिक थी कि यह आपको सही, भरोसेमंद और उच्च-गुणवत्ता वाली जानकारी दे।

"पढ़ने में आसान" का चैंपियन:
हालाँकि, सबसे बुद्धिमान होने का मतलब हमेशा यह नहीं होता कि आप समझने में भी सबसे आसान हों। यह खिताब Gemini-3.5 Flash को मिला। हालांकि यह सटीकता में दूसरे स्थान पर था, लेकिन इसने फ्लेश रीडिंग ईज़ स्कोर (FRES) के 38.92 के साथ "पठनीयता" की दौड़ जीती।
उस स्कोर के लिए यहाँ एक त्वरित उपमा दी गई है: FRES स्केल 0 (पढ़ने में असंभव) से 100 (एक नर्सरी राइम जितना आसान) तक जाता है। 38.92 का स्कोर अभी भी थोड़ा कठिन है—यह एक हाई स्कूल की पाठ्यपुस्तक पढ़ने जैसा है—लेकिन यह चारों में से सबसे आसानी से पढ़ा जाने वाला था। अन्य मॉडल्स को समझना बहुत कठिन था।

संघर्ष करता हुआ प्रतियोगी:
DeepSeek-V4 का दिन कठिन रहा। इसने लगभग हर श्रेणी में सबसे कम स्कोर किया। इसकी सटीकता 4.150 थी, इसकी विश्वसनीयता 3.517 थी, और इसकी गुणवत्ता 4.033 थी। लेकिन असली संघर्ष पठनीयता में था। DeepSeek-V4 का FRES स्कोर 25.33 था, जिसका अर्थ है कि इसके उत्तर एक बहुत ही सघन, जटिल शैली में लिखे गए थे जिन्हें बिना डिक्शनरी के अधिकांश लोगों के लिए समझना कठिन होगा।

मध्य मार्ग:
Microsoft Copilot बीच में कहीं लैंड हुआ। इसने अच्छा प्रदर्शन किया, लेकिन यह सटीकता या विश्वसनीयता में ChatGPT-5.3 mini को नहीं हरा सका, और न ही यह पठनीयता में Gemini को हरा सका।

यह आपके लिए क्या मायने रखता है

अध्ययन ने निष्कर्ष निकाला कि हालांकि AI चैटबॉट्स विनियर्स जैसे दंत उपचारों के बारे में सीखने के लिए शक्तिशाली उपकरण बनते जा रहे हैं, वे सभी एक जैसे नहीं हैं। ChatGPT-5.3 mini तथ्यों के लिए सबसे भरोसेमंद स्रोत साबित हुआ, जबकि Gemini-3.5 Flash "इंसानी भाषा" बोलने में सबसे अच्छा था।

हालाँकि, एक बड़ा "लेकिन" है। शोधकर्ताओं ने इस बात पर जोर दिया कि सबसे अच्छा AI रोबोट भी गलतियाँ कर सकता है या लक्ष्य से चूक सकता है। सिर्फ इसलिए कि एक रोबोट उत्तर देता है, इसका मतलब यह नहीं है कि वह परफेक्ट है। अध्ययन सुझाव देता है कि हालांकि ये उपकरण जानकारी की शुरुआत करने के लिए बेहतरीन हैं, आपको कभी भी इन्हें वास्तविक डेंटिस्ट का विकल्प नहीं बनाना चाहिए। तथ्यों की दोबारा जांच करने के लिए एक मानव विशेषज्ञ की अभी भी आवश्यकता है, क्योंकि आपकी मुस्कान की दुनिया में, सही होना केवल जल्दी उत्तर पाने से कहीं अधिक महत्वपूर्ण है।

अंत में, यह पेपर इस विचार को खारिज करता है कि सभी AI मॉडल्स एक जैसा प्रदर्शन करते हैं। इसके बजाय, यह दिखाता है कि आपके द्वारा प्राप्त जानकारी की गुणवत्ता पूरी तरह से इस बात पर निर्भर करती है कि आप किस रोबोट से पूछ रहे हैं। इसलिए, यदि आप विनियर्स के बारे में जानने के लिए उत्सुक हैं, तो तथ्यों के लिए सबसे स्मार्ट रोबोट से पूछना बेहतर हो सकता है, लेकिन उन्हें समझने में मदद के लिए शायद सबसे आसान-से-पढ़ने वाले रोबोट से पूछें—बस यह सुनिश्चित करें कि एक वास्तविक डेंटिस्ट अंतिम मंजूरी दे!