Comparative Reliability of Gemini and NotebookLM on AAPD Guideline-Based Pediatric Dentistry Multiple-Choice Questions: Accuracy, Consistency, and Error-Pattern Analysis

आधुनिक दंत चिकित्सा की दुनिया में, विशेष रूप से बच्चों का इलाज करते समय, डॉक्टर सही निर्णय लेने के लिए विस्तृत नियमपुस्तिकाओं पर भरोसा करते हैं। ये नियमपुस्तिकाएं, जिन्हें नैदानिक दिशानिर्देश (क्लिनिकल गाइडलाइन्स) कहा जाता है, बच्चों के दांतों में गहरे क्षय या संक्रमण जैसी जटिल स्थितियों से निपटने के लिए एक मानचित्र के रूप में कार्य करती हैं। वे चिकित्सकों को सटीक रूप से बताती हैं कि कौन से उपचार सबसे अच्छा काम करते हैं, वे कितने समय तक चलते हैं, और उन्हें किन बातों का ध्यान रखना चाहिए। हालाँकि, एक व्यस्त दिन या कक्षा के पाठ के दौरान इन लिखित नियमों को त्वरित, विश्वसनीय उत्तरों में बदलना हमेशा सरल नहीं होता है। हाल ही में, एक प्रकार का नया कंप्यूटर प्रोग्राम उभरा है, जिसे 'लार्ज लैंग्वेज मॉडल' कहा जाता है, जो इन ग्रंथों को पढ़ सकता है और तुरंत प्रश्नों के उत्तर दे सकता है। ये प्रोग्राम एक विशाल पुस्तकालय की तरह हैं जो आपसे बात कर सकते हैं, लेकिन वे कभी-कभी गलतियाँ कर सकते हैं या यदि आप उनसे एक ही प्रश्न दोबारा पूछें तो अपना विचार बदल सकते हैं। उन्हें अधिक भरोसेमंद बनाने के लिए, डेवलपर्स ने एक ऐसी विधि विकसित की है जहाँ कंप्यूटर को उत्तर देने से पहले एक विशिष्ट दस्तावेज़ को देखने के लिए मजबूर किया जाता है, जिससे यह सुनिश्चित होता है कि वह अनुमान लगाने के बजाय तथ्यों पर टिका रहे। शोधकर्ताओं के सामने चुनौती यह है कि क्या दस्तावेज़ की जाँच करने का यह अतिरिक्त चरण वास्तव में कंप्यूटर को अधिक विश्वसनीय बनाता है, या यह केवल इसे अधिक आत्मविश्वासी दिखाता है जबकि नए प्रकार की त्रुटियों को छिपा देता है।

शियानया स्टोमेटोलॉजिकल अस्पताल, चीन के शोधकर्ताओं की एक टीम ने इस विचार का परीक्षण करने के लिए एक विशिष्ट प्रश्नों के सेट का उपयोग करके एक परीक्षण किया, जो बच्चों के दांतों के उपचार के लिए 2024 के अमेरिकन एकेडमी ऑफ पीडियाट्रिक डेंटिस्ट्री के दिशानिर्देशों पर आधारित थे। उन्होंने कंप्यूटर को वास्तविक रोगियों का इलाज करने के लिए नहीं कहा; इसके बजाय, उन्होंने एक सिमुलेशन बनाया जहाँ कंप्यूटर को नब्बे बहुविकल्पीय प्रश्नों के उत्तर देने थे, जो चिकित्सा परीक्षाओं में पाए जाने वाले प्रश्नों के समान थे। प्रत्येक प्रश्न में बच्चे के दांत के बारे में एक परिदृश्य प्रस्तुत किया गया था और चार संभावित उत्तर दिए गए थे, जिनमें से केवल एक ही आधिकारिक दिशानिर्देशों के अनुसार सही विकल्प था। शोधकर्ता यह देखना चाहते थे कि कंप्यूटर का उपयोग करने के दो अलग-अलग तरीके कैसा प्रदर्शन करते हैं। पहला तरीका, एक मानक चैट था, जहाँ कंप्यूटर उन सभी चीज़ों के आधार पर उत्तर देता था जो उसने इंटरनेट और अपने प्रशिक्षण डेटा से सीखी थीं। दूसरे तरीके में 'नोटबुक एलएम' (NotebookLM) नामक टूल का उपयोग किया गया था, जिसे उत्तर देने से पहले वास्तविक दिशानिर्देश दस्तावेज़ को पढ़ने के लिए दिया गया था, जिससे उसे उस विशिष्ट पाठ के आधार पर अपनी प्रतिक्रिया देने के लिए मजबूर किया जा सके। परिणामों को केवल एक भाग्यशाली अनुमान होने से रोकने के लिए, शोधकर्ताओं ने प्रत्येक प्रश्न का उत्तर देने के लिए तीन अलग-अलग कंप्यूटर खातों का उपयोग किया, जिससे पैटर्न देखने के लिए सैकड़ों प्रतिक्रियाएँ उत्पन्न हुईं।

परिणामों से पता चला कि दोनों तरीके सही उत्तर देने में काफी अच्छे थे, लेकिन वे बहुत अलग तरह से व्यवहार करते थे। मानक चैट संस्करण लगभग नब्बे प्रतिशत समय सही उत्तर देने में सफल रहा। हालाँकि, यह असंगत था। जब तीन अलग-अलग खातों ने एक ही प्रश्न का उत्तर दिया, तो वे अक्सर एक-दूसरे से असहमत थे। लगभग छह में से एक बार, खाते अलग-अलग उत्तर देते थे, जो यह दर्शाता है कि कंप्यूटर अनिश्चित था या विकल्पों के बीच भटक रहा था। इसके विपरीत, दस्तावेज़ को पहले पढ़ने वाले संस्करण ने लगभग निन्यानवे प्रतिशत समय सही उत्तर दिया। इससे भी महत्वपूर्ण बात यह है कि यह पूरी तरह से सुसंगत था। हर बार जब तीन खातों ने एक प्रश्न का उत्तर दिया, तो उन्होंने बिल्कुल एक ही प्रतिक्रिया दी। यह सुझाव देता है कि कंप्यूटर को पढ़ने के लिए दस्तावेज़ देने से वह बहुत अधिक स्थिर हो गया और उसका मन बदलने की संभावना कम हो गई, भले ही वह अनिवार्य रूप से पूर्ण नहीं हुआ।

हालाँकि, शोधकर्ताओं ने पाया कि यह स्थिरता एक छिपे हुए पहलू के साथ आती है। जबकि मानक चैट एक प्रयास से दूसरे प्रयास में बदलती हुई गलतियाँ करता था, दस्तावेज़-पढ़ने वाले संस्करण ने एक ऐसी गलती की जो हर बार एक जैसी थी। 'केमोमैकेनिकल कैरीज रिमूवल' बनाम 'रोटरी-बोर कैरीज रिमूवल' की तुलना करने वाले एक विशिष्ट प्रश्न के लिए, दस्तावेज़-पढ़ने वाले टूल के तीनों खातों ने एक ही गलत उत्तर दिया। यह एक महत्वपूर्ण जोखिम है। जब कंप्यूटर हर प्रयास में अलग-अलग गलत उत्तर देता है, तो उपयोगकर्ता भ्रम को पहचान सकता है और समझ सकता है कि कुछ गलत है। लेकिन जब कंप्यूटर हर बार एक ही गलत उत्तर देता है, और ऐसा करते समय एक दस्तावेज़ का हवाला देता है, तो यह बहुत आधिकारिक और विश्वसनीय दिखता है। त्रुटि सुसंगत और आत्मविश्वासी है, जिससे यह पहचानना बहुत कठिन हो जाता है कि जानकारी गलत है। अध्ययन में पाया गया कि ये त्रुटियाँ उन प्रश्नों पर होती थीं जिनमें संख्याओं की तुलना करने की आवश्यकता होती थी, जैसे सफलता दर या विभिन्न उपकरणों की प्रभावशीलता, न कि सरल तथ्यों पर।

अध्ययन यह निष्कर्ष निकालता है कि केवल कंप्यूटर को दस्तावेज़ पढ़ने के लिए कहने से यह गारंटी नहीं मिलती कि वह जानकारी को पूरी तरह से समझ लेगा। इसके बजाय, इस पद्धति का मुख्य लाभ यह है कि यह कंप्यूटर को अप्रत्याशित होने से रोकता है। यह एक ऐसी प्रणाली बनाता है जो स्थिर और दोहराने योग्य है, जो शिक्षा और प्रशिक्षण के लिए मूल्यवान है। फिर भी, यह स्थिरता यह अर्थ देती है कि यदि सिस्टम कुछ गलत करता है, तो वह त्रुटि लगातार दोहराई जाएगी, जिससे उन उपयोगकर्ताओं को गुमराह किया जा सकता है जो कंप्यूटर पर बहुत अधिक भरोसा करते हैं। शोधकर्ता सुझाव देते हैं कि हमें केवल इस बात पर नहीं देखना चाहिए कि कंप्यूटर कितनी बार सही उत्तर देता है, बल्कि इस पर भी देखना चाहिए कि वह गलत होने पर कैसा व्यवहार करता है। भविष्य में, चिकित्सा निर्णयों के लिए उपयोग किए जाने वाले उपकरणों का मूल्यांकन न केवल उनकी सटीकता पर, बल्कि इस पर भी किया जाना चाहिए कि उनकी गलतियाँ स्पष्ट हैं या छिपी हुई, और क्या वे दोबारा पूछे जाने पर स्थिर रहने के लिए भरोसेमंद हैं। यह दृष्टिकोण यह सुनिश्चित करने में मदद करता है कि जैसे-जैसे हम इन शक्तिशाली उपकरणों को कक्षाओं और क्लीनिकों में लाते हैं, हम उनकी शक्तियों और उनके विफल होने के विशिष्ट तरीकों, दोनों को समझ सकें।