Comparative Reliability of Gemini and NotebookLM on AAPD Guideline-Based Pediatric Dentistry Multiple-Choice Questions: Accuracy, Consistency, and Error-Pattern Analysis

في عالم طب الأسنان الحديث، وخاصة عند علاج الأطفال، يعتمد الأطباء على كتب قواعد مفصلة لاتخاذ القرارات الصحيحة. تعمل كتب القواعد هذه، المعروفة باسم الإرشادات السريرية، كخريطة للتنقل في المواقف المعقدة مثل تسوس الأسنان العميق أو التهابات الأسنان اللبنية. فهي تخبر الممارسين بالضبط ما هي العلاجات التي تعمل بشكل أفضل، وكم تستمر، وما الذي يجب مراقبته. ومع ذلك، فإن تحويل هذه القواعد المكتوبة إلى إجابات سريعة وموثوقة أثناء يوم عمل مزدحم أو درس تعليمي ليس بالأمر السهل دائمًا. مؤخرًا، ظهر نوع جديد من برامج الكمبيوتر، يُسمى نموذج اللغة الكبير، كأداة يمكنها قراءة هذه النصوص والإجابة على الأسئلة فورًا. هذه البرامج تشبه مكتبات شاسعة يمكنها التحدث إليك، لكنها أحيانًا ترتكب أخطاء أو تغير رأيها إذا سألتها السؤال نفسه مرتين. ولجعلها أكثر موثوقية، طور المطورون طريقة تجبر الكمبيوتر على النظر في وثيقة محددة قبل الإجابة، مما يضمن التزامه بالحقائق بدلاً من التخمين. والسؤال الذي يواجه الباحثين هو ما إذا كانت هذه الخطوة الإضافية من فحص الوثيقة تجعل الكمبيوتر أكثر موثوقية حقًا، أم أنها تجعله يبدو فقط أكثر ثقة بينما تخفي أنواعًا جديدة من الأخطاء.

وضع فريق من الباحثين من مستشفى شيانغيا لطب الأسنان في الصين نصب أعينهم اختبار هذه الفكرة باستخدام مجموعة محددة من الأسئلة المستندة إلى إرشادات الأكاديمية الأمريكية لطب أسنان الأطفال لعام 2024 لعلاج الأسنان اللبنية. لم يطلبوا من الكمبيوتر علاج مرضى حقيقيين؛ بل أنشأوا محاكاة حيث كان على الكمبيوتر الإجابة على تسعين سؤالًا من نوع الاختيار من متعدد، تشبه تلك الموجودة في الامتحانات الطبية. قدم كل سؤال سيناريو حول سن طفل وقدم أربعة خيارات ممكنة، مع وجود خيار واحد فقط صحيح وفقًا للإرشادات الرسمية. أراد الباحثون معرفة كيف سيؤدي أسلوبان مختلفان لاستخدام الكمبيوتر. الطريقة الأولى كانت دردشة قياسية، حيث يجيب الكمبيوتر بناءً على كل ما تعلمه من الإنترنت وبيانات التدريب الخاصة به. أما الطريقة الثانية فقد استخدمت أداة تسمى NotebookLM، والتي أُعطيت وثيقة الإرشادات الفعلية لقراءتها قبل الإجابة، مما يجبرها على تأصيل استجابتها في ذلك النص المحدد. ولضمان أن النتائج ليست مجرد تخمين محظوظ، طلب الباحثون من ثلاثة حسابات كمبيوتر مختلفة الإجابة على كل سؤال، مما أنتج مئات الاستجابات للبحث عن الأنماط.

أظهرت النتائج أن كلا الطريقتين كانتا جيدتين جدًا في الحصول على الإجابة الصحيحة، لكنهما تصرفتا بطرق مختلفة تمامًا. حصلت نسخة الدردشة القياسية على معظم الإجابات الصحيحة بنسبة تسعة وتسعين بالمائة تقريبًا. ومع ذلك، فقد كانت غير متسقة. فعندما أجابت الحسابات الثلاثة المختلفة على نفس السؤال، كانت غالبًا ما تختلف مع بعضها البعض. ففي حوالي حالة واحدة من كل ست حالات، كانت الحسابات تعطي إجابات مختلفة، مما يشير إلى أن الكمبيوتر كان غير متأكد أو يتأرجح بين الخيارات. في المقابل، النسخة التي قرأت الوثيقة أولاً حصلت على الإجابة الصحيحة بنسبة تقترب من تسعة وتسعين بالمائة في المرة الواحدة. والأهم من ذلك، أنها كانت متسقة تمامًا. في كل مرة أجابت فيها الحسابات الثلاثة على سؤال، كانت تعطي الاستجابة ذاتها بالضبط. وهذا يشير إلى أن إعطاء الكمبيوتر الوثيقة ليقرأها جعله أكثر استقرارًا وأقل عرضة لتغيير رأيه، على الرغم من أن ذلك لم يجعله مثاليًا بالضرو‌رة.

ومع ذلك، وجد الباحثون أن هذا الاستقرار جاء مع ضريبة خفية. فبينما كانت الدردشة القياسية ترتكب أخطاءً تتنوع من محاولة إلى أخرى، فإن نسخة قراءة الوثيقة كانت ترتكب خطأً واحدًا هو نفسه في كل مرة. فبالنسبة لسؤال محدد يقارن بين إزالة التسوس الكيميائية الميكانيكية مقابل إزالة التسوس بالمثقاب الدوار، أعطت جميع الحسابات الثلاثة لأداة قراءة الوثيقة الإجابة الخاطئة نفسها. وهذا فرق كبير في المخاطر. فعندما يعطي الكمبيوتر إجابات خاطئة متنوعة، قد يلاحظ المستخدم الارتباك ويدرك أن هناك خطأ ما. ولكن عندما يعطي الكمبيوتر الإجابة الخاطئة نفسها في كل مرة، ويفعل ذلك أثناء الاستشهاد بوثيقة، فإنه يبدو ذا سلطة وموثوقية عالية جدًا. الخطأ ثابت وواثق، مما يجعل من الصعب جدًا على الطالب أو الطبيب ملاحظة أن المعلومات غير صحيحة. ووجدت الدراسة أن هذه الأخطاء تميل للحدوث في الأسئلة التي تتطلب مقارنة الأرقام، مثل معدلات النجاح أو فعالية الأدوات المختلفة، بدلاً من الحقائق البسيطة.

تخلص الدراسة إلى أن مجرد طلب قراءة الكمبيوتر لوثيقة لا يضمن أنه سيفهم المعلومات بشكل مثالي. بدلاً من ذلك، الفائدة الرئيسية لهذه الطة هي أنها تمنع الكمبيوتر من أن يكون غير متوقع. إنها تخلق نظامًا ثابتًا وقابلاً للتكرار، وهو أمر قيم للتعليم والتدريب. ومع ذلك، فإن هذا الثبات يعني أنه إذا أخطأ النظام، فإن هذا الخطأ سيتكرر باستمرار، مما قد يضلل المستخدمين الذين يثقون في الكمبيوتر أكثر من اللازم. ويقترح الباحثون أنه لا ينبغي لنا فقط النظر في عدد المرات التي يحصل فيها الكمبيوتر على الإجابة الصحيحة، بل يجب أيضًا النظر في كيفية تصرفه عندما يخطئ. وفي المستقبل، يجب تقييم الأدوات المستخدمة في القرارات الطبية ليس فقط بناءً على دقتها، بل أيضًا بناءً على ما إذا كانت أخطاؤها واضحة أم مخفية، وما إذا كان يمكن الوثوق بها للبقاء ثابتة عند سؤالها مرة أخرى. يساعد هذا النهج في ضمان أنه بينما نجلب هذه الأدوات القوية إلى الفصول الدراسية والعيادات، فإننا نفهم نقاط قوتها والطرق المحددة التي قد تفشل بها.