Evaluating AI Chatbots as Patient Education Tools for Dental Trauma: A Cross-Sectional Comparison of Information Quality and Readability
وجدت هذه الدراسة المستعرضة التي تقيم خمسة من روبوتات الدردشة المدعومة بالذكاء الاصطناعي لغرض التثقيف حول إصابات الأسنان أنه على الرغم من توليدها لمعلومات منظمة بشكل جيد عموماً، إلا أن أوجه القصور الكبيرة في شفافية المصادر وسهولة القراءة تمنعها من استبدال التقييم السريري المهني، مما يضعها بدلاً من ذلك كأدوات مساعدة تتطلب مراجعة بشرية.
عندما يُخلع سن أو يُكسر أو يتخلخل، تكون الساعات التي تلي ذلك حاسمة. فغالباً ما تعتمد النتيجة على مدى سرعة الشخص في طلب المساعدة المهنية وما إذا كان يتبع الخطوات الصحيحة للحفاظ على السن المصاب قبل الوصول إلى طبيب الأسنان. وفي لحظات الذعر أو الألم أو الارتباك، يلجأ الكثير من الناس إلى الإنترنت للحصول على إجابات فورية؛ فيسألون أسئلة مثل: "كيف يجب أن أخزن سناً مخلوعاً؟" أو "متى يجب أن أصل إلى المستشفى؟". ولعقود من الزمن، كانت جودة الإجابات الموجودة على الويب مزيجاً متفاوتاً، تراوحت بين النصائح الطبية الخبيرة والمعلومات المضللة الخطيرة. واليوم، ظهر نوع جديد من المساعدين الرقميين: روبوت الدردشة القائم على الذكاء الاصطناعي. هذه البرامج الحاسوبية مدربة على كميات هائلة من النصوص التي يمكنها إجراء محادثات وتوليد استجابات مفصلة لأي سؤال تقريباً. وبينما تقدم هذه الروبوتات وعداً بمعلومات فورية ومنظمة، يظل هناك سؤال جوهري دون إجابة: هل يمكن الوثوق بهذه الآلات لإرشاد شخص ما خلال حالة طوارئ طبية للأسنان، أم أنها تكتفي فقط بالظهور بمظهر الواثق بينما تغفل عن تفاصيل حيوية؟
لقد وضع فريق من الباحثين من مستشفيات في مدينة سوزو بالصين، هدفاً لاختبار مدى موثوقية هؤلاء المساعدين الرقميين خصيصاً فيما يتعلق بإصابات الأسنان (الرضوض السنية). لم يقم الفريق بطرح أسئلة عشوائية على روبوتات الدردشة، بل صمموا اختباراً صارماً قائماً على الاحتياجات الواقعية. جمع الفريق اثني عشر سؤالاً محدداً يطرحها المرضى ومقدمو الرعاية فعلياً، مستمدين إياها من الإرشادات الدولية الرسمية لطب الأسنان، والتجارب اليومية لأطباء الأسنان الممارسين، والمخاوف الشائعة الموجودة في المنتديات الصينية على الإنترنت. غطت هذه الأسئلة كل شيء، بدءاً من كيفية التعامل مع جزء مكسور من السن وصولاً إلى فهم الآثار طويلة المدى للإصابة على الأسنان الدائمة للطفل. ثم قاموا بتغذية هذه الأسئلة الاثني عشر نفسها لخمسة من أشهر روبوتات الدردشة القائمة على الذكاء الاصطناعي المتاحة في ذلك الوقت، وهي: GPT وClaude وMicrosoft Copilot وDeepSeek وKimi. وقد نتج عن ذلك ستون استجابة مختلفة مختلفة للتقييم.
وللحكم على الإجابات، عمل الباحثون كممتحنين محايدين، مستخدمين أربع أدوات متميزة مصممة لقياس جوانب مختلفة من المعلومات الصحية. فقد نظروا في مدى جودة شرح الإجابات لخيارات العلاج ومناقشة المخاطر، ومدى فائدة ووضوح المحتوى التعليمي للمريض، وما إذا كانت المعلومات منظمة بطريقة مفيدة. ولعل الأهم من ذلك هو أنهم تحققوا من الشفافية: هل أخبر روبوت الدردشة المستخدم بمصدر معلوماته، ومن كتبها، ومتى تم تحديثها لآخر مرة؟ كما قاسوا مدى سهولة قراءة النص، مستهدفين مستوى يمكن لشخص حاصل على تعليم في الصف السادس الابتدائي فهمه بسهولة. وهذا توصية معيارية للمواد الصحية، لضمان أن يتمكن حتى أولئ-ك الذين يعيشون تحت الضغط أو لديهم مهارات قراءة محدودة من استيعاب التعليمات.
كشفت النتائج عن صورة معقدة تجمع بين القدرة والقصور الكبير. لم تكن روبوتات الدردشة متساوية جميعاً؛ فقد كان بعضها يؤدي بشكل أفضل من غيره اعتماداً على ما يتم قياسه. قدم أحد النماذج، وهو Microsoft Copilot، المعلومات الأكثر موثوقية فيما يتعلق بخيارات العلاج ومناقشة المخاطر، بينما أنتج نموذج آخر، وهو DeepSeek، المحتوى التعليمي الأكثر ملاءمة للمرضى. ومع ذلك، لم يتفوق أي روبوت دردشة واحد في كل شيء. وظهرت نتيجة أكثر إثارة للقلق عندما تحقق الباحثون من المصادر والتواريخ؛ فقد فشلت جميع روبوتات الدردلة، دون استثناء، في تقديم أي استشهاد أو اسم مؤلف أو تاريخ نشر. لقد قدموا نصائح تبدو واثقة ولكنهم لم يوفروا أي وسيلة للمستخدم للتحقق مما إذا كانت تلك النصيحة حديثة أو من أين نشأت. وفي عالم المعلومات الطبية، يعد هذا النقص في "الإثبات" علامة خطر كبرى، حيث تتغير الإرشادات الخاصة بعلاج إصابات الأسنان مع ظهور علوم جديدة.
وشكلت سهولة قراءة الإجابات عقبة أخرى. فعلى الرغم من الهدف المتمثل في جعل المعلومات بسيطة، إلا أن النصوص التي ولدتها جميع النماذج الخمسة كانت معقدة للغاية بالنسبة للشخص العادي لقراءتها بسهولة. كانت الجمل طويلة، والمفردات تقنية، ومستوى القراءة العام كان أعلى بك mycket من معيار الصف السادس الموصى به. وبدلاً من تقديم تعليمات بسية ومباشرة مثل "ضع السن في الحليب"، غالباً ما أنتجت روبوتات الدردشة فقرات مليئة بالمصطلحات الطبية وهياكل جمل معقدة. وهذا يشير إلى أنه بينما تستطيع الآلات تجميع المعلومات، فإنها تكافح لترجمتها إلى اللغة البسيطة التي يحتاجها والد مذعور أو مريض مصاب في حالة طوارئ.
تخلص الدراسة إلى أن أدوات الذكاء الاصطناعي هذه ليست جاهزة حالياً لتحل محل طبيب الأسنان أو الطبيب في حالات الأزمات. يمكنها توليد معلومات منظمة جيداً ولها بعض القيمة التعليمية، لكن عدم قدرتها على الاستشهاد بالمصادر وميلها لاستخدام لغة صعبة يجعلها غير آمنة للاستخدام بمفردها. ويقترح الباحثون ضرورة استخدام روبوتات الدردشة هذه كمكمل للرعاية المهنية فقط، حيث يمكن لخبير بشري مراجعة المعلومات، وتصحيح أي أخطاء، وشرح التفاصيل بطريقة يستطيع المريض فهمها. وإلى أن تتمكن هذه الأنظمة من إخبار المستخدمين بموثوقية مصدر معلوماتها والتحدث بكلمات واضحة وبسيطة، يظل أفضل مسار للعمل لأي شخص يعاني من إصابة في الأسنان هو نفسه: البحث عن تقييم مهني فوري.
ملخص تقني: تقييم روبوتات الدردشة القائمة على الذكاء الاصطناعي كأدوات لتثقيف المرضى حول صدمات الأسنان
بيان المشكلة تتطلب صدمات الأسنان إدارة دقيقة وحساسة للوقت، ومع ذلك يلجأ المرضى ومقدمو الرعاية بشكل متكرر إلى الإنترنت للحصول على إرشادات فورية عند عدم توفر المساعدة المهنية. وبينما يوفر الذكاء الاصط์ناعي التوليدي والنماذج اللغوية الكبيرة (LLMs) معلومات صحية مهيكلة وحوارية، إلا أن موثوقيتها، وشفافية مصادرها، ومدى قابليتها للقراءة لأغراض تثقيف المرضى لا تزال غير مقيمة بشكل كافٍ في سياق صدمات الأسنان. تشير الأدبيات الحالية إلى وجود تباين كبير في جودة المعلومات بين النماذج، وميل المحتوى المولد لتجاوز مستويات القراءة الموصى بها، مما قد يعيق الاستيعاب لدى المستخدمين الذين لديهم ثقافة صحية محدودة. تعالج هذه الدراسة الفجوة في الأدلة المتعلقة بجودة وشفافية وسهولة الوصول إلى معلومات صدمات الأسنان الناتجة عن الذكاء الاصطناعي عبر نماذج متعددة من روبوتات الدردشة واسعة الاستخدام.
المنهجية أُجريت هذه الدراسة المقطعية المقارنة عبر الويب في 20 يوليو 2026. استخدم البحث نهجاً منظماً متعدد المراحل:
تطوير مجموعة الأسئلة: تم اشتقاق مجموعة أولية مكونة من 20 سؤالاً مرشحاً من إرشادات الجمعية الدولية لصدمات الأسنان (IADT)، ومدخلات الممارسة السريرية، واستعلامات البحث عبر الإنترنت (Baidu وZhihu). قامت لجنة من ستة أطراف معنية (أطباء، ممرضون، ومرضى) بتقييم هذه الأسئلة باستخدام مقياس ليكرت الخماسي. تم الاحتفاظ باثني عشر سؤالاً بمتوسط درجة أهمية ≥ 4 للدراسة.
نماذج الذكاء الاصطناعي التي تم تقييمها: تم اختبار خمسة من روبوتات الدردشة واسعة الاستخدام: GPT-5.6-sol، وClaude-Sonnet-4.6، وMicrosoft Copilot، وDeepSeek-v4-pro، وKimi-k3. تم تقديم كل سؤال من الأسئلة الاثني عشر إلى جميع النماذج الخمسة في جلسات جديدة مع مسح ذاكرة التخزين المؤقت والإعدادات الافتراضية لتقليل التحيز السياقي، مما أنتج إجمالي 60 استجابة.
تقييم الجودة والشفافية: تم تقييم الاستجابات باستخدام أربع أدوات معتمدة:
DISCERN: لتقييم المصادر، وجودة المحتوى، وتوازن المعلومات المتعلقة باختيار العلاج (مقياس 16–75).
EQIP (ضمان جودة المعلومات للمرضى): لتقييم المحتوى، والعرض، وسهولة الاستخدام (مقياس 0–100%).
مقياس الجودة العالمية (GQS): لتقديم تقييم ذاتي للجودة العامة والفائدة (مقياس 1–5).
ملاحظة: قام مقيّمان بخلفيات في طب الأسنان بتسجيل الاستجابات بشكل مستقل، مع تأكيد الموثوقية بين المقيمين عبر معامل الارتباط داخل الفئة (ICC) ومعامل كوهين كابا (κ).
تقييم سهولة القراءة: تم حساب ستة مؤشرات لسهولة القراءة باللغة الإنجليزية باستخدام لغة Python: مؤشر القراءة الآلية (ARI)، ومؤشر غانينج فوج (GFI)، ومستوى غريغ كينكيد (FKGL)، ومؤشر كولمان-لياو (CI)، والمقياس البسيط للكلمات غير المفهومة (SMOG)، ودرجة سهولة القراءة فليش (FRES). قارنت الدراسة النتائج بمعيار المستوى السادس من القراءة (FRES ≥ 80؛ وجميع مؤشرات المستوى الدراسي < 6).
التحليل الإحصائي: تم استخدام اختبار كروسكال-واليس للمقارنة بين المقاييس عبر النماذج، متبوعاً باختبارات دان (Dunn's) الثنائية مع تصحيح بونفيروني. كما تم الإبلاغ عن أحجام التأثير (ε²).
النتائج الرئيسية
تباين جودة المعلومات: وُجدت فروق ذات دلالة إحصائية بين النماذج فيما يخص DISCERN (P = 0.030)، وEQIP (P = 0.011)، وGQS (P = 0.028).
DISCERN: حقق Microsoft Copilot أعلى متوسط درجة (44.00)، وصُنّف كـ "جيد"، بينما سجل Claude أدنى درجة (38.00)، وصُنّف كـ "ضعيف". لم يحقق أي نموذج تصنيف "جيد" أو "ممتاز".
EQIP: حقق DeepSeek أعلى متوسط درجة (65.00)، بينما سجل Claude وGPT أدنى درجات (55.00). وقعت جميع النماذج ضمن فئة "جيد" (51%–75%)، لكنها أشارت إلى الحاجة للتحسين.
GQS: تشاركت أربعة نماذج (Claude، GPT، Copilot، Kimi) في متوسط درجة قدره 4.00 ("جيد")، بينما سجل DeepSeek 3.50.
نقص الشفافية: حصلت جميع النماذج الخمسة على متوسط درجة JAMA قدره 0. يشير هذا إلى الغياب التام لنسب التأليف، والاستشهاد بالمصادر، والإفصاح عن تضارب المصالح، ومعلومات الحداثة عبر جميع الاستجابات الستين.
إخفاقات سهولة القراءة: لم يستوفِ أي نموذج معيار القراءة في المستوى السادس المحدد مسبقاً.
كانت جميع القيم المتوسطة لمؤشرات المستوى الدراسي (ARI، GFI، FKGL، CI، SMOG) ≥ 6 لكل نموذج.
تراوحت القيم المتوسطة لدرجات سهولة القراءة فليش (FRES) بين 40.98 و51.53، وهي أقل بكثير من الهدف المطلوب (≥ 80).
تفاوتت التصنيفات حسب المؤشر: سجل DeepSeek أدنى متوسط ARI، بينما سجل Kimi أدنى درجات في GFI وFKGL وSMOG. سجل Claude أدنى متوسط لـ CI وأعلى متوسط لـ FRES. لم يكن هناك نموذج واحد هو الأكثر سهولة في القراءة عبر جميع الصيغ.
المساهمات الرئيسية
تقييم شامل متعدد الأبعاد: تقدم الدراسة مقارنة منهجية نادرة لخمسة نماذج ذكاء اصطناعي متميزة خصيصاً لأسئلة صدمات الأسنان، باستخدام مزيج قوي من مقاييس الجودة (DISCERN، EQIP، GQS)، والشفافية (JAMA)، وسهولة القراءة.
تحديد الفجوات النظامية في الشفافية: يسلط البحث الض الضوء على فشل موحد وحرج لجميع النماذج التي تم تقييمها في توفير نسب المصدر أو معلومات الحداثة، وهو اكتشاف يتحدى الموثوقية المتصورة للنصائح الطبية المولدة بالذكاء الاصطناعي.
معايرة سهولة القراءة: تؤكد الدراسة أن نماذج الذكاء الاصطناعي التوليدية الحالية تنتج باستمرار نصوصاً تتجاوز مستوى القراءة الموصى به لمواد تثقيف المرضى، مما قد يخلق حواجز أمام المرضى ذوي الثقافة الصحية المحدودة.
اختيار الأسئلة المدفوع بأصحاب المصلحة: من خلال إشراك المرضى والممرضين والأطباء في عملية اختيار الأسئلة، تضمن الدراسة أن المحتوى الذي تم تقييمه يعالج المخاوف السريرية والقلق لدى المرضى في العالم الحقيقي.
الأهمية والادعاءات تخلص الورقة إلى أنه بينما يمكن لروبوتات الدردشة الحالية توليد معلومات منظمة جيداً وتعليمية نوعاً ما فيما يتعلق بصدمات الأسنان، إلا أنها تمتلك قيوداً كبيرة تمنع استخدامها المستقل كأدوات لتثقيف المرضى. وتحديداً:
دور تكميلي فقط: يجب أن تعمل مخرجات الذكاء الاصطناعي حصرياً كمواد تكميلية مراجعة مهنياً لتثقيف المرضى، وليس كبديل للتقييم السريري الفوري أو الإدارة الفردية.
خطر سوء التفسير: قد يؤدي غياب شفافية المصدر (درجة JAMA تبلغ 0) وتعقيد القراءة المفرط إلى جعل المستخدمين يبالغون في تقدير سلطة المعلومات، مما قد يؤدي إلى تأخير الرعاية المهنية الضرورية.
الحاجة إلى التطوير: يجب على المطورين إعطاء الأولوية لإمكانية تتبع المصادر، والإفصاح عن الحداثة، والتبسيط باللغة البسيطة بدلاً من مجرد الطلاقة. تقترح المؤلفة ضرلوجوب ربط النماذج المستقبلية بقواعد معرفية منسقة ومراجعة من قبل الخبراء وتضمين ملصقات العجلة للحالات عالية الخطورة.
التوجيه السريري: يُنصح ممارسو الرعاية الصحية بالاستفسار عن استخدام المرضى للمعلومات المولدة بالذكاء الاصطناعي لمعالة المفاهيم الخاطئة وتوفير مواد مراجعة من قبل الخبراء ذات مصادر واضحة.
تدعي الدراسة بتواضع أن نتائجها توجه التكامل الآمن للذكاء الاصطناعي التوليدي في رعاية الأسنان وتسلط الضوء على مجالات محددة لتحسين النماذج، دون التأكيد على أن النماذج الحالية جاهزة لدعم القرار السريري المستقل.