Performance of Large Language Models in Providing Patient-Oriented Information on Gingival Recession: A Comparative Study
وجدت هذه الدراسة المقارنة أنه في حين قدم كل من ChatGPT وGoogle Gemini وClaude معلومات متشابهة في الدقة والشمولية للمرضى حول تراجع اللثة، فقد فضل المقيمون الخبراء Gemini وClaude رغم سرعة استجابة ChatGPT الأكبر وإيجازها.
يلجأ المرضى بشكل متزايد إلى الذكاء الاصطناعي لفهم حالتهم الصحية، حيث يسألون برامج الدردشة الآلية عن نصائح تشمل كل شيء، من نزلات البرد الشائعة إلى الحالات السنية المعقدة. هذه الأدوات، المعروفة بنماذج اللغات الكبيرة، مصممة للتحدث بلغة طبيعية، وتقديم إجابات مباشرة بدلاً من مجرد قائمة من روابط البحث. وتعد حالة تراجع اللثة مثالاً على ذلك، وهي تحدث عندما تتراجع أنسجة اللثة التي تحيط بالأسنان، مما يؤدي إلى كشف جذر السن. ويمكن أن يؤدي هذا الانكشاف إلى الحساسية، والتسوس، ومخاوف جمالية، مما يدفع الكثير من الناس للبحث عن معلومات عبر الإنترنت قبل زيارة طبيب الأسنان. وبينما تعد هذه المساعدات الرقمية بسد الفجوة بين المرضى والمعرفة الطبية، تظل التساؤلات قائمة حول ما إذا كانت توفر معلومات موثوقة وكاملة وآمنة، خاصة في المسائل السنية المحددة حيث تبرز أهمية الدقة.
وقد وضعت دراسة حديثة هدفاً لاختبار مدى جودة تعامل ثلاثة من أنظمة الذكاء الاصطناعي الرائدة مع الأسئلة المتعلقة بتراجع اللثة. ركز الباحثون على "ChatGPT" و"Google Gemini" و"Claude"، حيث وجهوا لكل منهم نفس العشرين سؤالاً التي قد يطرحها مريض نموذجي. غطت هذه الاستفسارات أسباب الحالة، وخيارات العلاج، والمخاطر، وما يمكن توقعه بعد الجراحة. ولضمان تقييم الإجابات بإنصاف، قام خمسة متخصصين معتمدين في صحة اللثة بمراجعة كل استجابة دون معرفة أي برنامج حاسوبي هو الذي أنتجها. وقد قيم الخبراء الإجابات بناءً على مدى صحتها الواقعية، ومدى اكتمال المعلومات، وكيف صُنفت النماذج مقابل بعضها البعض من حيث الجودة الإجمالية. كما قاموا بقياس الوقت الذي استغرقه كل نظام لكتابة إجابته وعدّ عدد الكلمات المستخدمة.
وأظهرت النتائج أن جميع نماذج الذكاء الاصطناعي الثلاثة كان أداؤها جيداً بشكل ملحو-ظ جداً عندما تعلق الأمر بالحقائق الجوهرية. لم يكن هناك فرق جوهري في دقة أو اكتمال المعلومات المقدمة من ChatGPT أو Gemini أو Claude. فقد تمكن كل نظام من توليد استجابات وجدها الخبراء مقبولة سريرياً، حيث سجلت معظم الإجابات درجات عالية في الصحة. ومع ذلك، اختلفت النماذج بشكل ملحوظ في كيفية تقديم تلك المعلومات. كان ChatGPT الأسرع، حيث أنتج إجاباته في أقل من ست ثوانٍ في المتوسط، بينما استغرق Claude ما يقرب من خمس عشرة ثانية. كما كتب ChatGPT الإجابات الأكثر إيجازاً، بمتوسط 232 كلمة لكل إجابة. وفي المقابل، أنتج Gemini الإجابات الأطول، بمتوسط 438 كلمة، بينما وقع Claude في مكان ما بينهما.
وعلى الرغم من تشابه جودة الحقائق، فقد فضل الخبراء البشريون طريقة عرض المعلومات. فعندما طُلب منهم ترتيب الإجابات من الأفضل إلى الأسوأ، تم اختيار Gemini وClaude كأفضل استجابة في حالات أكثر من ChatGPT. حيث اختار الخبراء Gemini وClaude كأفضل إجابة في 38 بالمئة من الحالات، بينما احتلت ChatGPT المرتبة الأولى في 24 بالمئة فقط من التقييمات. ويشير هذا إلى أنه بينما كان ChatGPT أسرع وأكثر إيجازاً، إلا أن النموذجين الآخرين قدما أسلوب شرح وجده المتخصصون أكثر شمولاً أو تنظيماً. كما وجدت الدراسة أن النماذج الثلاثة كانت جيدة بشكل خاص في الإجابة على الأسئلة المتعلقة برعاية ما بعد الجراحة وتعليمات المتابعة، ويرجع ذلك على الأرجح إلى أن هذه المواضيع تعتمد على إرشادات معيارية. وكانت أقل اتساقاً عند مناقشة التشخيص المحدد أو مدى ملاءمة المريض للعلاج، وهو ما يتطلب حكماً شخصياً أكثر دقة.
وفي الختام، تخلص الدراسة إلى أن أدوات الذكاء الاصطناعي هذه أصبحت موثوقة بما يكفي لتعمل كمكملات مفيدة لتثقيف المرضى. فهي تستطيع تقديم معلومات دقيقة ومفصلة حول تراجع اللثة تتماشى مع المعايير المهنية. ومع ذلك، يؤكد الباحثون على أن هذه الأدوات يجب أن تدعم، لا أن تحل محل، الاستشارة الطبية لدى طبيب الأسنان. ويبدو أن النهج الأمثل يتمثل في استخدام هذه الأنظمة السريعة والمعرفية للحصول على فهم عام للحالة، مع الاعتماد على الخبير البشني لتفسير تلك المعلومات في سياق الاحتياجات الصحية الفردية لكل شخص.
ملخص تقني: أداء النماذج اللغوية الكبيرة في تقديم المعلومات الموجهة للمرضى حول تراجع اللثة
بيان المشكلة أدى التكامل السريع للنماذج اللغوية الكبيرة (LLMs) في مجال الرعاية الصحية إلى تحويل كيفية وصول المرضى إلى المعلومات الطبية وطب الأسنان. وبينما توفر نماذج مثل ChatGPT وGoogle Gemini وClaude إجابات مباشرة وسياقية تغني المستخدم عن الحاجة لتفسير نتائج بحث متعددة، لا تزال المخاوف قائمة بشأن دقة واكتمال وموثوقية مخرجاتها، لا سيما في الحالات السريرية التي قد تؤثر فيها المعلومات المغلوطة على قرارات العلاج. وتحديداً، يفتقر "تراجع اللثة" (GR) — وهو حالة مخاطية لثوية شائعة تتضمن انكشاف سطح الجذر وترتبط بالحساسية، وتسوس الأسنان، والمخاوف الجمالية — إلى بيانات مقارنة شاملة حول كيفية أداء النماذج اللغوية الكبيرة المعاصرة عند معالجة الاستفسارات التي تركز على المريض. وقد أشارت دراسات سابقة إلى أن الاستجابات المتعلقة بتراجع اللثة غالباً ما تحصل على درجات دقة أقل مقارم بمواضيع أمراض اللثة الأخرى، كما تفتقر دراسات قليلة إلى تقييم عدة نماذج في وقت واحد من حيث الدقة، والاكتمال، ووقت الاستجابة، والطول، وتفضيل الخبراء.
المنهجية استخدمت هذه الدراسة تصميماً وصفياً مقارناً لتقييم ثلاثة من أبرز النماذج اللغوية الكبيرة: ChatGPT 5.5 (OpenAI)، وGemini 3.5 (Google)، وClaude Sonnet 5 (Anthropic).
توليد البيانات: تم تطوير مجموعة من 20 سؤالاً معيارياً موجهاً للمرضى حول تراجع اللثة بناءً على موارد من الأكاديمية الأمريكية لطب أمراض اللثة (AAP) وإجماع ورشة العمل لعام 2018. غطت هذه الأسئلة خمسة مجالات: دواعي الاستعمال/التشخيص، فعالية العلاج/التوقعات، المخاطر/المضاعفات، تعليمات ما بعد الجراحة/المتابعة، والسلامة/موانع الاستعمال. تم تقديم كل سؤال مرة واحدة لكل نموذج من النماذج الثلاثة، مما أنتج إجمالي 60 استجابة.
بروتوكول التقييم: قام خمسة من اختصاصيي أمراض اللثة المعتمدين (جميعهم حاصلون على شهادة المجلس الأمريكي ولديهم خبرة لا تقل عن خمس سنوات) بتقييم الاستجابات بشكل مستقل. ولتقليل التحيز، تم تعمية هويات نماذج الذكاء الاصطناعي، وتم توزيع تسلسل الاستجابات عشوائياً.
المقاييس: قيم المقيمون الاستجابات باستخدام:
مؤشر دقة المعلومات (AOI): مقي-اس مرجعي موثق من 10 نقاط يغطي الدقة الواقعية، والتأييد بالأدلة، والاتساق، والوضوح، والصلة بالموضوع.
الاكتمال: مقياس تناظر بصري (0–10).
ترتيب تفضيل الخبراء: ترتيب مقارن (الأول إلى الثالث) بناءً على الجودة الإجمالية.
المقاييس التشغيلية: تم تسجيل وقت توليد الاستجابة وعدد الكلمات.
التحليل الإحصائي: استُخدمت الاختبارات غير المعلمية (Kruskal–Wallis، Mann–Whitney U، Chi-square) ونماذج المعادلات التقديرية المعممة (GEE) لتحليل الفروق، مع تحديد مستوى الدلالة عند p ≤ 0.05.
المساهمات الرئيسية
تحليل مقارن شامل: تعد هذه الدراسة الأولى التي تقارن بين ChatGPT وGemini وClaude تحديداً فيما يتعلق بتراجع اللثة، باستخدام إطار تقييم متعدد الأبعاد يتضمن الكفاءة التشغيلية (الوقت/الطول) جنباً إلى جنب مع الجودة السريرية.
رسم خرائط الأداء النوعي: تحدد الدراسة نقاط القوة والضعف المحددة للنماذج اللغوية الكبيرة عبر المجالات السريرية المختلفة، مما يكشف أن الأداء يختلف بشكل كبير بين التعليمات المعيارية والاستنتاج التشخيصي المعقد.
التباين بين المقاييس الموضوعية والذاتية: يسلط البحث الضوء على تميز حاسم بين الدقة الواقعية (المقاسة بـ AOI) وجودة التواصل المتصورة (المقاسة بتفضيل الخبراء)، مما يوضح أن النماذج التي تمتلك درجات دقة متشابهة يمكن أن تختلف بشكل كبير في تفضيل المستخدم.
النتائج
الدقة والاكتمال: لم يتم العثي على فروق ذات دلالة إحصائية بين النماذج الثلاثة فيما يتعلق بالدقة (p = 0.993) أو الاكتمال (p = 0.972). حققت جميع النماذج درجات دقة وسيطة عالية (ChatGPT: 8.30، Gemini: 8.40، Claude: 8.00) ودرجات اكتمال عالية.
الاختلافات التشغيلية: لوحظت فروق ذات دلالة إحصائية في وقت التوليد وعدد الكلمات (p < 0.001). كان ChatGPT الأسرع (وسيط 5.82 ثانية) والأكثر إيجازاً (وسيط 232 كلمة). بينما ولد Gemini أكبر عدد من الكلمات (وسيط 438 كلمة)، وكان لـ Claude أطول وقت توليد (وسيط 14.61 ثانية).
تفضيل الخبراء: اختلفت ترتيبات الخبراء بشكل كبير (p = 0.002). حصل كل من Gemini وClaude على المركز الأول في 38% من التقييمات لكل منهما، مقارنة بـ 24% لـ ChatGPT. بينما جاء ChatGPT في المركز الأخير (الثالث) في 49% من الحالات.
النتائج النوعية للمجالات: أدت جميع النماذج أفضل أداء في مجال "تعليمات ما بعد الجراحة والمتابعة"، والذي أظهر ارتباطاً ذا دلالة إحصائية مع درجات الدقة الأعلى (OR 4.04). وعلى العكس من ذلك، سجل مجال "الدواعي والمرشحين للعلاج" أدنى دقة لـ ChatGPT وGemini، بينما كان مجال "الفعالية والتوقعات" هو الأدنى لـ Claude.
الارتباط الإحصائي: أكد تحليل GEE عدم وجود ارتباط معنوي بين نموذج ذكاء اصطناعي محدد والدقة أو الاكتمال (نسب الأرجحية ORs قريبة من 1). ومع ذلك، كان مجال "تعليمات الاستخدام والمتابعة" هو المتغير الوحيد المرتبط بشكل كبير بالدقة.
الأهمية والادعاءات تخلص الورقة إلى أن النماذج اللغوية الكبيرة المعاصرة توفر معلومات متماثلة في الدقة والشمولية الموجهة للمرضى حول تراجع اللثة، مما يشير إلى أنها وصلت إلى مستوى من الأداء مناسب لدعم التثقيف الأولي للمرضى. ومع ذلك، تؤكد الدراسة أنه بينما تكون الجودة الجوهرية للمعلومات متقاربة بين النماذج، فإن طريقة التقديم تختلف: حيث يفضل الخبراء Gemini وClaude بسبب شموليتهم وهيكلية طرحهم، بينما يوفر ChatGPT سرعة وإيجازاً فائقين.
ويؤكد المؤلف أن النماذج اللغوية الكبيرة يجب أن تعمل كـ أدوات مساعدة للاستشارة المتخصصة في أمراض اللثة بدلاً من أن تكون بديلاً عنها. ويشير إلى أنه بينما تتفوق هذه النماذج في تقديم المحتوى المعياري القائم على الإرشادات (مثل رعاية ما بعد الجراحة)، فإنها تواجه صعوبة في تقديم توصيات علاجية مخصصة تتطلب دمج عوامل معقدة خاصة بالمريض (مثل تصنيف التراجع، والنمط الظاهري للثة، والصحة الجهازية). وتدعو الدراسة إلى استخدام هذه الأدوات لتعزيز فهم المريض وتقليل القلق، بشرط بقاء الإشراف المهني قائماً لتفسير المعلومات وإدارة اتخاذ القرار السريري.