Quality and Consistency of Four Large Language Models in Answering AAOS Guideline-Based Questions on Knee Osteoarthritis and Total Knee Arthroplasty: A Blinded Multi-Rater Benchmark Study in Chinese
قيمت هذه الدراسة المرجعية المعماة متعددة المقيمين أربعة نماذج لغوية كبيرة في أسئلة قائمة على إرشادات الجمعية الأمريكية لجراحي العظام (AAOS) فيما يتعلق بمرض فصال الركبة وتغيير مفصل الركبة بالكامل، ووجدت أنه بينما أظهر نموذج GPT أعلى جودة واتساق إجمالي، فإن ترتيب الأداء تباين حسب مجال التقييم وكان حساساً للطرق الإحصائية المستخدمة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
عندما يواجه الشخص ركبة صلبة ومؤلمة، فإن الطريق نحو الراحة غالباً ما يكون معبداً بنصائح طبية معقدة. يعتمد الأطباء على إرشادات راسخة لتقرير ما إذا كان ينبغي للمريض تجربة العلاج الطبيعي، أو تناول الأدوية، أو الخضوع لجراحة لاستبدال المفصل. هذه القواعد مبنية على سنوات من البحث ومصممة للحفاظ على سلامة المرضى مع تقديم أفضل فرصة للتعافي. وفي السنوات الأخيرة، لجأ الناس بشكل متزايد إلى الذكاء الاصطناعي لفهم هذه المعلومات، حيث يسألون البرامج الحاسوبية لشرح خيارات العلاج، والمخاطر، وأوقات التعافي بلغة بسيطة. ومع ذلك، فإن مجرد قدرة الحاسوب على التحدث بطلاقة لا يعني أنه يقول الحقيقة أو يلتزم بالاتساق. فإذا قدمت الآلة إجابة مختلفة في كل مرة تسألها فيها نفس السؤال، أو إذا اقترحت بثقة علاجًا يعرف الخبراء أنه خطير، فإن الأداة تصبح مصدراً للارتباك بدلاً من أن تكون وسيلة للمساعدة.
وضع فريق من الباحثين في الصين هدفاً لاختبار مدى جودة أربعة أنظمة مختلفة من الذكاء الاصطناعي في التعامل مع هذه الأسئلة الطبية الحرجة. وقد ركزوا على خشونة الركبة واستبدال مفصل الركبة الكلي، وهما من أكثر الحالات شيوعاً التي يعالجها جراحو العظام. لم يكتفِ الفريق بسؤال الحواسيب عن آرائها فحسب؛ بل صمموا اختباراً صارماً بناءً على الإرشادات الرسمية للأكاديمية الأمريكية لجراحي العظام. فقد كتبوا أربعة وعشرين سؤالاً محدداً تغطي كل شيء، بدءاً من العلاجات غير الجراحية مثل إنقاص الوزن والتمارين الرياضية، وصولاً إلى التفاصيل الجراحية المتعلقة بكيفية إدارة المخاطر أثناء العملية. ولضمان إجراء اختبار عادل، طلبوا من كل نموذج من نماذج الذكاء الاصطناعي الأربعة الإجابة على كل سؤال ثلاث مرات منفصلة، مع اعتبار كل محاولة بمثابة محادثة جديدة لا تملك ذاكرة عن المحادثة السابقة. وقد سمح هذا النهج لهم بمعرفة ليس فقط ما إذا كانت الإجابات صحيحة، بل أيضاً ما إذا كان بإمكان الآلات تقديم نصيحة موثوقة ومتسقة مراراً وتكراراً.
بعد ذلك، سُلمت الإجابات التي أنتجتها الحواسيب إلى ثمانية خبراء بشريين متخصصين في أمراض الركبة وجراحة المفاصل. قرأ هؤلاء الأطباء والمتخصصون الردود دون معرفة أي حاسوب هو الذي كتبها. وقاموا بتقييم كل إجابة على مقياس من واحد إلى خمسة بناءً على أربع صفات رئيسية: مدى صلة الإجابة بالسؤال، ومدى دقتها الطبية، ومدى سهولة فهمها، وما إذا كانت آمنة. كانت السلامة مصدر قلق رئيسي، مما يعني أن الخبراء بحثوا ليروا ما إذا كان الحاسوب يتجنب تقديم نصائح خطيرة أو يفشل في ذكر المخاطر الهامة. كما أعطى الخبراء درجة منفصلة للاتساق، حيث قيموا ما إذا كانت الإجابات الثلاث من نفس الحاسوب لنفس السؤال هي في الأساس القصة نفسها أم أنها تناقضت فيما بينها.
أظهرت النتائج أن أنظمة الذكاء الاصطناعي الأربعة قدمت أداءً مختلفاً، ولم يكن هناك جهاز واحد فائز بوضوح في جميع الفئات. فقد أنتج أحد النماذج، المعروف باسم GPT، أعلى الدرجات الإجمالية؛ حيث كان قوياً بشكل خاص في تقديم معلومات طبية دقيقة، والبقاء ضمن الموضوع، وتضمين تحذيرات السلامة الضرورية. أما نموذج آخر، وهو DeepSeek، فقد سجل درجات أقل قليلاً في الجودة الإجمالية، ولكن تم تقييمه كأكثر النماذج وضوحاً من وجهة نظر الخبراء، مما يعني أن لغته كانت الأكثر وضوحاً وسهولة في المتابعة. وحصل النموذجان الآخران، ERNIE وKimi، على درجات أقل في جميع المجالات، لا سيما في الدقة والسلامة. ووجدت الدراسة أن الفجوة بين الأداء الأعلى والمركز الثاني كانت صغيرة وتعتمد على كيفية تحليل البيانات، مما يشير إلى أنه بينما قد يمتلك أحد الأجهزة ميزة طفيفة، إلا أن الفرق ليس حقيقة ضخمة لا تقبل الجدل.
ولعل ما هو أهم من جودة الإجابات هو اتساق الآلات. فقد وجد الباحثون أن أفضل النموذجين كانا أكثر قدرة على تقديم نفس الإجابة عند سؤالهما نفس السؤال ثلاث مرات متتالية. وكان النموذج الرائد هو الأكثر اتساقاً، يليه عن قرب النموذج الثاني الأفضل. أما النظامان الآخران فكانا أكثر عرضة لتغيير آرائهما أو تعديل نصائحهما بين المحاولات. وهذا أمر مهم لأن المريض الذي يطلب النصيحة اليوم قد يحصل على إجابة مختلفة غداً إذا استخدم نظاماً أقل استقراراً، مما قد يؤدي إلى الارتباك أو اتخاذ قرارات سيئة. وقد لاحظ الخبراء أنه بينما كانت الحواسيب جيدة بشكل عام في شرح الإرشادات، إلا أنها لم تكن مثالية، وكان أداؤها يختلف اعتماداً على ما إذا كان السؤال يتعلق بالرعاية غير الجراحية أو بتفاصيل الجراحة.
تخلص الدراسة إلى أنه على الرغم من أن أدوات الذكاء الاصطناعي هذه تظهر إمكانات واعدة للمساعدة في فهم حالات الركبة لدى المرضى، إلا أنها ليست جاهزة بعد لتحل محل حكم الطبيب. فقد قدمت النماذج الأفضل أداءً معلومات عالية الجودة وآمنة وواضحة، لكن الاختلافات بينها كانت دقيقة ومحددة بمهارات معينة. فقد يكون أحد الأجهزة أفضل في الحقائق، بينما يكون آخر أفضل في اللغة الواضحة. وأكد الباحثون أن هذه النتائج تعكس كيفية أداء الحواسيب في اختبار كتابي، ولا تثبت أن استخدامها سيؤدي إلى تحسين صحة المريض أو تعافيه الفعلي. وفي الوقت الحالي، فإن النهج الأكثر موثوقية هو النظر إلى هذه الأدوات كمساعدين مفيدين يمكنهم توفير نقطة انطلاق للمحادثة، ولكن يجب دائماً التحقق من نصائحهم من قبل متخصص طبي قبل اتخاذ أي قرارات بشأن العلاج.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.