Rater choice determines measured fidelity: a multi-model evaluation of large language model raters for AI-generated plain-language biomedical summaries

تخيل عالماً تُحبس فيه أهم الاكتشافات الطبية خلف جدار من اللغة المعقدة. حيث تُكتب الأوراق العلمية للخبراء، مليئة بالمصطلحات التقنية والبيانات الكثيفة التي لا يستطيع الشخص العادي فك شفرتها. ومع ذلك، بالنسبة لمريض يحاول فهم علاج جديد لحالته، يمكن لهذا الحاجز أن يكون خطيراً. فإذا لم يتمكن من قراءة الدراسة، فلن يعرف المخاطر، أو القيود، أو الفوائد الحقيقية للعلاج. ولجسر هذه الفجوة، يعتمد الباحثون والمنظمون بشكل متزايد على "ملخصات اللغة البسيطة" — وهي تفسيرات قصيرة وبسيطة للدراسات المعقدة مخصصة للجمهور العام. ومع انفجار حجم الأبحاث الطبية، أصبح كتابة هذه الملخصات يدوياً أمراً مستحيلاً. وبدلاً من ذلك، يُطلب من برامج حاسوبية قوية تُعرف بنماذج اللغات الكبيرة القيام بهذا العمل، عبر ترجمة العلوم الكثيفة إلى نثور مقروء في ثوانٍ معدودة. لكن يبقى سؤال جوهري: إذا كتب الكمبيوتر الملخص، فهل يمكن الوثوق بكمبيوتر آخر للتحقق مما إذا كان دقيقاً؟

لقد وضعت دراسة حديثة هدفها للإجابة على هذا السؤال من خلال وضع أربعة نماذج مختلفة من الذكاء الاصطناعي تحت الاختبار. قام الباحث، الذي صمم أيضاً الأداة التي أنتجت الملخصات، بإنشاء بيئة محكومة ليرى ما إذا كان بإمكان هؤلاء "القضاة" من الذكاء الاصطناعي تحديد الأخطاء بموثوقية. بدأت العملية بخمسين مقالاً طبياً حقيقياً تمت مراجعته من قبل الأقران وتغطي خمسة أمراض مختلفة. وقام تطبيق تلخيص، صُمم لتكييف المحتوى لجمهور مختلف مثل المرضى أو المتخصصين، بتحويل هذه المقالات إلى 200 قسم متميز بلغة بسيطة. كان الهدف هو معرفة ما إذا كانت الملخصات وفية للنص الأصلي. وللقيام بذلك، طُلب من أربعة نماذج ذكاء اصطناعي مختلفة — كل منها نوع متميز من نماذج اللغات الكبيرة — تقييم نفس الـ 196 ملخصاً باستخدام قائمة مرجعية صارمة ومتطابقة. كانت هذه القائمة مرتبطة بالنص المصدر، مما يعني أن كل سؤال كان يتعين على الذكاء الاصطناعي الإجابة عليه مرتبط مباشرة بحقيقة محددة في المقال الأصلي، مثل: "هل ذكر الملخص هذا العرض الجانبي المحدد؟" أو "هل ذكر بشكل صحيح قيود الدراسة؟".

كشفت النتائج عن عدم اتساق مذهل. فعندما قامت نماذج الذكاء الاصطناعي الأربعة بتقييم نفس الملخصات، لم يتفقوا فيما بينهم. في الواقع، اختلفت قياساتهم لعدد الأخطاء الموجودة بفارق أربعة أضعاف. كان نموذجان منهما صارمين للغاية، حيث وجدا عدداً كبيراً من الأخطاء في النص، بينما كان النموذجان الآخران أكثر تساهلاً، حيث لم يجدا أخطاءً تقريباً في كثير من الأحيان. كان الفرق كبيراً لدرجة أنه كان أهم من نوع المرض الذي يناقشه الموضوع أو الجمهور المستهدف من الملخص. ووجد نموذج واحد، على وجه الخصوص، أن أكثر من نصف الملخصات لم تشتمل على أي أخطاء أساسية على الإطلاق، بينما وجد النموذج الأكثر صرامة أخطاء في كل ملخص تقريباً. لم يكن هذا التباين ضوضاء عشوائية؛ بل أشار إلى خلل محدد في طريقة عمل النماذج. فقد بدت النماذج المتساهلة وكأنها تتحقق فقط مما هو موجود في الملخص، متجاهلة الأشياء التي كان ينبغي أن تكون موجودة ولكنها غائبة. لقد فشلت في ملاحظة متى تم حذف تحذير سلامة حرج أو قيد من قيود الدراسة بالكامل.

إن هذا الفشل في اكتشاف المعلومات المفقودة له تداعيات خطيرة على سلامة المرضى. فقد ركزت الدراسة بشدة على "الحذف المتعلق بالسلامة"، مثل التحذيرات بشأن من لا ينبغي له تناول عقار ما أو ما قد يحدث من آثار جانبية خطيرة. في المقالات المصدرية، احتوت ثمانية وعشرون قسماً على بيان سلامة واحد على الأقل. ووجد نموذج الذكاء الاصطناعي الأكثر صرامة أن اثنين وعشرين من هذه الملخصات قد أغفلت تلك المعلومات المتعلقة بالسلامة. ومع ذلك، فإن النموذج الأكثر تساهلاً لم يرصد سوى أربعة من حالات الحذف الخطيرة هذه. وعندما قارن الباحث نتائج الذكاء الاصطناعي بخبير بشري قام بتقييم عينة أصغر من نفس الملخصات، أصبح النمط واضحاً. وجد الخبير البشري معدل خطأ يقع بين النماذج الصارمة والمتساهلة من الذكاء الاصطناعي. وقد طابق النموذج الصارم حكم الإنسان بشكل وثيق، بينما فاتت النماذج المتساهلة باستمرار أكثر من نصف الأخطاء التي وجدها الإنسان. وهذا يشير إلى أن الاعتماد على ذكاء اصطناعي متساهل للتحقق من السلامة قد يعطي شعوراً زائفاً بالأمان، مما يسمح للملخصات الخطيرة بالمرور عبر بوابة الجودة دون اكتشافها.

كما كشفت الدراسة عن مشكلة تقنية خفية تزيد المشهد تعقيداً. فخلال الاختبار، فشلت بعض نماذج الذكاء الاصطناعي في تقديم إجابة على الإطلاق، حيث أرسلت استجابات فارغة. وفي الكود البرمجي المستخدم في الدراسة، تم التعامل مع هذه الاستجابات الفارغة خطأً على أنها درجات كاملة، كما لو أن النموذج قد قرأ النص ووجده خالياً من العيوب. وعندما أعاد الباحث تشغيل هذه الاختبارات المحددة، اكتشف أن العديد من الدرجات "المثالية" كانت في الواقع مجرد حالات فشل صامتة حيث استسلم النموذج. وحتى بعد احتساب هذه الإخفاقات، ظل الاستنتاج كما هو: كانت النماذح المتساهلة تقلل من اكتشاف الأخطاء بشكل منهجي. وتخلص الدراسة إلى أنه لا يوجد شيء اسمه "قاضٍ" ذكاء اصطناعي موثوق عالمياً. فالنموذج الذي يعمل جيداً لمهمة أو لنوع معين من النصوص قد يفشل تماماً في مهمة أخرى. والسبيل الوحيد لمعرفة ما إذا كان الذكاء الاصطناعي جديراً بالثقة للتحقق من الملخصات الطبية هو اختباره مقابل معيار بشري على نوع المحتوى المحدد الذي سيقوم بتقييمه. وبدون هذا التحقق، يمكن لاختيار أي ذكاء اصطناعي لاستخدامه كقاضٍ أن يغير النتيجة الكاملة حول ما إذا كان الملخص آمناً للقراءة أم لا.