Biomedical Large Language Models and Prompt Engineering for Causality Assessment of Individual Case Safety Reports in Pharmacovigilance

إليك ملخص تقني مفصل لورقة البحث المعنونة: "نماذج اللغات الكبيرة الطبية الحيوية وهندسة الأوامر لتقييم السببية في تقارير سلامة الحالات الفردية في اليقظة الدوائية."

١. بيان المشكلة

تعتمد اليقظة الدوائية بشكل كبير على تقييم السببية لتقارير سلامة الحالات الفردية (ICSRs) لتحديد احتمالية أن يكون عقار أو لقاح معين هو المسبب لحدث ضار (AE) أو حدث ضار عقب التحصين (AEFI).

• العائق الحالي: التقييم اليدوي من قبل الخبراء البشريين يستغرق وقتاً طويلاً، ويستهلك موارد كبيرة، وهو أمر غير مستدام بشكل متزايد بسبب الزيادات الهائلة في أحجام التقارير.
• قصور الذكاء الاصطناعي الحالي: أظهرت الدراسات السابقة التي استخدمت نماذج اللغات الكبيرة (LLMs) العامة أداءً دون المستوى الأمثل في تقييم السببية على مستوى الحالات الفردية، ويُعزى ذلك غالباً إلى نقص بيانات التدريب المتخصصة في المجال وعدم كفاية استراتيجيات الأوامر (Prompts).
• الفجوة البحثية: هناك نقص في الأدلة حول ما إذا كانت نماذج اللغات الكبيرة المتخصصة في الطب الحيوي (المدربة على الأدبيات الطبية)، عند دمجها مع هندسة أوامر متقدمة (مثل سلسلة الأفك - Chain-of-Thought) وخوارزميات سببية راسخة، يمكنها محاكاة الاستنتاج والتصنيف البشري الخبير بشكل موثوق.

٢. المنهجية

استخدمت الدراسة تصميماً تجريبياً مقارناً لتقييم مدى الاتفاق بين نماذج اللغات الكبيرة الطبية الحيوية والخبراء البشريين.

• مجموعة البيانات:
  • الإجمالي: ١٥٠ تقريراً لسلامة الحالات الفردية (ICSRs).
  • المصادر: ١٤٠ حالة من نظام الإبلاغ عن الأعراض الجانبية التابع لإدارة الغذاء والدواء (FAFA)، و١٠ حالات مؤكدة سريرياً لالتهاب عضلة القلب/التهاب التأمور من نظام الإبلاغ عن الأعضاء الجانبية للقاحات (VAERS).
  • التنوع: شملت أدوية حديثة الاعتماد، وعلاجات جينية/خلوية، ووصفات طبية شائعة، وأدوية يتيمة، ومواد خاضعة للرقابة.
• النماذج التي تم تقييمها: تم اختيار ثلاثة نماذج لغات كبيرة مفتوحة المصدر ومتخصصة في الطب الحيوي بناءً على أداء لوحة صدارة (Hugging Face Open LLM Leaderboard) (حتى يناير ٢٠٢٥):
  ١. TinyLlama 1.1B (Afrideva)
  ٢. Medicine LLaMA-3 8B (QuantFactory)
  ٣. MedLLaMA v20 (JL42)
• استراتيجيات الأوامر (Prompt Strategies):
  • سلسلة الأفك (Chain-of-Thought - CoT): تشجع على التفكير خطوة بخوة.
  • التفكيك (Decomposition): تقسيم المهام المعقدة إلى مهام فرعية.
  • ملاحظة: التزمت الأوامر بمبادئ CLEAR (موجزة، منطقية، صريحة، تكيفية، تأملية).
• خوارزميات السببية:
  ١. خوارزمية نارانجو (Naranjo Algorithm): مقياس موزون مكون من ١٠ أسئلة (مشكوك فيه، محتمل، مرجح، مؤكد).
  ٢. خوارزمية منظمة الصحة العالمية (WHO-UMC): عملية منظمة من ٤ خطوات (الأهلية، قائمة التحقق، الخوارزمية، التصنيف).
• المعيار الذهبي: قام خبيران بشريان (صيدلي يقظة دوائية وطبيب بشري أقدم) بتقييم جميع الـ ١٥٠ حالة يدوياً باستخدام كلتا الخوارزميتين.
• مقاييس التقييم:
  • الاتفاق: تم قياسه عبر معامل اتفاق "جويت" الأول (AC1) ونسبة الاتفاق المئوية.
  • الأداء: الدقة (Accuracy)، الحساسية (Sensitivity)، النوعية (Specificity)، الدقة التنبؤية (Precision)، الاستدعاء (Recall)، ومقياس F1.
  • التحليل النوعي: تصنيف الأخطاء (مثل: انحراف التعليمات، صدى الأوامر، الهلوسة، نقص التبرير).

٣. المساهمات الرئيسية

• النماذج المتخصصة مقابل النماذج العامة: أثبتت الدراسة أن نماذج اللغات الكبيرة المتخصصة في الطب الحيوي تتفوق بشكل كبير على النماذج العامة في مهام السببية، حيث ضاعفت تقريباً الاتفاق بين المقيمين (وصولاً إلى ~٦٤٪ مقابل ~٣٤٪ في الدراسات السابقة).
• حساسية الخوارزمية: كشفت الدراسة أن اختيار خوارزمية السببية هو محدد حاسم للأداء. فقد حققت الخوارزميات المنظمة والمفصلة (مثل نارانجو) توافقاً أعلى بكثير من الأطر المعتمدة على السرد (مثل WHO-UMC).
• تصنيف الأخطاء: قدمت الدراسة تصنيفاً مفصلاً لأنماط الفشل الخاصة بنماذج اللغات الكبيرة الطبية الحيوية في السياقات التنظيمية، بما في ذلك "صدى الأوامر" (المحاكاة اللغوية دون تفكير) و"انحراف التعليمات".
• قابلية التكرار: التزمت الدراسة بمبادئ FAIR، حيث تم إطلاق جميع الأكواد والأوامر وإعدادات المعلمات الفائقة عبر مستودع GitHub عام.

٤. النتائج الرئيسية

• أفضل تكوين أداء: حقق مزيج Medicine LLaMA-3 8B + خوارزمية نارانجو + سلسلة الأفك (CoT) أعلى اتفاق مع الخبراء البشريين فيما يتعلق بالتصنيف النهائي للسببية (٦٤٪؛ AC1 = ٠.٦٤٤).
• التفاوت في الخوارزميات:
  • نارانجو: أظهرت النماذج اتفاقاً متوسطاً إلى قوياً على الأسئلة المنظمة (مثل نتائج التوقف عن الدواء/إعادة الاستخدام)، لكنها واجهت صعوبة في المهام الدلالية مثل "الأسباب البديلة" أو "المعقولية الزمنية".
  • WHO-UMC: انخفض الأداء بشكل كبير. حقق مزيج Medicine LLaMA-3 8B + WHO-UMC + CoT اتفاقاً بنسبة ٢٣.٣٪ فقط (AC1 = ٠.٢٩٧).
• تأثير هندسة الأوامر: بينما أظهرت كل من "سلسلة الأفك" و"التفكيك" أداءً إجمالياً متشابهاً، إلا أن الطبيعة الهيكلية لخوارزمية نارانجو (خطوة بخطوة) تماشت بشكل أفضل مع أسلوب "سلسلة الأفك" مقارنة بإطار WHO-UMC الأكثر اعتماداً على السرد.
• أنماط الفشل الحرجة:
  • انخفاض الحساسية/الاستدعاء: كثيراً ما أغفلت النماذج الروابط السببية الإيجابية، وصنفت العديد من الحالات "المرجحة" على أنها "مشكوك فيها".
  • فجوات التفكير: حتى عندما كانت الدرجات صحيحة، فشلت النماذج غالباً في تقديم التبرير السريري أو الدليل اللازم، وهو عيب حرج لتدفقات العمل التنظيمية التي تعتمد على "الإنسان في الحلقة" (human-in-the-loop).
  • صدى الأوامر (Prompt Echoing): قامت النماذج أحياناً بمحاكاة هيكل الأمر بدلاً من توليد تفكير مستقل.
  • اليقين المعرفي (Epistemic Uncertainty): على عكس الخبراء البشريين الذين يصنفون الحالات الغامضة كـ "غير معروف"، مالت نماذج اللغات الكبيرة إلى توليد استجابات فئوية عالية اليقين رغم نقص البيانات.

٥. الأهمية والآثار المترتبة

• الجاهزية التنظيمية: رغم أن نماذج اللغات الكبيرة الطبية الحيوية تظهر بوادر واعدة، إلا أنها ليست جاهزة بعد للنشر المستقل في مجال اليقظة الدوائية. إن نقص التفكير المتسق والقابل للتفسير يقوض فائدتها في البيئات شديدة التنظيم (مثل الاتحاد الأوروبي) حيث تعد الشفافية والقدرة على التتبع أمراً إلزامياً.
• ضرورة وجود "الإنسان في الحلقة": تعزز الدراسة أن نماذج اللغات الكبيرة يجب أن تعمل حالياً كـ أدوات دعم للقرار وليس كصناع للقرار. يمكنها المساعدة في الفرز أو الصياغة، ولكن يجب على الخبراء البشريين التحقق من التفكير والتصنيف النهائي.
• الاتجاهات المستقبلية:
  • الذكاء الاصطناعي الوكيل (Agentic AI): قد تتطلب الإصدارات المستقبلية بنيات "وكيلة" يمكنها الوصول إلى أدوات خارجية (مثل قواعد بيانات SmPC الحية) للإجابة على أسئلة مثل "هل هذا العرض الجانبي مدرج؟" وهو ما لا تستطيع النماذج الثابتة الحالية القيام به.
  • تدفقات العمل الهجينة: تحسين الواجهة بين الخوارزميات المنظمة (نارانجو) وتفكير نماذج اللغات الكبيرة لتقليل انحراف التعليمات.
  • بيانات التدريب: الحاجة إلى بيانات تدريب تتضمن وثائق تنظيمية محددة (مثل SmPCs) وسلاسل استنتاج صريحة.

الخلاصة: تمثل نماذج اللغات الكبيرة الطبية الحيوية خطوة مهمة نحو أتمتة اليقظة الدوائية، حيث توفر توافقاً يقارب ضعف النماذج العامة. ومع ذلك، فإن عدم قدرتها على تقديم تفكير قائم على الأدلة باستمرار وحساسيتها لهيكل الخوارزمية يحدان حالياً من تطبيقها في دور داعم تحت إشراف بشري صارم.