Benchmarking LLMs for Pairwise Causal Discovery in Biomedical and Multi-Domain Contexts

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تقييم النماذج اللغوية الكبيرة (LLMs) في اكتشاف السببية الثنائية في السياقات الطبية الحيوية ومتعددة المجالات."

1. بيان المشكلة

تتناول الورقة التحدي الحرج المتمثل في نشر النماذج اللغوية الكبيرة (LLMs) في المجالات عالية الخطورة مثل الطب الحيوي، حيث تعد القدرة على التمييز بين السببية والارتباط أمراً ضرورياً لضمان السلامة. وبينما تتفوق هذه النماذج في مطابقة الأنماط، فإن قدرتها على الاستدلال السببي الحقيقي لا تزال غير مستقصاة بشكل كافٍ.

المهمة المحددة التي يتم استقصاؤها هي اكتشاف السببية الثنائية (PCD): تحديد ما إذا كانت هناك رابط سببي بين كيانين في النص واستخراج نطاقات (spans) السبب والنتيجة المحددة. وتعد هذه خطوة أساسية لبناء الرسوم البيانية السببية المستخدمة في دعم القرار السريري، واكتشاف الأدوية، والكشف عن الأحداث الضائرة. ويسلط المؤلفون الضوء على أن الطرق الحالية تعاني من:

• السببية الضمنية: العلاقات التي تفتقر إلى علامات صريحة (مثل "بسبب" أو "يسبب").
• النطاق الممتد عبر الجمل: الروابط السببية التي تمتد عبر جمل متعددة.
• التعقيد: النصوص التي تحتوي على أزواج سببية متعددة أو علاقات متداخلة.
• خصوصية المجال: دقة اللغة الطبية الحيوية حيث يجب أن تكون "السببية" حقيقية وليست مجرد تقرير أو فرضية.

2. المنهجية

أ. مجموعة البيانات وبروتوكول التوسيم

تستخدم الدراسة 12 مجموعة بيانات متنوعة تشمل المجالات الطبية الحيوية، والمالية، والإخبارية، والمجالات العامة (مثل MedCaus، FinCausal، SemEval2010، PubMed).

• صرامة التوسيم: تم استقطاب ثمانية مُوسِمين بشريين وفحصهم (بدرجة $\ge$ 83%). وقد عملوا في مجموعتين لإنشاء "مجموعة بيانات ذهبية" ذات توافق عالٍ بين المُوسِمين ($\kappa \ge 0.758$).
• المعايير الصارمة:
  • يجب أن تُذكر السببية كـ حقيقة (لا كادعاء، أو فرضية، أو نفي).
  • يجب أن تكون نطاقات السبب والنتيجة غير غامضة ومتصلة.
    يدخل استبعاد كلمات الإشارة السببية (مثل "بسبب") من النطاقات المستخرجة.
  • يُعتبر الغموض افتراضياً على أنه "غير سببي".

ب. التصميم التجريبي

صمم المؤلفون 12 مهمة تجريبية مصنفة حسب ثلاثة محاور من الصعوبة:

1. وجود العلامات ($M$): صريح (يحتوي على إشارات) مقابل ضمني (لا يحتوي على إشارات).
2. النطاق النصي ($B$): داخل الجملة الواحدة مقابل عبر الجمل.
3. العددية ($r$): زوج واحد مقابل أزواج متعددة.

تنقسم المهام إلى مرحلتين:

• الكشف عن السببية (المهام 1a–1d): تصنيف ثنائي (سببي مقابل غير سببي).
• استخراج السببية (المهام 2a–2h): استخراج نطاقات نصية دقيقة لأزواج السبب والنتيجة.

ج. النماذج واستراتيجيات التلقين (Prompting)

• النماذج: تم اختبار 13 نموذجاً لغوياً كبيراً مفتوح المصدر، تتراوح معلماتها من 3 مليار إلى 70 مليار معلمة، بما في ذلك بنيات مختلفة (Dense، Mixture-of-Experts) وعائلات مختلفة (Llama 3.x، Qwen 2.5، Mistral، DeepSeek-R1).
• استراتيجيات التلقين:
  • التعلم الصفري (Zero-shot): تعليمات مباشرة.
  • التعلم بالسياق القائم على أمثلة قليلة (FICL): تقديم أمثلة معيارية.
  • سلسلة الأفكار (CoT): الطلب من النموذج التفكير خطوة بخوة.
  • الهجين (CoT+FICL): الجمع بين الأمثلة والمبررات الاستدلالية.
  • الاستخراج المتقدم: أطر عمل Least-to-Most (LtM) و ReAct للاستخراج المعقد.

د. مقايال التقييم

• كفاءة الكشف ($D_{m,b}$): احتمالية الكشف الصحيح عن السببية.
• كفاءة الاستخراج ($X_{m,b,r}$): احتمالية استخراج جميع الأزواج الذهبية بشرط النجاح في الكشف.
• التسجيل: تم استخدام مطابقة "هونغاريا" (Hungarian matching) للمحاذاة متعددة الأزواج، ومخطط تشابه قائم على SentenceLM (خريطة درجات احتمالية) للتعامل مع المطابقة التقريبية للنصوص بدلاً من المطابقة التامة.

3. المساهمات الرئيسية

1. معيار موحد: إطار تقييم شامل لاكتشاف السببية الثنائية عبر 12 مجموعة بيانات و12 تكويناً مختلفاً للصعوبة، مما يسد الفجوة في الأعمال السابقة التي غالباً ما كانت تجمع النتائج أو تركز على مجالات مفردة.
2. توسيم صارم: مجموعة بيانات عالية الجودة تم التحقق منها بشرياً مع تعريفات صارمة للسببية الواقعية، وتمييزها عن الارتباط أو الادعاءات المنقولة.
3. تحليل منهجي: تحليل دقيق لأداء النماذج بناءً على التعقيد اللغوي (ضمني مقابل صريح، داخل الجملة مقابل عبر الجمل) وبنية النموذج.
4. موارد مفتوحة: إصدار كافة البيانات، والأكواد، والتلقينات، وإرشادات التوسيم لتسهيل إعادة الإنتاج ومزيد من البحث.

4. النتائج الرئيسية

أ. الأداء العام

تظهر النماذج اللغوية الكبيرة مفتوحة المصدر الحالية قصوراً كبيراً في اكتشاف السببية الثنائية:

• أفضل كشف: حقق النموذج DeepSeek-R1-Distill-Llama-70B متوسط درجة قدره 49.57% ($C_{detect}$).
• أفضل استخراج: حقق النموذج Qwen2.5-Coder-32B-Instruct متوسط درجة قدره 47.12% ($C_{extract}$).
• الخط المرجعي البشري: حقق الموسمون البشريون دقة تقارب 95%، مما يبرز الفجوة الكبيرة بين النماذج اللغوية الحالية والاستدلال البشري.

ب. اتجاهات الأداء

• الصريح مقابل الضمني: تؤدي النماذج بشكل أفضل بكثير في العلاقات الصريحة أحادية الجملة (المهمة 1a). وينخفض الأداء بشكل حاد في العلاقات الضمنية (المهمة 1b) والمهام العابرة للجمل.
• الحساسية للمجال: غالباً ما تحتوي مجموعات البيانات الطبية الحيوية على روابط سببية ضمنية تمتد عبر عدة جمل. وتواجه النماذج صعوبة أكبر هنا، مما يشير إلى اعتمادها بشكل كبير على الإشارات اللفظية السطية بدلاً من الفهم العميق للسياق.
• ضبط التعليمات (Instruction Tuning): تفوقت النماذج المضبوطة للتعليمات (مثل Llama-3.2-3B-Instruct) بشكل كبير على نظيراتها الأساسية، مما يثبت أهمية المحاذاة للاستدلال السببي.
• تأثير البنية:
  • نماذج DeepSeek: برعت في الكشف (القرارات الثنائية) لكنها فشلت في الاستخراج، غالباً بسبب قيود الرموز (tokens) التي جعلتها تتوقف عن التوليد قبل تقديم الإجابة.
  • نماذج MoE (مثل Mixtral): أظهرت مزايا في التعامل مع عمليات الاستخراج المعقدة بفضل التوجيه الديناميكي إلى "خبراء" متخصصين.
  • نماذج Qwen: أظهرت أفضل توازن، لا سيما في مهام الاستخراج.

ج. تحليل الأخطاء

• الأزواج المفقودة: كان الخطأ الأكثر شيوعاً (35.7%) هو الفشل في اكتشاف الروابط السببية الموجودة (السلبيات الكاذبة).
• الهلوسة: بلغت نسبة الهلوسة في الاستخراج حوالي 4.5%.
• تبديل الأزواج: تضمن حوالي 4% من الأخطاء تبديل السبب والنتيجة.
• الإيجابيات الكاذبة: كانت نادرة، مما يشير إلى أن النماذج متحفظة ولكنها تفتقر إلى الاستدعاء (recall).

5. الأهمية والخاتمة

تخلص الورقة إلى أنه بينما تظهر النماذج اللغوية الكبيرة وعوداً في الاستخراج السببي الصريح والبسيط، إلا أنها ليست موثوقة بعد للتعامل مع الاستدلال المعقد والضمني والمتعدد الجمل المطلوب في السياقات السريرية (مثل السجلات الصحية الإلكترونية).

الآثار المترتبة:

• السلامة: إن نشر النماذج اللغوية الكبيرة الحالية لدعم القرار السريري الآلي دون تحقق بشري (human-in-the-loop) يعد أمراً خطيراً بسبب المعدل العالي لفقدان الروابط السببية والهلوسة.
• الاتجاهات المستقبلية: لسد هذه الفجوة، يجب أن تعطي الأعمال المستقبلية الأولوية لـ:
  1. الضبط الدقيق الخاص بالمجال على مجموعات البيانات الطبية الحيوية (السجلات الصحية الإلكترونية، الملخصات).
  2. سير العمل الهجين الذي يجمع بين سرعة النماذج اللغوية ودقة البشر.
  3. التحسينات الهيكلية للتعامل مع استدلال السياق الطويل وتقليل الهلوسة في الاستخراج متعدد الأزواج.

يعمل هذا المعيار كاختبار واقعي حاسم للمجال، حيث يثبت أن "الاستدلال السببي" في النماذج اللغوية الكبيرة هو حالياً قدرة هشة تتطلب تقدماً كبيراً قبل النشر الآمن في التطبيقات الطبية الحيوية عالية الخطورة.