Comparative Analysis of Rule-Based, Deep Learning, and LLM Approaches for Causality Extraction: A Unified Benchmark

في المشهد الشاسع للتواصل البشري، ننسج باستمرار قصصاً عن السبب والنتيجة. فنقول إن الأمطار الغزيرة تسببت في فيضان النهر، أو أن تفويت الموعد النهائي أدى إلى فشل المشروع. أحياناً تكون هذه الروابط واضحة، وتتميز بكلمات مثل "بسبب" أو "نتج عن". ولكن غالباً ما يكون الرابط خفياً؛ فقد يصف نصٌ ما تسلسلاً من الأحداث حيث لا يُذكر السبب أبداً، مما يترك القارئ ليستنتج العلاقة بناءً على السياق والمنطق السليم. ولكي تفهم الحواسيب لغتنا حقاً، يجب أن تتعلم رصد هذه الخيوط غير المرئية، وهي مهمة تُعرف باسم "استخراج السببية". وهذا ليس مجرد لغز لغوي، بل هو ضرورة عملية للآلات التي تحتاج إلى تحليل التقارير الإخبارية، أو السجلات الطبية، أو تحقيقات السلامة لفهم ما حدث ولماذا. لسنوات، حاول الباحثون تعليم الحواسيب هذه المهارة باستخدام ثلاث استراتيجيات مختلفة: مجموعات صارمة من القواعد التي وضعها البشر، والشبكات العصبية المعقدة التي تتعلم من الأمثلة، والجيل الأحدث من النماذج اللغوية الضخمة التي يمكنها التفكير من خلال التعليمات. ومع ذلك، ولأن كل مجموعة اختبرت أساليبها على بيانات مختلفة وأنظمة تسجيل مختلفة، فقد كان من المستحيل معرفة أي نهج هو الأفضل حقاً أو أين تكمن إخفاقاته.

قرر باحث في جامعة ميونيخ التقنية حسم هذا الغموض عبر بناء ميدان اختبار موحد وشامل. فقد جمع مجموعات موجودة من النصوص من الأخبار، والطب، والتمويل، وتقارير السلامة، وأعاد كتابة تسميات (labels) كل علاقة سبب ونتيجة بعناية بحيث تتبع جميعها تعريفاً واحداً صارماً. خلق هذا ميدان لعب عادلاً حيث يمكنهم اختبار الاستراتيجيات الثلاث الرئيسية جنباً إلى جنب تحت ظروف متطابقة. وقد وضعوا الأنظمة القائمة على القواعد البسيطة، التي تبحث عن كلمات وأنماط نحوية محددة، في مواجهة نماذج التعلم العميق التي درست آلاف الأمثلة، وأخيراً ضد النماذج اللغوية الكبيرة التي يمكنها معالجة كميات هائلة من النصوص واتباع تعليمات معقدة. كان الهدف هو معرفة ليس فقط أي طريقة ستحصل على أعلى درجة، بل كيف تعاملت كل منها مع الأجزاء الصعبة من المهمة، مثل العثور على الأسباب التي لم تُذكر صراحة، أو ربط الأحداث المتباعدة في وثيقة طويلة.

كشفت النتائج عن مشهد أكثر دقة وتعقيداً مما قد توحي به القصة البسيطة القائلة بأن "الأحدث هو الأفضل". وجد الباحث أن الأنظمة القديمة القائمة على القواعد، والتي تعتمد على رصد كلمات مثل "سبب" أو "بسبب"، لا تزال فعالة بشكل مدهش عندما يكون السبب واضحاً. في هذه الحالات المباشرة، تؤدي هذه الأنظمة عملها بمستوى يقارب الشبكات العصبية الأكثر تقدماً، لكنها تفعل ذلك دون الحاجة إلى أي بيانات تدريب وبأقل قدر من القدرة الحوسبية. ومع ذلك، تصطدم هذه الأنظمة الجامدة بحائط مسدود عندما يكون السبب مخفياً؛ فبسبب اعتمادها كلياً على القرائن السطحية، فإنها تفشل تماماً عندما يلمح النص إلى وجود علاقة دون استخدام كلمات ربط محددة.

نجحت نماذج التعلم العميق، المدربة على أمثلة مشروحة، في سد هذه الفجوة بشكل كبير. فقد أثبتت قدرة أفضل بكثير على رصد الأسباب الخفية وفهم السياق داخل جملة واحدة أو فقرة قصيرة. ومع ذلك، عانت هذه النماذج عندما يفصل بين السبب والنتيجة عدة جمل أو عندما يصف النص سلسلة طويلة من الأحداث. أما الأدوات الأكثر قوة، وهي النماذج اللغوية الكبيرة، فقد أظهرت أفضل قدرة إجمالية على إيجاد هذه الروابط الخفية والبعيدة. وعندما تم ضبط هذه النماذج بعناية باستخدام أمثلة محددة، تفوقت على الطرق الأخرى، لا سيما في الفئة الأصعب المتمثلة في إيجاد الأسباب التي تكون ضمنية ومنتشرة عبر الوثيقة. ومع ذلك، جاء هذا الأداء المتفوق بثمن باهظ؛ إذ تطلبت النماذج الكبيرة قدرة حوسبية أكبر بكثير للتشغيل واستغرقت وقتاً أطول بكثير لمعالجة كل وثيقة مقارنة بالنماذج الأبسط. علاوة على ذلك، ارتكب حتى أفضل النماذج الكبيرة نوعاً معيناً من الخطأ: حيث كانت تحدد الفكرة الصحيحة ولكنها تخطئ في تحديد الحدود الدقيقة للعبارة، وهي مشكلة تُعرف باسم "انزياح الحدود" (boundary drift).

ربما كان الاكتشاف الأكثر أهمية هو أنه لا توجد طريقة واحدة حلت المشكلة تماماً. فبينما كانت النماذج اللغوية الكبيرة هي الأقوى إجمالاً، إلا أنها لا تزال تفشل في إعادة بناء الهيكل السببي الكامل لوثيقة طويلة في حوالي نصف الحالات. لاحظ الباحث أن جميع المنهجيات الثلاث عانت مع السلاسل السببية التي لا يتم فيها تصنيف حدث وسيط صراحةً كسبب أو نتيجة، مما يشير إلى أن الطريقة الحالية لتعريف هذه المهام قد تكون بسيطة للغاية بالنسبة لتعقيد الروايات الواقعية. كما أظهرت الدراسة أنه بينما كانت النماذج الكبيرة قوية بما يكفي للتعامل مع الانتقال من موضوع إلى آخر، مثل الانتقال من النصوص الطبية إلى تقارير السلامة، إلا أنها لا تزال تفقد دقة كبيرة مقارنة بأدائها في مجالها الأصلي.

إن الصورة النهائية هي صورة تعتمد على نقاط القوة المتكاملة بدلاً من وجود فائز واضح. خلص الباحث إلى أن اختيار الطريقة يجب أن يعتمد كلياً على الاحتياجات المحددة للتطبيق. فإذا كان النظام يحتاج إلى معالجة آلاف التقارير بسرعة وكانت الأسباب واضحة عادةً، فقد يكون النظام القائم على القواعد البسيطة أو الشبكة العصبية القياسية هو الخيار الأكثر عملية. ولكن إذا كان الهدف هو فهم العلاقات المعقدة والخفية في نصوص متنوعة وصعبة، فإن النماذج اللغوية الكبيرة تستحق التكلفة الإضافية، بشرًا بشرط إدارة قيودها. تشير الدراسة إلى أن مستقبل هذا المجال لا يكمن في انتظار تكنولوجيا لتتغلب على الأخرى، بل في بناء أنظمة هجينة تجمع بين سرعة ودقة القواعد وقوة الاستنتاج للنماذج الكبيرة. ومن خلال الاعتراف بأن لكل نهج نقاط ضعف، يمكن للباحثين الآن المضي قدماً نحو بناء أدوات قادرة حقاً على فهم القصة الكاملة للسبب والنتيجة.