Large Language Models for Causal Relations Extraction in Social Media: A Validation Framework for Disaster Intelligence

ملخص تقني: النماذج اللغوية الكبيرة لاستخراج العلاقات السببية في وسائل التواصل الاجتماعي

بيان المشكلة
يعتمد استخبارات الكوارث بشكل كبير على الوعي بالموقف، وهو أمر غالباً ما تعيقه الطبيعة الاسترجاعية والمجهدة للتقارير الرسمية التي تلي الحدث (مثل تقارير NOAA). وبينما توفر وسائل التواصل الاجتماعي بيانات لحظية ومصادر جماعية تتعلق بالمخاطر، والآثار، وتعطل البنية التحتية، فإن استخراج علاقات سببية صالحة من هذه المنشورات يعد أمراً صعباً بطبيعته. فالمحتوى في وسائل التواصل الاجتماعي عادة ما يكون غير رسمي، ومجزأً، ويعتمد على السياق، وغالباً ما تكون السببية فيه ضمنية بدلاً من أن تكون صريحة. تفشل الطرق التقليدية القائمة على القواعد في التقاط هذه العلاقات الضمنية، كما أن مناهج معالجة اللغات الطبيعية (NLP) الحالية تعتمد غالباً على قوالب جامدة مصنفة بشرياً لا تتكيف جيداً مع سياقات الكوارث سريعة التطور. ورغم أن النماذج اللغوية الكبيرة (LLMs) توفر إمكانات للاستدلال على النصوص المشوشة واستنتاج العلاقات غير المصرح بها، إلا أن هناك خطراً حرجاً يتمثل في احتمال توليد هذه النماذج لروابط سببية تبدو منطقية بناءً على معرفتها السابقة الداخلية بدلاً من الأدلة الموجودة في المنشورات المحددة. السؤال البحثي المركزي هو ما إذا كانت النماذج اللغوية الكبيرة قادرة بفعالية على استخراج علاقات سببية صالحة من منشورات وسائل التواصل الاجتماعي المتعلقة بالكوارث.

المنهجية
لمعالجة ذلك، يقترح المؤلفون إطار عمل للتحقق يقارن الرسوم البيانية السببية التي تولدها النماذج اللغوية الكبيرة بالرسوم البيانية المرجعية المستندة إلى خبرات الخبراء. تتكون المنهجية من ثلاثة مكونات رئيسية:

1. بناء الرسوم البيانية السببية للحقيقة الأرضية (Ground-Truth):
   بما أن الرسوم البيانية السببية الجاهزة لكوارث محددة غير متوفرة، قام المؤلفون ببنائها باستخدام نهج "المطابقة والتسجيل". بدأوا بإطار عمل عام لسلسلة التأثير (يمثل المسارات السببية بين المخاطر، والتعرض، والضعف، والآثار) ثم قاموا بتنقيحه باستخدام أدلة السببية من التقارير المعيارية الموثوقة التي تلي الحدث (تحديداً تقارير NOAA). تم الاحتفاظ فقط بالحواف المدعومة صراحةً بأدلة نصية في هذه التقارحات، مما خلق مجموعة من العلاقات الموجهة (السبب، الأثر) التي تعمل كحقيقة أرضية.

2. استخراج العلاقة السببية عبر النماذج اللغوية الكبيرة:
   تدرس الدراسة ثلاثة نماذج لغوية كبيرة ذات بنيات وقدرات وصول للبيانات متفاوتة:

• Grok4.3: نموذج مغلق المصدر مع وصول أصيل لبيانات وسائل التواصل الاجتماعي للبيانات التاريخية واللحظية.
• GPT-5.5: نموذج مغلق المصدر يتميز بقدرات سياق طويلة ولكن دون وصول أصيل لوسائل التواصل الاجتماعي.
• Mistral-7B: نموذج مفتوح الأوزان وأصغر حجماً مع نوافذ سياق محدودة.

تم توجيه النماذج (Prompting) لتحديد الإشارات السببية ضمن دفعات من منشورات وسائل التواصل الاجتماعي، وربطها بمجموعة ثابتة من المتغيرات المعيارية المحددة في إطار سلسلة التأثير، وإخراج أزواج سببية موجهة. وبالنسبً للنماذج ذات نوافذ السياق المحدودة (Mistral-7B)، تم استخدام استراتيجية التجزئة حيث تتم معالجة المنشورات في دفعات مكونة من 20 منشوراً.

3. إطار التقييم:
   يتم قياس أداء الرسوم البيانية المولدة مقابل الرسوم البيضاء المرجعية المستندة إلى الخبراء باستخدام مقاييس الاكتشاف السببي القياسية: دقة العقد والحواف (Node and Edge Precision)، والاستدعاء (Recall)، ودرجة F1، ومسافة هامينج الهيكلية (SHD)، ومسافة هامينج الهيكلية المعيرة (nSHD). ومن الضروري أن تتضمن الدراسة تجربة استبعاد مضبوطة (Ablation experiment) حيث يتم تغذية النماذج بمنشورات "غير معلوماتية" (تفتقر إلى المحتوى الخاص بالكارثة) مع تعطيل البحث الخارري. يختبر هذا ما إذا كانت النماذج تعتمد على البيانات المقدمة أم تعود إلى معارفها السابقة لتوليد هياكل سببية.

المساهمات الرئيسية

• الرسوم البيانية السببية المستندة إلى خبرة الخبراء: صاغ المؤلفون رسوماً بيانية سببية خاصة بالكوارث كحقيقة أرضية من خلال مواءمة إطار عمل سلسلة التأثير مع تقارير الخبراء التي تلي الحدث، مما يوفر معياراً صارماً للتقييم.
• استخراج السببية من وسائل التواصل الاجتماعي: تقيم الدراسة قدرة النماذج اللغوية الكبيرة على استخراج العلاقات السببية بين مجموعة ثابتة من المتغيرات لتحليل وسائل التواصل الاجتماعي، مما يميز هذه المهمة عن الاكتشاف السببي مفتوح النهايات.
• الأدلة مقابل المعرفة السابقة: يبحث البحث صراحة في التوتر بين الاستخراج القائم على الأدلة والمعرفة السابقة للنموذج، موضحاً كيف تؤثر جودة المنشورات وبنية النموذج على صحة العلاقات المستخرجة.

النتائج

• الأداء مقابل الخط المرجعي العشوائي: تفوقت جميع النماذج اللغبية الكبيرة التي تم تقييمها بشكل كبير على الخط المرجعي العشوائي (نموذج Erdős–Rényi)، مما أثبت أن النماذج يمكنها استنتاج علاقات سببية خاصة بالكوارث من نصوص وسائل التواصل الاجتماعي بدلاً من التخمين.
• مقارنة النماذج:
  • حقق Grok4.3 أعلى درجات F1 (0.75 لإعصار إرما، 0.71 لإعصار هارفي)، مدفوعاً بارتفاع استدعاء الحواف مع الحفاظ على دقة عقد قوية. ويُعزى هذا الأداء إلى مزيج من التفكير المتقدم والوصول الأصيل لبيانات وسائل التواصل الاجتماعي.
  • قدم GPT-5.5 أداءً تنافسياً بين النماذج التي لا تملك وصولاً أصيلاً لوسائل التواصل الاجتماعي، ولكنه أظهر نهج استخراج أكثر تحفظاً، مما أدى إلى انخفاض في استدعاء الحواف.
  • أظهر Mistral-7B أضعف أداء إجمالي، لا سيما في دقة واستدعاء الحواف.
• الاعتماد على المعرفة السابقة: في تجربة الاستبعاد باستخدام منشورات غير معلوماتية، انخفض أداء النماذج بشكل كبير. حافظ GPT-5.5 على درجات F1 أعلى نسبياً في هذا الإعداد، مما يشير إلى اعتماد أكبر على المعارف السابقة لإنتاج هياكل تبدو منطقية ولكنها غير مستندة إلى دليل. في المقابل، أظهر Grok4.3 عتبات أدلة أكثر صرامة، حيث رفض توليد رسوم بيانية سببية لإعصار هارفي عندما كانت الأدلة غير كافية، وأظهر انتقائية عالية لإعصار إرما.

الأهمية والادعاءات
يزعم البحث أنه بينما تظهر النماذج اللغوية الكبيرة واعداً في استخراج العلاقات السببية من وسائل التواصل الاجتماعي لدعم اتخاذ القرار أثناء الكوارث، فإن نشرها يتطلب آليات قوية لربط النتائج بالأدلة. وتبرز النتائج واقعاً مزدوجاً: فالنماذج المتقدمة مثل Grok4.3 يمكنها الاستفادة بفعالية من البيانات اللحظية لبناء رسوم بيانية سببية، ولكن هناك خطراً كبيراً من أن النماذج قد تولد روابط سببية تبدو منطقية ولكن غير موثقة بناءً على المعرفة المسبقة عند غياب أدلة محددة. وبناءً على ذلك، يجادل المؤلفون بأن الرسوم البيانية السببية المستخرجة يجب أن تُستخدم حصرياً كأدوات لدعم القرار تتطلب التحقق من المصدر ومراجعة الخبراء، وليس كأنظمة مستقلة لاتخاذ القرار. وتؤكد الدراسة على ضرية ضرورة التحقق من مخرجات النماذج اللغوية الكبيرة مقابل تقارير الخبراء قبل دمجها في مسارات استخبارات الكوارث عالية الخطورة.