Causal Evidence Extraction and Triangulation in Crisis Reports using Large Language Models: A ReliefWeb-based Study

تخيل أنك محقق يحاول حل لغز ضخم، ولكن بدلاً من مسرح جريمة واحد، لديك مكتبة تحتوي على الملايين من المذكرات الفوضوية المكتوبة بخط اليد. تحكي هذه المذكرات قصصاً عن كوارث مثل الفيضانات والزلازل والجفاف، وتصف كيف حاولت مجموعات مختلفة تقديم المساعدة. المشكلة هي أن القصص طويلة، ومربكة، ومتناقضة في كثير من الأحيان. فقد تقول مذكرات واحدة: "تقديم النقد ساعد الناس على شراء الطعام"، بينما تقول أخرى: "تسبب النقد في ارتفاع الأسعار وجعل الأمور أسوأ".

لجعل هذا الفوضى مفهومة، يستخدم العلماء أداة تسمى "نموذج لغوي كبير" (LLM). فكر في النموذج اللغوي الكبير كأنه روبوت قارئ فائق الذكاء ولا يكلّ. ومع ذلك، تماماً مثل البشر، يمكن للروبوت أن يشعر بالارتباك. إذا سألته: "ماذا حدث بخصوص النقد؟"، فقد يلتقط كل ذكر لكلمة "النقل" أو "النقد"، حتى لو كانت المذكرات تتحدث عن موضوع مختلف تماماً. يُسمى هذا "الاستخراج المفرط"، وهو ما يخلق الكثير من الضجيج. ولإصلاح ذلك، يحتاج الباحثون إلى طريقة لإخبار الروبوت بالتركيز فقط على الأدلة المحددة التي تهم، والتحقق من عمله مقابل النص الأصلي للتأكد من أنه لا يختلق أشياء من عنده. يدور هذا البحث حول بناء نظام محقق أفضل لتحويل تلك المذكرات الفوضوية إلى إجابات واضحة وموثوقة حول ما ينجح حقاً في الأزمات.

---

أدوات المحقق الجديدة

في هذه الدراسة، سعى الباحثان، يوانجون تشانغ وموراد أوسالاه، لتنظيف "الضجيج" في التقارير الإنسانية. لقد استخدموا مجموعة هائلة من التقاربات من ReliefWeb، وهي قاعدة بيانات عالمية لتحديثات الأزمات، تغطي الأعوام من 2000 إلى 2024. كان هدفهم هو معرفة ما إذا كان نوع معين من المساعدة — المساعدات النقدية — يؤدي بالفعل إلى نتائج أفضل، مثل توفير الغذاء للناس.

للقيام بذلك، بنوا "خط معالجة" مكوناً من مرحلتين باستخدام الذكاء الاصطناعي. تخيل هذا كخط تجميع في مصنع به عاملين محددين للغاية:

1. المُرشِّح (المرحلة 1): العامل الأول صارم جداً. فبدلاً من قراءة المذكرات بأكملها والتخمين بشأن ما هو مهم، يتم إعطاؤه استعلاماً محدداً، مثل "المساعدات النقدية". هو يبحث فقط عن الجمل التي تكون فيها المساعدات النقدية هي الشخصية الرئيسية. إذا ذكرت المذكرات النقد ولكن كملاحظة جانبية فقط، فإنه يتجاهلها. يُسمى هذا الاستخراج المشروط بالاستعلام. وهذا يمنع الذكاء الاصطناعي من التقاط معلومات غير ذات صلة، وهو ما كان مشكلة كبيرة في الطرق السابقة.

2. المُدقق (المرحلة 2): بمجرد أن يجد العامل الأول دليلاً محتملاً (مثل: "ساعد النقد العائلات على شراء الطعام")، يتدخل العامل الثاني. هذا العامل لا يخمن فقط ما إذا كان الدليل جيداً أم سيئاً؛ بل ينظر إلى الجملة الدقيقة (الفقرة) التي وُجد فيها الدليل. هو يقرر: هل ارتفت النتيجة (إيجابي)، أم انخفضت (سلبي)، أم بقيت كما هي؟ وكيف هي قوة الدليل؟ هل هو إشاعة ضعيفة أم تصريح قوي وواضح؟ يُسمى هذا التصنيف القائم على الفقرة.

النتائج: إيجاد الإشارة وسط الضجيج

اختبر الفريق نظامهم الجديد ضد عدة نماذج ذكاء اصطناٍ قوي، بما في ذلك Qwen-Plus و GPT-4o-mini و DeepSeek-V3، بالإضافة إلى نموذج مفتوح المصدر يسمى Llama-3.1-8B.

وجدوا أن طريقتهم المكونة من مرحلتين كانت نقطة تحول.

• إصلاح "الاستخراج المفرط": بدون مرشحهم الصارم، كان الذكاء الاصطناعي سيستخرج الكثير من الروابط غير ذات الصلة. ومع وجود المرشح، انخفض عدد الحقائق المستخرجة إلى مستوى واقعي، بما يطابق ما توقعه الخبراء البشريون.
• الدقة: حقق أفضل ذكاء اصطناعي مغلق المصدر (Qwen-Plus) باستخدام طريقتهم المكونة من مرحلتين درجة F1 موزونة بلغت 90.73%. وفي عالم الذكاء الاصطناعي، هذه درجة عالية جداً، مما يعني أنه كان صحيحاً في معظم الأوقات تقريباً.
• مفاجأة النموذج مفتوح المصدر: حاولوا أيضاً تعليم نموذج ذكاء اصطناعي أصغر ومجاني (Llama-3.1-8B) من خلال إظهار الإجابات من الذكاء الاصطناعي الكبير والمكلف له. تُسمى هذه العملية "التقطير". والنتيجة؟ أصبح النموذج الأصغر أفضل، حيث وصل إلى درجة F1 موزونة بلغت 94.15%. وهذا يشير إلى أنك لست بحاجة دائماً إلى الروبوت الأكثر تكلفة للحصول على أفضل النتائج؛ بل تحتاج فقط إلى التدريب الصحيح.

الختام الكبير: التثليث

بمجرد حصولهم على آلاف الحقائق النظيفة والمحققة، احتاجوا إلى تجميعها لرؤية الصورة الكبيرة. لم يكن بإمكانهم مجرد عد إجمالي التقارير "الجيدة" و"السيئة" لأن بعض أنواع الكوارث (مثل الفيضانات) يتم الإبلاغ عنها بشكل متكرر أكثر بكثير من غيرها (مثل الزلازل). إذا قاموا بمجرد جمعها، فإن الفيضانات ستغرق القصص الأخرى.

لذلك، ابتكروا طريقة تسمى التثليث المحافظ على السياق.

• الشبكة: قاموا بتنظيم الحقائق في شبكة بناءً على نوع الكارثة (مثل الفيضان، الجفاف) و نوع المصدر (مثل الحكومة، المنظمات غير الحكومية، وسائل الإعلام).
• الدرجة: قاموا بحساب درجة مستوى الدليل (LoE). تخبرك هذه الدرجة بمدى اتفاق القصص المختلفة مع بعضها البعض. درجة 1.0 تعني أن الجميع يتفق تماماً؛ و 0.0 تعني فوضى عارمة.

وعندما طبقوا ذلك على النتائج المتعلقة بالغذاء للمساعدات النقدية، كانت النتيجة مذهلة. كانت درجة LoE هي 0.865. وهذا يشير إلى تقارب إيجابي قوي. وباللغة العربية البسيطة: عبر مختلف أنواع الكوارث ومختلف مصادر التقارير، تشير الأدلة باستمرار إلى أن المساعدات النقدية تساعد الناس في الحصول على الغذاء.

كما نظروا في كيفية تغير ذلك بمرور الوقت. من 2000 إلى 2005، كانت البيانات شحيحة وغير مستقرة. ولكن من 2006 إلى 2017، نمت الإشارة الإيجابية بقوة، وبلغت ذروتها في عام 2017 بدرجة 0.929. وحتى من 2018 إلى 2024، ظلت الإشارة إيجابية للغاية، رغم أنها انخفضت قليلاً، ربما لأن المواقف في العالم الحقيقي معقدة وأحياناً يحتاج النقد إلى التعامل معه بحذر لتجنب المخاطر.

ماذا يعني هذا (وماذا لا يعني)

يؤكد المؤلفون بحذر أن هذا ليس عصا سحرية تحل كل أزمة. فقد أشاروا إلى أن دراستهم تقتصر على التقارير الإنجليزية وأنواع محددة من الكوارث. كما حذروا من أن "قوة" الأدلة التي قاسوها تعتمد على ما هو مكتوب في التقارير، وليس بالضرورة على حجم التأثير الفعلي على أرض الواقع.

ومع ذلك، تثبت الدراسة أنه باستخدام عملية ذكاء اصطناعي ذكية مكونة من خطوتين وتنظيم البيانات بعناية، يمكننا تحويل جبل من التقارير الفوضوية والمربكة إلى خريطة واضحة وقابلة للتدقيق لما ينجح. ويشير ذلك إلى أنه باستخدام الأدوات الصحيحة، يمكننا التوقف عن التخمين والبدء في معرفة التدخلات التي تساعد الناس حقاً على البقاء والازدهار.