Agenda-based Narrative Extraction: Steering Pathfinding Algorithms with Large Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان: "استخراج السرد القائم على الأجندة: توجيه خوارزميات البحث عن المسار باستخدام النماذج اللغوية الكبيرة."

1. بيان المشكلة

تواجه الطرق الحالية لاستخراج السرد الحسابي مقايضة جوهرية بين التماسك (Coherence)، التفاعلية (Interactivity)، ودعم تعدد الخطوط السردية (Multi-storyline support):

• الخرائط السردية (Narrative Maps): تدعم تفاعل المستخدم الغني وتولد خطوطاً سردية متعددة عبر قيود التغطية، ولكنها غالباً ما تضحي بتماسك المسار الفردي.
• المسارات السردية (Narrative Trails): تحقق تماسكاً عالياً من خلال إيجاد "المسار ذو السعة القصوى" (تحسين أضعف حلقة) في رسم بياني للتماسك، لكنها تنتج مخرجاً واحداً حتمياً دون آلية لتوجيه المستخدم أو تقديم وجهات نظر بديلة.
• الفجوة: لا توجد طريقة حالية تسمح للمستخدمين بتوجيه عملية الاستخراج نحو وجهات نظر محددة (أجندات) مع الحفاظ على ضمانات التماسك العالية لخوارزميات البحث عن المسار.

يهدف المؤلفون إلى سد هذه الفجوة من خلال تقديم استخراج السرد القائم على الأجندة، مما يمكن المستخدمين من توجيه خوارزميات البحث عن المسار باستخدام أوصاف باللغة الطبيعية لوجهات النظر المرغوبة دون التضحية بجودة السرد.

2. المنهجية

تدمج الطريقة المقترحة النماذج اللغوية الكبيرة (LLMs) في إطار عمل البحث عن المسار الخاص بـ المسارات السردية (Narrative Trails).

أ. الإطار الأساسي: الرسوم البيانية للتماسك (Coherence Graphs)

يبني النظام على خوارزمية المسارات السردية:

1. بناء الرسم البياني: الوثائق هي العقد؛ وتمثل الحواف التماسك الثنائي.
   • التضمينات (Embeddings): يتم تضمين الوثائق باستخدام Sentence-BERT، وإسقاطها إلى بُعدين عبر UMAP، وتجميعها باستخدام HDBSCAN لاستخلاص توزيعات المواضيع.
   • دالة التماسك ($\theta$): تجمع بين التقارب المكاني (التشابه الزاوي للإسقاطات ثنائية الأبعاد) والتشابه الموضوعي (تباعد جينسن-شانون لتوزيعات المواضيع).
   • القيود: تُقيد الحواف بالأزواج المرتبة زمنياً، مما يشكل رسماً بيانياً موجهاً غير حلقي (DAG).
2. البحث عن المسار: تبحث الخوارزمية عن المسار ذو السعة القصوى، حيث تعظم الحد الأدنى لوزن الحافة (العنق الزجاجي) بين المصدر والهدف لضمان عدم انخفاض أي انتقال عن عتبة الجودة.

ب. التوجيه القائم على الأجندة (الابتكار)

يقوم المؤلفون بتعديل خطوة الاختيار الجشع (Greedy Selection) في خوارزمية البحث عن المسار:

1. تجميع المرشحين (Candidate Pooling): بدلاً من اختيار المرشح الأعلى تماسكاً فقط، تحدد الخوارزمية أفضل-$k$ من المرشحين بناءً على التماسك.
2. ترتيب النموذج اللغوي الكبير (LLM Ranking): إذا كان $k > 1$، يتم استعلام نموذج لغوي كبير (Gemma 3 12B) لترتيب هؤلاء المرشحين بناءً على توافقهم مع الأجندة المقدمة من المستخدم (وهي سلسلة نصية باللغة الطبيعية تصف وجهة النظر المطلوبة).
   • التلقين (Prompting): يتضمن التلقين الأجندة، وسياق السرد الحالي، وعناوين المرشحين.
   • المخرج: يعيد النموذج اللغوي ترتيباً بصيغة JSON.
3. إعادة تحديد الأولويات: يتم دفع المرشحين إلى طابور الأولويات بناءً على ترتيب النموذج اللغوي وليس بناءً على التماسك وحده. يسمح هذا للخوارزمية باستكشاف مسارات قد تكون أقل تماسكاً قليلاً ولكنها عالية التوافق مع الأجندة، مع الحفاظ على القدرة على التراجع (Backtrack) إذا أدى المسار إلى طريق مسدود.

ج. خطوط الأساس (Baselines)

تتم مقارنة الطريقة مع:

• السعة القصوى (Baseline): المسارات السردية القياسية ($k=1$)، التي تحسن التماسك بشكل بحت.
• مطابقة الكلمات المفتاحية (Keyword Matching): تستخدم تشابه TF-IDF بين الأجندة والوثائق لتسجيل المرشحين، مدمجاً مع درجات التماسك.

3. إعداد التقييم

• مجموعة البيانات: 418 مقالاً إخبارياً تتعلق بـ الاحتجاجات الكوبية لعام ปี 2021 (ديسمبر 2020 – أواخر 2021).
• الأجندات: ست أجندات مصنفة حسب التعقيد:
  • بسيطة (حرفية): "انتفاضة الحرية"، "تضامن الشتات" (تظهر الكلمات حرفياً).
  • دلالية (استنتاجية): "قمع النظام"، "الرقابة الحكومية" (تتطلب استنتاج الصلة من الاعتقالات، الضربات، إلخ، دون وجود كلمات مفتاحية دقيقة).
  • معاكسة (ضبط سلبي): "فشل الاحتجاجات"، "النظام شعبي" (تتعارض مع المواد المصدرية).
• المقاييس: تم التقييم بواسطة نموذجين لغويين رائدين (Claude Opus 4.5 و GPT 5.1) بناءً على:
  • التماسك: التدفق المنطقي، الاتساق الموضوعي، التماسك الزمني، والاكتمال (مقياس 1-10).
  • التوافق: دعم الأجندة، الإقناع، قوة الأدلة، إلخ (مقياس 1-10).
• النطاق: 64 زوجاً من النقاط النهائية عبر 6 أجندات.

4. النتائج الرئيسية

أ. أداء التوافق

• الأجندات الدلالية: يتفوق التوجيه المدفوع بالنماذج اللغوية الكبيرة بشكل كبير على مطابقة الكلمات المفتاحية. بالنسبة لأجندة "قمع النظام"، حقق توجيه النموذج اللغوي توافقاً أعلى بنسبة 13.3% ($p=0.037$).
• الأجندات البسيطة: أدت مطابقة الكلمات المفتاحية أداءً مشابهاً أو أفضل، حيث يكفي التداخل اللفظي للكلمات المفتاحية لهذه الحالات.
• بشكل عام: حقق توجيه النموذج اللغوي توافقاً أعلى بنسبة 9.9% من مطابقة الكلمات المفتاحية في الأجندات الدلالية ($p=0.017$).

ب. مقايضة التماسك

• تكلفة ضئيلة: قللت الطريقة المدفوعة بالنموذج اللغوي من التماسك بنسبة 2.2% فقط (6.19 مقابل 6.33) مقارنة بالخط الأساسي غير المرتبط بأجندة.
• الاستقلالية: كان هناك ارتباط ضعيف ($r \approx 0.10$) بين التماسك والتوافق، مما يشير إلى أنه يمكن أن تكون السرديات متوافقة للغاية مع الأجندة دون التضحية بالتماسك.

ج. التحقق من الأجندة المعاكسة

• سجلت جميع الطرق درجات منخفضة بشكل موحد (2.2–2.5) في الأجندات المعاكسة (مثل "النظام شعبي").
• الأهمية: يؤكد هذا أن النظام لا يمكنه اختلاق سرديات غير مدعومة بالبيانات المصدرية. إنه يضخم وجهات النظر الموجودة بالفعل في المجموعة بدلاً من اختلاق روايات كاذبة.

د. تحليل الحساسية

• استراتيجية التلقين: أدى استخدام تلقين سلسلة الأفكام (Chain-of-Thought - CoT) إلى زيادة التوافق بنسبة 25.7% مقارنة بالتلقين المباشر، رغم أنه زاد من وقت الاستخراج بمقدار 5 أضعاف.
• المعلمات الفائقة (Hyperparameters): كان الأداء قوياً عبر التباينات في حجم مجموعة المرشحين ($k$) ودرجة الحرارة (temperature).

5. المساهمات الرئيسية

1. خوارزمية مبتكرة: تقديم استخراج السرد القائم على الأجندة، والذي يدمج النماذج اللغوية الكبيرة في البحث عن المسار ذو السعة القصوى لتوجيه الخطوط السردية عبر اللغة الطبيعية.
2. سد الفجوة: الجمع بنجاح بين التماسك العالي لـ المسارات السردية وبين القدرة على التفاعل وتعدد وجهات النظر لـ الخرائط السردية.
3. التحقق التجريبي: إثبات قدرة النماذج اللغوية الكبيرة على تحديد الوثائق ذات الصلة دلالياً للأجندات المعقدة حيث تفشل مطابقة الكلمات المفتاحية، مع تكلفة ضئيلة جداً لتماسك السرد.
4. ضمان أخلاقي: أظهرت الدراسة أن الطريقة مقيدة بالمجموعة المصدرية، حيث تفشل في توليد سرديات تتعارض مع البيانات الأساسية (مما يمنع توليد "الأخبار المزيفة" عبر التوجيه).

6. الأهمية والآثار المترتبة

• التحليلات التفاعلية: تمكن هذه الطريقة المحللين من استكشاف مجموعات الوثائق الضخمة من وجهات نظر محددة دون التلاعب اليدوي بهياكل الرسم البياني.
• استكشاف تعدد وجهات النظر: إن تشغيل نفس الخوارزمية مع أجندات مختلفة ينتج خطوطاً سردية متميزة ومتماسكة، مما يسهل دراسة كيفية تأثير التأطير (framing) على بناء السرد.
• القيود والعمل المستقبلي: تقتقت الدراسة لمجموعة بيانات واحدة (الاحتجاجات الكوبية) وتعتمد على أحكام النماذج اللغوية الكبيرة. يتطلب العمل المستقبلي تقييماً بشرياً للتحقق من أحكام النماذج اللغوية واختبارها في مجالات متنوعة.
• ملاحظة أخلاقية: بينما تسمح الأداة بـ "التوجيه"، يؤكد المؤلفون أن هذا يجعل التأطير صريحاً وقابلاً للدراسة، وهو شرط مسبق للكشف عن التلاعب في أنظمة المعلومات.

في الختام، تقدم الورقة إطاراً قوياً لـ استخراج السرد الموجه من قبل المستخدم يستفيد من النماذج اللغوية الكبيرة للتنقل في المقايضة بين التماسك ووجهة النظر، مما يوفر أداة قوية لتحليل الاستخبارات، والصحافة، واسترجاع المعلومات.