SourceMinds at CheckThat! 2026: NLI-Grounded Citation Auditing in a Multi-Agent Pipeline for Full Fact-Checking Article Generation

معضلة المحقق: لماذا نحتاج إلى روبوتات أفضل للتحقق من الحقائق

تخيل الإنترنت كمكتبة ضخمة وفوضوية حيث يمكن لأي شخص أن يصرخ بـ "حقيقة" من بين الرفوف. أحياناً تكون هذه الصرخات صحيحة، لكنها غالباً ما تكون تخمينات جامحة، أو أنصاف حقائق، أو أكاذيب صريحة. لفترة طويلة، كانت الحواسيب جيدة في لعب لعبة بسيطة من نوع "صواب أم خطأ" مع هذه الصرخات؛ حيث تعمل كحكم، ترفع علماً أخضر للحق، أو علماً أحمر للأكاذيب. لكن في العالم الحقيقي، لا يكفي مجرد إطلاق صافرة "خطأ". إذا نشر شخص ما شائعة، فنحن لا نريد فقط صافرة حكم، بل نريد قصة تحقيق كاملة. نحن بحاجة لمعرفة لماذا هي خاطئة، وما الذي تقوله الأدلة فعلياً، وأي صفحة بالضبط في الصحيفة أثبتت كذب الكاذب. هذا هو تحدي "توليد مقالات التحقق من الحقائق". الأمر لا يتعلق فقط بإيجاد الإجابة، بل بكتابة قصة واضحة وموثوقة تربط النقاط بين الادعاء والدليل، مع الاستشهاد بكل مصدر على حدة حتى لا يستطيع أحد أن يقول: "من أين أتيت بهذا؟"

هنا يأتي دور ورقة بحثية بعنوان "SourceMinds at CheckThat! 2026". أدرك المؤلفون، وهم فريق من جامعة نورث تكساس، أن مطالبة حاسوب فائق الذكاء بكتابة مقال كامل للتحقق من الحقائق في قفزة واحدة ضخمة غالباً ما يؤدي إلى نتائج فوضوية. قد يخترع الحاسوب أشياءً أو ينسى الاستشهاد بمصادره. لذا، قاموا ببناء فريق من المتخصصين الرقميين — "خط معالجة متعدد الوكلاء" (multi-agent pipeline) — لتولي المهمة خطوة بخطوة. بدلاً من روبوت واحد يحاول القيام بكل شيء في وقت واحد، ابتكروا سير عمل حيث يجد روبوت واحد الأدلة، وينظم روبوت آخر الخطة، ويكتب ثالث المسودة، ويقوم "مدقق" أخير بفحص كل استشهاد للتأكد من أن القصة متماسكة. لم يكن هدفهم الكتابة بشكل أسرع فحسب، بل الكتابة بشكل أفضل، لضمان أن كل جملة في المقال النهائي مدعومة بمصدر حقيقي وقابل للتحقق.

فريق المحققين الرقميين

تصف الورقة نظاماً يسمى SourceMinds، مصمماً لحل مشكلة محددة للغاية: كيفية تحويل ادعاء فوضوي، وحكم (مثل "خاطئ")، ومجموعة من وثائق الأدلة إلى مقال احترافي ونظيف للتحقق من الحقائق. يقترح المؤلفون أن أفضل طريقة للقيام بذلك هي تقسيم العملية إلى سباق تتابع، حيث يمرر مختلف "الوكلاء" (برامج حاسوبية متخصصة) الشعلة لبعضهم البعض.

الخطوة 1: صائد الأدلة
أولاً، يجب على النظام العثور على القرائن الصحيحة. تخيل أنك تبحث عن اقتباس محدد في مكتبة تضم آلاف الكتب. إذا التقطت فقط أول بضعة كتب تبدو متشابهة، فقد تفوتك الأفضل. يستخدم فريق SourceMinds وكيلاً لـ "الاسترجاع الكثيف" (dense retrieval)، وهو يشبه أمين مكتبة يفهم معنى الكلمات، وليس مجرد تهجئتها. يقوم بمسح وثائق الأدلة ويجد الجمل الأكثر صلة. لكنه لا يتوقف عند هذا الحد؛ فهو يستخدم "إعادة ترتيب" (reranker) للتدقيق في أفضل المطابقات، و"مُنتقي متوازن المصادر" (source-balanced selector) لضمان عدم اختيار عشرة اقتباسات من موقع إلكتروني واحد فقط. إنه يريد فريقاً متنوعاً من المصادر، لضمان عدم انحياز الأدلة لصوت واحد فقط.

الخطوة 2: المهندس المعماري (مخطط الحقائق)
بمجرد جمع القرائن، لا يبدأ النظام بالكتابة مباشرة. سيكون ذلك مثل محاولة بناء منزل بدون مخطط. يأخذ وكيل "مخطط الحقائق" (Fact Planner) الأدلة المختارة وينشئ خطة بصيغة JSON مهيكلة. فكر في هذا كمهندس معماري يرسم مخطط الطابق. يقرر ما هو الحجة الرئيسية، ويسرد نقاط الدعم، ويدون أي "تحفظات" (caveats) إذا لم تتطابق الأدلة تماماً مع الحكم. والأهم من ذلك، إذا كانت الأدلة ضعيفة، يتم برمجة المخطط للاعتراف بذلك بدلاً من اختراع سبب زائف لجعل القصة تتناسب مع الواقع.

الخطوة 3: الصحفي (كاتب المقال)
مع وجود المخطط في اليد، يتدخل وكيل "كاتب المقال". يعمل هذا الوكيل كصحفي محترف. مهمته هي كتابة مقال يتراوح بين 250 إلى 450 كلمة يشرح الادعاء، ويذكر الحكم، ويأخذ القارل في جولة عبر الأدلة. القاعدة هنا صارمة: يجب أن تحتوي كل جملة واقعية على "استشهاد"، والذي يظهر كالتالي: (المصدر: URL). إنه يشبه طالباً يكتب بحثاً علمياً حيث يجب أن يكون لكل ادعاء حاشية. يُطلب من الكاتب استخدام فقط عناوين URL المقدمة في فهرس الأدلة، مما يمنعه من اختراع مصادر وهمية.

الخطوة 4: المحرر (النقد الذاتي)
قبل أن يذهب المقال للطباعة، يمر عبر "نقد ذاتي محكوم" (gated self-critique). هذا محرر ذكي لا يستيقظ إلا إذا بدا المسودة مشبوهاً. يفحص النظام المسودة: هل تحتوي على ثلاثة استشهادات على الأقل؟ هل تستخدم مصدرين مختلفين على الأقل؟ إذا بدت المسودة "ضعيفة التأسيس" (بمعنى أنها تفتقر إلى الإثبات)، يبدأ المحرر بالعمل. يقرأ المقال جملة بجملة. إذا كانت الجملة تقدم ادعاءً ولكن الاستشهاد لا يدعمه فعلياً، يقوم المحرر بإعادة كتابة الجملة أو استبدال الاستشهاد بآخر أفضل. إذا كانت المسودة جيدة بالفعل، يتخطى المحرر العمل لتوف توفير الوقت. تضمن هذه الخطوة أن المقال لا يبدو فقط وكأن لديه مصادر، بل إن المصادر تدعم الكلمات فعلياً.

الخطوة 5: المدقق (مدقق الاستشهاد NLI)
أخيراً، يقوم "مدقق استشهاد NLI" بإجراء فحص خلفي آلي وصارم. يستخدم هذا الوكيل تقنية تسمى "الاستدلال باللغة الطبيعية" (Natural Language Inference - NLI). تخيل اختبار منطق يسأل فيه الحاسوب: "إذا كانت هذه الأدلة صحيحة، فهل يعني ذلك بالضرورة أن هذه الجملة صحيحة؟". يقوم المدقق بثلاث تمريرات:

1. التنظيف: يقوم باستبعاد أي استشهادات تشير إلى عناوين URL ليست في قائمة الأدلة الأصلية.
2. الإصلاح: إذا كانت الجملة بلا استشهاد، يبحث المدقق عن أفضل دليل مطابق ويرفق استشهاداً فقط إذا كان الدليل يثبت الجملة منطقياً.
3. التقليم: إذا كانت الجملة تحتوي على استشهادات كثيرة جداً، يقوم المدقق بإزالة الاستشهادات الزائدة، محتفظاً فقط بالمصادر الأساسية.

ماذا وجدوا؟

اختبر الفريق نظامهم على مجموعة اختبار CLEF 2026 CheckThat! Lab الرسمية، والتي احتوت على 1,158 ادعاءً بمتوسط 7.8 مقال أدلة لكل ادعاء. وقارنوا خط معالجة الوكلاء المتعددين الخاص بهم بنظام أساسي (baseline).

كانت النتائج مزيجاً من النجاح ودرس واضح للمستقبل. حقق نظام SourceMinds متوسط درجة قدره 0.329، متفوقاً على درجة النظام الأساسي البالغة 0.272. اقترح المؤلفون أن تقسيم المهمة إلى مراحل متخصصة ساعد حقاً. وتحديداً:

• تغطية الأدلة: سجل النظام 0.394، وهو أعلى الدرجات بين جميع المقاييس. وهذا يعني أن النظام كان جيداً جداً في العثور على الأدلة ذات الصلة وتوزيع الاستشهادات عبر مصادر مختلفة، بدلاً من الاعتماد على وثيقة واحدة فقط.
• جودة الاستشهاد: تحسن النظام بشكل ملحوظ في دقة الاستشهاد (0.337) واستدعاء الاستشهاد (0.339) مقارنة بالنظام الأساسي (0.223 و0.240). يشير هذا إلى أن وكلاء "الكاتب" و"المدقق" عملوا جيداً معاً لضمان وجود الاستشهادات وأنها ضرورية فعلياً.

ومع ذلك، تسلط الورقة الضوء أيضاً على عقبة كبيرة. فدرجة الاستلزام (Entailment Score) — التي تقيس ما إذا كان المقال المولد يتوافق فعلياً مع المنطق والاستدلال للمرجع المرجعي الحقيقي — كانت أدنى درجة عند 0.245. في الواقع، كانت هذه هي المرة الوحيدة التي سجل فيها نظامهم درجة أقل من النظام الأساسي (0.298).

يفسر المؤلفون هذه الفجوة بالإشارة إلى أن امتلاك استشهاد لا يضمن صحة القصة. يمكن للجملة أن تحمل استشهاداً يبدو مثالياً مثل (المصدر: example.com) ولكنها لا تزال تسيء عرض ما قاله ذلك الموقع فعلياً. كان النظام جيداً في إرفاق العلامات بالجمل، لكنه عانى في بناء الحجة المنطقية العميقة التي تربط الأدلة بالقرار النهائي كما يفعل الخبير البشري. تشير الورقة إلى أنه بينما يعد التحقق "جملة بجملة" مفيداً، فإن التحدي الكبير القادم هو تحسين "المواءمة بين الدليل والادعاء" — التأكد من أن القصة بأكملها منطقية، وليس فقط الأجزاء الفردية.

الخلاصة

يخلص فريق SourceMinds إلى أن خط معالجة الوكلاء المتعددين الخاص بهم هو طريقة واعدة ونمطية لتوليد مقالات التحقق من الحقائق. إنه يثبت أنك لست بحاجة لتدريب روبوت ضخم ومتخصص من الصفر؛ بدلاً من ذلك، يمكنك استخدام فريق خفيف من الوكلاء المتخصصين للحصول على نتائج أفضل. النظام فعال في اختيار الأدلة الصحيحة وإنتاج مقالات موثقة جيداً وقابلة للتتبع. ومع ذلك، فإن درجة الاستلزام المنخفضة تشير إلى أن "سحر" التحقق من الحقائق لا يقتصر فقط على إيجاد المصادر؛ بل يتعلق بنسجها في سرد متماسك ومنطقي. يقترح المؤلفون أن العمل المستقبلي يجب أن يركز على مراحل استدلال أفضل لسد الفجوة بين "امتلاك استشهاد" وبين "قول الحقيقة كاملة".