FactLink: A Cross-Domain Benchmark for Link Role Classification for Fact-Checking

تخيل الإنترنت كمكتبة ضخمة وفوضوية حيث يمكن لأي شخص أن يكتب كتاباً، أو يلصق ملاحظة على الحائط، أو يصرخ بشائعة من فوق السطح. أحياناً تكون هذه الملاحظات حقيقية؛ وفي أحيان أخرى، تكون أكاذيب متقنة مصممة لخداعك. وهنا يأتي دور "مدققي الحقائق"، وهم مجموعة من أمناء المكتبات الرقميين والصحفيين الذين يهرعون لإصلاح هذا الفوضى. إنهم يكتبون مقالات تقول: "مهلاً، تلك الملاحظة على الحائط مزيفة!" ثم يشيرون إلى شيئين مختلفين تماماً: الملاحظة المزيفة نفسها (حتى تتمكن من رؤية شكل الكذبة) والأدلة الموثوقة (مثل تقرير شرطة أو دراسة علمية) التي تثبت خطأ الكذبة.

المشكلة هي أنه في العالم الرقمي، غالباً ما يقوم هؤلاء المدققون بوضع مجموعة من الروابط في مقالاتهم دون إخبارك أي رابط هو "الملاحظة المزيفة" وأيها هو "الدليل". الأمر يشبه محققاً يشير إلى صورة لمسرح جريمة وإلى طقم أدوات البصمات ويقول: "انظر إلى هذين الشيئين"، دون أن يشرح أي منهما هو الجاني وأيهما هو الحل. هذا يجعل من الصعب على الحواسيب تعلم كيفية رصد الأكاذيب تلقائياً. فإذا لم يستطع الحاسوب التمييز بين رابط لـ "كاذب" ورابط لـ "صادق"، فلن يتمكن من مساعدة أمناء المكتبات في ترتيب المكتبة. وهنا تأتي أهمية علم "تصنيف دور الرابط" (link role classification): وهو فن تعليم الآلات كيف تنظر إلى الرابط وتتساءل: "هل أنت الشرير، أم أنت البطل؟"

تقدم هذه الورقة البحثية أداة جديدة تسمى FactLink للمساعدة في حل هذا اللغز. فقد أدرك الباحثون، وهم فريق من جامعة شيفيلد وشركة بلغارية، أنه بينما نمتلك الكثير من مقالات تدقيق الحقائق، إلا أننا لا نملك طريقة جيدة لتعليم الحواسيب فهم "الغرض" من الروابط الموجودة بداخلها. لذا، قاموا ببناء "صالة ألعاب رياضية للتدريب" للحواسيب باستخدام مجموعتين مختلفتين جداً من البيانات.

أولاً، أنشأوا مجموعة بيانات "المعيار الذهبي" (Gold Standard). فكر في هذا كأنه امتحان صارم وعالي المخاطر. لقد أخذوا 1,782 رابطاً من مقالات تدقيق الحقائق باللغتين الإنجليزية والبلغارية، وجعلوا متطوعين بشريين مدربين يقومون بتصنيف كل رابط بعناية. كان هؤلاء المتطوعون بمثابة حكام خبراء، يقررون ما إذا كان الرابط يشير إلى "تضليل معلوماتي" (Disinformation) (أي الكذبة)، أو "دليل داعم" (Supporting Evidence) (أي الإثبات)، أو "أخرى" (Other) (مجرد ضجيج خلفي). هذه المجموعة صغيرة ولكنها دقيقة للغاية، مع مستوى عالٍ من الاتفاق بين الحكام، مما يجعلها اختباراً مثالياً لمعرفة ما إذا كان الحاسوب ذكياً حقاً.

ثانياً، جمعوا مجموعة بيانات "وسم الصحفيين" (Journalist-Tagged). هذا يشبه ملعباً ضخماً في العالم الحقيقي. لقد جمعوا أكثر من 49,000 رابط من مقالات كتبها صحفيون محترفون في وكالة فرانس برس (AFP) (وهي وكالة أنباء كبرى). وكان هؤلاء الصحفيون قد قاموا بالفعل بوسم روابطهم الخاصة أثناء عملهم اليومي. هذه المجموعة ضخمة وتغطي أكثر من 30 لغة، لكنها "فوضوية" بعض الشيء لأنها تعكس كيف يعمل البشر في الواقع، وليس كيف يعملون في امتحان مثالي.

بعد ذلك، وضع الباحثون نوعين من "الأدمغة الحاسوبية" تحت الاختبار: "نماذج المحولات الضبطية" (Fine-tuned Transformers) (وهي نماذج تشبه الطلاب الذين درسوا كتاباً مدرسياً معيناً بجد شديد) و "النماذج اللغوية الكبيرة" (LLMs) (مثل العباقرة ذوي المعرفة العامة الواسعة الذين لم يدرسوا هذا الكتاب المدرسي تحديداً، ولكن يمكنهم استنتاج الأمور من خلال بضعة أمثلة).

وهذا ما وجدوه، وهناك التواء في النتائج:

• عند وجود الكثير من البيانات: إذا أعطيت "نماذج الطلاب" (المحولات الضبطية) كومة ضخمة من الأمثلة للدراسة، مثل الـ 49,000 رابط من الصحفيين، فإنها تصبح أبطالاً مطلقين. لقد سجلوا Macro-F1 قدره 0.866، وهي درجة عالية جداً، مما يعني أنهم أصبحوا بارعين جداً في رصد الفرق بين الأكاذيب والأدلة.
• عند وجود القليل من البيانات: ولكن عندما اختبر الباحثونهم على مجموعة "المعيار الذهبي" الصغيرة والصارمة (1,782 رابطاً فقط)، تعثرت "نماذج الطلاب" قليلاً، حيث سجلت 0.745.
• العباقرة يتألقون في الظلام: هنا فاجأت النماذج اللغوية الكبيرة (LLMs) (العباقرة ذوو المعرفة العامة) الجميع. فعندما أُعطوا بضعة أمثلة فقط (منهج "التعلم من أمثلة قليلة" أو few-shot)، تفوقوا في الواقع على نماذج الطلاب في المجموعة الصغيرة، حيث سجلوا 0.76. كما كانوا أكثر استقراراً عندما تغيرت القواعد قليلاً (اختبار عبر المجالات المختلفة).

تشير الورقة البحثية إلى أنه لا يوجد "عقل حاسوبي" واحد هو الأفضل لهذه المهمة. فإذا كان لديك كمية هائلة من البيانات المصنفة وتحتاج إلى عامل موثوق ومتسق، فإن "المحول الضبطي" هو خيارك الأفضل. ولكن إذا كنت في موقف جديد، أو تتعامل مع كمية صغيرة من البيانات، أو تحتاج إلى نموذج يمكنه التكيف بسرعة مع لغات وأساليب مختلفة دون إعادة تدريب، فإن "النموذج اللغوي الكبير" (LLM) هو الخيار الأكثر قوة.

كما لاحظ المؤلفون أن البشر themselves يعانون أيضاً من هذه المهمة. فعندما نظروا إلى المواضع التي اختلف فيها الحكام البشر، وجدوا أن الخط الفاصل بين "الدليل الداعم" و"أخرى" (المعلومات الخلفية) غالباً ما يكون ضبابياً. فمن الصعب تحديد ما إذا كان الرابط قطعة حاسمة من الإثبات أم مجرد ملاحظة جانبية مفيدة. وهذا يعني أن أفضل النماذج الحاسوبية ستواجه تحدياً يعود جزئياً إلى الغموض الطبيعي للغة البشرية، وليس فقط لنقص في القدرة الحسابية.

باختم القول، هذه الورقة لم تبنِ مجرد مجموعة بيانات فحسب؛ بل أظهرت لنا أن أفضل طريقة لمحاربة الأكاذيب عبر الإنترنت باستخدام الذكاء الاصطناعي تعتمد على مقدار البيانات التي تمتلكها. فأحياناً تحتاج إلى متخصص درس الكتاب المدرسي، وأحياناً تحتاج إلى شخص واسع المعرفة يمكنه استنتاج الأمور بسرعة. ومن خلال توفير هاتين المجموعتين الجديدتين من البيانات، منح الباحثون المجتمع العلمي طريقة جديدة لتدريب واختبار هؤلاء المحققين الرقميين، آملين في جعل الإنترنت أقل ارتباكاً وأكثر صدقاً.