RW-Post: Auditable Evidence-Grounded Multimodal Fact-Checking in the Wild
تقدم هذه الورقة البحثية RW-Post، وهو معيار مرجعي نصي-صوري قابل للتدقيق للتحقق من الحقائق متعدد الوسائط في العالم الحقيقي يربط منشورات وسائل التواصل الاجتماعي بأدلة ومسارات استدلال تم التحقق منها بشرياً، إلى جانب خط الأساس AgentFact، للكشف عن فجوات كبيرة في قدرة النماذج الحالية على ربط الادعاءات بالأدلة بأمانة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل الإنترنت كساحة مدينة ضخمة وفوضوية، حيث يواصل الناس الصراخ بقصصهم، بعضها حقيقي وبعضها مختلق. وغالباً ما يقوم الكاذب بدمج قصة مزيفة مع صورة تبدو حقيقية لجعلها تبدو مقنعة. هذا ما يسمى بـ "المعلومات المضللة متعددة الوسائط" (multimodal misinformation).
تقدم الورقة البحثية التي قدمتها أداة جديدة وطريقة جديدة لاختبار قدرة الحواسيب على كشف هؤلاء الكاذبين. إليك التفاصيل بتبسيط شديد:
1. المشكلة: يحتاج محقق "الأخبار الكاذبة" إلى حقيبة أدوات أفضل
برامج الكمبيوتر الحالية التي تحاول رصد الأخبار الكاذبة تشبه المحققين الذين ينظرون فقط إلى وجه المشتبه به أو يقرؤون فقط مذكرات المشتبه به، لكنهم نادراً ما يربطون بين الاثنين معاً. إنهم غالباً ما يخمنون الإجابة دون العثور على دليل فعلي، أو يتم خداعهم بصورة تبدو حقيقية ولكن يتم استخدامها في سياق خاطئ (مثل صورة لمسيرة من عام 2015 يتم الادعاء بأنها حدثت في عام 2023).
2. مجموعة البيانات الجديدة: "RW-Post" (دليل التدريب)
أنشأ المؤلفون "دليل تدريب" جديداً يسمى RW-Post. اعتبر هذا الدليل بمثابة مكتبة ضخمة من الأمثلة الواقعية حيث:
- مسرح الجريمة: أخذوا المنشور الأصلي الدقيق (النص والصورة) الذي بدأ الإشاعة على وسائل التواصل الاجتماعي.
- الدليل: لم يكتفوا بالتخمين؛ بل ربطوا كل ادعاء بأدلة حقيقية محددة من العالم الواقعي (مثل مقال إخباري، أو فيديو، أو موقع إلكتروني محدد) يثبت صحة أو خطأ الادعاء.
- الاستنتاج المنطقي: تضمنوا "عملية تفكير" توضح بالضبط كيف قام مدقق الحقائق البشري بربط الخيوط بين الصورة والنص والدليل.
لماذا هذا مميز؟ معظم مجموعات البيانات السابقة كانت مثل الاختبار الذي تكون فيه الإجابات مخفية. أما RW-Post فهو مثل اختبار تكون فيه مفاتيح الحل والخطوات الرياضية التفصيلية موجودة أمامك، بحيث يمكننا رؤية المكان الذي يتعثر فيه الكمبيوتر بالضبط.
3. المحقق الجديد: "AgentFact" (فريق المتخصصين)
لاختبار ما إذا كان بإمكان الحواسيب القيام بالمهمة بالفعل، بنى المؤلفون نظاماً يسمى AgentFact. بدلاً من وجود عقل واحد ضخم يحاول القيام بكل شيء في وقت واحد، تخيل فريقاً من خمسة محققين متخصصين يعملون معاً:
- المخطط: يقرر ما هي الأسئلة التي يجب طرحها.
- صائد النصوص: يبحث عبر الإنترنت للعثور على مقالات مكتوبة تدعم الادعاء أو تنفيه.
- محقق الصور: يقوم بعمل "بحث عكسي عن الصور" ليرى ما إذا كانت الصورة قديمة، أو معدلة، أو من حدث مختلف.
- المستنتج: يجمع كل الأدلة معاً ليقرر ما إذا كانت القصة حقيقية.
- المراسل: يكتب التقرير النهائي، مع الحرص على الاستشهاد بدقة بالدليل الذي أثبت كل جزئية.
4. الاكتشاف الكبير: الحواسيب تحتاج إلى "أوراق غش"
أجرى المؤلفون سلسلة من الاختبارات باستخدام نماذج حاسوبية مختلفة (سواء كانت مفتوحة المصدر أو قوية ومغلقة المصدر) باستخدام ثلاث قواعد مختلفة:
- الكتاب المغلق (Closed-Book): يجب على الكمبيوتر التخمين بناءً على ما يعرفه بالفعل فقط (بدون إنترنت، وبدون ملفات إضافية).
- المقيد بالأدلة (Evidence-Bounded): يُعطى الكمبيوتر "ورقة الغش" المحددة (روابط الأدلة) لكن لا يمكنه البحث في الويب.
- الويب المفتوح (Open-Web): يمكن للكمبيوتر البحث في الإنترنت مثل البشر.
النتائج:
- بدون ورقة الغش (الكتاب المغلق): كانت الحواسيب سيئة للغاية. لقد عانت لتحديد الحقيقة، وكثيراً ما اختلقت أسباباً أو شعرت بالارتباك بسبب الصور.
- مع ورقة الغش (المقيد بالأدلة): أصبحت الحواسيب أكثر ذكاءً بكثير. عندما أُجبرت على النظر في الأدلة الفعلية، ارتفقت دقتها بشكل كبير.
- مشكلة الصورة: حتى مع وجود ورقة الغش، لا تزال الحواسيب تعاني في الربط بين النص والصورة بشكل صحيح. لقد استطاعت قراءة الأدلة جيداً، لكنها غالباً ما فشلت في فهم كيفية ملاءمة الصورة للقصة.
5. الخلاصة
تخلص الورقة البحثية إلى أنه بينما تتحسن الحواسيب في القراءة، إلا أنها لا تزال سيئة في "تأصيل" إجاباتها في أدلة واقعية. فهي تميل إلى الظهور بمظهر الواثق حتى عندما تكون بصدد اختلاق أشياء ما.
يقول المؤلفون إننا لبناء "كاشف أخبار كاذبة" موثوق حقاً، يجب أن نتوقف عن مطالبة الحواسيب بالتخمين ونبدأ في إجبارها على إظهار خطوات عملها، وربط إجاباتها بمصادرها، وإثبات أن استنتاجاتها تتطابق مع الأدلة. RW-Post هو ميدان الاختبار الجديد المصمم لقياس مدى جودة قدرتها على القيام بذلك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.