← أحدث الأبحاث
💬 NLP

Novel Claim or Déjà Vu? Rethinking "Contamination-Free'' Dynamic Evaluation for Multimodal Automated Fact-Checking

تتحدى هذه الورقة الافتراض القائل بأن المعايير المرجعية الديناميكية خالية بطبيعتها من التلوث، وذلك من خلال إثبات أن جزءاً كبيراً من الادعاءات التي تلت تاريخ القطع لا تزال قابلة للتحقق عبر المعرفة الموجودة مسبقاً، مما يمكن أن يؤدي إلى تضخيم أداء التحقق من الحقائق متعدد الوسائط بشكل مصطنع وتشويه تصنيفات الأنظمة، الأمر الذي يستلزم بروتوكولات تقييم أكثر صرامة.

المؤلفون الأصليون: Haorui He, Xinwen Chen, Dacheng Wen, Reynold Cheng, Francis C. M. Lau, Yupeng Li

نُشر 2026-07-28✓ Author reviewed ⓘ
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Haorui He, Xinwen Chen, Dacheng Wen, Reynold Cheng, Francis C. M. Lau, Yupeng Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتدريب روبوت فائق الذكاء ليكون محققاً. مهمته هي حل الألغاز من خلال العثور على الأدلة على الإنترنت، وقراءتها، ثم تقرير ما إذا كانت القصة حقيقية أم كاذبة. يُسمى هذا "التحقق الآلي من الحقائق". لكن الجزء الصعب هنا هو أنه لكي نتأكد من أن الروبوت يتعلم حقاً كيف يكون محققاً وليس مجرد حافظ للمعلومات، يجب علينا اختباره بألغاز جديدة لم يسبق له رؤيتها من قبل. إذا أعطيناه لغزاً يعرف إجابته بالفعل لأنه قرأه في كتب تدريبه، فلن نتمكن من معرفة ما إذا كان بارعاً في إيجاد الأدلة أم أنه بارع فقط في التذكر. هذا البحث يغوص في زاوية محددة من علوم الحاسوب حيث نحاول بناء هذه الروبوتات المحققة للقصص التي تمزج بين النصوص والصور (مثل "الميمز" المنتشرة أو مقاطع الفيديو الإخبارية). السؤال الكبير هو: هل نختبر هذه الرومات بشكل عادل، أم أننا نعطيها الإجابات بالخطأ قبل أن يبدأ الاختبار حتى؟

قرر الباحثون وراء هذا البحث، وهم فريق من هونج كونج وبكين، استقصاء فكرة شائعة في عالم التكنولوجيا. اعتقد العديد من العلماء أنه إذا أنشأوا اختبارات "ديناميكية" — باستخدام قصص إخبارية نُشرت بعد توقف تدريب الروبوت — فستكون آمنة من الغش. افترضوا أنه إذا كانت القصة جديدة، فمن المستحيل أن يعرف الروبوت الإجابة. لكن المؤلفين اشتبهوا في أن هذا قد يكون فخاً. تساءلوا: ماذا لو لم يكن الروبوت بحاجة للبحث عن أدلة جديدة لأن الإجابة موجودة بالفعل في ذاكرته، حتى بالنسبة للقصص "الجديدة"؟

ولمعرفة ذلك، قاموا ببناء مختبر اختبار خاص. أخذوا مجموعة جديدة تماماً من قصص التحقق من الحقائق من أواخر عام 2025 (بعد تاريخ انقطاع تدريب الروبوتات) وقارنوها بمجموعة أقدم من القصص. استخدموا طريقة ذكية لمعرفة ما إذا كان بإمكان الروبوتات كتابة مقال للتحقق من الحقائق باستخدام ذاكرتها الداخلية فقط، دون البحث عن أي شيء جديد. إذا بدا مقال الروبوت المعتمد على الذاكرة فقط مشابهاً جداً للمقال الحقيقي الذي كتبه البشر للتحقق من الحقائق، فقد صنفوه على أنه "ملوث" — مما يعني أن الروبوت كان يغش باستخدام المعرفة القديمة بدلاً من القيام بالعمل الشاق المتمثل في البحث.

كشف استقصاؤهم عن أخبار مفاجئة ومخيبة للآمال نوعاً ما. أولاً، وجدوا أنه حتى مع هذه الاختبارات الديناميكية "الجديدة"، لا تزال نسبة تتراوح بين 17% إلى 29% من القصص ملوثة. الأمر يشبه إعطاء طالب اختباراً في موضوع جديد، لكن الطالب يدرك أن الإجابة هي مجرد مزيج من ثلاث حقائق قديمة حفظها بالفعل. على سبيل المثال، قد تكون القصة حول إشاعة جديدة تتعلق بعمر شخص مشهور؛ لا يحتاج الروبوت للبحث في الويب لأنه يعرف بالفعل سنة ميلاد الشخص والسن القانوني لوظيفة ما، لذا يمكنه حل اللغز فوراً.

اكتشف الفريق أيضاً أن هذا "الغش" يجعل الروبوتات تبدو أذكى بكثير مما هي عليه في الواقع. عندما اختبروا الروبوتات على القصص الملوثة، سجلت الروبوتات درجات عالية. ولكن عندما انتقلوا إلى القصص الجديدة حقاً التي لم تستطع الروبوتات حلها من الذاكرة، انخفضت الدرجات بشكل كبير، وأحياناً بمقدار 11 نقطة. إنه الفرق بين عداء يبدو سريعاً لأنه يركض على جهاز المشي الذي تدرب عليه، مقابل الجري في مسار جديد ومتعرج. كان التلوث قوياً لدرجة أنه غير حتى ترتيب الروبوتات التي تُعتبر "الأفضل". فالروبوت الذي بدا بطلاً في الاختبار القديم لم يكن هو المتصدر في الاختبار العادل والنظيف.

في النهاية، أعاد المؤلفون إجراء الاختبارات مع وضع قاعدة صارمة: استخدام القصص التي لا يستطيع أي روبوت حلها من الذاكرة فقط. وحتى مع توفر ساحة لعب عادلة كهذه، فإن أفضل الروبوتات حصلت فقط على حوالي 56% من الإجابات الصحيحة. هذا يشير إلى أنه بينما تصبح روبوتات المحققين لدينا أفضل، إلا أنه لا يزال أمامهم طريق طويل قبل أن يتمكنوا حقاً من التعامل مع عالم الأخبار السريع والمضطرب في الوقت الفعلي دون ارتباك أو الاعتماد على الذكريات القديمة. خلص البحث إلى أن مجرد استخدام تواريخ "جديدة" ليس كافياً لمنع الغش؛ نحن بحاجة إلى طرق أكثر ذكاءً لضمان أن الروبوتات تقوم حقاً بعمل التحقيق، وليس مجرد استرجاع الماضي.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💬 cs.CL →