Let the Bullets Fly: Multimodal Fake News Detection with Temporal-Aligned Generative Danmaku
تقدم هذه الورقة Genda، وهو إطار توليدي زمني يحاكي تفاعلات الـ Danmaku في الوقت الفعلي للتغلب على مشكلات زمن الاستجابة، ويستفيد من التدفقات الزائفة الناتجة في نموذج DM-FEND مبتكر لتحقيق أفضل النتائج الحالية في الكشف عن الأخبار المزيفة متعددة الوسائط على كل من المعايير الصينية والإنجليزية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد الرقمي الحديث، لا تصل الأخبار غالباً في شكل مقال ثابت، بل كتدفق سريع من الفيديو والصوت والنص. هذه المقاطع القصيرة، المنتشرة بكثرة على منصات مثل تيك توك (TikTok) وبيلي بيلي (Bilibili)، تضغط القصص المعقدة في ثوانٍ معدودة، مما يخلق أرضاً خصبة لانتشار المعلومات المضللة قبل أن يتسنى التحقق من صحتها. تعتمد الطرق التقليدية لكشف الأخبار الزائفة غالباً على تحليل الفيديو أو الصوت نفسه، بحثاً عن بصمات رقمية للتعديل أو التلاعب. ومع ذلك، يمكن للمزيفات المتطورة أن تبدو وتسمع بشكل مثالي، مما يترك أدوات التحليل الجنائي هذه دون شيء لتجده. ولكن هناك نوع مختلف من الأدلة يوجد في الضجيج الفوضوي للجمهور في الوقت الفعلي. ففي العديد من منصات الفيديو الآسيوية، لا يكتفي المشاهدون بترك تعليقات بعد انتهاء الفيديو؛ بل يرسلون "دانماكو" (Danmaku)، أو التعليقات الرصاصية، التي تطير عبر الشاشة بالتزامن مع الجدول الزمني للفيديو. تقدم هذه التعليقات سجلاً فريداً، ثانية بثانية، لكيفية تفاعل الناس مع لحظات محددة، مما يخلق طبقة غنية من السياق الاجتماعي الذي يتحرك بالتوازي مع القصة التي تُروى.
لقد كان التحدي الذي يواجه الباحثين هو أن هذا الضجيج الاجتماعي يصل ببطء شدم يجعله مفيداً للكشف في الوقت الفعلي. فبحلول الوقت الذي يشاهد فيه عدد كافٍ من الأشلي الفيديو ويرسلون تعليقاتهم الرصاصية لتشكيل نمط ذي معنى، تكون الأخبار الزائفة قد انتشرت بالفعل. ولحل هذه المشكلة، طور فريق من الباحثين في جامعة يانغتشو وجامعة أبرن (Aubong) نهجاً جديداً يحاكي عملية التفاعل البشري هذه. لقد أنشأوا نظاماً يمكنه التنبؤ بدقة متى وكيف سيتفاعل الجمهور مع فيديو ما، حتى قبل أن يراه أي بشر حقيقيين. هذا النظام، الذي أطلقوا عليه اسم "جيندا" (Genda)، يعمل كآلة زمن للتفاعل الاجتماعي؛ فهو لا ينتظر اللحاق بالإنترنت، بل يولد بدلاً من ذلك تدفقاً واقعياً من التعليقات الرصاصية المحاكية التي تتوافق تماماً مع الجدول الزمني للفيديو، متنبئاً بكثافة ومحتوى ردود فعل المستخدمين كما لو كان هناك حشد يشاهد المقطع في هذه اللحظة.
بنى الباحثون هذه المحاكاة باستخدام جزأين متميزين. أولاً، يقوم مكون "المُحفز" (trigger) بتحليل الفيديو لفهم محتواه، ونبرته العاطفية، وتدفقه السردي. فهو يتنبأ باللحظات التي من المرجح أن يشعر فيها المشاهدون بالمفاجأة أو الارتباك أو الغضب، ويقدر مدى قوة تلك الردود. ثانياً، يستخدم "المولد" (generator) تلك التنبؤات لكتابة التعليقات الفعلية؛ حيث ينشئ مجموعة متنوعة من الاستجابات البشرية، من الفضول الطفيف إلى النقاش الحاد، مما يضمن مطابقة التعليقات المحاكية للإشارات البصرية والسمعية المحددة للفيديو في تلك الثانية بالضبط. والنتي نتيجة ذلك هي تدفق من التغذية الراجعة الاجتماعية الاصطناعية ولكنها دقيقة للغاية، تعكس كيفية سلوك الجمهور الحقيقي، مما يسد الفجوة بين صدور الفيديو وتراكم بيانات المستخدمين الحقيقية.
مع وجود هذه الطبقة الاجتماعية المحاكية في مكانها، قدم الفريق نموذج كشف جديد يسمى "دي إم-فيند" (DM-FEND). يعامل هذا النموذج التعليقات الرصاصية المولدة ليس كضجيج، بل كدليل. فهو يستخدم التفاعلات المحاكية لمساعدة الكمبيوتر على فهم الفيديو والصوت والنص بشكل أعمق. ومن خلال مواءمة الأجزاء المختلفة من الفيديو مع ردود الفعل المتوقعة، يمكن للنموذج رصد التناقضات التي قد يغفل عنها الكاشف القياسي. فعلى سبيل المثال، إذا أظهر الفيديو مشهداً هادئاً ولكن التفاعلات المحاكية تتنبأ بموجة من الارتباك أو الشك، فإن النظام يصنف تلك اللحظة على أنها مشبوهة. يتعلم النموذج تجاهل التفاصيل غير ذات الصلة والتركيز على الأجزاء التي لا يتوافق فيها الفيديو مع رد فعل الجمهور المحتمل، مستخدماً "صوت" الحشد بفعالية للعثين على الحقيقة.
وعند اختباره على مجموعات بيانات من فيديوهات قصوة حقيقية، بما في ذلك أمثلة صينية وإنجليزية، أثبتت هذه الطريقة الجديدة أنها أكثر فعالية بشكل ملحوظ من التقنيات الحالية. حقق النظام دقة بلغت 87.01% في إحدى مجموعات البيانات الكبرى و83.43% في أخرى، متفوقاً على النماذج الرائدة السابقة. ووجد الباحثون أن مفتاح هذا النجاح كان القدرة على نمذجة توقيت ردود الفعل البشرية. فمن خلال محاكة كيفية تفاعل الناس مع المحتوى بمرور الوقت، استطاع النظام اكتشاف الأكاذيب الدقيقة التي تتكشف تدريجياً، بدلاً من مجرد البحث عن أخطاء ثابتة. وتشير الدراسة إلى أنه من خلال جسر الفجوة بين سرعة الأخبار وسرعة التفاعل البشري، فمن الممكن بناء دفاع أكثر قوة ضد المعلومات المضللة، حتى في اللحظات الأولى من حياة الفيديو.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.