ملخص تقني: DAV-Det للكشف عن المحتوى الصوتي-البصري المولد بواسطة الذكاء الاصطناعي التوليدي العام

1. تعريف المشكلة والدوافع

أدى التقدم السريع في المحتوى المولد بواسطة الذكاء الاصطناعي التوليدي (AIGC) إلى توسيع نطاق التزييف الصوتي-البصري ليتجاوز التزييف العميق المتمحور حول البشر (مثل تبديل الوجوه، ومزامنة الشفاه) ليشمل مشاهد عامة تتضمن حيوانات، وأجساماً، وبيئات. وبينما تعتمد طرق الكشف الحالية غالباً على افتراض التوافق بين المحتوى الصوتي والبصري — وهي الفكرة القائلة بأن الكلام البشري الحقيقي يتواحذ مع حركات الشفاه — يجادل هذا البحث بأن هذا الافتراض يفشل في سيناريوهات AIGC العامة.

يُظهر المؤلفون تجريبياً أن العينات الحقيقية في مجموعات البيانات ذات المشاهد العامة (مثل MVAD) غالباً ما تظهر تشابهاً صوتياً-بصرياً أقل من العينات المزيفة، وهو ما يخالف السلوك الملاحظ في مجموعات البيانات المتمحورة حول البشر (مثل FakeAVCeleb). وبناءً على ذلك، فإن طرق دمج الميزات التقليدية التي تسعى للبحث عن عدم الاتساق عبر الوسائط قد تؤدي إلى نتائج عكسية، مما يعطي أداءً أسوأ من التخمين العشوائي في السيناريوهات العامة. المشكلة الجوهرية التي يعالجها البحث هي الحاجة إلى إطار عمل كشف قوي لا يعتمد على فرضية التوافق القوي بين الصوت والصورة.

2. المنهجية: DAV-Det

يعتمد الحل المقترح، DAV-Det (الكشف عن AIGC الصوتي-البصري المنفصل)، فلسفة "الأقل هو الأكثر" من خلال فصل نمذجة الوسائط الصوتية والبصرية. بدلاً من التفاعل بين الوسائط على مستوى الميزات، يقوم النظام باستخراج الأدلة الجنائية بشكل مستقل من كل وسيط ويقوم بإجراء دمج على مستوى القرار.

2.1 كاشف AIGC البصري

تم تصميم المكون البصري لالتقاط آثار التزييف عند مستويات دقة مكانية متعددة، بدءاً من الشذوذ الدلالي العالمي وصولاً إلى عيوب النسيج المحلية.

• العمود الفقري (Backbone): يستخدم DINOv3 لاستخراج رمز CLS عالمي وتسلسل من رموز الرقع (patch tokens).
• التمثيل متعدد الدقة:
  • العالمي (Global): يستخدم مباشرة رمز CLS.
  • على مستوى الرقعة (Patch-level): تقوم شبكة تسجيل بتقدير احتمالات التزييف لكل رقعة، والتي يتم تجميعها عبر عملية جمع موزونة بـ softmax.
  • على مستوى الجزء (Segment-level): يتم تجميع رموز الرقع في أجزاء مكانية باستخدام التجميع الهرمي (agglomerative clustering). وتقوم شبكة تسجيل منفصلة بتجميع هذه الأجزاء.
• استراتيجيات التدريب:
  • الإشراف الضعيف (Weak Supervision): نظراً لتوفر تسميات (labels) على مستوى الصورة فقط، يتم تدريب شبكات الرقع والأجزاء باستخدام تعلم المجموعات المتعددة (MIL). حيث يتم تجميع أعلى $k$ من احتمالات التزييف للتنبؤ بتسمية الصورة. كما تم إدخال خسارة الهامش (margin loss) لتعظيم الفجوة بين الحالات المشبوهة وغير المشبوهة.
  • تعلم اتساق الأصل والمحتوى المتدهور (DOCL): لتحسين المتانة ضد التدهور في العالم الحقيقي (الضوضاء، الضبابية، الضغط)، يتم تدريب النموذج على الصور الأصلية والمضطربة معاً، مع فرض الاتساق بين تمثيلاتها متعددة الدقة.
  • المصنفات المساعدة: تعمل ثلاثة مصنفات مساعدة على التمثيلات العالمية، ورقع المستوى، ومستوى الجزء لمنع الاعتماد المفرط على مستوى ميزة واحد أثناء التدريب.

2.2 كاشف AIGC الصوتي

يقوم المكون الصوتي بنمذجة الآثار الصوتية من خلال استغلال الديناميكيات الزمنية والاضطرابات الطيفية.

• العمود الفقري (Backbone): يستخدم مشفر الصوت الخاص بـ PEAV لاستخراج رمز CLS عالمي وتسلسل من رموز الإطارات (frame tokens).
• بنية ثنائية المسار (زمنية-طيفية) ذات بوابة:
  • تولد شبكة بوابة خريطة بوابة لكل ميزة لتعديل رموز الإطارات بشكل تكيفي.
  • المسار الزمني (Temporal Branch): يستخدم الانتباه الذاتي لنمذجة التبعيات الزمنية، متبوعاً باستراتيجيات التجميع (المتوسط، الأقصى، والاستعلام القائم على التعلم) لتلخيص الديناميكيات الزمنية.
  • المسار الطيفي (Spectral Branch): يوظف انتباه القنوات للتركيز على الأنماط الطيفية، متبوعاً باستراتيجيات تجميع مماثلة لالتقاط الآثار الطيفية.
• التكامل: يقوم رمز CLS العالمي بالانتباه إلى التمثيلات الزمنية والطيفية عبر الانتباه المتقاطع لإنتاج تمثيل صوتي موحد، والذي يتم دمجه مع الميزات المجمعة للتصنيف النهائي.

2.3 الدمج على مستوى القرار

أثناء الاستنتاج، يعمل الكاشف الصوتي والبصري بشكل مستقل.

• التصنيف الثنائي: تُستخدم استراتيجية الدمج القائم على الحد الأقصى (max-based). إذا تنبأ أي من الوسيطين الصوتي أو البصري باحتمالية عالية للتزييف، يتم تصنيف العينة على أنها مزيفة.
• التصنيف الرباعي: يتم استخدام فرضية الاستقلال لحساب الاحتمالات المشتركة للفئات الأربع: حقيقي-حقيقي (RR)، مزيف-مزيف (FF)، مزيف-حقيقي (FR)، وحقيقي-مزيف (RF). ويتم اختيار الفئة ذات الاحتمال المشترك الأعلى.

3. المساهمات الرئيسية

1. الرؤية التجريبية: يوضح البحث أن افتراض التوافق بين المحتوى الصوتي والبصري، وهو حجر الزاوية لمعظم كاشفات التزييف العميق متعددة الوسائط، لا يصمد في سيناريوهات AIGC العامة ويمكن أن يكون ضاراً بأداء الكشف.
2. بنية DAV-Det: نظام منفصل مبتكر يقوم بنمذجة الميزات الجنائية الخاصة بكل وسيط بشكل مستقل باستخدام تمثيلات بصرية متعددة الدقة وتصميم صوتي زمني-طيفي ذي بوابة، مع دمج القرارات بدلاً من الميزات.
3. أداء رائد (State-of-the-Art): حققت الطريقة المركز الأول في تحدي كشف المحتوى الصوتي-البصري لـ AIGC العام ضمن ورشة عمل IJCAI-ECAI 2026 DDL 2.0، بنتيجة نهائية بلغت 0.8460.

4. النتائج التجريبية

• أداء المسابقة: في معيار DDL-GAV (المبني على مجموعة بيانات MVAD)، تفوق DAV-Det على أفضل 5 فرق. وحقق AUC ثنائي قدره 0.9617 ودرجة F1 رباعية الفئات بلغت 0.6873.
• التعميم: عند تقييمه على مجموعة بيانات FakeAVCeleb المتمحورة حول البشر، حقق DAV-Det دقة قدرها 0.998 وAUC قدره 0.999، متفوقاً على الطرق الصوتية-البصرية الموجودة (مثل AVFF وPIA). يشير هذا إلى أن النهج المنفصل فعال حتى في السيناريوهات التي يوجد فيها توافق صوتي-بصري.
• دراسات الاستئصال (Ablation Studies):
  • البصري: أدت إضافة فروع الرقع والأجزاء إلى تحسين الأداء تدريجياً. وأدى إزالة الإشراف الضعيف، أو المصنفات المساعدة، أو استراتيجية DOCL إلى انخفاض الأداء، مما يؤكد ضرورتها.
  • الصوتي: تفوق التصميم ثنائي المسار (الزمني-الطيفي) بشكل كبير على خط الأساس الذي يستخدم رمز CLS فقط، مما يؤكد أن الديناميكيات الزمنية والاضطرابات الطيفية توفر أدلة جنائية متكاملة.

5. الأهمية والقيود

الأهمية:
يفترض البحث أنه بالنسبة لكشف AIGC العام، فإن الدمج على مستوى القرار يعد بديلاً أكثر متانة للدمج على مستوى الميزات. ومن خلال فصل الوسائط، يتجنب النظام عيوب افتراض التوافق الدلالي في السيناريوهات التي قد لا يرتبط فيها الصوت والفيديو دلالياً. يوفر هذا النهج حلاً قابلاً للتوسع للكشف عن التزييف في سياقات متنوعة غير متمحورة حول البشر.

القيود:
يقر المؤلفون بوجود قيدين رئيسيين:

1. النمذجة البصرية الزمنية: لا يقوم الكاشف البصري بنمذجة التبعيات الزمنية الدقيقة صراحة (مثل عدم الاتساق الحركي عبر الإطارات)، بل يركز بدلاً من ذلك على الدقة المكانية.
2. قواعد الدمج الاستدلالية: يعتمد الدمج على مستوى القرار على قواعد استدلالية (الحد الأقصى للتصنيف الثنائي، وفرض الاستقلال للتصنيف الرباعي) بدلاً من آليات دمج تكيفية وقابلة للتعلم.

العمل المستقبلي:
يخطط المؤلفون لاستكشاف النمذجة البصرية الزمنية لالتقاط آثار التزييف الديناميكية، وتطوير استراتيجيات دمج أكثر مبدئية وتكيفية على مستوى القرار (مثل المعايرة القابلة للتعلم) لتعزيز قدرات الكشف بشكل أكبر.