MADBench: A Benchmark for Modality-Aware Audio Deepfake Detection
تقدم هذه الورقة MADBench، وهو أول معيار مرجعي يميز بين الكلام والصوت البيئي لتقييم كشف التزييف العميق، ويكشف أن النماذج الحالية تفشل في كلا المكونين وأن التلاعب بالصوت الخلفي بشكل غير متماثل يؤدي إلى تدهور أداء كشف الكلام.
المؤلفون الأصليون:Yanqiu Li, Yang Xiao, Jisheng Bai, Bin Chen, Hong Jia, Ting Dang
تخيل أنك تشاهد مقطع فيديو لسياسي مشهور يلقي خطاباً. يبدو الفيديو مثالياً: الإضاءة مناسبة، الكاميرا ثابتة، ووجه السياسي يتحرك بشكل طبيعي. لكن ثمة شيء ما يبدو "غير طبيعي". الصوت يبدو آلياً بعض الشيء، والضوضاء في الخلفية — حفيف الأشجار، حركة المرور البعيدة، طنين مكيف الهواء — تبدو وكأنها سُجلت في غرفة أخرى. هذا هو عالم التزييف العميق (deepfakes). لفترة طويلة، ركز العلماء على كشف حيل "تبديل الوجوه"، حيث يتم لصق وجه شخص ما رقمياً على جسد شخص آخر. لكن اللعبة تغيرت الآن. الحيلة الجديدة ليست تغيير الوجه؛ بل هي تغيير الصوت.
في هذا العصر الجديد، يمكن للجهات السيئة الاحتفاظ بفيديو حقيقي ولكن مع استبدال الصوت والضوضاء في الخلفية بصوت مُنشأ بواسطة الكمبيوتر. هذا يخلق "تزييفاً" يبدو حقيقياً بنسبة 100% ولكنه يقول شيئاً مختلفاً تماماً. السؤال الكبير الذي يواجه العلماء هو: كيف يمكننا كشف هذه الخدع الصوتية؟ الطريقة القديمة في البحث عن التزييف كانت تعامل كل الأصوات ككتلة واحدة كبيرة، بافتراض أنه إذا كان الصوت (الكلام) مزيفاً، فإن الصوت بأكه (المقطع الصوتي) مزيف. لكن هذه الورقة البحثية تجادل بأن الصوت يتكون في الواقع من مكونين مختلفين تماماً: الكلام (ما يتم قوله) والبيئة (الضوضاء في الخلفية). تماماً كما تحتاج الكعكة إلى الدقيق والبيض معاً، يحتاج الفيديو إلى الكلام والضوضاء في الخلفية معاً ليبدو حقيقياً. وإذا عبثت بأحدهما، فقد يترك ذلك "فتاتاً" من نوع مختلف عما لو عبثت بالآخر.
هنا يأتي دور MADBench. فكر في MADBench كصالة ألعاب رياضية ضخمة ومنظمة للغاية لتدريب الحواسيب على "تمييز المزيف". لقد بنى الباحثون مجموعة بيانات هائلة من الفيديوهات حيث حافظوا على لقطات الفيديو الأصلية كما هي تماماً، ولكنهم استبدلوا الصوت بأربع طرق مختلفة: أبقوا كل شيء حقيقياً، أو زيّفوا الصوت فقط، أو زيّفوا الضوضاء في الخلفية فقط، أو زيّفوا كليهما. حتى أنهم جعلوا بعض الضوضاء المزيفة في الخلفية تتناسب مع المشهد (مثل زقزقة العصافيد في حديقة) وبعضها لا يتناسب (مثل ضجيج المرور في مكتبة هادئة) ليروا ما إذا كان ذلك سيربك الحواسيب.
وعندما اختبروا "الأبطال" الحاليين في كشف التزييف مقابل هذه الصالة الرياضية الجديدة، كانت النتائج مفاجئة. الحواسيب التي تم تدريبها سابقاً على كشف التزييف فشلت في معظم الحالات؛ إذ لم تستطع التمييز بين الصوت الحقيقي والمزيف على الإطلاق. ومع ذلك، فإن نوعاً آخر من نماذج الكمبيوتر — وهو النوع الذي تعلم فهم الصور والأصوات معاً من كمية هائلة من البيانات — قد أبلى بلاءً حسناً. ولكن إليكم المفاجأة: كانت هذه النماذج الذكية أفضل بكثير في كشف الضوضاء المزيفة في الخلفية مقار بـ الصوت المزيف. اتضح أن "الفتات" الذي تتركه الأصوات المزيفة أصعب بكثير في العثور عليه من الفتات الذي تتركه الضوضاء في الخلفية.
كما اكتشفت الورقة البحثية أمراً مخادعاً: إذا قمت بتزييف الضوضاء في الخلفية، فإن ذلك يجعل من الصعب على الكمبيوتر كشف الصوت المزيف. الأمر يشبه قيام شخص ما بوضع صفارة إنذار مزيفة وعالية في الخلفية؛ فهي تشتت انتباه المحقق لدرجة تجعله يغفل عن الصوت المزيف في المقدمة. وجد الباحثون أنه بينما يمكن لهذه النماذج الذكية التمييز بين مشهد حقيقي ومشهد مزيف (مثل معرفة أن صفارة الإنذار لا تنتمي إلى مكتبة)، إلا أنها كانت لا تزال تكافح لتحديد الجزء المحدد من الصوت الذي يمثل الكذبة.
باختختصار، تشير الورقة البحثية إلى أن أدواتنا الحالية ليست جاهزة لهذا النوع من الخداع الصوتي. لا يمكننا مجرد النظر إلى الصوت كشيء واحد كبير بعد الآن؛ بل يجب علينا النظر إلى الصوت والبيئة بشكل منفصل. وتظهر الدراسة أنه بينما نمتلك بعض النماذج الذكية التي يمكنها كشف عدم تطابق الخلفية مع الفيديو، إلا أننا لا نزال أمام طريق طويل قبل أن نتمكن من كشف الصوت المزيف بشكل موثوق، خاصة عندما يختبئ خلف خلفية مزيفة. ويخلص المؤلفون إلى أنه لبناء كواشف أفضل للمستقبل، نحتاج إلى التوقف عن معاملة الصوت كتدفق واحد والبدء في معاملة الصوت والبيئة كمتهمين منفصلين يجب التحقيق فيهما.
ملخص تقني: MADBench
بيان المشكلة
أتاحت التطورات الأخيرة في مجال تركيب الكلام وتوليد الصوت إنتاج تزييفات صوتية عالية الدقة، حيث يتم التلاعب بالكلام والصوت المحيط بشكل مستقل فوق فيديوهات أصلية. وبينما تناولت الأبحاث الحالية التلاعبات البصرية على نطاق واسع أو تعاملت مع الصوت كتدفق واحد غير متمايز، لا تزال هناك فجوة حرجة تتمثل في التحديات الجنائية المتميزة التي يفرضها الفصل بين الكلام (المحتوى اللغوي/البارالغوي) والصوت البيئي (الأصوات الخلفية، الأجواء، والمؤثرات الصوتية).
تركز المعايير المرجعية الحالية إما على التزييف البصري، أو تعامل الكلام باعتباره الممثل الوحيد لتدفق الصوت، أو تدمج جميع التلاعبات الصوتية في تسمية واحدة. هذا الدمج يتجاهل حقيقة أن الكلام والصوت البيئي ينشآن من آليات توليدية مختلفة، ويظهران سمات تشوهات متميزة، ويطرحان تحديات كشف مختلفة. وبناءً على ذلك، يفتقر مجتمع البحث إلى الأدوات اللازمة للإجابة على أسئلة جوهرية تتعمالق بمدى إمكانية كشف الكلام المُصطنع في الفيديوهات الحقيقية، والاختلافات بين تشوهات الكلام وتشوهات غير الكلام، وما إذا كان الصوت البيئي المتلاعب به يؤدي إلى تضليل الكشف عن الكلام.
المنهجية
بناء مجموعة البيانات: MADBench
يقدم المؤلفون MADBench، وهو أول معيار مرجعي مصمم خصيصًا للكشف عن تزييف مكونات الصوت في بيئات الفيديو الأصلي. تم بناء مجموعة البيانات من مجموعة بيانات AVSpeech (1,892 مقطعًا مصدريًا) وهي تتبع تسلسلًا هرميًا للمكونات والأنماط:
تحضير المصدر: يتم تفكيك الفيديوهات الحقيقية التي تظهر فيها شخصيات متحدثة إلى مكونات "كلام" و"صوت بيئي" باستخدام MossFormer2، مما يضمن بقاء التدفق البصري ثابتًا بينما يتم التلاعب بمكونات الصوت.
توليد المكونات:
الكلام: تم توليده باستخدام ثلاث تقنيات: تحويل النص إلى كلام (TTS) بنفس الهوية، وتحويل النص إلى كلام بهوية مختلفة، وتحويل الصوت (Voice Conversion). تشمل النماذج المستخدمة F5-TTS، وIndexTTS2، وSeedVC، وVevo-Timbre.
الصوت البيئي: تم توليده باستخدام نماذج تحويل النص إلى صوت (TTA)، والفيديو إلى صوت (VTA)، والصوت إلى صوت (ATA). تشمل النماذج AudioLDM2، وAudioGen، وMMAudio، وFoleyCrafter، وAudioX.
اتساق المشهد: محور تصميم حاسم حيث يُصنف الصوت البيئي المتلاعب به إما كصوت متوافق مع المشهد (منطقي دلاليًا للمشهد المرئي) أو غير متوافق مع المشهد (غير متسق عمدًا).
التجميع: يتم إنشاء أربعة أنواع من العينات لكل مصدر: حقيقي (R)، مزيف الكلام (S)، مزيف البيئة (E)، ومزيف مشترك (Q). تخضع جميع العينات لرقابة صارمة على الجودة (QC) من حيث المدة، والمحاذاة، والتسرب (على سبيل المثال، التأكد من عدم تسرب الكلام إلى مكونات البيئة).
بروتوكول التقييم
يقيم المعيار ثلاث مهام أساسية تحت ثلاثة بروتوكولات (متوازن، متوافق، غير متوافق):
الكشف الثنائي عن أي تزييف (Any-Fake Detection): التمييز بين الحالة الحقيقية (R) وأي حالة متلاعب بها (S, E, Q).
التصنيف رباعي الاتجاهات: التنبؤ بالحالة المحددة (R, S, E, أو Q).
التقييم على مستوى المكون: تحديد ما إذا كان الكلام أو الصوت البيئي هو المتلاعب به بشكل مستقل.
مجموعات النماذج
تقيم الدراسة ثلاث فئات متميزة من النماذج:
أجهزة الكشف (A-V) المدربة مسبقًا: نماذج مخصصة للمهمة (AVH-Align، AV Anomaly، BA-TFD+) يتم تقييمها عبر النقل المباشر أو باستخدام رؤوس خفيفة الوزن.
المشفرات (A-V) المجمدة: تمثيلات عامة الأغراض (ImageBind، PE-AV، CAV-MAE Sync) يتم تكييفها مع رؤوس مخصصة للمهمة.
النماذج الشاملة (Omni Models): نماذج متعددة الوسائط واسعة النطاق (MiniCPM-o، Qwen2.5-Omni، Gemma-4، Baichuan-Omni) يتم تقييمها في وضع التعلم الصفري (zero-shot).
النتائج الرئيسية
1. قابلية نقل أجهزة الكشف الموجودة
أجهزة الكشف (A-V) المدربة مسبقًا: تؤدي هذه النماذج أداءً يقترب من الصدفة (AUC ~0.52) في الكشف الثنائي والتصنيف رباعي الاتجاهات. يشير فشلها إلى أنها مصممة للفيديوهات التي تركز على الوجه وتفتقر إلى الإشارات القابلة للنقل للكشف عن تزييف المكونات في المشاهد الطبيعية المتنوعة.
المشفرات (A-V) المجمدة: في المقابل، تُظهر هذه النماذج قدرة قوية على النقل، حيث تحقق متوسطات AUC تزيد عن 0.91 للكشف الثنائي وأكثر من 0.73 للتصنيف رباعي الاتجاهات. وهي توفر تمثيلات قوية لكل من الكشف والنسب (attribution).
النماذج الشاملة (Omni Models): تظهر النماذج الشاملة ذات القدرة على التعلم الصفري حساسية محدودة (AUC ~0.54–0.62) وتفشل في إجراء التصنيف رباعي الاتجاهات الدقيق، مما يش indicar إلى وجود عدم توافق بين التدريب المسبلي متعدد الوسائط العام والاستدلال الجنائي المحدد المطلوب لنسب المكونات.
2. كشف الكلام مقابل الصوت البيئي
أفضلية البيئة: عبر المشفرات المجمدة، يسهل اكتشاف التلاعب بالصوت البيئي باستمرار مقارنة بالتلاعب بالكلام. وتستمر هذه الأفضلية حتى في البروتوكولات المتوافقة مع المشهد، مما يشير إلى أنها ليست ناتجة فقط عن عدم الاتساق بين الصوت والصورة.
التداخل بين المكونات: يؤدي الصوت البيئي المتلاعب به إلى تدهور غير متماثل في كشف الكلام (فجوة التداخل الإيجابي)، بينما لا يؤثر الكلام المتلاعب به تأثيرًا كبيرًا على كشف البيئة. ويُعزى ذلك إلى أن الصوت البيئي يغطي السياق الصوتي بأكمله، بينما يكون الكلام محليًا.
3. اتساق المشهد والمدخلات البصرية
الارتباط بالمشهد: تستفيد المشفرات (A-V) المجمدة بفعالية من السياق البصري للكشف عن عدم الاتساق بين المشهد والصوت، لا سيية في السيناريوهات الخشنة (D-R) والاصطناعية (D-S).
ضرورة الرؤية: بالنسبة لمهام كشف التلاعب حيث يكون التدفق البصري أصليًا، يتفوق المدخل الصوتي فقط باستمرار على المدخلات الصوتية البصرية بالنسبة للمشفرات المجمدة وأجهزة الكشف الصوتية. لا يضيف التدفق البصري أي قيمة جنائية للكشف عن وجود التلاعب، ولكنه ضروري لـ الاستدلال على اتساق المشهد (التحقق مما إذا كان الصوت يتوافق مع المشهد).
الأهمية والادعاءات
يزعم البحث أن MADBench يؤسس قاعدة رصينة للبحث المستقبلي في الكشف عن تزييف الصوت القوي والمدرك للمكونات. وتتمثل مساهماته الرئيسية في:
معيار مرجعي جديد: إنه أول معيار يعامل الكلام والصوت البيئي كمكونات تزييف متميزة في فيديوهات أصلية، مما يتيح تقييمًا دقيقًا.
كشف القيود الخفية: يكشف المعجع أن النماذج الحالية ذات التسمية الواحدة تحجب نتائج حاسمة، مثل التفوق في كشف التلاعب البيئي والتدهور غير المتماثل لكشف الكلام بسبب الضوضاء الخلفية.
رؤى حول النماذج: يوضح أنه بينما تفشل أجهزة الكشف المخصصة للمهام في النقل، فإن المشفرات الصوتية البصرية العامة تقدم خطوط أساس قوية، وأن النماذج الشاملة ذات القدرة على التعلم الصفري تفتقر حاليًا إلى قدرات الاستدلال الجنائي المحددة المطلوبة لنسب المكونات.
يخلص المؤلفون إلى أن الأبحاث المستقبلية يجب أن تتجاوز تحليل الكلام أو التحليل أحادي التدفق لتشمل التحديات الجنائية المتميزة والمتفاعلة لمكونات الكلام والصوت البيئي.