💻 computer science

Referee: Reference-aware Audiovisual Deepfake Detection

تقترح الورقة البحثية "Referee"، وهي طريقة جديدة للكشف عن التزييف العميق السمعي البصري المدركة للمرجع، تستخدم وحدات عنق زجاجة الهوية والمطابقة لنمذجة الاتساق البيومتري الخاص بالمتحدث من مثال واحد، محققةً أداءً هو الأفضل في فئته من حيث التعميم عبر طرق التلاعب، ومجموعات البيانات، واللغات غير المرئية.

المؤلفون الأصليون: Hyemin Boo, Eunsang Lee, Jiyoung Lee

نُشر 2026-03-16

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hyemin Boo, Eunsang Lee, Jiyoung Lee

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك في حفلة، وشخص ما يروي لك قصة. أنت لا تكتفي بالاستماع إلى صوته فحسب، بل تنظر إلى وجهه أيضًا. تتحقق مما إذا كانت شفتاه تتحركان بالتزامن مع الكلمات، وما إذا كانت نبرة صوته تتوافق مع تعبيرات وجهه، والأهم من ذلك، هل يبدو هذا الشخص حقًا ويشبه الشخص الذي يدعي أنه هو؟

إذا أخبرك صديق بنكتة، لكن صوته بدا كأنه صوت آلي ووجهه كان جامدًا، ستدرك أن هناك خطبًا ما. لست بحاجة إلى مجهر لرؤية البكسلات؛ أنت فقط تستخدم عقلك للتحقق مما إذا كان "الشخص الكامل" يبدو حقيقيًا.

يقدم هذا البحث نظام Referee، وهو نظام ذكاء اصطناعي جديد يعمل مثل ذلك الصديق شديد الملاحظة لكشف "التزييف العميق" (Deepfakes) (وهي فيديوهات مزيفة يتم فيها استبدال وجه أو صوت شخص ما).

إليك كيف يعمل Referee، مقسمًا إلى مفاهيم بسيطة:

1. المشكلة: فخ "الخدعة السحرية"

كانت أدوات كشف التزييف القديمة تشبه رجال الأمن الذين يبحثون عن "خدع سحرية" محددة. كانت تبحث عن:

الأخطاء التقنية (Glitches): "هل حركة الشفاه غريبة؟"
العيوب (Artifacts): "هل هناك خط ضبابي حول الفك؟"

العيب: كلما أصبح الذكاء الاصطناعي أفضل في صنع التزييف، اختفت هذه الأخطاء. تصبح النسخ المزيفة مثالية. عندها يتوقف الحراس القدامى عن رؤية المشكلة لأن "الخدع السحرية" قد اختفت. كما أنهم يعانون إذا كانت جودة الفيديو منخفضة، أو إذا غطى الشخص فمه بيده.

2. الحل: "بطاقة الهوية المرجعية"

يغير Referee قواعد اللعبة. فبدلاً من البحث عن الأخطاء التقنية، يطرح سؤالًا أبسط وأكثر بشرية: "هل يتطابق هذا الشخص مع بطاقة هويته؟"

في هذا النظام:

الهدف (The Target): هو الفيديو الذي تشتبه فيه (الذي قد يكون مزيفًا).
المرجع (The Reference): هو فيديو قصير وحقيقي لنفس الشخص (مثل بطاقة الهوية أو صورة جواز السفر).

لا ينظر Referee إلى "الهدف" فحسب؛ بل يقارنه باستمرار مع "المرجع".

3. كيف يعمل Referee (الخطوات الثلاث)

الخطوة أ: "عنق زجاجة الهوية" (الملخص)

تخيل أن لديك فيديو مدته 10 ساعات لشخص ما. من الصعب تذكر كل التفاصيل. يستخدم Referee وحدة خاصة تسمى "عنق زجاجة الهوية" (Identity Bottleneck) لإنشاء "بطاقة ملخص".

يتجاهل الضجيج (ما يقولونه، كيف يبتسمون، الخلفية).
يستخلص فقط الجوهر الأساسي لهوية ذلك الشخص (بصمة صوته الفريدة وبنيته الوجهية).
يفعل ذلك لكل من "المرجع" (الهوية الحقيقية) و"الهدف" (الفيديو المشبوه).

الخطوة ب: "التحقق المتقاطع" (المطابقة)

الآن، يأخذ Referee "بطاقة الملخص" الخاصة بـ "الهدف" ويحاول مطابقتها مع "بطاقة الملخص" الخاصة بـ "المرجع".

إذا تطابقا: "حسنًا، الصوت والوجه ينتميان لنفس الشخص."
إذا لم يتطابقا: "انتظر لحظة! الصوت يشبه الشخص (أ)، لكن الوجه يبدو كالشخص (ب) (أو نسخة مولدة بالحاسوب منه)."
حتى لو كان تزامن الشفاه مثاليًا، إذا شعرت أن "الهوية" غير متطابقة، سيقوم Referee بإطلاق إنذار. هذا يشبه إدراك أن شخصًا ما يرتدي قناعًا، حتى لو كان القناع مرسومًا بدقة.

الخطوة ج: "الحكم النهائي"

يجمع Referee بين دليلين:

فحص التزامن: هل تتحرك الشفاه والصوت معًا؟
فحص الهوية: هل الشخص في الفيديو يطابق بطاقة الهوية؟

إذا فشل أي منهما، يتم تصنيف الفيديو على أنه مزيف.

4. لماذا يعتبر Referee أفضل؟ (القوى الخارقة)

لا يمكن خداعه بالخدع الجديدة بسه la: الأدوات القديمة تعلمت رصد "سوء تزامن الشفاه". إذا قام المخترقون بإصلاح تزامن الشفاه، تفشل الأدوات القديمة. أما Referee فلا يهتم بالخدعة المحددة؛ بل يهتم بما إذا كان الشخص حقيقيًا. إنه يشبه الحارس الذي يتحقق من هويتك، وليس فقط من حذائك.
يعمل في الظروف السيئة: إذا كان الفيديو ضبابيًا، أو إذا غطى الشخص فمه، تصاب الأدوات القدية بالذعر. أما Referee فهو مرن لأنه يركز على الجوهر البيومتري (البصمة الفريدة لصوت الشخص ووجهه)، وهو أمر يصعب تزييفه بدقة حتى في الظروف السيئة.
يحتاج إلى بيانات أقل: العديد من الأنظمة السابقة احتاجت لدراسة ملايين الفيديوهات لتتعلم كيف يبدو "الإنسان الحقيقي". أما Referee فهو ذكي بما يكفي للتعلم من مجرد دقائق قليلة من اللقطات الحقيقية (مرجع "المرة الواحدة").

النتيجة

اختبر المؤلفون نظام Referee على مجموعات بيانات ضخمة من الفيديوهات المزيفة.

النتيجة: حقق معدل نجاح قدره 99.4% في كشف التزييف، حتى عندما كانت الفيديوهات المزيفة بلغات مختلفة أو تم إنشاؤها بواسطة طرق ذكاء اصطناعي لم يسبق للنظام رؤيتها.
الخلاصة: من خلال تحويل التركيز من "البحث عن الأخطاء" إلى "التحقق من اتساق الهوية"، يخلق Referee درعًا أقوى بكثير ضد الجيل القادم من التزوير الرقمي.

باختปลาย: Referee هو الحارس الشخصي الأمثل الذي لا يكتفي فقط بالبحث عن خدوش في السيارة، بل يتحقق من رقم الهيكل (VIN) ليتأكد من أن السيارة هي بالفعل ما تدعيه.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Referee: Reference-aware Audiovisual Deepfake Detection" (ريفيري: كشف التزييف العميق المرئي والمسموع القائم على المرجع).

1. بيان المشكلة

تشكل تقنية التزييف العميق (Deepfake)، المدفوعة بالذكاء الاصطناعي التوليدي المتقدم، مخاطر مجتمعية كبيرة من خلال إنشاء محتوى متعدد الوسائط (فيديو وصوت) عالي الدقة يصعب تمييزه عن الواقع. تواجه طرق الكشف الحالية قيوداً حرجة:

الإفراط في التخصيص للآثار الاصطناعية (Overfitting to Artifacts): تعتمد النهج الحالية غالباً على اكتشاف الآثار الزمانية-المكانية العابرة (مثل عدم الاتساق عند الحدود، أو الشذوذ في الترددات، أو أخطاء مزامنة حركة الشفاه). وتواجه هذه الطرق صعوبة في التعميم على تقنيات التلاعب غير المرئية أو المولدات عالية الدقة.
الضعف أمام الظروف المختلفة: تتأثر الطرق التي تعتمد على الإشارات المرئية دقيقة التفاصيل (مثل حركات الشفاه) بسهولة بسبب العوائق (الأيدي، الميكروفونات)، أو الدقة المنخفضة، أو الإضاءة الضعيفة.
عدم كفاءة الأساليب القائمة على الهوية: تعتمد الأساليب السابقة القائمة على الهوية إما على المقارنات المرئية فقط (تجاهل الصوت) أو تتطلب لقطات مرجعية طويلة للغاية (أكثر من 5 دقائق) ومجموعات بيانات خارجية ضخمة (ملايين الجمل مثلاً) لتعمل، مما يجعلها غير عملية للنشر في العالم الحقيقي.
الافتقار إلى التكامل عبر الوسائط: غالباً ما تستخدم الأساليب متعددة الوسائط الحالية دمجاً بسيطاً للميزات (concatenation)، مما يفشل في التقاط التبعيات المعقدة والمتداخلة بين الصوت والمظهر الوجهي.

2. المنهجية: إطار عمل Referee

يقترح المؤلفون Referee، وهو إطار عمل مبتكر ينقل نموذج الكشف من البحث عن الآثار العابرة إلى التحقق من الاتساق البيومتري عبر الوسائط باستخدام مثال مرجعي واحد (single-shot). تتكون البنية من ثلاثة مكونات رئيسية:

أ. استخراج الميزات السمعية والبصرية

المشفرات (Encoders): يستخدم مشفرات سمعية بصرية مدربة مسبقاً (بناءً على Synchformer) لاستخراج التمثيلات الخاصة بكل وسيط.
التقسيم (Segmentation): يتم تقسيم تدفقات الإدخال إلى مقاطع ثابتة الطول. يتم دمج التسلسلات المرئية والصوتية مع رمز فصل الوسائط قابل للتعلم لتشكيل تمثيل مشترك لكل من الهدف (المشبوه) والمرجع (الفيديو الأصلي).

ب. عنق زجاجة الهوية (Identity Bottleneck - IDB)

الهدف: عزل هوية المتحدث عن المتغيرات المربكة مثل محتوى الكلام، وتعبيرات الوجه، ووضعيات الرأس.
الآلية: يستخدم الـ IDB مجموعة من استعلامات الهوية القابلة للتعلم ( $Q_{ID}$ ) التي تتفاعل مع الميزات السمعية البصرية المشتركة عبر آلية انتباه متقاطع (cross-attention) قائمة على المحولات (Transformer).
المخرجات: تقوم هذه العملية بضغط التسلسل السمعي البصري المعقد إلى مجموعة موحدة ومدمجة من رموز الهوية ( $T_{ID}$ ) التي تمثل البصمة البيومترية للمتحدث، مما يؤدي فعلياً إلى تصفية الضوضاء العابرة. يتم استخدام مشاركة الأوزان (Weight sharing) بين فرعي الهدف والمرجع لضمان اتساق الترميز.

ج. وحدة مطابقة الهوية وتصنيف التزييف العميق

المطابقة عبر الانتباه المتقاطع (Cross-Attention Matching): يتم محاذاة رموز الهوية من "الهدف" مع رموز "المرجع" باستخدام آلية الانتباه المتقاطع؛ حيث تعمل رموز الهدف كاستعلام (Query)، ورموز المرجع كـ مفتاح (Key) وقيمة (Value).
الرموز المدركة للمرجع (Reference-Aware Tokens): تولد هذه العملية رموز هوية "مدركة للمرجع" ( $\bar{T}_{ID}$ ) تشفر صراحةً أوجه التشابه أو الاختلاف بين الهدف والمرجع.
التعلم بمهام مزدوجة:
1. التحقق من الهوية (مهمة مساعدة): يتنبأ رأس MLP بما إذا كان الهدف والمرجع ينتميان إلى نفس الهوية. وتتم مراقبة هذه المهمة بواسطة فقدان مطابقة الهوية ( $L_{ID}$ )، حيث يُعامل أي محتوى مزيف كأنه هوية مختلفة عن المرجع.
2. تصنيف التزييف العميق (المهمة الرئيسية): يتم دمج رموز الهوية المنقحة مع الميزات السمعية البصرية للهدف ورمز [CLS]. تتم معالجة هذا التسلسل بواسطة AV-Transformer للاستدلال المشترك حول مزامنة الشفاه والحديث وسلامة الهوية. ثم يقوم مصنف نهائي بإخراج احتمالية التزييف العميق.
إجمالي الفقد (Total Loss): $L_{all} = L_{RF}$ (تصنيف التزييف العميق) + $L_{ID}$ (مطابقة الهوية).

3. المساهمات الرئيسية

الكشف المدرك للمرجع: تقديم إطار عمل يستفيد من مثال مرجعي واحد (single-shot) لكشف عدم الاتساق في الهوية، متجاوزاً الاعتماد على آثار التوليد منخفضة المستوى.
عنق زجاجة الهوية (IDB): اقتراح وحدة مبتكرة مع استعلامات قابلة للتعلم لاستخراج ميزات هوية قوية عبر الوسائط، مما يفك الارتباط بفعالية بين الهوية والعوامل العابرة.
المطابقة البيومترية عبر الوسائط: تنفيذ آلية لربط الصوت والمظهر الوجهي بشكل صريح، مما يمكن النموذج من اكتشاف التزييف الذي يحافظ على مزامنة الشفاه ولكنه ينتهك الهوية البيومترية.
كفاءة البيانات: إثبات أن الكشف عالي الأداء لا يتطلب مجموعات بيانات خارجية بملايين المقاطع؛ حيث يتم تدريب النموذج بفعالية باستخدام حوالي 14 ألف مقطع أصلي فقط.

4. النتائج التجريبية

تم تقييم النموذج على مجموعات بيانات FakeAVCeleb و FaceForensics++ (FF++) و KoDF (مجموعة بيانات التزييف العميق الكورية).

التعميم عبر مجموعات البيانات:
- في KoDF (عبر اللغات، وتقنيات غير مرئية)، حقق Referee أداءً استثنائياً بنسبة 99.4% AUC و 99.4% AP، متفوقاً بشكل كبير على الطرق السابقة (مثل ICSAV التي حققت 99.2% AUC).
- في FF++، حقق 79.78% AUC و 91.00% AP، متفوقاً على الأساليب الأخرى القائمة على المرجع والتي تعتمد على مجموعات بيانات ضخمة مثل VoxCeleb2.
الأداء داخل مجموعة البيانات الواحدة:
- في FakeAVCeleb، حقق Referee نسبة 99.2% دقة و 99.7% AUC، متجاوزاً النماذج المرجعية القوية مثل AVFF و FRADE.
تحليل المتانة (Robustness Analysis):
- الاضطراب المكاني: حافظ على دقة تزيد عن 98.9% حتى مع قص عشوائي للفيديو بنسبة 90%.
- طول المرجع: حقق 99.71% AUC باستخدام مقطع مرجعي مدته ثانية واحدة فقط، مما يثبت كفاءة عالية في التعامل مع البيانات.
- عبر اللغات: أظهر مرونة فائقة في سيناريوهات "التعلم الصفري" (zero-shot) عبر اللغات، حيث فشلت النماذج الأخرى القائمة على المرجع.

5. الأهمية

يمثل Referee تحولاً جذرياً في كشف التزييف العميق:

من الآثار إلى البيومتريات: ينقل التركيز من اكتشاف آثار التوليد العابرة (التي تتطور بسرعة) إلى التحقق من الاتساق البيومتري الأساسي (والذي يصعب تزييفه دون كسر تماسك الهوية).
التعميم: من خلال ربط الكشف بالمقدمات البيومترية عبر الوسائط، يتعمم النموذج بفعالية على أساليب التلاعب، واللغات، وظروف التدهور غير المرئية.
الواقعية: إن القدرة على العمل مع مقاطع مرجعية قصيرة ودون الحاجة لمجموعات بيانات تدريب مسبقة ضخمة تجعل النموذج مناسباً جداً للنشر في التطبيقات الجنائية والأمنية في العالم الحقيقي.

ختاماً، يضع Referee معياراً جديداً في مجال الأدلة الجنائية السمعية البصرية من خلال إثبات أن الربط الصريح للمقدمات البيومترية القائمة على المرجع هو المفتاح لتحقيق كشف موثوق، ومعمم، وفعال من حيث البيانات للتزييف العميق.