Multitask Deep Learning for Joint Deepfake Speech Detection and Spoofing Attack Attribution
تقترح هذه الورقة إطار عمل للتعلم العميق متعدد المهام يدمج الميزات الطيفية-الزمنية المتكاملة مع بنية هجينة من (Bi-LSTM/Transformer) لتحقيق كشف دقيق وعالي الدقة للتزييف الصوتي العميق وتحديد مصدر هجمات التزييف المعروفة في آن واحد، مما يظهر أداءً قويًا على مجموعة بيانات (ASVspoof 2019) مع تسليط الضوء على الحاجة إلى التحسين المستقبلي ضد الضوضاء الصوتية الشديدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في العقد الأخير، تعلمت الحواسيب محاكاة الصوت البشري بواقعية مذهلة. فباستخدام التعلم العميق، يمكن للآلات الآن توليد كلام يبدو غير قابل للتمييز عن الشخص الحقيقي، ويكون قادراً على تلاوة أي نص أو تقليد نبرة متحدث معين. وبينما توفر هذه التكنولوجيا فوائد في مجالات سهولة الوصول والترفيه، فقد خلقت أيضاً نوعاً جديداً من التهديدات الأمنية؛ إذ يمكن للمجرمين استخدام هذه الأصوات الاصطناعية لخداع الأقفال التي تعمل بالصوت، أو تجاوز أمن الخدمات المصرفية الهاتفية، أو انتحال شخصية أحباء في مكالمات الطوارئ. لسنوات طويلة، ركز خبراء الأمن على سؤال بسيط: هل هذا الصوت حقيقي أم مزيف؟ ومع ذلك، فإن معرفة أن التسجيل مزيف لا تكفي غالباً لإجراء تحقيق كامل. فلفهم الجريمة الرقمية حق الفهم، يحتاج المحققون ليس فقط لمعرفة ما إذا كان الصوت قد تم تزويره، بل لمعرفة كيفية صناعته بالضبط. هل تم إنشاؤه بواسطة محرك تحويل النص إلى كلام، أم أداة تحويل صوت، أم مزيج من كليهما؟ إن تحديد الطريقة المحددة المستخدمة لتوليد الصوت المزيف أمر بالغ الأهمى لتتبع المصدر وفهم قدرات المهاجم.
قام فريق من الباحثين من جامعة صنعاء وجامعة Multimedia بتطوير نظام جديد صُمم للإجابة على كلا السؤالين في آن واحد. فبدلاً من بناء أداتين منفصلتين — إحداهما للكشف عن التزييف والأخرى لتحديد مصدره — أنشأوا "عقلاً" واحداً موحداً يتعلم القيام بكليهما في وقت واحد. هذا النظام، الذي وُصف في دراسة حديثة، يعمل كخبير جنائي يستمع إلى تسجيل صوتي ويقدم على الفور معلومتين: حكماً بشأن ما إذا كان الصوت حقيقياً أم اصطناعياً، وتصنيفاً لنوع التكنولوجيا المحددة المستخدمة في إنشائه إذا كان مزيفاً. اختبر الباحثون نهجهم باستخدام مجموعة ضخمة من العينات الصوتية، بما في ذلك آلاف التسجيلات التي تم إنشاؤها بواسطة أدوات تزييف معروفة، ومجموعة منفصلة من التسجيلات المأخوذة من مصادر واقعية عبر الإنترنت. وكان هدفهم هو معرفة ما إذا كان بإمكان نموذج واحد تعلم "البصمات الصوتية" الدقيقة التي تتركها طرق التوليد المختلفة مع الحفاظ على دقة عالية في رصد التزييف.
يعتمد جوهر طريقتهم على تعليم الكمبيوتر الاستماع إلى الصوت بطريقتين مختلفتين في نفس الوقت. أولاً، يقوم النظام بتفكيك الصوت إلى خريطة مرئية للترددات، توضح كيف تتغير طبقة الصوت والنغمة بمرور الوقت. يشبه هذا النظر إلى مدونة موسيقية، حيث يمكنك رؤية النوتات ومدتها. قام الباحثون بتغذية هذه الخريطة المرئية في جزء من النظام مصمم لرصد الأنماط المحلية، تماماً كما قد يتعرف الإنسان على شكل معين في سحابة. ثانياً، يحلل النظام تسلسل الصوت، منتبهاً إلى كيفية تدفق لحظة إلى أخرى؛ وهذا يسمح له برصد الإيقاع والتوقيت في الكلام، والذي غالباً ما يكشف الطبيعة الآلية للصوت الاصطناعي. ومن خلال الجمع بين هذين المنظورين — الصورة الثابتة للصوت وقصة تدفقه المتحركة — يبني النظام فهماً غنياً ومفصلاً للصوت لا يمكن لأي من الطريقتين تحقيقه بمفرده.
لتدريب هذا النظام، استخدم الباحثون مجموعة بيانات تسمى ASVspoof 2019، والتي تحتوي على تسجيلات لأكثر من مئة متحدث وتتضمن تسعة عشر نوعاً مختلفاً من هجمات الصوت الاصطناعي. قاموا بتقسيم هذه البيانات بحيث يتعلم النظام من بعض التسجيلات ويتم اختباره على أخرى لم يرها من قبل. كُلِّف النظام بمهمتين: تحديد ما إذا كان الصوت حقيقياً أم مزيفاً، وإذا كان مزيفاً، تحديد طريقة الهجوم الست المعروفة التي أنشأته. كانت النتائج دقيقة للغاية؛ ففي بيانات الاختبار، حدد النظام الأصوات المزيفة بشكل صحيح بنسبة 99.75% من المرات. والأكثر إثارة للإعجاب، أنه عندما اكتشف صوتاً مزيفاً، استطاع تسمية أداة التوليد المحددة المستخدمة بنسبة نجاح بلغت 99.57% لأنواع الهجمات المعروفة. يشير هذا المستوى من الدقة إلى أن النظام قد تعلم التعرف على "البصمات" الفريدة التي تتركها تقنيات التوليد المختلفة، بدلاً من مجرد حفظ أمثلة محددة.
أراد الباحثون أيضاً معرفة ما إذا كان نظامهم سيصمد في العالم الحقيقي الفوضوي وغير المتوقع. لذا، اختبروا النموذج على مجموعة أخرى من التسجيلات تسمى "In-the-Wild"، والتي جُمعت من مصادر عامة عبر الإنترنت مثل وسائل التواصل الاجتماعي والبودكاست. غالباً ما تكون هذه التسجيلات ذات جودة منخفضة، وتحتوي على ضوضاء خلفية، وسُجلت بأجهزة متنوعة. ورغم هذه التحديات، حافظ النظام على مستوى عالٍ من الأداء، حيث اكتشف الأصوات المزيفة بنسبة 98.11% دون الحاجة إلى أي تدريب إضافي على هذه البيانات الجديدة. يشير هذا إلى أن النظام تعلم قواعد عامة حول ما يجعل الصوت يبدو اصطناعياً، بدلاً من مجرد حفظ الأصوات المحددة في استوديو التدريب. ومع ذلك، وجدت الدراسة أيضاً حدوداً لقدرة النظام على الصمود؛ فعندما تعرضت المقاطع الصوتية لتشويه شديد بسبب ضوضاء خلفية عالية أو عند تغيير طبقة الصوت بشكل كبير، انخفضت دقة النظام. وهذا يشير إلى أنه رغم قوة هذه التكنولوجيا، إلا أنها لا تزال تواجه صعوبات عندما تكون البيئة الصوتية فوضوية للغاية، وهو عائق شائع أمام الأدوات الأمنية في العالم الحقيقي.
وبعيداً عن مجرد الأرقام، نظر الباحثون داخل النظام لفهم كيفية اتخاذه للقرارات. استخدموا تقنية تصور تبرز الأجزاء المحددة من التسجيل الصوتي التي ركز عليها النظام. وأظهرت الصور أن النظام لم يكن يخمن عشوائياً، بل كان يركز على لحظات معينة في التسجيل الصوتي حيث تكون الطبيعة الاصطناعية للصوت أكثر وضوحاً. تظهر هذه اللحظات غالباً كأنماط غير منتظمة في خريطة الترددات، مما يؤكد أن النظام تعلم رصد الآثار الدقيقة التي قد تفوت الأذن البشرية. إن القدرة على شرح منطق القرار هذه أمر حيوي للتطبيقات الأمنية، لأنها تسمح للمحققين بالثقة في حكم النظام وفهم الأدلة الكامنة وراءه.
تخلص الدراسة إلى أن الجمع بين كشف التزييف وتحديد مصدره يعد استراتيجية قابلة للتطبيق وفعالة للغاية. فمن خلال تعليم نموذج واحد القيام بكلتا المهمتين، ابتكر الباحثون أداة تقدم مستوى أعمق من الاستبصار الجنائي مقارنة بالطرق السابقة. ورغم أن النظام ليس مثالياً بعد ضد جميع أشكال الضوضاء والتشويه، إلا أن قدرته على التعميم في ظروف تسجيل غير مرئية وتحديد أنواع الهجمات المحددة تمثل خطوة كبيرة للأمام. ومع استمرار تطور تكنولوجيا توليد الصوت، ستكون أدوات كهذه ضرورية للتمييز بين الحقيقة والتزييف في عالم رقمي متزايد التعقيد. ويؤكد هذا العمل أنه مع الجمع بين استراتيجيات الاستماع الصحيحة، يمكن للحواسيب أن تصبح شركاء متطورين في محاربة الخداع الرقمي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.