Face and Voice Cross-modal Association with Learning Convex Feature Embedding

تخيل أنك في حفلة صاخبة وفوضوية حيث يتحدث آلاف الأشخاص في وقت واحد. لمحت صديقاً لك عبر الغرفة، لكنك لا تستطيع رؤية وجهه بوضوح بسبب الحشد. فجأة، سمعت ضحكته المميزة. يربط دماغك فوراً ذلك الصوت بالشخص الذي رأيته، رغم أنك تملك صورة ضبابية ومقتطفاً صوتياً فقط. هذا هو سحر الإدراك البشري: أدمغتنا بارعة بطبيعتها في ربط ما نراه بما نسمعه. لكن تعليم الكمبيوتر القيام بنفس الشيء يشبه محاولة تعليم روبوت التعرف على صديق من خلال النظر فقط إلى أذنه اليسرى والاستماع إلى تسجيل لقدمه اليمنى. يكمن التحدي في حقيقة أن الصورة وملف الصوت لغتان مختلفتان تماماً؛ فالأولى مكونة من بكسلات وألوان، والأخرى مكونة من موجات وترددات. لفترة طويلة، عانت الحواسيب في الترجمة بين هاتين اللغتين، وغالباً ما كانت ترتبك وتخلط بين الغرباء والأصدقاء.

يغوص هذا البحث في عالم "التعلم عبر الأنماط" (cross-modal learning)، وهو مجرد طريقة منمقة للقول: "تعليم الحواسيب فهم الروابط بين أنواع مختلفة من الحواس". يحاول الباحثون حل لغز محدد: كيف نجعل الكمبيوتر يفهم أن وجهاً معيناً وصوتاً معيناً ينتميان إلى الشخص نفسه، حتى عندما لا تبدو البيانات متشابهة على الإطلاق؟ كانت المحاولات السابقة تشبه محاولة وضع وتد مربع في ثقب مستدير؛ فقد حاولوا جعل الكمبيوتر يعامل الوجوه والأصوات كما لو كانت شيئاً واحداً، مما أدى إلى الكثير من الأخطاء. أدرك مؤلفو هذا البحث أنه بدلاً من محاولة جعلهما متطابقين، يجب علينا بناء جسر بينهما. إنهم يقترحون طريقة جديدة تخلق "أرضية مشتركة" للتمثيل، وهي بمثابة مصافحة رقمية يلتقي فيها الوجه والصوت في المنتصف لتأكيد الهوية.

المشكلة: عدم التطابق الكبير

بدأ الباحثون بالنظر في سبب فشل الحواسيب الحالية في هذه المهمة. تخيل أن لديك فريقين مختلفين من الجواسيس: "فريق الوجه" و"فريق الصوت". يرسل فريق الوجه تقارير مكتوبة بشفرة سرية من الألوان والأشكال، بينما يرسل فريق الصوت تقارير مكتوبة بشفرة من الأصوات والإيقاعات. في الماضي، حاول العلماء إجبار كلا الفريقين على كتابة تقاريرهما بنفس اللغة تماماً. ولكن لأن الشفرات مختلفة جداً، ظل الجواسيس يرتكبون الأخطاء. قد ينظر الكمبيوتر إلى وجه وصوت ويقول: "هذان الاثنان يبدوان ويسمعان بشكل كافٍ ليكون الشخص نفسه!"، بينما هما في الواقع غريبان تماماً. يؤدي هذا إلى "الإيجابيات الكاذبة" (الاعتقاد بأن الغرباء هم أصدقاء) و"السلبيات الكاذبة" (الاعتقاد بأن الأصدقاء هم غرباء).

يجادل البحث بأن الطريقة القديمة كانت معيبة لأنها استهانت بمدى اختلاف الصوت والفيديو حقاً. الأمر يشبه محاولة مقارنة لوحة لغروب الشمس بتسجيل لأمواج المحيط لمجرد أنهما يحدثان عند الشاطئ؛ الفجوة بينهما واسعة جداً بحيث لا يمكن القفز فوقها مباشرة.

الحل: بناء جسر "محدب"

لإصلاح ذلك، بنى المؤلفون نظاماً ذكياً جديداً. بدلاً من إجبار الوجه والصوت على أن يصبحا متطابقين، خلقوا "وسيطاً". فكر في الأمر كأنه مترجم في قمة دبلوماسية؛ يرسل الوجه رسالته، ويرسل الصوت رسالته، وبدلاً من محاولة دمجهم فوراً، ينشئ النظام رسالة جديدة مؤقتة تقع في المنتصف تماماً بين الاثنين.

يطلق المؤلفون على هذا اسم تضمين الميزات المحدب (convex feature embedding). بعبارات بسيطة، تخيل شريطاً مطاطياً مشدوداً بين وجه وصوت؛ أي نقطة على طول هذا الشريط هي مزيج "محدب". يتعلم النظام إنشاء هذه النقاط الوسطى لكل شخص. إذا كان الوجه والصوت ينتميان لنفس الشخص، فإن "نقاطهما الوسطى" ستستقر في نفس الحي الدافئ. أما إذا كانا لشخصين مختلفين، فستنتهي نقاطهما الوسطى في مدن مختلفة تماماً.

هذا النهج قوي لأنه يقر بأن الوجوه والأصوات مختلفة، لكنه يمنحها مكاناً مشتركاً للقاء. ومن خلال التعلم للوجود في هذا "الغلاف المحدب" (مصطلح هندسي معقد يعني الشكل الذي يحتوي على جميع النقاط بين نقطتين)، يمكن للكمبيوتر أن يرى أن الوجه والصوت مرتبطان دون الحاجة لأن يكونا متطابقين.

السلاح السري: بقعة الضوء (الاهتمام)

لم يتوقف الباحثون عند بناء الجسر فحسب، بل أضافوا إليه بقعة ضوء. لقد قدموا آلية انتباه عبر الأنماط (cross-modal attention mechanism). تخيل أنك تحاول الاستماع إلى صديق في غرفة صاخبة؛ فأنت تقوم طبيعياً بتجاهل الثرثرة في الخلفية والتركيز على نبرة صوت محددة. يفعل الكمبيوتر شيئاً مشابهاً.

يستخدم النظام "وحدة انتباه" خاصة لمسح الوجه والصوت والسؤال: "ما هي الأجزاء في هذه الصورة أو هذا الصوت المهمة حقاً لتحديد هوية هذا الشخص؟". يتعلم النظام تجاهل الضجيج — مثل تسريحة شعر سيئة في صورة أو سعلة في تسجيل صوتي — وتضخيم الميزات التي تحدد هوية الشخص حقاً. تساعد بقعة الضوء هذه الكمبيوتر على التركيز على القرائن الصحيحة، مما يجعل من الصعب جداً الارتباك بسبب المنتحلين.

ما توصلوا إليه

اختبر الفريق طريقتهم الجديدة على مجموعة بيانات ضخمة تسمى VoxCeleb، والتي تحتوي على أكثر من 21,000 مقطع فيديو لـ 1,251 شخصية مشهورة. وقد طلبوا من الكمبيوتر القيام بثلاث مهام صعبة:

1. التحقق: "هل هذا الوجه وهذا الصوت لنفس الشخص؟"
2. المطابقة: "إليك وجه وصوتان، أي صوت ينتمي لهذا الوجه؟"
3. الاسترجاع: "إليك صوت، ابحث عن الوجه المطابق له في قاعدة بيانات تضم الآلاف."

كانت النتائج مبهرة. الطريقة الجديدة، التي تجمع بين جسر "الوسيط" وبقعة ضوء "الانتباه"، تفوقت بشكل كبير على جميع الطرق السابقة الأفضل.

• في مهمة التحقق، حققت طريقتهم دقة (تقاس بدرجة تسمى AUC) بلغت 89.71%، متفوقة على أفضل طريقة غير خاضعة للإشراف سابقاً والتي سجلت 86.70%.
• كما نظروا في "المسافة" بين الوجوه والأصوات. في الطرق القديمة، كانت المسافة بين وجه الشخص وصوته غالباً كبيرة وفوضوية، ولكن مع الطريقة الجديدة، تقلصت تلك المسافة بشكل كبير إلى 0.0053، مما يعني أن الكمبيوتر أصبح يرى الرابط بوضوح أكبر بكثير.
• حتى عندما اختبروا النظام على مجموعة بيانات أخرى تسمى AVSpeech، ظل يتصدر النتائج، مما يثبت أن الطريقة تعمل جيداً حتى عندما تتغير البيانات.

لماذا يهم هذا الأمر؟

يشير البحث إلى أنه من خلال إنشاء هذا "الوسط المشترك" واستخدام بقعة ضوء للتركيز على التفاصيل الصحيحة، يمكننا تعليم الحواسيب فهم العالم كما نفعل نحن البشر. نحن لا نرى وجهاً أو نسمع صوتاً فحسب، بل نختبرهما معاً. هذه الطريقة الجديدة تساعد الحواسيب على فعل الشيء نفسه، مما يقلل من الأخطاء التي يرتكبونها عند محاولة ربط مظهر الشخص بصوته.

يلاحظ المؤلفون بحذر أن هذا ليس حلاً مثالياً لكل شخص؛ فأحياناً لا يتوافق وجه الشخص وصوته مع الأنماط المعتادة، وقد يرتكب الكمبيوتر أخطاءً. ولكن بالنسبة للغالبية العظمى من الحالات، فإن نهج "الجسر المحدب" هذا يعد قفزة هائلة للأمام، مما يجعل من السهل جداً على الآلات التعرف على من هو من، سواء كانت تنظر إلى صورة أو تستمع إلى تسجيل. إنه يحول مجموعة مشوشة من البيانات إلى قصة واضحة ومتصلة.