C$^2$MOE: Consistency and Complementarity-guided Mixture of Experts for Incomplete Multimodal Emotion Learning

تخيل أنك تحاول تخمين شعور صديق لك بمجرد مشاهدة فيديو له وهو يتحدث. لديك ثلاث أدلة: ما يقوله (النص)، وكيف يبدو صوته (الصوت)، وما يبدو عليه وجهه (الفيديو). في عالم الذكاء الاصطناعي، يسمى هذا "التعرف على العواطف متعدد الوسائط" (Multimodal Emotion Recognition). الأمر يشبه امتلاك محقق فائق الذكاء يجمع كل هذه الأدلة لفهم العواطف البشرية بشكل أفضل مما يمكن لأي دليل منفرد القيام به. لكن هناك مشكلة، وهي أن الأمور تسوء في العالم الحقيقي؛ فقد ينقطع الميكروفون، أو يتجمد الفيديو، أو ينقطع الاتصال بالإنترنت. فجأة، يصبح لدى المحقق الخاص بك نصف الأدلة مفقودة. وإذا لم يتم بناء الذكاء الاصطناعي للتعامل مع هذه القطع المفقودة، فسيصاب بالارتباك ويقدم تخمينات خاطئة. هذه هي المشكلة التي يحاول العلماء حلها: كيف نعلم الحواسيب كيفية "ملء الفراغات" للمعلومات المفقودة دون فقدان المعنى الحقيقي للعاطفة؟

تقدم هذه الورقة البحثية حلاً جديداً يسمى C2MOE (خليط الخبراء الموجه بالاتساق والتكامل). فكر في الأمر كفريق من المحققين المتخصصين الذين يعملون معاً لحل القضية عندما يكون بعض الدليل مفقوداً. أدرك الباحثون أن الطرق السابقة حاولت إصلاح البيانات المفقودة عن طريق مجرد نسخ ما يعرفونه من الأدلة الأخرى، لكن هذا غالباً ما أدى إلى تخمينات مملة ومتكررة تفتقر إلى التفاصيل الفريدة. يقوم C2MOE بشيء أكثر ذكاءً؛ فهو يقسم المهمة إلى دورين متميزين. أحد الخبراء، وهو "محقق الاتساق"، يبحث عن الأنماط المشتركة بين الأدلة — مثل كيف أن الصوت الحزين عادة ما يتوافق مع وجه عابس. أما الخبير الآخر، وهو "محقق التكامل"، فيبحث عن التفاصيل الفريدة التي يمكن لواحد من الأدلة فقط توفيرها — مثل اختيار كلمة معينة لا يمكن إلا للنص أن يكشف عنها. ومن خلال استخدام "مدير" ذكي (شبكة توجيه) لتقرير أي محقق يجب الاستماع إليه في أي لحظة، يمكن للنظام إعادة بناء المعلومات المفقودة بدقة أكبر بكثير. اختبر المؤلفون نظامهم على مجموعتين شهيرتين من التعليقات المرئية (CMU-MOSI و CMU-MOSEI) ووجدوا أن C2MOE يتفوق باستمرار على الأساليب الحالية، خاصة عندما تكون أجزاء كبيرة من البيانات مفقودة. وهم يشيرون إلى أنه من خلال موازنة الحاجة إلى الأنماط المشتركة مع الحاجة إلى التفاصيل الفريدة، يمكن للذكاء الاصطناعي أن يظل قوياً حتى عندما تكون البيانات غير مكتملة.

فريق المحققين: كيف يعمل C2MOE

لفهم كيفية عمل C2MOE، تخيل أنك تحاول إعادة بناء أحجية (بازل) مكسورة، ولكن لديك نصف قطعها فقط. في الماضي، حاولت نماذج الذكاء الاصطناعي تخمين القطع المفقودة عبر مجرد النظر إلى القطع التي لديهم والأمل في الأفضل. أحياناً كانوا يحالفهم الحظ، لكنهم في كثير من الأحيان كانوا يخمنون الشيء نفسه مراراً وتكراراً، مفتقدين التفاصيل الفريدة التي تجعل الصورة مميزة.

يجادل مؤلفو هذه الورقة بأن هناك نوعين مختلفين من المعلومات التي نحتاج إلى استعادتها:

1. الاتساق (Consistency): وهذا هو "اللغة المشتركة" بين الأدلة. إذا كان شخص ما يصرخ، فإن صوته سيكون عالياً، ووجهه محمراً، وكلماته عدوانية. هذه الأشياء الثلاثة متسقة مع بعضها البعض.
2. التكامل (Complementarity): وهذا هو "النكهة الفريدة" لكل دليل. قد يخبرك النص عن ماذا يصرخ الشخص، بينما يخبرك الصوت عن مدى غضبه، ويظهر الفيديو من الذي يصرخ عليه. هذه قطع مختلفة من الأحجية لا تتداخل ولكنها ضرورية معاً.

المشكلة هي أن هذين الهدفين غالباً ما يتصارعان. إذا ركزت كثيراً على جعل كل شيء متسقاً، فقد تمحو التفاصيل الفريدة. وإذا ركزت كثيراً على التفاصيل الفريدة، فقد تفقد الاتصال بين الأدلة.

دخول "خليط الخبراء" (Mixture of Experts - MoE).
بدلاً من وجود عقل واحد ضخم يحاول القيام بكل شيء، يستخدم C2MOE نهج "خليط الخبراء". تخيل وكالة تحقيق تضم خبيرين متخصصين:

• خبير الاتساق: هذا المحقق بارع في رصد الأنماط. إذا قال النص "أنا سعيد"، فإن هذا الخبير يعرف أن الصوت يجب أن يبدو مبتهجاً والوجه يجب أن يكون مبتسماً. مهمته هي التأكد من أن القطع المفقودة تتناسب تماماً مع القطع الموجودة لدينا بالفعل.
• خبير التكامل: هذا المحقق بارع في رصد الأشياء الغريبة والفريدة. إذا قال النص "أنا سعيد"، ولكن الصوت يبدو ساخراً، فإن هذا الخبير يلاحظ أن للصوت "نكهة" فريدة لا يلتقطها النص. مهمته هي التأكد من أننا لا نفقد تلك التفاصيل الفريدة عند ملء الفراغات.

المدير الذكي
كيف يعرف الذكاء الاصطناعي أي محقق يجب أن يستمع إليه؟ إنه يستخدم شبكة توجيه، والتي تعمل كمدير ذكي. عندما يرى الذكاء الاصطناعي قطعة من البيانات، يسأل المدير: "هل نحتاج إلى مطابقة النمط، أم نحتاج إلى إيجاد تفصيل فريد؟". بناءً على الإجابة، يخصص درجة لكل خبير. إذا كانت القطعة المفقودة تحتاج إلى مطابقة العناصر الأخرى، يحصل خبير الاتساق على درجة عالية. وإذا كانت تحتاج إلى إضافة شيء جديد، يحصل خبير التكامل على الثقة. الإجابة النهائية هي مزيج من الاثنين، بوزن يعتمد على مدى ثقة المدير في كل منهما.

التجربة: وضع C2MOE تحت الاختبار

اختبر الباحثون نظامهم الجديد على مجموعتين كبيرتين من تعليقات الفيديو من الإنترنت (CMU-MOSI و CMU-MOSEI). تحتوي هذه المجموعات على آلاف الفيديوهات حيث يتحدث الناس عن مواضيع متنوعة، ويجب على الذكاء الاصطناعي تخمين ما إذا كانوا سعداء، أو حزانى، أو غاضبين، إلخ.

ولجعل الاختبار واقعياً، قاموا بمحاكاة "البيانات المفقودة" عن طريق إخفاء أجزاء من الفيديوهات عشوائياً. أحياناً أخفوا الصوت، وأحياناً الفيديو، وأحياناً النص. حتى أنهم اختبروا سيناريوهات حيث كانت نسبة 70% من البيانات مفقودة!

النتائج
كانت النتائج مثيرة للإعجاب. في كل سيناريو تقريباً، تفوق C2MOE على الأساليب الرائدة الأخرى.

• في مجموعة بيانات CMU-MOSI، عندما كانت الأدلة الثلاثة (النص، الصوت، الفيديو) متاحة، حقق C2MOE دقة بلغت 88.5% (الدقة الثنائية) و 47.4% (لدقة التصنيف السباعي).
• عندما أخفوا الفيديو والصوت، تاركين النص فقط، تمكن C2MOE من الحصول على دقة 87.3%، وهو أفضل من ثاني أفضل طريقة.
• حتى عندما كانت نسبة الفقد عالية (تصل إلى 0.7، مما يعني فقدان 70% من البيانات)، حافظ C2MOE على موقفه بشكل أفضل بكثير من الآخرين. فبينما شهدت النماذج الأخرى انخفاضاً حاداً في أدائها مع اختفاء المزيد من البيانات، انخفض أداء C2MOE انخفاضاً طفيفاً فقط.

نظر المؤلفون أيضاً في مدى جودة ملء الذكاء الاصطناعي للقطع المفقودة. استخدموا أداة بصرية تسمى t-SNE لرؤية كيف تبدو البيانات "المعاد بناؤها" مقارنة بالبيانات الحقيقية. ووجدوا أن تخمينات C2MOE كانت أقرب بكثير إلى الواقع، حيث حافظت على شكل وهيكل البيانات، بينما أنتجت الطرق الأخرى تخمينات فوضوية ومشتتة.

لماذا يهم هذا؟

الاستنتاج الرئيسي هو أن محاولة فرض أن يكون كل شيء متماثلاً (الاتساق) ليس كافياً. يجب عليك أيضاً احترام الاختلافات الفريدة بين الأدلة (التكامل). ومن خلال استخدام فريق من الخبراء المتخصصين ومدير ذكي للتبديل بينهم، يمكن لـ C2MOE التعامل مع واقع العالم الحقيقي الفوضوي وغير المكتمل بشكل أفضل بكثير من النماذج السابقة.

تشير الورقة إلى أن هذا النهج يعد خطوة مهمة للأمام لجعل الذكاء الاصطناعي قادراً على فهم العواطف البشرية حتى عندما تكون البيانات ناقصة. وبينما لا يدعي المؤلفون أنهم حلوا مشكلة البيانات المفقودة إلى الأبد، إلا أن تجاربهم تشير بقوة إلى أن استراتيجية "الاتساق والتكامل" هذه هي طريقة قوية لجعل الذكاء الاصطناعي أكثر قوة وموثوقية. وكما قالوا، فإن أفضل النتائج جاءت عندما وازنوا بين الأنماط المشتركة والتفاصيل الفريدة، مما يثبت أن القليل من العمل الجماعي بين أنواع مختلفة من الخبراء يذهب بعيداً في تحقيق النتائج.