A Robust and Explainable Multimodal Fusion Framework for Emotion Recognition Using Visual–Textual Feature Learning and Ensemble Optimization

ملخص تقني: إطار عمل متين وقابل للتفسير لدمج الوسائط المتعددة للتعرف على العواطف

بيان المشكلة
تعتمد أنظمة التعرف على العواطف الحالية غالبًا على بيانات أحادية الوسيط (سواء كانت بصرية أو نصية)، مما يحد من قدرتها على استيعاب الطبيعة متعددة الأبعاد للعواطف البشرية. تعاني المناهج أحادية الوسيط بشكل متكرر من ضعف الوعي بالسياق، والغموض، والضجيج، مما يؤدي إلى أداء تصنيفي دون المستوى الأمثل. علاوة على ذلك، غالبًا ما تعمل النماذج متعددة الوسائط الحالية كـ "صناديق سوداء"، وتفتقر إلى القابلية للتفسير، مما يعيق نشرها في المجالات الحساسة مثل الرعاية الصحية والتعليم. بالإضافة إلى ذلك، تفتقر العديد من الدراسات إلى التحقق الصارم من المتانة، مثل التحقق المتقاطع، واختبارات الدلالة الإحصائية، ودراسات الاستئصال (ablation studies)، مما يجعل من الصعب التحقق مما إذا كانت مكاسب الأداء ناتجة عن تعميم حقيقي أم أنها مجرد نتاج لتجزئة بيانات محددة.

المنهجية
يقترح المؤلفون إطار عمل لدمج الوسائط المتعددة قابل للتفسير يدمج الميزات البصرية والنصية باستخدام التعلم التجميعي (ensemble learning) وتقنيات التحقق الصارمة. تتبع المنهجية مسارًا مهيكلًا:

1. مجموعة البيانات والمعالجة المسبقة: تستخدم الدراسة مجموعة بيانات عواطف موسيقية متعددة الوسائط تحتوي على 5,866 عينة متوافقة موزعة على 14 فئة عاطفية. تخضع البيانات للمعالجة المسبقة للتعامل مع التكرارات والقيم المفقودة، يتبع ذلك تطبيع (Z-score normalization).
2. هندسة الميزات:
   • الميزات البصرية والنصية: يستخدم إطار العمل إجمالي 28 ميزة هندسية مستمدة من الوسائط البصرية والنصية. تشمل السمات البصرية التشبع، والملمس، والسطوع، والدرجة اللونية، والحركة، بالإضافة إلى حدود التفاعل، بينما يتم تحويل النصوص غير المهيكلة إلى تمثيلات رقمية مهيكلة.
   • الدمج: يستخدم إطار العمل الدمج المبكر على مستوى الميزات، حيث يتم دمج المتجهات البصرية والنصية لإنشاء تمثيل موحد يلتقط العلاقات بين الوسائط المختلفة.
3. بنية النموذج:
   • المصنفات الأساسية: يتم اختبار ثمانية خوارزميات تعلم آلي تحت الإشراف: الانحدار اللوجستي (Logistic Regression)، وSVM-RBF، وGradient Boosting، وRandom Forest، وExtra Trees، وXGBoost، وLightGBM، وCatBoost.
   • التعلم التجميعي (Ensemble Learning): تم تنفيذ نهج التجميع المكدس (stacked ensemble)؛ حيث تولد المصنفات الأساسية غير المتجانسة تنبؤات، والتي يتم تغذيتها بعد ذلك في مصنف ميتا (meta-classifier) لتعلم التركيبة المثلى لهذه التنبؤات، بهدف تقليل الانحياز والتباين.
4. القابلية للتفسير (XAI): لمعالجة مشكلة "الصندوق الأسود"، يدمج إطار العمل تقنية SHAP (تفسيرات شابلي المضافة) لتحليل أهمية الميزات عالميًا، وتقنية LIME (التفسيرات المحلية المستقلة عن النموذج القابلة للتفسير) للتفسير على مستوى الحالة الفردية.
5. التحقق والمتانة: تستخدم الدراسة التحقق المتقاطع خماسي الطيات الطبقي (stratified 5-fold cross-validation)، وتحليل الاستئصال، وتقدير فترات الثقة، واختبارات الدلالة الإحصائية (اختبار t المزدوج، واختبار فريدمان، واختبار نيميني البعدي) لضمان موثوقية النتائج وقابليتها للتعميم.

المساهمات الرئيسية

• تكامل الوسائط المتعددة: يقدم البحث إطار عمل يدمج المعلومات البصرية والنصية المتكاملة على مستوى الميزات، مما يثبت أن هذا النهج ينتج تمثيلات عاطفية أغنى من الطرق أحادية الوسيط.
• التقييم المنهجي: تحدد الدراسة الشاملة لثماني خوارزميات متنوعة من التعلم الآلي تحت ظروف تجريبية متطابقة أفضل المتعلمين الأساسيين لهذه المهمة المحددة.
• تحسين التجميع المكدس: توضح الدراسة أن الجمع بين المصنفات الأساسية غير المتجانسة عبر التجميع المكدس يعزز بشكل كبير دقة التنبؤ، والمتانة، والقدرة على التعميم مقارنة بالنماذج الفردية.
  * تنفيذ القابلية للتفسير: يوفر دمج SHAP وLIME تفسيرات عالمية ومحلية، مما يحدد المحركات الرئيسية لتنبؤات العواطف ويزيد من شفافية النموذج.
• التحقق الصارم: على عكس العديد من الدراسات السابقة، يتضمن هذا العمل فحوصات متانة واسعة النطاق، بما في ذلك التحقق المتقاطع الطبقي، ودراسات الاستئصال، واختبارات الدلالة الإحصائية، للتحقق من أن تحسينات الأداء ليست ناتجة عن تقلبات عشوائية.

النتائج

• تفوق الوسائط المتعددة: تفوق دمج الوسائط المتعددة باستمرار على النماذج أحادية الوسيط (البصرية فقط والنصية فقط) عبر جميع مقاييس التقييم.
• أداء المصنفات: من بين المصنفات الفردية، حقق Extra Trees أعلى دقة بلغت 95.81%، يليه عن قرب Random Forest وLightGBM. أما النماذج الخطية التقليدية (Logistic Regression، وSVM-RBF) فقد كان أداؤها أسوأ بكثير.
• أداء التجميع: حقق التجميع المكدس المقترح أفضل أداء إجمالي بدقة بلغت 98.41%، ودرجة F1 (Macro F1-score) بلغت 98.40%، ومعامل كوهلند (MCC) بلغ 0.9829، ومعامل ROC-AUC بلغ 0.9986. ويمثل هذا تحسنًا بنحو 2.6 نقطة مئوية عن أفضل مصنف فردي (Extra Trees).
• أهمية الميزات: كشف تحليل SHAP أن الميزات النصية ساهمت بنسبة 52.11% في التنبؤات، بينما ساهمت الميزات البصرية بنسبة 47.89%. وشملت الميزات الأكثر تأثيرًا التي تم تحديدها التشبع، والملمس، وتفاعل السطوع-التباين، والدرجة اللونية، والسطوع، بالإضافة إلى مصطلحات التفاعل الأخرى.
• المتانة: أظهر التجميع المكدس أدنى انحراف معياري في التحقق المتقاطع خماسي الطيات (0.31% للدقة)، مما يشير إلى استقرار عالٍ. وأكدت الاختبارات الإحصائية أن نتائج الوسائط المتعددة والتجميع كانت متفوقة بشكل ملحوظ (p < 0.05) على النماذج أحادية الوسيط والأساسات ذات المصنف الواحد.
• تحليل الخطأ: حدث الارتباك الأساسي بين العواطف المتشابهة دلاليًا أو بصريًا (مثل "عاطفي/وجداني" مقابل "حزين"، و"غامض" مقابل "مظلم")، مما يشير إلى أن الأخطاء غالبًا ما تكون ناتة عن الغموض العاطفي المتأصل وليس فشل النموذج.

الأهمية والادعاءات
يدعي البحث أن إطار العمل المقترح يقدم حلاً متينًا ودقيقًا وقابلًا للتفسير للتعرف على العواطف متعدد الوسائط. ومن خلال الجمع بين دمج الميزات، والتعلم التجميعي المكدس، وتقنيات XAI، تعالج الدراسة الفجوات الحرجة في الأدبيات الحالية فيما يتعلق بشفافية النموذج، والتحقق من المتانة، وعدم الاستغلال الأمثل لطرق التجميع في سياقات الوسائط المتعددة. ويؤكد المؤلفون أن نهجهم يوفر أساسًا موثوقًا لنشر أنظمة التعرف على العواطف في تطبيقات العالم الحقيقي حيث تكون القابلية للتفسير والموثوقية أمرًا بالغ الأهمية. وتخلص الدراسة إلى أنه بينما تعد النتائج الحالية واعدة، يجب أن يستكشف العمل المستقبلي دمج نماذج التأسيس القائمة على المحولات (Transformer-based foundation models) والوسائط الإضافية (مثل الصوت والإشارات الفسيولوجية) لتعزيز القدرة على التوسع والتعميم.