Distilling Facial Emotional Cues into EEG Representations for Robust Emotion Recognition in Mental Health Monitoring
تقترح الورقة البحثية إطار عمل "التقطير المعزز عبر الوسائط المتعددة" (C-MED)، الذي ينقل المعرفة متعددة الوسائط بين تخطيط كهربية الدماغ (EEG) وتعبيرات الوجه إلى نموذج طالب يعتمد على تخطيط كهربية الدماغ فقط وقابل للنشر، وذلك عبر المحاذاة التباينية والتفاعل الثنائي الخطية، محققاً بذلك تعرّفاً قوياً ومستقلاً عن المبحوث على مشاعر الوجه في معايير SEED-VII وDEAP دون الحاجة إلى بيانات وجه متزامنة عند الاستنتاج.
المؤلفون الأصليون:Majid Sepahvand, Hiba Muhammed Hussein, Maytham N. Meqdad
يمثل الدماغ البشري تدفقاً مستمراً من النشاط الكهربائي، لغة صامتة من الخلايا العصبية التي تطلق نبضاتها في أنماط تتغير مع كل فكرة وذكرى وشعور. لعقود من الزمن، حاول العلماء قراءة هذه اللغة لفهم حالاتنا العاطفية، آملين في بناء آلات يمكنها التعرف على ما إذا كان الشخص سعيداً أو حزيناً أو قلقاً. أحد أكثر الطرق مباشرة للاستماع إلى هذا الحوار الداخلي هو تخطيط كهربية الدماغ، أو EEG، وهي طريقة تضع مستشعرات على فروة الرأس لتسجيل الإشارات الكهربائية للدماغ. وبينما توفر هذه الإشارات نافذة على العقل يستحيل تزييفها، إلا أنها صعبة التفسير بشكل كبير؛ فالأنماط تختلف من شخص لآخر، وغالباً ما تكون الإشارات خافتة ومليئة بالضجيج، مما يجعل من الصعب بناء نظام يعمل بموثوقية للجميع.
ولإدراك هذا التعقيد، غالباً ما يبحث الباحثون عن المساعدة من العالم الخارجي. فعندما نشعر بعاطفة ما، تتفاعل وجوهنا عادةً؛ حيث توفر الابتسامة، أو العبوس، أو اتساع العينين دليلاً بصرياً يكمل العاصفة الكهربائية غير المرئية داخل الرأس. وفي بيئة مختبرية مثالية، يمكن للعلماء تسجيل موجات الدماغ وتعبيرات الوجه في الوقت نفسه، باستخدام الإشارات البصرية الواضحة للمساعدة في فك تشفير إشارات الدماغ الفوضوية. ومع ذلك، فإن هذا يخلق مشكلة عملية؛ ففي العالم الحقيقي، كما هو الحال في غرفة المستشفى أو المنزل، غالباً ما يكون من غير الممكن أو من غير العملي تسجيل وجه الشخص أثناء ارتدائه لسماعة EEG. إن النظام الذي يتطلب كاميرا ليعمل يصبح عديم الفائدة إذا تعذر استخدام الكاميرا. لذا، فإن التحدي يكمن في بناء آلة تتعلم من كل من الدماغ والوجه أثناء التدريب، ولكن يمكنها مع ذلك فهم العواطف باستخدام إشارات الدماغ وحدها عند تشغيلها فعلياً.
لقد تصدى فريق من الباحثين لهذه العقبة المحددة عبر نهج جديد يسمى "التقطير المعزز عبر الوسائط المتعددة" (Cross-Modality Enhanced Distillation). كان هدفهم إنشاء نموذج يمكنه "تعليم" نفسه باستخدام المعلومات الغنية المتاحة من تسجيلات الدماغ والوجه معاً، ثم نقل تلك المعرفة إلى نسخة أبسط تعتمد على الدماغ وحده. تخيل طباخاً ماهراً يتعلم الطهي من خلال تذوق طبق بكل مكوناته الممكنة، ثم يعلم متدرباً كيفية إعادة ابتكار نفس النكهة باستخدام مجموعة محدودة من التوابل فقط. المتدرب لا يتذوق المكونات المفقودة، ولكن من خلال تعليم دقيق، يتعلم تقريب ملف النكهة المعقد. في هذه الدراسة، "الماستر" أو المعلم هو شبكة حاسوبية ترى إشارات EEG وفيديوهات الوجه، بينما "المتدرب" هو شبكة مبسطة ترى إشارات EEG فقط.
اختبر الباحثون هذه الفكرة باستخدام مجموعتين من البيانات المعروفة حيث شاهد المتطوعون فيديوهات عاطفية بينما تم تسجيل موجاتهم الدماغية ووجوههم. قاموا بتدريب شبكتهم "الماستر" على مواءمة إشارات الدماغ مع تعبيرات الوجه، مما أجبر الحاسوب على إيجاد المعنى العميق والمشترك بين الاثنين. تضمنت هذه العملية تقنية خاصة لضمان أن الحاسوب تعلم العاطفة الفعلية بدلاً من مجرد حفظ هوية الشخص أو مقطع الفيديو المحدد الذي يتم تشغيله. وبمجرد تدريب الشبكة "الماستر"، عملت كمرشد للمتدرب؛ حيث تم تدريب المتدرب، الذي لم يكن لديه سوى بيانات الدماغ، على محاكة قرارات "الماستر". وكانت النتيجة نظاماً يمكنه التعرف على العواطف من موجات الدماغ وحدها، ولكن بالذكاء والبراعة اللذين اكتسبهما من خلال "رؤية" الوجوه أثناء تدريبه.
كانت النتائج واعدة. فعند اختبار النظام المبسط المعتمد على الدماغ فقط على أشخاص جدد لم يسبق لهم المشاركة في عملية التدريب، حقق دقة تبلغ حوالي 52.4 بالمائة في مجموعة بيانات تضم سبع عواطف مختلفة، وحوالي 70 بالمائة في مجموعة بيانات تضم ست عواطف. تمثل هذه الأرقام تحسناً كبيراً عن الأنظمة التي تم تدريبها على بيانات الدماغ فقط دون رؤية وجه أبداً. ووجد الباحثون أن كل جزء من منهجهم الجديد ساهم في هذا النجاح؛ إذ كانت التقنية التي قامت بمواءمة إشارات الدماغ والوجه هي العامل الأكثر أهمية، تليها عن كثب وحدة ساعدت نوعي البيانات على التفاعل بطريقة متطورة. ومن خلال تجريد النظام من الحاجة إلى كاميرا في لحظة الاستخدام، أنشأ الفريق نظاماً أكثر عملية لمراقبة الصحة العقلية في العالم الحقيقي، حيث يعد الرصد المستمر وغير الجراحي أمراً أساسياً.
ومع ذلك، كان الباحثون حذرين في الإشارة إلى حدود عملهم. فقد اختبروا النظام بصرامة لضمان أنه لا يعتمد فقط على حفظ التفاصيل المحددة عن المتطوعين أو مقاطع الفيديو، وأكدوا أن النظام يتعلم أنماطاً عاطفية حقيقية بدلاً من الاختصارات القائمة على هوية الشخص الجالس على الكرسي. ومع ذلك، وجدوا أيضاً أن النظام لا يزال يعاني عندما تكون إشارات الدماغ صاخبة جداً أو عندما تكون الأقطاب الكهربائية مفقودة. علاوة على على ذلك، وبينما عمل النظام بشكل جيد على المجموعات المحددة التي تم اختبارها، لم يثبت بعد قدرته على العمل بنفس الكفاءة عبر مختلف الأعمار أو العرقيات أو الحالات السريرية. تشير الدراسة إلى مسار قوي للمستقبل في مجال التعرف على العواطف، موضحة أننا يمكننا استعارة الرؤى من الوجه لتعليم الدماغ كيف ينطق بنفسه، لكن الرحلة نحو أداة موثوقة عالمياً لمراقبة الصحة العقلية لا تزال مستمرة.
ملخص تقني: تقطير الإشارات العاطفية الوجهية إلى تمثيلات تخطيط كهربية الدماغ (EEG) من أجل التعرف القوي على العواطف في مراقبة الصحة النفسية
1. بيان المشكلة
يوفر تخطيط كهربية الدماغ (EEG) دقة زمنية بمستوى الميلي ثانية لمراقبة الحالات العاطفية، مما يجعله وسيطاً واعداً لمراقبة الصحة النفسية وواجهات الدماغ والحاسوب (BCI). ومع ذلك، يواجه التعرف على العواطف القائم على الـ EEG تحديين رئيسيين:
التباين بين الأشخاص (Cross-subject variability): تختلف الإشارات العصبية بشكل كبير بين الأفراد، مما يحد من قدرة النماذج المدربة على مشاركين محددين على التعميم.
فجوة النمط (الموداليتي) بين التدريب والاختبار: بينما توفر التعبيرات الوجهية إشارات تكميلية ومعلوماتية تعزز دقة التعرف، إلا أن الحصول عليها غالباً ما يكون غير عملي أثناء النشر الفعلي (على سبيل المثال، في الإعدادات السريرية أو سيناريوهات الأجهزة القابلة للارتداء). تتطلب معظم الأساليب متعددة الأنماط الحالية مدخلات وجهية متزامنة عند كل من التدريب والاستدلال، مما يجعلها غير مناسبة للنشر الذي يعتمد على الـ EEG فقط.
تعتمد الطرق الحالية غالباً على دمج الميزات على مستوى السطح أو التكيف أحادي النمط دون فرض اتساق دلالي صريح عبر الأنماط غير المتجانسة في مساحة كامنة مشتركة. علاوة على ذلك، تفتقر أساليب "النمط المفقود" أو "المعلومات المميزة" الموجودة إلى آليات محددة لمحاذاة الأنماط بحيث تكون ثابتة تجاه هوية الشخص أو للتخفيف من النتائج السلبية الكاذبة في التعلم التبايني.
2. المنهجية: التقطير المعزز عبر الأنماط (C-MED)
يقترح المؤلفون إطار عمل C-MED، وهو إطار موحد مصمم لسد فجوة النمط بين التدريب والاختبار. يستخدم الإطار نموذج (معلم-طالب) حيث يتم تدريب معلم متعدد الأنماط (EEG + وجه) لتعلم تمثيلات متوافقة، ثم يتم تقطير طالب خفيف الوزن يعمل بالـ EEG فقط من هذا المعلم من أجل النشر.
2.1 مكونات البنية
يتكون الإطار من ثلاثة مكونات أساسية مدمجة في بنية تعلم موحدة:
المحاذاة التباينية المتناظرة بين الـ EEG والوجه (SEF-CA):
الهدف: فرض دلالات عاطفية ثابتة النمط بين إشارات الـ EEG الفسيولوجية والإشارات السلوكية الوجهية ضمن مساحة كامنة مشتركة.
الآلية: على عكس خسائر التباين القياسية (InfoNCE) التي تعامل جميع الأزواج غير المتطابقة كأزواج سلبية، يستخدم SEF-CA نوعاً متناقصاً، واعياً بالتسميات (label-aware)، وتباينياً مُشرفاً. فهو يعامل أزواج (EEG-وجه) من أشخاص مختلفين الذين يتشاركون نفس تسمية العاطفة الحقيقية كـ "أزواج إيجابية" بدلاً من سلبية. وهذا يخفف من مشكلة "السلبيات الكاذبة لنفس التسمية"، وهو أمر بالغ الأهمية نظراً للتداخل الفسيولوجي بين بعض العواطف (مثل الخوف والغضب) والتباين بين الأشخاص.
التنفيذ: تستخدم دالة خسارة متناظرة تجذب الأزواج المتطابقة وذات التسمية نفسها لتصبح أقرب، بينما تفصل بين الأزواج ذات التسميات المختلفة.
التفاعل ثنائي الخطية عبر الأنماط (BCMI):
الهدف: التقاط الاعتمادات عالية الرتبة عبر الأنماط التي قد تغفل عنها آليات الدمج البسيط أو آليات الانتباه.
الآلية: يستخدم النموذج تفاعلاً ثنائي الخطية منخفض الرتبة (حاصل الضرب هادامارد للتمثيلات المسقطة) مدمجاً مع الانتباه المتقاطع (cross-attention).
الكفاءة: لتجنب الانفجار الحسابي ومخاطر الإفراط في التخصيص المرتبطة بالضرب الخارجي الكامل (على سبيل المثال، 256×256 بُعداً)، يقوم المؤلفون بإسقاط التمثيلات في مساحة منخفضة الرتبة (r=32) قبل التفاعل. يحافظ هذا على خفة وزن الوحدة (بإضافة حوالي 1.2% فقط إلى عدد بارامترات المعلم) مع التقاط العلاقات غير الخطية.
التقطير من متعدد الأنماط إلى أحادي النمط (M2U-KD):
الهدف: نقل المعرفة الغنية متعددة الأنماط من المعلم إلى الطالب الذي يعمل بالـ EEG فقط.
الآلية: يتم تدريب شبكة الطالب باستخدام خسارة التقطير التي تجمع بين التسميات الصلبة (الحقيقة الأرضية) والتسميات الناعمة (اللوجيتات ذات درجة الحرارة المعدلة) من المعلم. يتلقى الطالب مدخلات الـ EEG فقط أثناء التدريب والاستدلال، بينما يستخدم المعلم بيانات الـ EEG والوجه المتزامنة.
2.1 معالجة البيانات وبروتوكول التدريب
مجموعات البيانات: أجريت التجارب على SEED-VII (7 فئات، 20 مشاركاً) و DEAP (6 فئات، 27 مشاركاً).
المعالجة المسبقة: خضعت إشارات الـ EEG لترشيح تمرير النطاق (0.5–40 هرتز)، وتحليل المكونات المستقلة (ICA) لقمع الشوائب، والتطبيع. تم استخراج الميزات الوجهية باستخدام علامات MediaPipe وهيكل VGG16 مدرب مسبقاً على ImageNet ومجمد.
بروتوكول التقييم: تم استخدام بروتوكول صارم مستقل عن الشخص (subject-independent). تم تقسيم البيانات على مستوى المشارك (تحقق تبادلي خماسي الطيات مكرر مع 5 بذور عشوائية)، مما يضمن عدم ظهور أي مشارك في كل من مجموعتي التدريب والاختبار، وهذا يمنع تسرب البيانات ويختبر القدرة الحقيقية على التعميم.
3. المساهمات الرئيسية
حدد البحث أربع مساهمات رئيسية:
إطار عمل C-MED: بنية موحدة تعالج صراحةً فجوة النمط بين التدريب والاختبار من خلال التدريب ببيانات متعددة الأنماط (EEG + وجه) ولكن النشر ببيانات أحادية النمط (EEG فقط).
هدف SEF-CA: محاذاة تباينية متناظرة جديدة واعية بالتسميات، تقلل من التباين بين الأشخاص والسلبيات الكاذبة عبر معاملة الأزواج من أشخاص مختلفين ولكن بنفس التسمية كأزواج إيجابية.
وحدة BCMI: وحدة تفاعل ثنائي الخطية منخفضة الرتبة مصممة لالتقاط الاعتمادات عالية الرتبة عبر الأنماط بكفاءة دون التكلفة الحسابية للدمج ثنائي الخطية الكامل.
التقييم الصارم: مجموعة تقييم شاملة تتضمن التحقق التبادلي على مستوى الشخص، وتحليل "ترك الشخص الواحد خارج المجموعة" (LOSO)، وفحص هوية الشخص، وتقييمات محكومة بالمثيرات للتحقق من أن مكاسب الأداء ناتجة عن التعميم الحقيقي عبر الأشخاص وليس مجرد اختصارات خاصة بمجموعة البيانات.
4. النتائج التجريبية
تم تقييم طالب C-MED (الذي يعمل بالـ EEG فقط عند الاختبار) مقابل نماذج أساسية (baselines) تم إعادة تنفيذها تعمل بالـ EEG فقط (مثل EEGNet، Deep4Net، DSTMNet) ونماذج أساسية متعددة الأنماط.
الأداء على SEED-VII (7 فئات):
طالب C-MED: 52.4% دقة.
المقارنة: تفوق على أقوى نموذج أساسي أحادي النمط (DSTMNet: 49.6%) بمقدار 2.8 نقطة مئوية، وعلى النموذج أحادي النمط بدون تقطير (46.2%) بمقدار 6.2 نقطة.
الحد الأعلى للمعلم: حقق المعلم متعدد الأنماط 55.1%، مما يشير إلى أن الطالب يستعيد حوالي 70% من الفجوة بين النموذج الأساسي أحادي النمط والحد الأعلى متعدد الأنماط.
الأداء على DEAP (6 فئات):
طالب C-MED: 69.7% دقة.
المقارنة: تفوق على DSTMNet (65.8%) بمقدار 3.9 نقطة وعلى النموذج الأساسي أحادي النمط (60.5%) بمقدار 9.2 نقطة.
الحد الأعلى للمعلم: حقق المعلم متعدد الأنماط 74.2%.
دراسات الاستئصال (Ablation Studies):
أدى إزالة SEF-CA إلى أكبر انخفاض في الأداء (مثلاً، -4.3% في SEED-VII)، مما يؤكد دوره الحاسم في محاذاة الأنماط.
أدت إزالة BCMI إلى تقليل الدقة بنحو 3.4% (SEED-VII) و 5.1% (DEAP).
أدت إزالة M2U-KD (تدريب الطالب بدون تقطير) إلى انخفاض كبير، مما يؤكد فعالية نقل المعرفة.
القوة والضوابط:
هوية الشخص: أدى فحص التمثيلات لهوية الشخص إلى دقة قريبة من مستوى الصدفة، مما يشير إلى أن النموذج يتعلم ميزات ذات صلة بالعاطفة بدلاً من تواقيع خاصة بالشخص.
التحكم في المثيرات: عندما تم جعل المجموعات التدريبية والاختبارية منفصلة من حيث المثيرات (لا توجد مقاطع فيديو مشتركة)، انخفض الأداء بشكل طفيف (~2.3%)، مما يؤكد أنه بينما يساعد تكرار المثير على الأداء، فإن معظم المكاسب قوية.
خلط الأنماط: في SEED-VII، أدى خلط أزواج الـ EEG والوجه أثناء التدريب إلى انهيار الأداء إلى مستويات القاعدة، مما يثبت أن النموذج يعتمد على الارتباط الحقيقي داخل التجربة. (ملاحظة: في DEAP، أظهر هذا التحكم تدهوراً أقل، وهو ما أشار المؤلفون إلى أنه سؤال مفتوح).
كفاءة النشر: يتطلب نموذج الطالب 4.7 مللي ثانية لكل نافذة مدتها ثانيتان على وحدة معالجة الرسومات (GPU)، مما يجعله مناسباً للتطبيقات في الوقت الفلي.
5. الأهمية والادعاءات
يزعم البحث أن C-MED نجح في إثبات أن المعرفة متعددة الأنماط يمكن تقطيرها بفعالية في نموذج خفيف الوزن يعمل بالـ EEG فقط دون التضحية بالمتانة المطلوبة للتعميم عبر الأشخاص.
الأثر العملي: يتيح الإطار استخدام الإشارات الوجهية الغنية خلال مرحلة المعايرة/التدريب مع السماح بنشر عملي ومنخفض التكلفة يعتمد على الـ EEG فقط في مراقبة الصحة النفسية في العالم الحقيقي.
المساهمة العلمية: تسلط الدراسة الضوء على أن طريقة استخدام المعلومات المميزة أهم من مجرد وجودها. وتحديداً، فإن فرض محاذاة عبر الأنماط ثابتة (SEF-CA) قبل التقطير يعطي نتائج أفضل بكثير من التقطير العام للميزات أو إسقاط النمط.
التواضع في الادعاءات: يقر المؤلفون صراحةً بالقيود:
الأداء لا يزال بعيداً عن أن يكون "محلولاً" (على سبيل المثال، 52.4% في SEED-VII هو اختبار صعب).
لا يزال النقل عبر مجموعات البيانات (التدريب على مجموعة واحدة والاختبار على أخرى) صعباً بسبب التباين في الأجهزة والبروتوكولات.
النموذج حساس لتدهور الإشارة الشديد (على سبيل المثال، فقدان 50% من القنوات).
الادعاءات الإحصائية المتعلقة بالتنوع الديموغرافي (الجنس) محدودة بسبب أحجام العينات الصغيرة لمجموعات البيانات العامة المستخدمة.
في الختنمة، يفترض البحث أن C-MED يقدم حلاً متوازناً بين الأداء التنبؤي، والكفاءة الحسابية، وقابلية النشر، مما يوفر خط أساساً قوياً للأبحاث المستقبلية في الحوسبة العاطفية متعددة الأنماط حيث تكون أنماط الاستدلال مقيدة.