Robust Multimodal Sentiment Recognition Using Facial Expressions, Heart Rate Variability and Speech Signals
تقترح هذه الورقة إطار عمل للتعلم العميق متعدد الوسائط يتسم بالمتانة، يقوم بدمج تعبيرات الوجه، وتقلب معدل ضربات القلب، وإشارات الكلام باستخدام الشبكات العصبية الالتفافية (CNNs)، وشبكات الذاكرة الطويلة قصيرة المدى ثنائية الاتجاه (BiLSTMs)، وشبكات (ECAPA-TDNNs) مع خريطة ذاتية التنظيم لدمج الميزات، محققاً دقة بنسبة 98.6% في التعرف على سبع حالات عاطفية ومتفوقاً بشكل كبير على النماذج أحادية الوسائط الأساسية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في العوالم الشاسعة والغامرة لألعاب الفيديو الحديثة، لم يعد اللاعبون يكتفون بمجرد الضغط على الأزرار؛ بل إنهم يعيشون رحلات عاطفية مكثفة. لسنوات طويلة، اعتمد مصممو الألعاب على الاستطلاعات أو المقاييس البسيطة لتخمين شعور اللاعب، لكن هذه الأساليب غالباً ما تخطئ الهدف، إذ لا تلتقط سوى لقطة خاطفة بعد انتهاء التجربة. ولفهم التجربة الإنسانية حق الفهم في الوقت الفعلي، توجه العلماء إلى مجال يُعرف باسم "الحوسبة الوجدانية"، والذي يسعى لتعليم الآلات كيفية التعرف على المشاعر البشرية. ويعتمد هذا المسعى على فكرة أن العواطف ليست شيئاً واحداً؛ بل هي إشارات معقدة تتسرب من خلال وجوهنا، وأصواتنا، وحتى أجسادنا. قد تكون الابتسامة مزيفة، لكن الارتفاع المفاجئ في معدل ضربات القلب أو نبرة الصوت المرتعشة غالباً ما يكشفان الحقيقة. ومن خلال الجمع بين هذه التدفقات المختلفة من المعلومات، يأمل الباحثون في بناء أنظمة يمكنها رؤية وسماع والشعور بما يمر به الشخص أثناء حدوثه، مما يقدم صورة أوضح للمشاعر الإنسانية من أي طريقة منفردة وحدها.
لقد أخذ فريق من الباحثين هذا المفهوم وطبقه مباشرة على بيئة الألعاب الصاخبة والسريعة. فقد طوروا نظاماً جديداً صُمم لقراءة الحالة العاطفية للاعب من خلال مراقبة وجهه، والاستماع إلى صوته، ومراقبة معدل ضربات قلبه في آن واحد. أدرك الفريق أن الاعتماد على إشارة واحدة فقط هو أمر محفوف بالمخاطر؛ فقد تؤدي شاشة ساطعة إلى طمس تعبيرات الوجه، أو قد يغرق ضجيج الخلفية صرخةً ما، أو قد يخطئ مستشعر في قراءة نبضة قلب. ولحل هذه المشكلة، بنوا إطار عمل يعمل مثل "كرسي ثلاثي القوائم"؛ إذا اهتزت إحدى القوائم، فإن الأخريات تثبته. لقد قاموا بتدريب نماذج الذكاء الاصطناٍعي لتحليل حركات الوجه باستخدام نوع من الشبكات التي تتفوق في رصد الأنماط في الصور، وتفسير إيقاع ونبرة الكلام باستخدام معالج صوتي متخصص، وتتبع التقلبات الطفية في معدل ضربات القلب التي تشير إلى التوتر أو الإثارة. ثم تم نسج هذه التدفقات الثلاثة المتميزة من البيانات في فهم واحد متماسك لمزاج اللاعب.
اختبر الباحثون ابتكارهم على مجموعة ضخمة من البيانات، بما في ذلك آلاف الصور، وساعات من الصوت المسجل، وسجلات معدل ضربات القلب المكثفة للاعبين منخرطين في أنواع مختلفة من الألعاب. وقد ركزوا على سبع حالات عاطفية أساسية: السعادة، والحزن، والغضب، والخوف، والاشمئزاز، والمفاجأة، والحالة المحايدة. وعندما أجروا تجاربهم، كانت النتائج مذهلة. فمن خلال دمج الإشارات الثلاث جميعها، استطاع النظام تحديد عاطفة اللاعب بدقة بلغت 98.6 في المائة. وكان هذا الأداء أعلى بكثير مما كان عليه عندما يحاول النظام استخدام الوجه فقط، أو الصوت فقط، أو معدل ضربات القلب فقط. كما أثبت النظام أنه موثوق للغاية، حيث حافظ على دقة عالية حتى عندما كان الصوت صاخباً أو الإضاءة ضعيفة، وهي الظروف التي تربك الأنظمة ذات الإشارة الواحدة. وفي الواقع، كان النظام فعالاً للغاية في التمييز بين المشاعر المختلفة لدرجة أنه استطاع التفريق بين عواطف دقيقة مثل الخوف والمفاجأة باتساق شبه مثالي.
إن ما يجعل هذا الإنجاز جديراً بالذكر بشكل خاص هو كيفية تعامل النظام مع الواقع الفوضوي للحياة. ففي جلسة لعب نموذجية، قد يبتعد اللاعب عن الكاميرا، أو يصرخ فوق انفجار عالٍ، أو يتسارع نبض قلبه بسبب مشهد مفاجئ بدلاً من الغضب. قد يرتبك النظام الذي ينظر إلى أحد هذه القرائن فقط. ومع ذلك، ولأن هذا الإطار الجديد يستمع إلى الإشارات الثلاث في وقت واحد، فإنه يستطيع التحقق من بعضها البعض. فإذا كان الوجه مخفياً ولكن الصوت يرتجف ومعدل ضربات القلب يتسارع، فلا يزال بإمكان النظام تحديد الخوف بثقة. ووجد الباحثون أن هذا النهج سمح للنظام باكتشاف العواطف النادرة والصعبة بنفس كفاءة العواطف الشائعة، مما يضمن عدم إغفال أي شعور. وتحدث العملية برمتها في أقل من عُشر ثانية، وهو ما يكفي لمواكبة الوتيرة السريعة للعبة الفيديو دون إبطائها.
يشير هذا العمل إلى أن مستقبل التكنولوجيا التفاعلية يكمن في الأنظمة التي يمكنها التكيف مع المستخدم في الوقت الفعلي. لقد أظهر الباحثون أنه من خلال الجمع بين البيانات المرئية والسمعية والفسيولوجية، من الممكن إنشاء كاشف عاطفي قوي يعمل حتى في البيئات الصعبة. وبينما ركزت الدراسة تحديداً على الألعاب، فإن الآثار المترتبة عليها تمتد إلى أي موقف يكون فيه فهم المشاعر الإنسانية أمراً بالغ الأهمية، من مراقبة الصحة العقلية إلى التفاعلات الأكثر سلاسة بين الإنسان والحاسوب. لقد أثبت الفريق أنه عندما نتوقف عن النظر إلى العواطف من خلال عدسة واحدة، وبدلاً من ذلك نجمع الطيف الكامل للتعبير البشري، يمكننا بناء آلات تفهمنا بشكل أفضل بكثير مما سبق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.