A Reliable Multimodal Conversational Emotion Recognition Model Based on a Dual-Stage Attention Mechanism
تقترح هذه الورقة نموذج DSA-MERC، وهو نموذج موثوق للتعرف على العواطف في المحادثات متعدد الوسائط يستخدم آلية انتباه ثنائية المرحلة تجمع بين الانتباه المتعدد ثنائي الاتجاه وشبكة القائد والتابع الموجهة صوتياً مع تحسين متعدد المقاييس، جنباً إلى جنب مع استراتيجيات الثقة والتعلم الانتقالي، لدمج الميزات متعددة الوسائط بفعالية وتخفيف ضجيج التصنيفات من أجل تحسين الدقة والمتانة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
البشر أساتذة في القراءة ما بين السطور. فعندما نتحدث، لا ننقل الحقائق فحسب؛ بل نحمل مشاعرنا في نبرة صوتنا، وتوتر وجوهنا، وإيقاع كلماتنا. ومع ذلك، غالبًا ما تعاني الحواسيب من صعوبة في التقاط هذه الفروق الدقيقة. فقد تسمع عبارة "أنا بخير" وتسجلها كجملة محايدة، متجاهلةً ارتعاش الصوت أو الابتسامة المتشنجة التي تكشف أن المتحدث في الواقع يشعر بالضيق. هذه الفجوة بين ما يُقال وما يُقصد به هي التحدي المركزي للباحثين الذين يحاولون تعليم الآلات فهم العواطف البشرية. ويهدف هذا المجال، المعروف باسم "التعرف على العواطف في المحادثة"، إلى بناء أنظمة يمكنها الاستماع إلى حوار وتخمين شعور الشخص بدقة. وللقيام بذلك بشكل جيد، لا يمكن للحاسوب الاعتماد على النص وحده؛ بل يجب أن يتعلم كيفية دمج الكلمات المنطوقة، ونبرة الصوت، والتعبيرات البصرية في فهم واحد متماسك للحظة.
لسنوات، حاول الباحثون بناء هذه الأنظمة، لكنهم غالبًا ما اصطدموا بحائط مسدود. فالعديد من الطرق الموجودة ببساطة تقوم بتكديس أنواع مختلفة من البيانات معًا، مثل رص المكعبات فوق بعضها البعض، دون فهم حقيقي لكيفية تفاعلها. كما أن البعض يغرق تحت وطأة الطول الشديد للمحادثة، فيفقد تتبع أهم الإشارات العاطفية المدفونة في منتصف خطاب طويل. علاوة على ذلك، فإن البيانات المستخدمة لتدريب هذه الحواسيب غالبًا ما تكون غير مثالية. فالبشر سيئون للغاية في الاتفاق على الشعور الذي يعبر عنه شخص ما؛ فقد يصنف شخص ما عبوس الوجه على أنه "حزن" بينما يسميه آخر "غضبًا". هذا الارتباك يخلق بيانات "مشوشة" تشتت خوارزميات التعلم، مما يؤدي إلى نتائج غير موثوقة. وقد اقترح فريق من الباحثين من جامعة العلوم والتكنولوجيا في بكين والأكاديمية الصينية للعلوم نهجًا جديدًا لحل هذه المشكلات المحددة. فقد طوروا نموذجًا لا ينظر إلى البيانات فحسب، بل يتعلم بنشاط تجاهل الأخطاء في التصنيفات ويركز بكثافة على الإشارات العاطفية الأكثر موثوقية.
جوهر نظامهم الجديد هو عملية مكونة من مرحلتين مصممة لمحاكاة كيفية انتباه البشر للمحادثة. في المرحلة الأولى، يجمع النموذج بين الأنواع الثلاثة الرئيسية للمعلومات: النص، والصوت، والفيديو. وبدلاً من مجرد خلطها، يستخدم آلية تسمح لكل نوع بأن "يطلب" المساعدة من الآخرين. تخيل محققًا يستمع إلى شاهد؛ قد يتحقق المحقق من الكلمات مقابل نبرة الصوت ليرى ما إذا كانت متطابقة. وبالمثل، يقوم هذا النموذج بمراجعة النص مع الأصوات والإشارات البصرية لبناء فهم أولي لحالة المتحدث. ومع ذلك، لاحظ الباحثون أنه في المحادثة البشرية، غالبًا ما يحمل الصوت الإشارة العاطفية الأكثر مباشرة وقوة؛ فالصراخ أو الهمس يمكن أن يطغى على معنى الكلمات المنطوقة. ولمعالجة ذلك، يقدم نموذجهم مرحلة ثانية أكثر تخصصًا حيث يتولى الصوت زمام المبادرة.
في هذه المرحلة الثانية، يعامل النظام الصوت باعتباره "القائد" والمعلومات الأخرى باعتبارها "تابعة". يستخدم النموذج طريقة متطورة لمسح الصوت بحثًا عن القمم والوديان العاطفية، بحثًا عن اللحظات المحددة التي يتغير فيها النبر أو ينكسر فيها الإيقاع. وهو يفعل ذلك من خلال فحص الصوت بمقاييس مختلفة، تمامًا مثل النظر إلى منظر طبيعي بعدسة واسعة لرؤية الصورة الكاملة وعدسة تقريب لرصد تفصيل واحد. وهذا يسمح للنظام بالتقاط كل من المسار العاطفي الواسع للمحادثة والتغيرات الصغيرة العابرة في صوت المتحدث التي تشير إلى تحول في الشعور. ومن خلال ترك الصوت يوجه العملية، يضمن النموذج عدم ضياع أقوى الإشارات العاطفية في ضجيج النص أو البيانات البصرية.
كان أحد العوائق الرئيسية في تدريب هذه الأنظمة هو عدم موثوقية البيانات نفسها. فقد وجد الباحثون أن مجرد تغذية الحاسوب بالبيانات الخام، بكل ما تحمله من أخطاء في التصنيف، يؤدي إلى الارتباك. ولحل هذه المشكلة، أدرجوا استراتيجية تعمل مثل مفتش مراقبة الجودة. فقبل تدريب النموذج بالكامل، تقوم هذه الاستراتيجية بتحليل البيانات لتحديد التصنيفات التي يحتمل أن تكون خاطئة. إنها تبحث في أنماط تنبؤات النموذج نفسه لإيجاد التناقضات؛ فعلى سبيل المثال، إذا كان النموذج واثقًا باستمرار من أن مقطعًا معينًا "سعيد"، بينما يشير التصنيف إلى أنه "حزين"، فإن النظام يضع علامة على هذا التصنيف باعتباره مشبوهًا. ثم يقوم بتصفية هذه الأمثلة غير الموثوقة ويعيد تدريب النموذج على البيانات الأكثر نظافة وموثوقية. هذه العملية تقلل بشكل كبير من الارتباك الناتج عن الخطأ البشري في مجموعات البيانات الأصلية، مما يسمح للنموذج بالتعلم من نسخة أكثر دقة للواقع.
عندما اختبر الباحثون هذا النهج الجديد على مجموعتين رئيسيتين من بيانات المحادثة، كانت النتائج واضحة. ففي مجموعة بيانات تحتوي على أكثر من 7,000 سطر منطوق، حقق نموذجهم درجة أداء بلغت 71.38%، وهي أعلى من أي طريقة أخرى تم اختبارها سابقًا على نفس البيانات. وفي مجموعة بيانات ثانية أكبر تضم أكثر من 13,000 سطر، وصل إلى 65.99%، متفوقًا مرة أخرى على المنافسين. هذه الأرقام مهمة لأنها تظهر أن النموذج لا يقوم بمجرد التخمين؛ بل هو أفضل حقًا في فهم المزيج المعقد من الإشارات التي تشكل العاطفة البشرية. كما كشفت التجارب أن نجاح النموذج اعتمد بشكل كبير على استخدام الأنواع الثلاثة من المعلومات معًا. فعندما أزالوا الصوت أو الفيديو، انخفض الأداء بشكل كبير، مما يثبت أن النظام يحتاج إلى الصورة الكاملة ليعمل بشكل صحيح.
نظر الباحثون أيضًا عن كثب في كيفية انتباه نموذجهم للبيانات. ومن خلال تصور آليات العمل الداخلية، رأوا أن النظام يركز باستمرار على اللحظات التي يتغير فيها صوت المتحدث بشكل دراماتيكي. لم يتشتت انتباهه بالضوضاء الخلفية غير ذات الصلة أو التفاصيل الصغيرة؛ بل ركز بدلاً من ذلك على التحولات العاطفية. هذه القدرة على تصفية الضجيج والتركيز على الإشارة هي ما يجعل النظام موثوقًا. وتشير الدراسة إلى أنه من خلال الجمع بين طريقة ذكية لدمج أنواع مختلفة من البيانات ومنهج لتنقية معلومات التدريب، يمكننا بناء آلات أكثر قدرة على التكيف مع الحالة البشرية. ورغم أن هذا العمل ليس حلاً نهائيًا لجميع تعقيدات العاطفة البشرية، إلا أنه يمثل خطوة قوية وفعالة للأمام، مظهرًا أنه عندما تتعلم الحواسيب الاستماع إلى الصوت بقدر استماعها إلى الكلمات، يمكنها فهمنا بشكل أفضل قليلاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.