A Baseline Multimodal Approach to Emotion Recognition in Conversations
تقدم هذه الورقة نموذجاً مرجعياً خفيف الوزن وسهل الوصول للتعرف على العواطف متعدد الوسائط في المحادثات باستخدام مجموعة بيانات SemEval-2024 Task 3، وذلك عبر الجمع بين مصنف نصوص قائم على المحولات ونموذج كلامي ذاتي الإشراف من خلال الاندماج المتأخر لإنشاء مرجع شفاف للمقارنات المستقبلية.
تخيل أنك تحاول تخمين شعور شخصية في برنامج تلفزيوني بمجرد مشاهدة مقطع فيديو. أحياناً، يمكنك معرفة ذلك مما يقولونه. وفي أحيان أخرى، يمكنك معرفة ذلك من نبرة صوتهم. ولكن غالباً، تكمن الإجابة الحقيقية في الجمع بين هذين القرينين.
هذا البحث هو تقرير "خط أساس" (baseline) — فكر فيه كأنه مجموعة أدوات أولية أو وصفة مرجعية — أعده طلاب لإظهار كيفية بناء برنامج كمبيوتر يتوقع العواطف في المحادثات. لم يحاولوا بناء أذكى ذكاء اصطناعي في العالم؛ بل أرادوا بدلاً من ذلك إنشاء مثال واضح وبسيط وسهل النسخ ليستخدمه الآخرون.
إليك كيف فعلوا ذلك، باستخدام بعض التشبيهات من الحياة اليومية:
1. المكونات: مجموعة بيانات "فريندز" (Friends)
استخدم الفريق بيانات من المسلسل التلفزيوني الشهير Friends. لقد أخذوا حوارات المسلسل وطابقوها مع العواطف التي كانت تشعر بها الشخصيات. الأمر يشبه امتلاك نص سيناريو حيث يتم تصنيف كل سطر بكلمات مثل "سعيد"، "حزين"، "غاضب"، إلخ. وقد كان هذا بمثابة ساحة التدريب الخاصة بهم.
2. المحققان: النص والصوت
لتخمين العاطفة، قاموا بتعيين "محققين" مختلفين (نماذج ذكاء اصطناعي) للعمل بشكل منفصل:
محقق النصوص (القارئ): هذا المحقق يقرأ الكلمات فقط. لقد استخدموا أدوات متقدمة (مثل RoBERXTA) وهي بارعة جداً في فهم السياق، والسخرية، والمعنى الكامن وراء الجمل.
النتيجة: كان هذا المحقق جيداً جداً في التخمين، حيث أصاب في حوالي 50% من العواطف. وكان أفضل المحققين المنفردين.
محقق الصوت (المستمع): هذا المحقق يستمع إلى الصوت فقط. لقد تجاهل الكلمات وركز على طبقة الصوت، والسرعة، والنبرة (باستخدام أدوات مثل Wav2Vec2).
النتيجة: عانى هذا المحقق أكثر، حيث حقق حوالي 35% فقط من الدقة. فمن الصعب تخمين العواطف بمجرد سماع الصوت دون معرفة الكلمات، خاصة إذا كان الصوت خافتاً أو غير واضح.
3. العمل الجماعي: المجموعة (الدمج المتأخر - Late Fusion)
بدلاً من ترك محقق واحد يتخذ القرار النهائي، قرر الفريق أن يجعلوهما يعملان معاً. استخدموا استراتيجية تسمى "الدمج المتأخر" (Late Fusion).
التشبيه: تخيل هيئة محلفين. يقدم محقق النصوص رأيه، ويقدم محقق الصوت رأيه. ثم يأتي قاضٍ (نظام الدمج) ليأخذ كلا الرأيين ويتخذ قراراً نهائياً بناءً على الأدلة المجتمعة.
النتيجة: عندما دمجوا الاثنين، حصل الفريق على دقة بنسبة 63%. وهذا أفضل بكثير من عمل أي محقق بمفرده. إنه يثبت أن الاستماع إلى ما يقال و كيف يقال يعطي صورة أوضح بكثير من الاعتماد على أحدهما فقط.
4. التنبيه: ما هو هذا التقرير (وما ليس هو)
الكتّاب صريحون جداً بشأن حدود عملهم. لقد وصفوا دراستهم بأنها "خفيفة الوزن".
إنها نقطة مرجعية: هم لا يدعون أن هذا هو أفضل نظام تم بناؤه على الإطلاق. إنه أشبه بمثال "Hello World" للتعرف على العواطف.
اختبار محدود: لم يقضوا شهوراً في ضبط الإعدادات (المعلمات الفائقة - hyperparameters) لاستخراج كل ذرة ممكنة من الأداء.
لا توجد عناصر بصرية: استخدموا النص والصوت فقط. لم ينظروا إلى تعبيرات الوجه (مثل الابتسامة أو العبوس)، والتي ستكون بمثابة محقق ثالث.
مجال محدد: نظرًا لأنهم استخدموا مسلسل Friends، فإن النظام مدرب على حوارات المسلسلات الكوميدية (sitcom). قد لا يعمل بشكل مثالي في المشاجرات الواقعية أو الاستشارات الطبية دون مزيد من التدريب.
الخلاصة
هذا البحث هو دليل شفاف يوضح أن الجمع بين النص والصوت يجعل الذكاء الاصطناعي أفضل في فهم المشاعر الإنسانية من استخدام عنصر واحد فقط. ورغم أن النظام ليس مثالياً بعد، إلا أنه يوفر أساساً قوياً ومفتوحاً لأي شخص يرغب في بناء نظام أكثر تقدماً للتعرف على العواطف في المستقبل.
ملخص تقني: نهج متعدد الوسائط أساسي للتعرف على العواطف في المحادثات
بيان المشكلة يعد التعرف على العواطف في المحادثات (ERC) مهمة بالغة الأهمية في الحوسبة الوجدانية، ومع ذلك، فإن النهج أحادية الوسائط التقليدية (التي تعتمد فقط على النص أو الصوت) غالباً ما تفشل في التقاط التفاعل الدقيق بين الإشارات اللفظية وغير الللفظية. فالعواطف البشرية ديناميكية وتعتمد على السياق؛ فعلى سبيل المثال، قد يتم التعبير عن السخرية أو العواطف المكبوتة من خلال نبرة صوت تتعارض مع المحتوى الدلالي. وبينما تدعو الأبحاث الحديثة إلى التكامل متعدد الوسائط، إلا أن هناك حاورة إلى وجود تنفيذات مرجعية سهلة الوصول وشفافة تضع خطاً أساسياً للمقارنات المستقبلية، لا سيالما على مجموعة بيانات SemEval-2024 Task 3 المستمدة من مسلسل السيت كوم Friends.
المنهجية يقدم المؤلفون نظاماً أساسياً خفيف الوزن ومتعدد الوسائط، صُمم من أجل الشفافية والقابلية لإعادة الإنتاج بدلاً من تحقيق أداء يمثل أحدث ما توصل إليه العلم (state-of-the-art). تتكون المنهجية من ثلاثة مكونات رئيسية:
مجموعة البيانات والمعالجة المسبقة: تستخدم الدراسة مجموعة بيانات SemEval-2024 Task 3، والتي تحتوي على حوارات من مسلسل Friends مصنفة بأزواج (السبب-العاطفة). تضمنت المعالجة المسبقة محاذاة البيانات النصية والصوتية لكل جملة، وتوحيد الإشارات الصوتية عند معدل عينة قدره 1ً 16 كيلوهرتز. تم تقسيم مجموعة البيانات بنسبة 80% للتدريب و20% للاختبار.
بنية النموذج (النماذج أحادية الوسائط الأساسية):
الوسيط النصي: تم ضبط أربعة نماذج قائمة على المحولات (Transformers) بدقة: RoBERTa، وDistilBERT، وDeBERTa، وDistilRoBERta (نسخة محددة تم ضبطها لضبط المشاعر). استخدمت هذه النماذح تضمينات مسبقة التدريب لالتقاط الفروق الدقيقة الدلالية والسياقية.
الوسيط الصوتي: تم استخدام ثلاثة نماذج لتمثيل الكلام ذاتية الإشراف: HuBERT، وWav2Vec2، وWav2Vec2-large-robust. تقوم هذه النماذج بتشفير الميزات الزمنية والطيفية لاستخراج الإشارات شبه اللغوية مثل النبرة والتلون الصوتي.
استراتيجية الدمج: يستخدم النظام نهج الدمج المتأخر (late-fusion ensemble). حيث يتم دمج التنبؤات من أفضل نموذج نصي (RoBERTa) وأفضل نموذج صوتي (Wav2Vec2) لتوليد التصنيف النهائي. تستفيد هذه الاستراتيجية من نقاط القوة المتكاملة للفهم الدلالي والإشارات الصوتية دون الحاجة إلى محاذاة وسيطة معقدة.
المساهمات الرئيسية
التنفيذ المرجعي: يوفر البحث تنفيذاً موثقاً وسهل الوصول كخط أساس للتعرف على العواطف باستخدام مجموعة بيانات SemEval-2024 Task 3، متجنباً صراحةً الاقتراحات المعمارية المبتكرة لصالح إعداد "مباشر".
المقارنة التجريبية: يسجل البحث نتائج تجريبية تقارن بين النماذج النصية أحادية الوسائط، والنماذج الصوتية أحية الوسائط، والنموذج المدمج متعدد الوسائط تحت بروتوكول تدريب محدود (أدنى حد من ضبط المعلمات الفائقة).
الشفافية: يحدد المؤلفون بوضوح حدود دراستهم، مؤطرين النتائج كنقطة مرجعية وليس كمعيار نهائي. كما أن الكود والمواد متاحة علناً لدعم المقارنات الصارمة مستقبلاً.
النتائج قيمت الدراسة النماذج بناءً على الدقة ووقت التنفيذ (وقت ساعة الحائط):
النماذج النصية: حقق نموذج RoBERTa أعلى دقة بين النماذج النصية بنسبة 50.68%، يليه DistilBERT بنسبة (49.82%)، ثم DeBERTa بنسبة (48.29%)، وأخيراً DistilRoBERta بنسبة (41.83%). كما استغرق RoBERTA أطول وقت تنفيذ (74.6 ثانية)، بينما كان DistilRoBERta الأسرع (5.61 ثانية) ولكنه الأقل دقة.
النماذج الصوتية: كان أداء النماذج الصوتية فقط أقل بكثير من النماذج النصية. حقق Wav2Vec2 أعلى دقة صوتية بنسبة 35.43%، يليه Wav2Vec2-large-robust بنسبة (32.54%)، ثم HuBERT بنسبة (31.08%).
النموذج المدمج: حقق نموذج الدمج المتأخر الذي يجمع بين RoBERTa وWav2Vec2 دقة بلغت 62.97%. تفوقت هذه النتيجة بشكل كبير على كل من النماذج أحادية الوسائط الفردية، مما يثبت فعالية دمج الوسائط النصية والصوتية.
الأهمية والادعاءات يصنف المؤلفون هذا العمل كـ تقرير تقني أساسي مشتق من مشروع تخرج لطلاب السنة النهائية ومن جهد إعادة إنتاج داخلي. ويصرحون صراحةً بأن النظام ليس مقصوداً به أن يكون الأحدث في مجاله (state-of-the-art). تكمن أهمية الورقة في:
إرساء نقطة مرجعية: توفير معيار واضح وقابل لإعادة الإنتاج لمجموعة بيانات SemEval-2024 Task 3 لتسهيل المقارنات المستقبلية.
التحقق من صحة الدمج متعدد الوسائط: إثبات أنه حتى مع استراتيجية دمج متأخر بسيطة وضبط محدود، فإن التكامل متعدد الوسائط (62.97%) يحسن الأداء بشكل جوهري مقارنة بالأداء أحادي الوسائط (الحد الأقصى 50.68% للنص، و35.43% للصوت).
تسليط الضوء على القيود: يحذر المؤلفون من أن نتائجهم لا يمكن مقارنتها مباشرة بالمشاركات الرسمية في لوحة صدارة SemEval بسبب الاختلافات في تقسيم البيانات وبروتوكولات التدريب. كما يشيرون إلى أن أصل مجموعة البيانات (Friends) قد يحد من إمكانية التعميم على مجالات أو لغات أو أساليب تفاعل أخرى، وأن الدراسة تستبعد الوسائط البصرية.
في الختام، تؤكد الورقة على إمكانات الأنظمة متعددة الوسائط للتعرف على العواطف مع الحفاظ على موقف متواضع، وتحث الأبحاث المستقبلية على معالجة تحيزات مجموعة البيانات، ودمج وسائط إضافية (مثل البصرية أو الفسيولوجية)، وتطوير طرق أكثر كفاءة للتطبيق في الوقت الفعلي.