Expert-Guided Multimodal Fusion for Unified Emotion and Sentiment Analysis

تخيل أنك تحاول فهم مزاج صديق لك بمجرد مراقبته. أنت لا تكتفي بالاستماع إلى ما يقوله فحسب، بل تراقب أيضًا تعبيرات وجهه، وتستمع إلى نبرة صوته، وتلاحظ لغة جسده. في عالم علوم الحاسوب، يسمى هذا "الفهم متعدد الوسائط للعواطف" (multimodal emotion understanding). وهو فرع من فروع الذكاء الاصطناعي المخصص لتعليم الآلات كيف تشعر بما يشعر به البشر من خلال الجمع بين النص والصوت والفيديو. لفترة طويلة، كانت أجهزة الكمبيوتر سيئة للغاية في هذا الأمر؛ فقد كانت تستطيع قراءة جملة وتخمين ما إذا كانت سعيدة أو حزينة، لكنها غالبًا ما كانت تفقد السخرية في الصوت أو الحزن المختبئ خلف الابتسامة. لقد كانت تعامل هذه القرائن المختلفة كقطع أحجية منفصلة وغير متصلة، بدلاً من كونها أجزاءً من صورة واحدة معقدة. وهذا أمر بالغ الأهمية، لأنه إذا أردنا أن تكون أجهزة الكمبيوتر جيدة في المساعدة في مجال الصحة النفسية، أو الدردشة معنا بشكل طبيعي، أو تحليل وسائل التواصل الاجتماعي، فإنها تحتاج إلى فهم السياق العاطفي الكامل، وليس مجرد الكلمات.

هنا يأتي دور فريق جديد من الباحثين الذين بنوا نظامًا يسمى EGMF (الدمج متعدد الوسائط بتوجيه الخبراء). فكر في هذا النظام كفريق محققين فائق الذكاء يعمل داخل دماغ لغوي ضخم. فبدلاً من مجرد لصق الصوت والفيديو والنص معًا، أنشأوا "مطبخ دمج" خاصًا حيث يعمل ثلاثة أنواع مختلفة من الطهاه الخبراء معًا لطهي الفهم العاطفي المثالي. أحد الطهاة هو "الخبير المحلي" الذي يركز على التفاصيل الدقيقة والرهيفة مثل عبوس طفيف أو صوت مرتجف. والآخر هو "الخبير الدلالي" الذي ينظر في كيفية تطابق الصوت والوجه مع الكلمات. أما الثالث فهو "الخبير العالمي" الذي يتراجع خطوة للخلف ليرى الصورة الكبيرة للمحادثة بأكملها. هؤلاء الخبراء لا يكتفون فقط بالصراخ بآرائهم؛ بل يستخدمون "نظام بوابة" ذكيًا ليقرروا من يتحدث بناءً على الموقف الحالي. فإذا كانت المحادثة فوضوية، يتولى الخبير العالمي القيادة؛ وإذا كانت لحظة هادئة، يتألق الخبير المحلي.

وجد الباحثون أن نهج فريق العمل هذا يعمل بشكل جيد للغاية. لقد اختبروا نظامهم على أربع مجموعات بيانات مختلفة، بما في ذلك محادثات باللغتين الإنجليزية والصينية. وفي مجموعة بيانات العواطف الإنجليزية المسماة MELD، حقق نظامهم درجة F1 موزونة بلغت 65.57%، متفوقًا على أفضل طريقة سابقة بنسبة 0.06%. وفي مجموعة البيانات الصينية CHERMA، شهدوا قفزة هائلة، حيث تحسنت النتيجة بنسبة 3.36% لتصل إلى 73.90%. وبالنسبة لتحليل المشاعر (قياس مدى إيجابية أو سلبية شيء ما)، فقد حققوا 87.09% في مجموعة بيانات MOSEI الإنجليزية و 82.43% في مجموعة بيانات SIMS-V2 الصينية.

وما يجعل هذا الأمر أكثر إثارة للإعجاب هو كيفية قيامهم بذلك. فبدلاً من إعادة تدريب الدماغ اللغوي الضخم بالكامل (والذي قد يستغرق وقتًا طويلاً ويكلف ثروة)، استخدموا حيلة ذكية تسمى LoRA (التكيف منخفض الرتبة). تخيل أن النموذج اللغوي الضخم هو مكتبة ضخمة من الكتب؛ فبدلاً من إعادة كتابة كل كتاب، قاموا فقط بإضافة بعض الملاحظات اللاصقة مع تعليمات جديدة. وقد سمح لهم ذلك بتعليم النظام فهم العواطف دون الحاجة إلى حاسوب خارق بحجم مدينة. كما اكتشفوا أن نظامهم بارع بشكل خاص في التعامل مع اللغة الصينية، مما يشير إلى أن "فريق الخبراء" بارع جدًا في فك رموز المزيج المعقد من الإشارات البصرية والصوتية في تلك اللغة. ورغم أن النظام ليس مثاليًا — فلا يزال يعاني قليلاً مع العواطف الدقيقة جدًا مثل "الاشمئزاز" أو المشاعر شديدة الحدة — إلا أنه يثبت أن النهج الموحد والموجه بالخبراء هو وسيلة جديدة وقوية لمساعدة الآلات على فهم التعقيد الفوضوي والجميل للمشاعر البشرية.