CONFER: Conflict-Aware Evidence Negotiation for Regime-Calibrated Weak Supervision in Multimodal Emotion Recognition
تقترح الورقة البحثية إطار عمل CONFER، وهو إطار قائم على الرسوم البيانية يتفاوض بشأن الصراعات عبر الوسائط ويعاير الإشراف الضعيف من خلال تقدير موثوقية الوسائط ديناميكيًا وتصنيف العينات إلى أنظمة الإجماع، والاعتراض، والغموض لتحقيق التعرف القوي على المشاعر متعدد الوسائط.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول استكشاف شعور أحد أصدقائك. قد تنظر إلى وجهه، وتستمع إلى صوته، وتراقب لغة جسده. عادةً ما تتفق كل هذه القرائن: عبوس، وصوت متهدج، وأكتاف منحنية، لتصرخ جميعاً بكلمة "حزن". ولكن ماذا لو كان صديقك يبتسم (الوجه يقول سعيد) بينما ينكسر صوته (الصوت يقول حزين) وهو يرتجف (الجسد يقول خائف)؟ هذا هو الواقع الفوضوي لـ التعرف متعدد الوسائط على العواطف (MER)، وهو مجال في علوم الحاسوب يحاول فيه الكمبيوتر فهم المشاعر البشرية من خلال دمج أنواع مختلفة من البيانات مثل الفيديو، والصوت، وإشارات الدماغ.
الجزء الصعب هو أن الحواسيب غالباً ما تعامل "مفتاح الإجابة" — وهو الملصق الذي يضعه البشر للقول بكيفية شعورهم — كحقيقة مطلقة. لكن البشر فوضويون! قد نكذب، أو ننسى، أو نمر فقط بيوم سيء عند تقييم عواطفنا، مما يجعل "إجاباتنا" غير موثوقة. علاوة على على ذلك، عندما تختلف مستشعرات الكمبيوتر المختلفة (مثل الوجه مقابل الصوت)، فإن معظم البرامج الموجودة حالياً تقوم فقط بدمج البيانات معاً وتأمل الحصول على نتيجة جيدة، متجاهلةً هذا التعارض. يتناول هذا البحث هذا الارتباك، متسائلاً: كيف يمكن للكمبيوتر أن يعرف أي دليل يثق به عندما تتصارع الأدلة مع بعضها البعض، وكيف يمكنه إدراك أن "مفتاح الإجابة" قد يكون خاطئاً؟
هنا يأتي دور CONFER، وهو نظام ذكي جديد يعمل كوسيط ماهر لمجموعة من الخبراء المتجادلين. فبدلاً من إجبار المستشعرات المختلفة (الخبراء) على الاتفاق فوراً، يسمح CONFER لهم بالتفاوض. تخيل طاولة مستديرة حيث يحاول "خبير الوجه"، و"خبير الصوت"، و"خبير موجات الدماغ" تحديد ما إذا كان الشخص سعيداً أم حزيناً. في الأيام الخوالي، كان الكمبيوتر يكتفي بمجرد التصويت. لكن CONFER أكثر ذكاءً؛ فهو يعلم أن خبير الوجه قد يمر بيوم سيء أحياناً (ربما بسبب ضعف الإضاءة)، وأن خبير الصوت قد يكون أكثر موثوقية في أحيان أخرى.
يستخدم CONFER "رسماً بيانياً ديناميكياً" ليسمح لهؤلاء الخبراء بالتحدث مع بعضهم البعض. هم لا يكتفون بالصراخ بآرائهم فحسب، بل يتشاركون "الأدلة" و"حالة عدم اليقين". إذا كان خبير الوجه غير متأكد للغاية (عدم يقين عالٍ) بينما كان خبير الصوت واثقاً جداً، فإن خبير الوجه يستمع ويعدل رأيه. وإذا كان كلاهما واثقاً ولكنهما مختلفان، فإن CONFER يشير إلى هذا كصراع خطير. هو لا يتجاهل الخلاف فحسب، بل يستخدمه لمعرفة أي خبير هو الذي يقول الحقيقة فعلياً وأيها قد يكون يتخيل أشياء غير موجودة.
كما يمتلك النظام خدعة خاصة للتعامل مع "مفتاح الإجابة" (الملصقات المبلغ عنها ذاتياً). فهو يدرك أنه إذا كان الخبراء يتجادلون بضراوة، فقد يكون الملصق البشري غير موثوق به أيضاً. لذا، يقوم CONFER بتصنيف كل لحظة إلى واحد من ثلاثة أنظمة:
- الإجماع (Consensus): الجميع يتفق، والملصق من المرجح أن يكون صحيحاً.
- الخلاف (Dissent): الخبراء يختلفون، ولكن النظام لا يزال قادراً على معرفة من هو المصيب.
- الغموض (Ambiguity): كل شيء فوضوي، والنظام يقرر الثقة في الملصق البشري بدرجة ضئيلة جداً لأنه من المحتمل أن يكون خاطئاً.
اختبر الباحثون نظام CONFER على ثلاث مجموعات بيانات رئيسية تتضمن أشخاصاً حقيقيين يظهرون عواطف (AMIGOS، وMAHNOB-HCI، وDEAP). ووجدوا أنه عندما كانت المستشعرات تتصارع (صراع عالٍ)، كان CONFER بمثابة منقذ للحياة. على سبيل المثال، في مجموعة بيانات AMIGOS، حقق دقة بلغت 0.873 تحت ظروف اختبار صارمة حيث كان عليه تخمين العواطف لأشخاص لم يرهم من قبل. وفي مجموعة بيانات MAHNOB، وصل إلى 0.854. هذه الأرقام مثيرة للإعجاب، حيث تفوقت على أفضل الطرق الأخرى.
ولعل الاكتشاف الأكثر إثارة هو كيفية تعامل النظام مع البيانات "الفاسدة". لقد تظاهر الباحثون بإفساد الملصقات البشرية (مثل قلب الإجابات عشوائياً) ليروا ما إذا كان الكمبيوتر سيصاب بالارتباك. وبينما انهارت الطرق الأخرى، ظل CONFER مستقراً، محافظاً على دقة بلغت 0.723 حتى عندما كانت 30% من الملصقات خاطئة. وهذا يشير إلى أن النظام لا يحفظ الإجابات فحسب، بل يتعلم فعلياً كيف يثق في الأدلة الصحيحة ويتجاهل الضجيج.
باختصار، يثبت CONFER أن الصراع ليس مجرد خلل يجب إصلاحه، بل هو إشارة مفيدة. فمن خلال السماح للمستشعرات المختلفة بالتفاوض، ومن خلال إدراك أن الملصقات البشرية ليست مثالية دائماً، يصبح النظام أفضل بكثير في فهم الواقع المعقد والفوضوي للمشاعر البشرية. إنه يظهر أنه في بعض الأحيان، أفضل طريقة لإيجاد الحقيقة هي الاستماع إلى الجدالات، وليس مجرد النظر إلى التصويت النهائي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.