CALM-AH: An ABAW11-Calibrated Multimodal Ensemble with Reliability-Gated Multi-Expert Consensus for Video-Level Ambivalence and Hesitancy Recognition
تقدم الورقة البحثية نظام CALM-AH، وهو نظام تجميعي متعدد الوسائط معزز بآلية إجماع الخبراء ذات البوابة الموثوقية (RG-MEC) التي تحقق درجة Macro-F1 تبلغ 0.7771 في تحدي ABAW11 من خلال الجمع بين فروع ميزات متنوعة مع استراتيجية تصحيح ذات بوابة الإجماع للتعرف على التردد والارتباك على مستوى الفيديو.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تجلس في غرفة، تحاول أن تكتشف ما إذا كان شخص ما متردداً حقاً بشأن قرار كبير. قد يقول: "أعتقد أنني سأذهب"، لكن صوته يرتجف، ويتوقف لفترة طويلة، ويستمر في النظر إلى الأرض. أو ربما يقول: "أنا متأكد بالتأكيد"، بينما يتلوى في جلسته بتوتر. هذا المزيج المعقد من الكلمات، والأصوات، ولغة الجسد يسمى الازدواجية (امتلاك مشاعر مختلطة) أو التردد (عدم اليقين). إنها حالة بشرية دقيقة تحدث طوال الوقت، من مقابلات العمل إلى جلسات العلاج النفسي، ولكن من الصعب جداً على الحواسيب رصدها. وعلى عكس الابتسامة البسيطة أو العبوس، فإن الازدواجية تشبه شفرة سرية مخبأة في الفجوات بين الكلمات، وفي إيقاع الصوت، وفي التشنجات الصغيرة للعضلات. إذا استطعنا تعليم الآلات قراءة هذه الإشارات، فسنتمكن من بناء أدوات أفضل لمساعدة الناس على اتخاذ خيارات صعبة أو فهم بعضهم البعض بشكل أفضل. هذا هو التحدي الذي سعى فريق من الباحثين في جامعة موناش لحله.
إليك CALM-AH، وهو فريق تحقيق رقمي جديد صُمم لفك لغز عدم اليقين البشري. أدرك الباحثون أن النظر إلى دليل واحد فقط — مثل قراءة النص فقط أو مراقبة الوجه فقط — يشبه محاولة حل لغز باستخدام صورة واحدة ضبابية. أنت بحاجة إلى الصورة الكاملة. لذا، بنوا نظاماً يعمل مثل هيئة محلفين منظمة للغاية. بدلاً من قاضٍ واحد، لديهم 15 "محلفاً" مختلفاً، كل منهم ينظر إلى مزيج مختلف من الأدلة: بعضهم يستمع إلى الصوت، وبعضهم يقرأ الكلمات، وبعضهم يراقب الوجه، وحتى بعضهم يتتبع الأنماط الإحصائية الغريبة لكيفية تصرف الشخص.
إليك كيف يعمل الفريق: أولاً، يجمعون كل الأدلة. يستخدمون أدوات ذكاء اصطناعي ذكية لتحويل الكلمات المنطوقة إلى نص، وتحليل إيقاع وفترات التوقف في الصوت، ومسح الفيديو بحثاً عن تعبيرات الوجه. ثم يمزجون ويمزجون هذه الأدلة بـ 15 طريقة مختلفة. لكل مزيج، يختارون أفضل "محقق" (نوع من خوارزميات الكمبيوتر) ويعلمونه بالضبط متى يصرخ "مذنب!" (متردد) أو "غير مذنب!" (غير متردد). ثم يصوت هؤلاء المحققون الـ 15 على الإجابة النهائية. إذا اتفق معظمهم، يتم إعلان الحكم. هذا الجزء من النظام، المسمى CALM-AH، كان جيداً بالفعل، حيث سجل 0.7525 في اختبار مصمم لمعرفة مدى نجاحه مع أشخاص لم يلتقِ بهم من قبل.
لكن الباحثين لم يتوقفوا عند هذا الحد. فقد علموا أن حتى المحققين الأذكياء يرتكبون الأخطاء. أحياناً قد يرتبك المحقق بسبب ضوضاء عالية أو جملة معقدة. لذا، أضافوا "شبكة أمان" خاصة تسمى RG-MEC (الإجماع متعدد الخبراء المحكوم بالموثوقية). فكر في هذا كقاعدة صارمة جداً لتغيير الحكم. يبدأ النظام بـ "قاضٍ افتراضي" يصدر القرار الأول. ولتغيير رأي ذلك القاضي، لا تحتاج فقط إلى خبير واحد يعارض، بل تحتاج إلى ثلاثة خبراء محددين يتفقون جميعاً على نفس الإجابة الجديدة في نفس الوقت.
هؤلاء الخبراء الثلاثة هم:
- CALM-AH (فريق المحققين الـ 15 الذي قابلناه للتو).
- AffectGPT (ذكاء اصطناعي بارع جداً في فهم العواطف والمشاعر).
- مُحقّق قائم على GPT (ذكاء اصطناعي ممتاز في فهم المعنى والمنطق لما يقال).
إذا قال القاضي الافتراضي "غير متردد"، ولكن CALM-AH وAffectGPT والمُحقّق صرخوا جميعاً "متردد!" معاً، فعندها فقط يغير النظام رأيه. إذا كان حتى واحد منهم غير متأكد أو مختلف، يلتزم النظام بقرار القاضي الأصلي. هذا يمنع النظام من الارتباك بسبب خبير واحد مشوش. إنه يشبه نادياً حيث لا يمكنك تغيير القواعد إلا إذا وقع ثلاثة أعضاء محددين على العريضة معاً؛ فشكوى شخص واحد ليست كافية لقلب النتيجة.
النتيجة؟ جعلت هذه "شبكة الأمان" النظام أكثر حدة. من خلال استخدام قاعدة التصويت بالإجماع الصارمة هذه، قفزت الدرجة النهائية إلى 0.7771. تظهر الورقة البحثية أن هذه الطريقة أفضل بكثير في رصد عدم اليقين الحقيقي دون أن تخدعها التوقفات العشوائية أو الضوضاء العرضية. وجد الباحثون أن مجرد إضافة المزيد من الخبراء لا يساعد؛ بل الأمر يتعلق بكيفية تنظيمهم. من خلال منح "القاضي الافتراضي" مرساة مستقرة والسماح لـ "شبكة الأمان" فقط بتجاوز قراره عندما يتفق الجميع، يصبح النظام أكثر موثوقية.
اختبر الفريق هذا على مجموعة بيانات من فيديوهات مقابلات حقيقية حيث كان الأشخاص في فيديوهات الاختبار مختلفين تماماً عن الأشخاص الذين تدرب عليهم النظام. وهذا أمر بالغ الأهمية لأنه يثبت أن النظام لا يحفظ الوجوه فحسب؛ بل يتعلم حقاً رصد شعور عدم اليقين. تنفي الورقة البحثية صراحةً فكرة أنه يمكنك ببساطة حساب متوسط آراء جميع الخبراء أو السماح لخبير واحد قوي بإلغاء رأي الآخرين. بدلاً من ذلك، وجدوا أن "بوابة الإجماع" الصارمة تعمل بشكل أفضل. وبينما يعد النظام خطوة كبيرة للأمام، فإن المؤلفين حذرون من القول بأن هذا حل محدد لهذا التحدي المعين، وليس حلاً سحرياً لكل المشاعر البشرية. ولكن بالنسبة لمعرفة ما إذا كان شخص ما حقاً في حيرة من أمره، فإن CALM-AH مع شبكة أمان RG-MEC الخاصة به هو أداة ذكية جديدة في صندوق الأدوات.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.