Foundation Model Embeddings Meet Blended Emotions: A Multimodal Fusion Approach for the BLEMORE Challenge
تقدم هذه الورقة نظام دمج متعدد الوسائط مكون من 12 مشفرًا لتحدي BLEMORE، والذي حقق المركز السادس من خلال الجمع بين نماذج متخصصة للوجه والصوت ولغة الجسد مع التطبيق المبتكر لـ Gemini Embedding 2.0، مما يثبت أن طبقات العروض التوضيحية المجمدة وعتبات البروز الشخصية تعد أمراً حاسماً للتعرف على المشاعر المختلطة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك في حفلة مزدحمة. اقترب منك شخص ما، وهو لا يشعر بشعور واحد فقط. قد يكون متحمسًا بنسبة 70% ولكن متوترًا بنسبة 30%. أو ربما هو غاضب بنسبة 50% وحزين بنسبة 50%. هذا المزيج من المشاعر يسمى "العاطفة المختلطة".
تحدي BLEMORE يشبه لعبة عالية المخاطر حيث تحاول الحواسيب تخمين هذه المشاعر المختلطة بمجرد مشاهدة مقاطع فيديو قصيرة لأشخاص. الجزء الصعب ليس فقط تخمين ما هي العواطف الموجودة، بل أيضًا معرفة مدى قوتها (البروز/الشدة).
إليك كيف بنى الفريق من جامعة زيورخ نظام "المحقق الخارق" للفوز بالمركز السادس في هذا التحدي، مشروحًا بكلمات بسي️طة.
1. فرقة المحققين (المجموعة متعددة الوسائط)
بدلاً من توظيف محقق واحد فقط، بنى الفريق فرقة من ستة خبراء مختلفين. كل خبير ينظر إلى الفيديو من زاوية مختلفة، ثم يجلسون جميعًا حول طاولة للتصويت على الإجابة النهائية.
- خبير الوجه (S4D-ViTMoE): هذا المحقق ينظر فقط إلى وجه الشخص. لقد تم تدريبه لرصد تشنجات العضلات الدقيقة التي تظهر السعادة أو الخوف.
- خبراء لغة الجسد (TimeSformer & VideoMAE): أحيانًا يكون الوجه "وجه بوكر" (جامد)، لكن الجسد يصرخ بالحقيقة. هؤلاء الخبراء يراقبون أكتاف الشخص، يديه، ووضعية جسده. إذا كان شخص ما يشد قبضتيه، فهم يعرفون أنه غضب، حتى لو كان الوجه هادئًا.
- خبير الصوت (Wav2Vec2): هذا الخبير يستمع إلى الصوت. ولكن إليك الخدعة: في هذا التحدي، لا يتحدث الناس كلمات؛ بل يصدرون أصواتًا مثل الشهقات، الضحكات، أو الزمجرة. أدرك الفريق أن "الطبقات الوسطى" من هذا الذكاء الاصطناعي (مثل الفصول الوسطى من كتاب) هي الأفضل في فهم إيقاع ونبرة هذه الأصوات، بينما "الطبقات العليا" مشغولة جدًا بمحاولة فهم الكلمات. لذا، تجاهلوا صائدي الكلمات واستخدموا فقط صائدي الإيقاع.
- "الدماغ الخارق" (Gemini Embedding 2.0): هذا هو نجم العرض. إنه ذكاء اصطناعي ضخم وعام الأغراض (مثل روبوت فائق الذكاء قد رأى الإنترنت بأكمله). استخدمه الفريق لأول مرة في هذا المجال. ومن المثير للدهشة، أن هذا الروبوت لم يحتج إلا لرؤية أول ثانيتين من الفيديو ليخمن العواطف بشكل صحيح. إنه مثل محقق يمكنه حل جريمة بمجرد إلقاء نظرة على الباب الأمامي، دون الحاجة للبحث في المنزل بأكمله.
- فريق الاحتياط: أضافوا أيضًا بعض الأدوات المدربة مسبقًا والتي قدمها منظمو التحدي للتأكد من أنهم لم يفتهم أي شيء.
2. نظام التصويت (الدمج المتأخر)
بمجرد أن يدلي جميع الخبراء الستة برأيهم (على سبيل المثال: "أعتقد أنه 60% خوف و40% فرح")، لا يكتفي الفريق باختيار الصوت الأعلى. بل يستخدمون تصويتاً مرجحاً.
فكر في الأمر كأنها هيئة محلفين. بعض المحلفين لديهم خبرة أكثر من غيرهم. وجد الفريق أن "الدماغ الخارق" (Gemini) و"خبير الوجه" هما الأكثر موثوقية، لذا حصلوا على أكبر عدد من الأصوات. أما الآخرون فقد حصلوا على أصوات أقل، لكن مدخلاتهم ساعدت في تصحيح الأخطاء.
3. مشكلة "العتبة" (المسطرة المهتزة)
هذا هو الجزء الأكثر إثارة للاهتمام في اكتشافهم. لتحويل تخمينات الذكاء الاصطناعي الضبابية (مثل "70% خوف") إلى إجابة نهائية، يستخدم النظام "مسطرة" تسمى العتبة (Threshold).
- المشكلة: وجد الفريق أن هذه المسطرة كانت غير مستقرة. بالنسبة لممثل معين، كانت المسطرة تحتاج أن تُضبط عند مستوى منخفض جدًا لالتقاط عاطفة دقيقة. وبالنسبة لممثل آخر، كانت المسطرة تحتاج أن تُضبط عند مستوى مرتفع جدًا.
- التشبيه: تخيل أنك تحاول تخمين مدى علو همس شخص ما. إذا كنت تتحدث مع شخص هادئ، فإن الهمس سيبدو عالياً. إذا كنت تتحدث مع شخص صاخب، فإن نفس الهمس سيبدو هادئاً. "المسطرة" تتغير بناءً على من يتحدث.
- النتيجة: كان هذا "الأسلوب الشخصي" لكل ممثل هو السبب الأكبر في معاناة الكمبيوتر. حتى أفضل ذكاء اصطناعي لم يستطع التخمين بدقة للمزيج لأن كل إنسان يعبر عن مشاعره بشكل مختلف.
4. النجاحات الكبرى
تعلم الفريق ثلاثة دروس رئيسية:
- لا تعد اختراع العجلة: بالنسبة للجزء الصوتي، لم يحتاجوا لتعليم الذكاء الاصطناعي كل شيء من الصفر. مجرد اختيار "الطبقات الوسطى" الصحيحة من ذكاء اصطناعي موجود كان يعمل بشكل أفضل من تدريب نموذج جديد.
- الأدمغة الكبيرة سريعة: كان "الدماغ الخارق" (Gemini) ذكيًا جدًا لدرجة أنه استطاع تخمين العواطف بشكل صحيح من مقطع فيديو مدته ثانيتان فقط، مما يثبت أن نماذج الذكاء الاصطناعي الضخمة جاهزة لهذا النوع من العمل.
- البشر فريدون: لم يكن الجزء الأصعب في التحدي هو ذكاء الكمبيوتر، بل كان حقيقة أن البشر جميعًا مختلفون. يمكن للكمبيوتر تعلم القواعد، لكن لا يمكنه بسهولة التنبؤ بكيفية تعبيرك أنت تحديدًا عن مشاعرك.
النتيجة النهائية
من خلال دمج كل هؤلاء الخبراء والتصويت معًا، حقق الفريق درجة 0.279، متفوقًا على أفضل المحاولات السابقة. لقد أثبتوا أنه إذا كنت تريد فهم العواطف المختلطة، فأنت بحاجة للنظر إلى الوجه، والجسد، والصوت، واستخدام ذكاء اصطناٍ فائق لربط كل ذلك معًا.
باختصار: لقد بنوا فريقًا من المتخصصين الذين جمعوا مهاراتهم الفريدة لقراءة عالم العواطف المختلطة، المعقد، الفوضوي، والإنساني للغاية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.