GAViD: A Large-Scale Multimodal Dataset for Context-Aware Group Affect Recognition from Videos

ملخص تقني مفصل لورقة بحثية بعنوان:

"GAViD: مجموعة بيانات متعددة الوسائط واسعة النطاق للتعرف على العواطف الجماعية المدركة للسياق من الفيديوهات"

1. بيان المشكلة

يهدف التعرف على العواطف الجماعية (GAR) إلى تحليل الحالات العاطفية الجماعية الناشئة عن التفاعلات البشرية-البشرية. وبينما يُعد التعرف على العواطف الفردية مجالاً مدروساً جيداً، فإن التعرف على العواطف الجماعية في بيئات العالم الحقيقي ("in-the-wild") يواجه تحديات كبيرة:

• ندرة البيانات: هناك نقص في مجموعات البيانات واسعة النطاق والموسومة التي تتضمن تسميات متنوعة على مستوى المجموعة (التكافؤ والعواطف المنفصلة) جنباً إلى جنب مع البيانات الوصفية السياقية الغنية.
• التعقيد: تتشكل العواطف الجماعية من خلال التفاعلات الديناميكية، والانسدادات (occlusions)، وتغير الإضاءة، والتفاعل بين العواطف الفردية وسياق المشهد.
• الفجوة السياقية: تعتمد الطرق الحالية غالباً بشكل كبير على الميزات البصرية وتفشل في التقاط السياق الكامل (مثل نوع الحدث، البيئة، ديناميكيات التفاعل) الضروري للتحليل القوي. تفتقر معظم مجموعات البيانات الحالية إلى مزيج شامل من الفيديو والصوت والتعليقات السياقية.

2. المساهمات الرئيسية

قدم المؤلفون مساهمتين رئيسيتين لسد هذه الفجوات:

أ. مجموعة بيانات GAViD

GAViD (العواطف الجماعية من الفيديوهات - Group Affect from ViDeos) هي مجموعة بيانات متعددة الوسائط واسعة النطلة مصممة خصيصاً للتعرف على العواطف الجماعية (GAR).

• النطاق: تحتوي على 5,091 مقطع فيديو عالي الجودة (متوسط المدة 5 ثوانٍ) مستمدة من 321 فيديو مصدري.
• المدخلات متعددة الوسائط: يتضمن كل عينة فيديو، وصوت، وبيانات وصفية سياقية متزامنة.
• التسميات (Annotations):
  • تسميات العاطفة: التكافؤ الثلاثي (إيجابي، محايد، سلبي) وخمس عواطف منفصلة (سعيد، حزين، خوف، غضب، محايد).
  • الشدة والتفاعل: شدة العاطفة (عالية، متوسطة، منخفضة) وأنواع التفاعل (تعاوني، عدائي، محايد).
  • إشارات الحركة: إشارات موسومة بشرياً مثل الابتسام، التصفيق، الصراخ، الرقص، إلخ.
  • البيانات الوصفية السياقية: تم إنشاؤها بواسطة VideoGPT (نموذج لغوي كبير متعدد الوسائط) لوصف أنواع المشاهد وتفاصيل الأحداث، ثم تم التحقق منها من قبل مراجعين بشريين.
• ضبط الجودة: تم اختيار البيانات من فيديوهات يوتيوب المرخصة بموجب رخصة المشاع الإبداعي (CC BY). تضمنت عملية التوسيم الصارمة 108 مُوسماً باستخدام نظام التصويت بالأغلبية لضمان اتفاق عالٍ بين الموسمين (معامل كوهين $\kappa$ = 0.72 للتكافؤ، و0.65 للعواطف المنفصلة).

ب. نموذج CAGNet

اقترح المؤلفون شبكة التعرف على العواطف الجماعية المدركة للسياق (CAGNet)، وهي بنية متعددة الوسائط مصممة لدمج الميزات البصرية والصوتية والسياقية.

• البنية:
  1. ترميز خاص بكل وسيط: يستخدم نماذج أساسية مجمدة: DINOv2 (للرؤية)، وWav2Vec 2.0 (للصوت)، وXLM-RoBERTa (للنص/السياق).
  2. المحاذاة عبر الوسائط: يستخدم كتل انتباه متقاطع متعدد الرؤوس مقنعة (masked multi-head cross-attention blocks) لكل زوج ثنائي الوسائط (رؤية-صوت، رؤية-سياق، صوت-سياق). يسمح هذا لكل وسيط بالاستعلام عن الوسائط الأخرى للحصول على الإشارات المفقودة.
  3. الدمج المبوب (Gated Fusion): يقوم بوابة الضغط والإثارة (Squeeze-and-Excitation gate) بإعادة تحجيم التضمينات المدمجة ديناميكياً. يسمح هذا للنموذج برفع وزن وسائط معينة بناءً على السياق (على سبيل المثال، إعطاء الأولوية للصوت إذا كانت الوجوه محجوبة).
  4. التصنيف: يقوم شبكة MLP خفيفة الوزن بالتنبؤ بتسميات التكافؤ والعواطف المنفصلة.
• المتانة: يتعامل النموذج مع الوسائط المفقودة بسلاسة عبر إسقاط الوسائط (modality dropout) أثناء التدريب، وحقن المتجهات الصفرية أثناء الاستدلال.

3. تفاصيل المنهجية

• تجميع البيانات: تم تقسيم الفيديوهات إلى مقاطع مدتها 5 ثوانٍ (لتتناسب مع المدة النموذجية للسلوكيات التعبيرية). تم تصفية المقاطع لضمان وجود هياكل جماعية واضحة وإمكانية اكتشاف الوجوه.
• استراتيجية التدريب: تم تدريب النموذج باستخدام محسن AdamW بمعدل تعلم قدره $1 \times 10^{-4}$. تم تدريب كتل الانتباه المتقاطع فقط، وآلية البوابة، ورأس MLP، بينما ظلت النماذج الأساسية للميزات مجمدة.
• مقارنات الخطوط المرجعية (Baselines): قارن المؤلفون CAGNet مقابل:
  • الخط المرجعي 1 (الدمج المدمج): دمج بسيط لتضمينات الانتباه المتقاطع بدون بوابة.
  • الخط المرجعي 2 (الدمج الهرمي): دمج تسلسلي للوسائط.
  • أحدث ما توصل إليه العلم (SOTA): نماذج الفيديو-اللغة العامة مثل Video-GPT وLLaVA-NeXT.

4. النتائج التجريبية

أُجريت التجارب على مجموعة بيانات GAViD المقسمة إلى مجموعات: تدريب (3,503)، تحقق (542)، واختبار (1,046).

• أداء تصنيف التكافؤ:
  • CAGNet (ثلاثي الوسائط V+A+C): حقق دقة بنسبة 63.20% ومعامل F1 قدره 0.614 على مجموعة الاختبار.
  • المقارنة: تفوق CAGNet بشكل كبير على كل من الخطوط المرجعية ونماذج الفيديو-LLM الحديثة (Video-GPT: 51.92%، LLaVA-NeXT: 54.82%).
  • تأثير الوسائط: كان الإعداد الثلاثي الوسائط (V+A+C) هو الأفضل أداءً، مما يؤكد قيمة السياق. كان الثنائي (V+A) هو الأقوى، لكن إضافة السياق حسنت الأداء باستمرار، خاصة في السيناريوهات الغامضة.
• التعرف على العواطف المنفصلة:
  • حقق CAGNet دقة بنسبة 61.33% ومعامل F1 قدره 0.458، متفوقاً على الخطوط المرجعية (الخط المرجعي 1: 58.33%، الخط المرجعي 2: 60.01%).
• التحليل النوعي:
  • أثبت تضمين السياق (V+A+C) أهميته في التمييز بين التفاعلات الدقيقة (مثل "التحدث بنبرة حادة" مقابل "الدردشة بودّ") حيث لم تكن الإشارات البصرية والصوتية وحدها كافية.

5. الأهمية والأثر

• سد فجوة حرجة: تعد GAViD أول مجموعة بيانات توفر مزيجاً شاملاً من التكافؤ، والعواطف المنفصلة، والبيانات الوصفية السياقية الغنية للعواطف الجماعية، مما يعالج قيود مجموعات البيانات الحالية القائمة على الصور أو الفقيرة سياقياً.
• تعزيز الذكاء الاصطوي المدرك للسياق: تثبت النتائج أن دمج البيانات الوصفية السياقية (التي تم إنشاؤها بواسطة MLLMs والتحقق منها بشرياً) يعزز بشكل كبير أداء GAR، مما يؤكد فرضية أن العواطف الجماعية لا يمكن فهمها بمعزل عن المشهد.
• الإطار الأخلاقي: تضع الورقة بروتوكولاً أخلاقياً قوياً، حيث تستخدم فقط البيانات العامة المرخصة بموجب رخصة المشاع الإبداعي، مع إزالة معلومات الهوية الشخصية (PII)، وقصر الاستخدام على البحث والتعليم لمنع المراقبة أو التنميط.
• الاتجاهات المستقبلية: تعمل مجموعة البيانات ونموذج CAGNet كخط مرجعي للأبحاث المستقبلية في الأنظمة الاجتماعية الحسابية، والتفاعل بين الإنسان والحاسوب، ومراقبة العواطف الجماعية في الوقت الفعلي. يخطط المؤلفون لتوسيع مجموعة البيانات لتشمل التوسيم على مستوى الإطار (frame-level) والمستوى الفردي.

التوفر: مجموعة البيانات والكود متاحان للجمهور على github.com/deepakkumar-iitr/GAViD و zenodo.org/records/15448846.