Attention-Guided Dual-Stream Learning for Group Engagement Recognition: Fusing Transformer-Encoded Motion Dynamics with Scene Context via Adaptive Gating

فيما يلي ملخص تقني مفصل للورقة البحثية بعنوان: "التعلم ثنائي المسار الموجه بالانتباه للتعرف على التفاعل الجماعي: دمج ديناميكيات الحركة المشفرة عبر المحولات مع سياق المشهد عبر البوابة التكيفية."

1. بيان المشكلة

يُعد تفاعل الطلاب مؤشرًا حاسمًا للنجاح الأكاديمي، ومع ذلك، لا يزال التعرف الآلي على التفاعل على مستوى المجموعة في الفصول الدراسية الواقعية يمثل تحديًا كبيرًا. تعاني الطرق الحالية من عدة قيود:

• التركيز المتمحور حول الفرد: تحلل معظم النماذج الطلاب بشكل فردي أو تعتمد على الإشارات الوجهية (التعبيرات، نظرات العين)، والتي تفشل في التقاط الديناميكيات الجماعية والتفاعلات الاجتماعية.
• القيود البيئية: طرق تحليل الوضعية (Pose-based) التقليدية هشة في بيئات الفصول الدراسية "في العالم الحقيقي" بسبب حالات الاحتجاب (occlusions)، وتفاوت الإضاءة، والتخطيطات المزدحمة.
• نقص السياق: غالبًا ما تتجاهل الأنظمة الحالية سياق المشهد العالمي (مثل التزامن الجماعي، وتيرة المعلم) الذي يؤثر على السلوك الفردي.
• الحركة مقابل السكون: لا يرتبط التفاعل العالي دائمًا بالحركة العالية (مثل استماع الطلاب بتركيز)، بينما يمكن أن يتضمن التفاعل المنخفض أحيانًا حركات طفيفة. تحتاج النماذج إلى موازنة إشارات الحركة مقابل سياق المشهد ديناميكيًا.

يقترح المؤلفون DualEngage، وهو إطار عمل مبتكر مصمم للتعرف على مستويات التفاعل الجماعي (عالي، متوسط، منخفض) من خلال دمج ديناميكيات الحركة الفردية مع سياق المشهد العالمي.

2. المنهجية: بنية DualEngage

البنية المقترحة هي إطار تعلم عميق ثنائي المسار يعالج مقاطع الفيديو عبر مسارات متوازية قبل دمجها عبر آلية بوابة تكيفية.

أ. المسار الأساسي: ديناميكيات الحركة على مستوى الشخص

يركز هذا المسار على استخراج ونمذجة التطور الزمني لحركات الطلاب الفرديين.

1. الكشف والتتبع: يتم اكتشاف الطلاب وتتبعهم عبر الإطارات باستخدام مكتبات OpenMMLab (شبكة Faster R-CNN للكشف، وDeep SORT للتتبع) لإنشاء معرفات فريدة ومربعات إحاطة (bounding boxes).
2. استخراج التدفق البصري (Optical Flow): بدلاً من الاعتماد على نقاط مفتاحية غير مستقرة، يقوم النظام بحساب التدفق البصري الكثيف باستخدام شبكة RAFT (تحويلات المجال لجميع الأزواج المتكررة)، مما يلتقط الحركات غير المنتظمة الدقيقة حتى في حالات الاحتجاب الجزئي.
3. أنابيب الحركة (Motion Tubes): لكل طالب يتم تتبعه، يتم إنشاء "أنبوب حركة" عن طريق قص حقول التدفق البصري المقابلة لمربع الإحاطة الخاص به عبر الزمن.
4. الترميز الزمني (المحول/Transformer): يقوم مشفر محول (Transformer Encoder) مشترك بمعالجة تسلسل ميزات الحركة لجميع الطلاب. بخلاف الشبكات العصبية المتكررة (RNNs)، تعمل آلية الانتباه الذاتي للمحول على التقاط التبعيات الزمنية طويلة المدى والأنماط السلوكية بفعالية.
5. تجميع الانتباه (Attention Pooling): للتعامل مع مستويات التفاعل المتفاوتة بين أعضاء المجموعة، يستخدم النموذج تجميع الانتباه بدلاً من التجميع المتوسط البسيط. فهو يتعلم تخصيص أوزان أعلى للطلاب الذين يظهرون أكثر الحركات بروزًا سلوكيًا، مما يخلق تمثيلًا حركيًا موحدًا ($M$).

ب. المسار الثانوي: السياق العالمي على مستوى المشهد

يلتقط هذا المسار الديناميكيات الشاملة للفصل الدراسي بأكمله، والتي لا يمكن نسبها لطالب واحد.

1. العمود الفقري (Backbone): تقوم شبكة 3D ResNet-18 (R3D) مدربة مسبقًا بمعالجة مقطع الفيديو الكامل (إطارات RGB).
2. استخراج الميزات: تستخرج الشبكة ميزات زمانية-مكانية تمثل التزامن الجماعي، وتحولات الانتباه المشتركة، وتخطيط الفصل الدراسي العام.
3. المخرجات: ينتج عن ذلك تضمين مشهد عالمي ($G$) ثابت بغض النظر عن عدد الطلاب.

ج. الدمج ذو البوابة التكيفية (Adaptive Gated Fusion)

بدلاً من مجرد الربط (concatenation)، قدم المؤلفون آلية دمج بوابة Softmax.

• يتم دمج تمثيل الحركة ($M$) وتضمين المشهد ($G$) ثم تمريرهما عبر شبكة MLP خفيفة الوزن.
• تنتج الـ MLP وزنين قياسيين ($\alpha, \beta$) عبر دالة Softmax، مما يضمن أن $\alpha + \beta = 1$.
• التمثيل المدمج النهائي هو مزيج محدب: $h = \alpha \cdot M + \beta \cdot G$.
• الأهمية: يسمح هذا للنموذج بالتكيف ديناميكيًا. إذا كانت الحركة الفردية غامضة (على سبيل المثال، الطلاب ساكنون)، يعتمد النموذج أكثر على سياق المشهد ($\beta$). وإذا كانت السلوكيات الفردية متميزة، يعتمد أكثر على الحركة ($\alpha$).

3. المساهمات الرئيسية

1. بنية ثنائية المسار: أول نظام للتعرف على التفاعل ينمذج التفاعل صراحةً كوظيفة مشتركة لـ ديناميكيات الحركة الفردية وسياق المشهد الجماعي.
2. ترميز الحركة عبر المحولات (Transformer): استخدام مشفر Transformer لنمذجة التبعيات الزمنية طويلة المدى في التدفق البصري الكثيف، مما يلتقط الحركات المرتبطة بالتفاعل بدقة أكبر من RNNs أو CNNs.
3. تجميع الانتباه (Attention Pooling): آلية لوزن مساهمات الطلاب الفرديين بناءً على البروز السلوكي، لتجنب الضجيج الناتج عن مساواة جميع الطلاب في المتوسط.
4. الدمج ذو البوابة (Softmax-Gated Fusion): استراتيجية دمج تكيفية توازن ديناميكيًا بين الاعتماد على الحركة المحلية مقابل السياق العالمي بناءً على عينة المدخلات المحددة.
5. تقييم شامل: دراسات استئصال (Ablation studies) واسعة تثبت ضرورة كل مكون (الترميز الزمني، الانتباه، البوابة) ومقارنات بين الأعمدة الفقارية (Backbones).

4. النتائج التجريبية

• مجموعة البيانات: تم التقييم على مجموعة بيانات OUC-CGE (تفاعل المجموعات في الفصول الدراسية بجامعة أوشن)، والتي تحتوي على حوالي 6,700 مقطع فيديو مصنف كـ (عالي، متوسط، منخفض) التفاعل.
• الأداء:
  • الدقة (Accuracy): $0.9621 \pm 0.0161$
  • درجة F1 المتوسطة الكلية (Macro-Averaged F1 Score): $0.9530 \pm 0.0204$
  • الاستدعاء الكلي (Macro-Recall): $0.9561 \pm 0.0165$
• نتائج دراسة الاستئصال:
  • المسارات المنفردة: حقق المسار الأساسي وحده دقة تقارب 53%؛ بينما حقق المسار الثانوي وحده 62%. وهذا يؤكد أن لا الحركة ولا السياق وحدهما كافيان.
  • النمذجة الزمنية: أدى إزالة مشفر Transformer إلى انخفاض حاد في الأداء، مما يثبت ضرورة نمذجة التبعيات الزمنية طويلة المدى.
  • استراتيجية الدمج: أدى استبدال الدمج ذو البوابة بالربط البسيط أو إزالة تجميع الانتباه إلى تدهور كبير في الأداء (انخفاض F1 إلى ~0.87).
  • الأعمدة الفقارية (Backbones): بينما قدمت أعمدة R(2+1)D وI3D أداءً جيدًا، وفرت 3D ResNet-18 أفضل توازن بين الدقة والكفاءة لهذا الإعداد ثنائي المسار.

5. الأهمية والعمل المستقبلي

• الأهمية: يعالج DualEngage فجوة حرجة في تكنولوجيا التعليم من خلال الانتقال من تحليل الوجه الفردي إلى فهم شامل على مستوى المجموعة. إنه يثبت أن إشارات الحركة (حتى الطفيفة منها) جنباً إلى جنب مع السياق العالمي هي مؤشرات قوية لنتائج التعلم. تجعل آلية البوابة التكيفية النموذج قويًا في السيناريوهات التي يكون فيها الطلاب ساكنين جسديًا ولكنهم متفاعلون ذهنيًا.
• القيود: النهج مكلف حاسوبيًا بسبب التدفق البصري الكثيف (RAFT) وتتبع كل طالب. كما أنه يعتمد على دقة الكشف؛ حيث يمكن للاحتجاب الشديد أو فشل التتبع أن يقلل من الأداء.
• الاتجاهات المستقبلية: يقترح المؤلفون دمج تحليل سلوك المعلم، وتقدير نظرات العين الدقيق، وإشارات الوضعية (Posture) لزيادة التمييز بين الحالات التي قد تقدم فيها الحركة وسياق المشهد إشارات متضاربة.

ختامًا، يضع هذا العمل معيارًا جديدًا للتعرف على التفاعل الجماعي من خلال الاستفادة الفعالة من التآزر بين ديناميكيات الحركة الفردية والسياق الجماعي للمشهد عبر بنية ثنائية المسار موجهة بالانتباه.