Cross-modal Affinity-aligned Multimodal Learning Analytics for Predicting Student Collaboration Satisfaction in Game-Based Learning

ملخص تقني: التحليلات متعددة الوسائط المتوافقة مع التقارب عبر الأنماط (AAMLA)

بيان المشكلة
توفر بيئات التعلم القائمة على الألعاب التعاونية فرصًا غنية لبناء المعرفة، ومع ذلك، يظل التنبؤ التلقائي برضا الطلاب عن التعاون أمرًا صعبًا. ويتمثل العائق الرئيسي في تدهور الوسائط (modality degradation)؛ ففي عمليات النشر التعليمية، غالبًا ما تظهر الوسائط الفردية (مثل حركة العين) معلومات غير متسقة عبر مجموعات مختلفة من الطلاب بسبب ضجيج المستشعرات، أو الحجب، أو التباين السلوكي. وتعتمد النهج متعددة الوسائط الحالية عادةً على آليات دمج الانتباه المتقاطع الضمني التي تفترض أن جميع الوسائط تساهم بإشارات متساوية المعلوماتية. وعندما تهيمن وسيط ضعيف أو مشوش على آلية الانتباه، فإن ذلك يتسبب في أخطاء متتالية، مما يؤدي إلى تدهور قوة التنبؤ. كما أن مجرد التخلص من الوسائط المتأثرة ليس حلاً قابلاً للتطبيق، حيث قد لا تزال تلك الوسائط تحمل إشارات مفيدة في سياقات أخرى.

المنهجية: إطار عمل AAMLA
يقترح المؤلفون إطار عمل التحليلات متعددة الوسائط المتوافقة مع التقارب عبر الأنماط (Amedy-Aligned Multimodal Learning Analytics - AAMLA)، وهو إطار مصمم للتنبؤ بالرضا عن التعاون من خلال نمذجة العلاقات بين الوسائط صراحةً وفرض الاتساق عبر الوسائط. يعالج إطار العمل أربعة أنماط متكاملة مستخرجة من تفاعلات الطلاب في بيئة EcoJourneys:

1. وحدات الحركة الوجهية (AU): 17 قيمة شدة لكل إطار.
2. وضعية الرأس (Head Pose): إحداثيات الإزاحة والدوران ثلاثية الأبعاد.
3. حركة العين (Eye Gaze): إحداثيات ثلاثية الأبعاد لكل عين.
4. سجلات تتبع التفاعل (Interaction Trace Logs): مشفرة عبر مشفر جمل قائم على نموذج BERT.

تتكون المنهجية من ثلاث مراحل أساسية:

1. ترميز الوسائط والاسقاط (Modality-Specific Encoding and Projection):
   يتم معالجة كل تدفق للوسائط بواسطة مشفر محدد (GRU لـ AU، والوضعية، وحركة العين؛ وشبكة تغذية أمامية لسجلات التتبع). وللتعامل مع أبعاد الميزات غير المتجانسة، تقوم طبقات إسقاط خطية قابلة للتعلم خاصة بكل وسيط بخرائط جميع الميزات إلى مساحة دلالية موحدة ($d=128$) قبل عملية المحاذاة.

2. المحاذاة عبر الأنماط الموجهة بالتقارب (CAMA):
   هذه هي المساهمة الجوهرية للورقة. على عكس الدمج الضمني، تقوم وحدة CAMA بنمذجة العلاقات بين الوسائط صراحةً باستخدام مصفوفة تقارب (affinity matrix).

• الاستقرار (Stabilization): للتخفيف من تباينات الميزات الناتجة عن التباين السلوكي، يقوم النموذج بحساب المتوسطات على مستوى الدفعة (batch-level) لأزواج الميزات الأصلية والمتدهورة.
• نمذجة التقارب (Affinity Modeling): يتم حساب مصفوفة تقارب متماثلة لالتقاط العلاقات الدلالية الصريحة بين الوسائط.
• التعلم التبايني (Contrastive Learning): بتوجيه من مصفوفة التقارب، يتم تطبيق فقد تبايني ($L_{aff}$). تعمل هذه الخسارة على جذب التضمينات (embeddings) للوسائط المختلفة التي تنتمي إلى نفس نشاط الطالب (الأزواج الإيجابية)، ودفع التضمينات من الأنشطة المختلفة بعيدًا (الأز pairs السلبية).
• الكبح التكيفي (Adaptive Suppression): تسم تسمح هذه الآلية للنموذج بتعلم كبح الوسائط غير المفيدة أو المتدهورة (مثل إشارات حركة العين غير المتسقة) ديناميكيًا دون التخلص منها تمامًا، مما يضمن تمثيلات مستقرة حتى في ظل التدهور الشديد.

3. أهداف التدريب (Training Objectives):
   تجمع دالة الفقد الإجمالية بين فقد التصنيف القياسي للإنتروبيا المتقاطعة ($L_{CE}$) وفقد محاذاة التقارب ($L_{aff}$)، الموزونة بمعامل فائق $\alpha$ (تم ضبطه عند 0.25). يضمن هذا التحسين المشترك كلاً من دقة التصنيف والاتساق في الميزات عبر الوسائط.

المساهمات الرئيسية

• وحدة CAMA: وحدة مبتكرة تنمذج العلاقات بين الوسائط صراحةً عبر مصفوفات التقارب وتفرض الاتساق من خلال التعلم التبايني، مما يعالج قيود الدمج الضمني في وجود تدهور الوسائط.
• التعامل التكيفي مع التدهور: أظهر إطار العمل القدرة على كبح الوسائط غير المفيدة ديناميكيًا بدلاً من التخلص منها، مما يحافظ على أداء قوي عندما تكون الإشارات (مثل حركة العين) مشوشة أو مفقودة.

3. المساحة الدلالية الموحدة: يسمح استخدام طبقات الإسقاط الخاصة بكل وسيط بخرائط الميزات غير المتجانسة إلى مساحة متماسكة للمقارنة المباشرة عبر الوسائط.

النتائج التجريبية
أجريت التجارب على بيانات من 50 طالبًا في المرحلة المتوسطة في بيئة EcoJourneys، باستخدام بروتوكول التحقق المتقاطع لعشر طيات (10-fold cross-validation) على مستوى الطالب.

• الأداء: حقق AAMLA درجة F1 كلي (macro F1-score) بلغت 0.79 ودقة بلغت 0.77، متفوقًا على النماذج أحادية الوسائط (F1 $\approx$ 0.65–0.66) ونهج الانتباه المتقاطع السابق (F1 = 0.72).
• القوة تحت التدهور: أظهر AAMLA تفوقًا ثابتًا تحت ثلاثة ظروف تدهور:
  • انقطاع حركة العين (Gaze Dropout): حتى مع تصفير 70% من ميزات حركة العين، حافظ AAMLA على F1 قدره 0.72، مقارنة بـ 0.52 لنموذج الانتباه المتقاطع المرجعي.
  • اضطراب الميزات (Feature Perturbation): في ظل إضافة ضجيج غاوسي (Gaussian noise) إلى AU والوضعية، تفوق AAMLA بشكل كبير على النموذج المرجعي.
  • غياب الوسيط بالكامل: عندما تمت إزالة وسائط كاملة أثناء الاستدلال، حافظ AAMLA على أداء قوي (على سبيل المثال، F1 = 0.73 بدون AU)، بينما انخفض أداء النموذج المرجعي بشكل كبير.
• دراسات الاستئصال (Ablation Studies): أدى حذف وحدة CAMA أو فقد التباين ($L_{aff}$) إلى تشتت في مساحات الميزات وانخفاض الأداء، مما يؤكد أن كلاً من المحاذاة الصريحة والإشراف التبايني ضروريان.
• القابلية للتفسير:
  • تصورات t-SNE: أظهرت أن AAMLA ينتج تجمعات مدمجة ومتماسكة دلاليًا مع فصل واضح بين الفئات، بينما أدى إزالة CAMA إلى انحراف عبر الوسائط.
  • تحليل SHAP: أكد أن ميزات سجلات التتبع كانت الأكثر قدرة على التنبؤ، بينما كانت ميزات حركة العين غائبة عن أفضل 20 مساهمًا، مما يؤكد التحقق من صحة الكبح التكيفي للوسائط غير المفيدة في النموذج.

الأهمية والادعاءات
تدعي الورقة أن AAMLA يعالج فجوة حرجة في التحليلات متعددة الوسائط من خلال توفير آلية للتعامل مع التباين وعدم الموثوقية المتأصل في البيانات السلوكية في البيئات التعليمية. ويؤكد المؤلفون أن استراتيجية المحاذاة القائمة على التقارب الصريح تقدم بديلًا قويًا للدمج الضمني، لا سيما عند التعامل مع "تدهور الوسائط" حيث تكون بعض الإشارات غير متسقة عبر مجموعات الطلاب. يوضح العمل أن تقنيات المحاذاة الصريحة هذه يمكن نقلها بفعالية إلى المجالات التعليمية، مما يوفر رؤى قابلة للتفسير حول الأنماط السلوكية التي تتنبأ بالرضا عن التعاون دون الحاجة إلى الإزالة الكاملة لتدفقات البيانات التي قد تكون مفيدة رغم كونها مشوشة.