Cross-modal Affinity-aligned Multimodal Learning Analytics for Predicting Student Collaboration Satisfaction in Game-Based Learning

Résumé technique : Analyse d'apprentissage multimodal alignée par affinité intermodale (AAMLA)

Énoncé du problème
Les environnements d'apprentissage collaboratif basés sur le jeu offrent des opportunités riches pour la construction de connaissances, mais la prédiction automatique de la satisfaction des élèves en matière de collaboration reste un défi. Un obstacle majeur est la dégradation des modalités : dans les déploiements éducatifs, les modalités individuelles (telles que le regard) présentent souvent une informativité incohérente entre différents groupes d'élèves en raison du bruit des capteurs, des occlusions et des variations comportementales. Les approches multimodales existantes reposent généralement sur des mécanismes de fusion par attention croisée implicite qui supposent que toutes les modalités contribuent à des signaux également informatifs. Lorsqu'une modalité faible ou bruyante domine le mécanisme d'attention, elle provoque des erreurs en cascade, dégradant la robustesse de la prédiction. Le simple rejet des modalités affectées n'est pas une solution viable, car elles peuvent encore porter des signaux utiles dans d'autres contextes.

Méthodologie : Le cadre AAMLA
Les auteurs proposent l'Analyse d'apprentissage multimodal alignée par affinité (AAMLA), un cadre conçu pour prédire la satisfaction en matière de collaboration en modélisant explicitement les relations intermodales et en imposant une cohérence intermodale. Le cadre traite quatre modalités complémentaires extraites des interactions des élèves dans l'environnement EcoJourneys :

1. Unités d'action faciale (AU) : 17 valeurs d'intensité par image.
2. Orientation de la tête : Coordonnées de translation et de rotation en 3D.
3. Regard : Coordonnées en 3D par œil.
4. Journaux de traces d'interaction : Encodés via un encodeur de phrases basé sur BERT.

La méthodologie comprend trois étapes principales :

1. Encodage et projection spécifiques à la modalité :
   Chaque flux de modalité est traité par un encodeur spécifique (GRU pour les AU, l'orientation et le regard ; réseau feedforward pour les journaux de traces). Pour gérer les hétérogénéités de dimensions des caractéristiques, des couches de projection linéaire apprenables spécifiques à chaque modalité transforment toutes les caractéristiques dans un espace sémantique unifié ($d=128$) avant l'alignement.

2. Alignement des modalités guidé par l'affinité intermodale (CAMA) :
   Il s'agit de la contribution principale de l'article. Contrairement à la fusion implicite, CAMA modélise explicitement les relations entre les modalités à l'aide d'une matrice d'affinité.

   • Stabilisation : Pour atténuer les écarts de caractéristiques causés par les variations comportementales, le modèle calcule les moyennes par lot de paires de caractéristiques originales et dégradées.
   • Modélisation de l'affinité : Une matrice d'affinité symétrique est calculée pour capturer les relations sémantiques explicites entre les modalités.
   • Apprentissage contrastif : Guidé par la matrice d'affinité, une perte contrastive ($L_{aff}$) est appliquée. Cette perte rapproche les embeddings de différentes modalités appartenant à la même activité de l'élève (paires positives) et éloigne les embeddings provenant d'activités différentes (paires négatives).
   • Suppression adaptative : Ce mécanisme permet au modèle d'apprendre à supprimer de manière adaptative les modalités non informatives ou dégradées (par exemple, des signaux de regard incohérents) sans les rejeter entièrement, assurant ainsi des représentations stables même en cas de dégradation sévère.

3. Objectifs d'entraînement :
   La fonction de perte totale combine la perte de classification par entropie croisée standard ($L_{CE}$) avec la perte d'alignement par affinité ($L_{aff}$), pondérée par un hyperparamètre $\alpha$ (fixé à 0,25). Cette optimisation conjointe garantit à la fois la précision de la classification et la cohérence des caractéristiques intermodales.

Contributions clés

• Module CAMA : Un module novateur qui modélise explicitement les relations intermodales via des matrices d'affinité et impose la cohérence par apprentissage contrastif, répondant aux limites de la fusion implicite en présence de dégradation des modalités.
• Gestion adaptative de la dégradation : Le cadre démontre sa capacité à supprimer dynamiquement les modalités non informatives plutôt qu'à les rejeter, maintenant des performances robustes lorsque certains signaux (comme le regard) sont bruyants ou manquants.
• Espace sémantique unifié : L'utilisation de couches de projection spécifiques à chaque modalité permet de mapper des caractéristiques hétérogènes dans un espace cohérent pour une comparaison intermodale directe.

Résultats expérimentaux
Les expériences ont été menées sur des données provenant de 50 élèves du collège dans l'environnement EcoJourneys, en utilisant un protocole de validation croisée à 10 plis au niveau de l'élève.

• Performance : AAMLA a obtenu un score F1 macro de 0,79 et une précision de 0,77, surpassant les références unimodales (F1 $\approx$ 0,65–0,66) et l'approche par attention croisée antérieure (F1 = 0,72).
• Robustesse face à la dégradation : AAMLA a démontré une supériorité constante dans trois conditions de dégradation :
  • Chute du regard : Même avec 70 % des caractéristiques de regard mises à zéro, AAMLA a maintenu un F1 de 0,72, contre 0,52 pour la référence par attention croisée.
  • Perturbation des caractéristiques : Sous l'ajout de bruit gaussien aux AU et à l'orientation, AAMLA a nettement surpassé la référence.
  • Absence complète de modalité : Lorsque des modalités entières ont été supprimées lors de l'inférence, AAMLA a maintenu des performances robustes (par exemple, F1 = 0,73 sans AU), tandis que la référence a chuté de manière significative.
• Études d'ablation : La suppression du module CAMA ou de la perte contrastive ($L_{aff}$) a entraîné des espaces de caractéristiques fragmentés et une réduction des performances, confirmant que l'alignement explicite et la supervision contrastive sont tous deux nécessaires.
• Interprétabilité :
  • Visualisations t-SNE : Ont montré qu'AAMLA produit des clusters compacts et sémantiquement cohérents avec une séparation interclasse claire, tandis que la suppression de CAMA a conduit à une dérive intermodale.
  • Analyse SHAP : A confirmé que les caractéristiques des journaux de traces étaient les plus prédictives, tandis que les caractéristiques du regard étaient absentes des 20 contributeurs principaux, validant la suppression adaptative par le modèle des modalités non informatives.

Portée et affirmations
L'article affirme qu'AAMLA comble une lacune critique dans l'analyse d'apprentissage multimodal en fournissant un mécanisme pour gérer la variabilité inhérente et l'incertitude des données comportementales dans les contextes éducatifs. Les auteurs affirment que leur stratégie d'alignement basée sur l'affinité explicite offre une alternative robuste à la fusion implicite, particulièrement lorsqu'il s'agit de « dégradation des modalités » où certains signaux sont incohérents entre différents groupes d'élèves. Ce travail démontre que de telles techniques d'alignement explicite peuvent être transférées efficacement vers les domaines éducatifs, offrant des insights interprétables sur les schémas comportementaux qui prédisent la satisfaction en matière de collaboration, sans nécessiter le retrait complet de flux de données potentiellement utiles, bien que bruyants.