🤖 machine learning

Attention-Guided Dual-Stream Learning for Group Engagement Recognition: Fusing Transformer-Encoded Motion Dynamics with Scene Context via Adaptive Gating

Ce papier présente DualEngage, un cadre d'apprentissage dual à deux flux qui fusionne les dynamiques de mouvement individuelles encodées par des transformateurs et le contexte de la scène via un réseau 3D ResNet, afin de reconnaître l'engagement des groupes d'élèves dans des vidéos de classe avec une grande précision.

Auteurs originaux : Saniah Kayenat Chowdhury, Muhammad E. H. Chowdhury

Publié 2026-04-14

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Saniah Kayenat Chowdhury, Muhammad E. H. Chowdhury

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎓 Le Problème : Le "Bruit" de la Classe

Imaginez une salle de classe. Le professeur pose une question. Certains élèves lèvent la main, d'autres hochent la tête, d'autres encore regardent par la fenêtre ou jouent avec leur stylo.

Jusqu'à présent, les ordinateurs essayaient de deviner qui était "engagé" (attentif) en regardant seulement le visage d'un élève ou en comptant les sourires. C'est un peu comme essayer de comprendre si un orchestre est en train de jouer une symphonie magnifique en n'écoutant que le violoniste du premier rang. Si le violoniste joue bien mais que le reste de l'orchestre dort, vous avez raté le tableau d'ensemble !

De plus, dans une vraie classe, les visages sont souvent cachés, les lumières changent, et les élèves bougent. Les méthodes actuelles échouent souvent parce qu'elles sont trop fragiles et ne comprennent pas la dynamique du groupe.

🚀 La Solution : "DualEngage" (Le Double Regard)

Les auteurs de cet article ont créé un nouveau système intelligent appelé DualEngage. Pour le comprendre, imaginez que vous avez deux détectives qui travaillent ensemble pour juger l'ambiance de la classe :

1. Le Détective "Micro-Mouvement" (Le Stream Principal)

Ce détective est un expert du mouvement individuel.

Son outil : Il utilise une technologie appelée "flux optique" (comme un radar de mouvement invisible). Il ne regarde pas ce que l'élève dit, mais comment son corps bouge.
Son super-pouvoir : Il peut voir les petits signes. Un élève qui penche la tête vers l'avant, qui tape du pied nerveusement, ou qui suit du regard le professeur.
Le problème qu'il résout : Parfois, un élève est très attentif mais reste parfaitement immobile (comme un ninja). Ce détective est entraîné à repérer ces mouvements subtils grâce à une technologie avancée (un "Transformeur") qui comprend la séquence des mouvements dans le temps, comme lire une histoire plutôt que de regarder une photo fixe.

2. Le Détective "Macro-Ambiance" (Le Stream Secondaire)

Ce détective est un expert de l'atmosphère globale.

Son outil : Il regarde toute la vidéo de la classe d'un seul coup d'œil, comme un drone qui survole la pièce.
Son super-pouvoir : Il capte la "synchronisation". Est-ce que tout le groupe se penche en avant en même temps ? Est-ce qu'il y a une agitation générale ? Est-ce que le rythme de la classe est lent ou rapide ?
Pourquoi c'est important : Parfois, aucun élève ne bouge beaucoup, mais l'ambiance est électrique (ou au contraire, très endormie). Ce détective sent cette "vibe" que le premier détective pourrait manquer.

🤝 La Magie : La "Porte Intelligente" (Fusion Adaptative)

C'est ici que le système devient vraiment intelligent. Au lieu de simplement additionner les notes des deux détectives, ils ont une porte intelligente (une "fusion par porte adaptative").

Imaginez un chef d'orchestre qui écoute ses deux détectives :

Scénario A : Si un élève bouge beaucoup (il gesticule), le chef fait confiance au Détective Mouvement.
Scénario B : Si la classe est très calme (personne ne bouge), le chef fait confiance au Détective Ambiance pour savoir si c'est un calme studieux ou un ennui profond.

Le système décide dynamiquement, à chaque seconde, de qui écouter le plus. C'est comme si le cerveau humain ajustait son attention : "Tiens, ce groupe bouge peu, je vais regarder l'ensemble pour voir s'ils sont concentrés."

🏆 Le Résultat : Une Précision Étonnante

Les chercheurs ont testé ce système sur de vraies vidéos de classes (avec des groupes de 7 à 9 élèves).

Le score : Le système a réussi à deviner le niveau d'engagement (Haut, Moyen, Bas) avec une précision de 96 %.
Pourquoi c'est génial : C'est beaucoup mieux que les anciennes méthodes qui se plantaient souvent quand les élèves étaient nombreux ou quand il y avait des obstacles (comme des chaises qui cachent les visages).

🧠 En Résumé

Ce papier nous dit que pour comprendre si une classe est attentive, il ne faut pas juste regarder les visages. Il faut :

Regarder les petits mouvements de chaque élève (grâce à l'IA).
Sentir l'énergie globale du groupe.
Laisser l'IA décider quelle information est la plus importante à chaque instant.

C'est comme passer d'une photo floue à un film en 4K où l'on comprend enfin la vraie dynamique d'une salle de classe !

1. Problématique et Contexte

La reconnaissance de l'engagement étudiant est cruciale pour améliorer les résultats d'apprentissage, en particulier dans les activités de groupe où la performance individuelle et collective sont interdépendantes. L'engagement se définit par trois dimensions : comportementale, émotionnelle et cognitive.

Cependant, les méthodes existantes présentent plusieurs limites majeures :

Focus individuel ou en ligne : La plupart des systèmes automatisés sont conçus pour les salles de classe virtuelles ou se concentrent sur l'engagement d'un seul étudiant, négligeant la dynamique collective.
Fragilité des signaux : Les approches basées sur le visage (expressions, regard) ou la pose (squelettes) échouent souvent dans des environnements réels en raison d'occlusions, de variations d'éclairage, de distances de caméra et de mouvements subtils.
Manque de contexte global : Les modèles actuels peinent à capturer les interactions de groupe complexes et la synchronisation collective qui influencent l'engagement.

L'objectif de cette étude est de combler ces lacunes en développant un système capable de reconnaître le niveau d'engagement d'un groupe à partir de vidéos de classe réelles, en modélisant l'engagement comme une fonction conjointe des comportements individuels et du contexte global.

2. Méthodologie : DualEngage

Les auteurs proposent DualEngage, une architecture innovante à deux flux (dual-stream) conçue pour fusionner les dynamiques de mouvement individuelles avec le contexte de la scène.

A. Flux Primaire : Dynamique du Mouvement au Niveau Individuel

Ce flux se concentre sur l'analyse des comportements de chaque étudiant :

Détection et Suivi : Utilisation de la bibliothèque OpenMMLab (MMDetection et MMTrack) pour détecter les étudiants et leur attribuer des identifiants (IDs) stables à travers les frames.
Extraction du Flux Optique Dense : Au lieu d'utiliser des points clés (squelettes) fragiles, le modèle utilise le réseau RAFT (Recurrent All-Pairs Field Transforms) pour générer des tubes de mouvement (motion tubes) basés sur le flux optique dense. Cela permet de capturer des mouvements non rigides et subtils même en cas d'occlusion partielle.
Modélisation Temporelle (Transformer) : Les séquences de flux optique de chaque étudiant sont encodées par un Transformeur (Encoder). Contrairement aux RNN ou aux CNN 1D, le Transformeur capture efficacement les dépendances à long terme dans les séquences temporelles, essentielles pour les changements de posture graduels.
Poolage par Attention : Au lieu d'une moyenne simple, un mécanisme de pooling par attention est appliqué aux embeddings des étudiants. Cela permet au modèle d'apprendre à pondérer l'importance de chaque étudiant, en mettant l'accent sur ceux qui présentent les signaux comportementaux les plus saillants.

B. Flux Secondaire : Contexte de la Scène (Niveau Global)

Ce flux capture les dynamiques collectives qui ne peuvent être attribuées à un seul individu (synchronisation du groupe, rythme de l'enseignant, interactions globales) :

Il utilise un ResNet 3D pré-entraîné (R3D-18) pour extraire des caractéristiques spatio-temporelles directement à partir de la vidéo complète (sans découpage par étudiant).
Ce flux fournit un contexte global invariant au nombre d'étudiants.

C. Fusion Adaptative (Softmax-Gated Fusion)

La contribution clé de la fusion réside dans son adaptabilité :

Au lieu d'une concaténation statique, le modèle utilise une fusion à porte (gated fusion) pilotée par un Softmax.
Un petit réseau (MLP) analyse le contexte conjoint des deux flux et génère deux poids ( $\alpha$ et $\beta$ ) qui s'additionnent à 1.
Avantage : Le modèle peut dynamiquement ajuster sa confiance. Si le mouvement individuel est ambigu (ex: étudiants immobiles mais attentifs), le poids du flux global augmente. Si les comportements individuels sont discriminants, le poids du flux de mouvement augmente.

3. Contributions Clés

Architecture Dual-Stream Nouvelle : Première approche dans la reconnaissance de l'engagement en classe adoptant explicitement une conception à deux flux pour modéliser simultanément les dynamiques de mouvement individuelles et le contexte collectif.
Utilisation du Flux Optique Dense : Remplacement des méthodes basées sur la pose par le flux optique dense (via RAFT) pour une robustesse accrue face aux occlusions et aux mouvements subtils.
Encodage Temporel par Transformeur : Utilisation d'un Transformeur partagé pour modéliser les dépendances temporelles à long terme des mouvements individuels.
Poolage par Attention : Introduction d'un mécanisme d'attention pour agréger les représentations des étudiants, permettant de se concentrer sur les individus les plus pertinents.
Fusion à Porte Adaptative : Proposition d'une méthode de fusion dynamique qui pondère les flux en fonction du contexte de l'échantillon, compensant les ambiguïtés des signaux individuels.

4. Résultats Expérimentaux

L'évaluation a été réalisée sur le jeu de données OUC-CGE (Ocean University of China), composé de vidéos de groupes d'étudiants annotées en trois niveaux : Faible, Moyen et Élevé.

Protocole : Validation croisée stratifiée à 5 plis (5-fold cross-validation).
Performance :
- Précision globale (Accuracy) : $0.9621 \pm 0.0161$
- F1-score macro-moyenné : $0.9530 \pm 0.0204$
- Le modèle démontre une grande robustesse avec un écart-type faible entre les plis.
Étude Ablative (Ablation Study) :
- Les variantes mono-flux (uniquement mouvement ou uniquement scène) obtiennent des scores bien inférieurs (~0.50 - 0.62), prouvant la nécessité des deux flux.
- Le remplacement du Transformeur par des LSTM ou des CNN 1D dégrade significativement les performances.
- La suppression du pooling par attention ou de la fusion à porte entraîne une baisse notable de la précision, confirmant l'importance de ces mécanismes d'adaptation.

5. Signification et Conclusion

Cette étude démontre que la reconnaissance de l'engagement de groupe ne peut être efficace sans une modélisation conjointe des actions individuelles et des dynamiques collectives.

Innovation Technique : L'approche propose une solution robuste aux problèmes d'occlusion et de variabilité des salles de classe réelles, en évitant la dépendance excessive aux points clés du visage ou du corps.
Impact Éducatif : Le système offre un outil automatisé capable de fournir des retours objectifs sur la participation collective, dépassant les limites des observations humaines subjectives.
Limites et Perspectives : Le coût computationnel élevé dû au flux optique dense (RAFT) et à l'extraction de tubes de mouvement est un défi pour le déploiement en temps réel. Les travaux futurs pourraient intégrer des signaux de regard ou de posture de l'enseignant pour lever les ambiguïtés dans les scénarios à faible mouvement.

En résumé, DualEngage établit un nouvel état de l'art pour la reconnaissance de l'engagement en groupe, prouvant que l'adaptation dynamique des sources de données (mouvement vs contexte) est la clé de la précision dans des environnements éducatifs complexes.