Attention-Guided Dual-Stream Learning for Group Engagement Recognition: Fusing Transformer-Encoded Motion Dynamics with Scene Context via Adaptive Gating

Probleemstelling

Studentbetrokkenheid (engagement) is cruciaal voor leerresultaten, maar het automatisch detecteren van groepsbetrokkenheid in fysieke klaslokalen blijft een uitdaging. Bestaande methoden hebben vaak de volgende beperkingen:

• Focus op individuen of online settings: De meeste systemen zijn ontworpen voor individuele studenten of online klassen, en negeren de complexe dynamiek van groepen in fysieke ruimtes.
• Afhankelijkheid van kwetsbare signalen: Veel modellen vertrouwen op gezichtsuitdrukkingen of skelet-pose-schattings, wat gevoelig is voor occlusie (verduistering), slechte belichting en gedeeltelijke zichtbaarheid in drukke klaslokalen.
• Gebrek aan context: Er wordt vaak geen rekening gehouden met groepsdynamiek, zoals synchronisatie tussen studenten of de algehele sfeer in de klas, die essentieel zijn voor het bepalen van groepsbetrokkenheid.

Het doel van dit onderzoek is het ontwikkelen van een robuust systeem dat groepsbetrokkenheid (hoog, medium, laag) kan herkennen op basis van video-opnames uit een klaslokaal, waarbij zowel individuele bewegingen als de globale scène-context worden geïntegreerd.

Methodologie: DualEngage

De auteurs stellen DualEngage voor, een innovatief tweestromen-architectuur (dual-stream framework) dat bewegingsdynamiek en scène-context combineert via adaptieve gating.

1. Primaire Stroom: Persoonlijk Bewegingsdynamiek (Person-Level Stream)

Deze stroom focust op het modelleren van individuele bewegingen van studenten.

• Detectie en Tracking: Studenten worden gedetecteerd en getrackt met ID's per frame met behulp van OpenMMLab-bibliotheken (Faster R-CNN voor detectie en Deep SORT voor tracking).
• Optische Stroom (Optical Flow): In plaats van pose-schattings (wat onstabiel kan zijn bij occlusie), wordt RAFT (Recurrent All-Pairs Field Transforms) gebruikt om dichte optische stroom te berekenen. Dit vangt subtiele, niet-rigide bewegingen beter op.
• Motion Tubes: Voor elke getrackte student worden "motion tubes" gegenereerd door de optische stroom binnen de bounding box van de student te extraheren over de tijd.
• Temporele Modellering: Een gedeelde Transformer-encoder verwerkt deze bewegingssequenties. De self-attention-mechanisme vangt lange-termijn afhankelijkheden op in het gedrag (bijv. geleidelijke houdingsveranderingen) beter dan RNN's of TCNN's.
• Attention Pooling: In plaats van een simpele gemiddelde over alle studenten, wordt attention pooling toegepast. Dit leert gewichten toe te kennen aan individuele studenten, waardoor het model zich richt op de meest gedragssignaal-rijke studenten (bijv. de meest actieve deelnemers) in plaats van iedereen gelijk te behandelen.

2. Secundaire Stroom: Scène-Context (Scene-Level Stream)

Deze stroom captureert de globale dynamiek van de hele groep.

• 3D ResNet-18: Een vooraf getrainde 3D ResNet-18 (R3D) verwerkt het volledige video-clip.
• Doel: Het extraheren van spatiotemporele kenmerken die niet aan één individu kunnen worden toegeschreven, zoals groepsynchronisatie, de tempo van de leraar, en collectieve houdingsveranderingen.

3. Fusie: Softmax-Gated Fusion

In plaats van de uitkomsten van beide stromen simpelweg te concateneren, wordt een adaptieve gated fusion gebruikt.

• Een lightweight MLP analyseert de gecombineerde features van beide stromen en genereert twee gewichten ($\alpha$ en $\beta$) via een softmax-functie.
• Deze gewichten bepalen dynamisch per sample hoe belangrijk de individuele beweging versus de globale context is.
  • Voorbeeld: Als individuele beweging vaag is (bijv. studenten zitten stil), leunt het model zwaarder op de scène-context. Als individueel gedrag onderscheidend is, krijgt de bewegingsstroom meer gewicht.
• De gefuseerde vector wordt door een classificatiehoofd gestuurd om de betrokkenheidsniveaus te voorspellen.

Belangrijkste Bijdragen

1. Dual-Stream Architectuur: Een nieuw ontwerp dat groepsbetrokkenheid modelleert als een gezamenlijke functie van individuele bewegingsdynamiek en collectieve scène-context.
2. Transformer-gebaseerde Bewegingsmodellering: Het gebruik van een Transformer-encoder op dichte optische stroom per student om lange-termijn gedragsafhankelijkheden te vangen.
3. Attention Pooling: Een mechanisme om de bijdrage van individuele studenten te wegen op basis van hun gedragssignaal, in plaats van een uniforme aggregatie.
4. Softmax-Gated Fusion: Een adaptieve fusiemethode die de balans tussen beweging en context dynamisch aanpast per video-clip, wat robuustheid biedt tegen ambiguïteit.
5. Uitgebreide Validatie: Een grondige ablatiestudie die de bijdrage van elke component bevestigt.

Resultaten

Het model is geëvalueerd op het OUC-CGE dataset (Ocean University of China), bestaande uit video's van groepen studenten in klaslokalen.

• Validatie: Stratified 5-voudige kruisvalidatie.
• Prestaties:
  • Gemiddelde Accuracy: $0.9621 \pm 0.0161$
  • Macro-averaged F1-score: $0.9530 \pm 0.0204$
• Vergelijking: Het volledige DualEngage-model presteert aanzienlijk beter dan single-stream baselines (alleen beweging of alleen scène) en varianten zonder temporele codering of met alternatieve backbones (zoals LSTM of 1D CNN).
• Ablatie-studie: Toont aan dat het verwijderen van de Transformer-encoder, de attention pooling of de gated fusion leidt tot een drastische daling in prestaties, wat de noodzaak van elk component onderstreept.

Betekenis en Conclusie

Dit werk is een van de eerste die een dual-stream ontwerp toepast voor klaslokaal-betrokkenheid waarbij bewegingshints expliciet worden gebruikt als schatter. De studie demonstreert dat het combineren van gedetailleerde individuele bewegingsdata met globale groepscontext essentieel is voor nauwkeurige detectie in realistische, drukke klasomgevingen.

Hoewel het model zeer succesvol is, brengt het enkele uitdagingen met zich mee, zoals de hoge rekenkosten door het gebruik van RAFT voor optische stroom en de afhankelijkheid van betrouwbare tracking (occlusie kan de prestaties beïnvloeden). Toekomstig werk zou kunnen focussen op het integreren van blikrichting (gaze) of leraar-gedrag om ambiguïteit bij weinig beweging verder te verhelpen.