A Method for Assessing Preschoolers’ Attention in the Classroom Based on a Multimodal Transformer

Technische Samenvatting: Een methode voor het beoordelen van de aandacht van kleuters in het klaslokaal op basis van een Multimodale Transformer

Probleemstelling
Het artikel behandelt de beperkingen van enkelvoudige visuele observatie in klaslokalen voor de vroege kinderjaren, waar aandachtssignalen gemakkelijk worden gehinderd door occlusie (overlapping), ruis of snelle scèneveranderingen. Bestaande methoden hebben vaak moeite met complexe temporele afhankelijkheden, een gebrek aan modale koppeling en een beperkte generalisatie in dynamische onderwijsomgevingen. De auteurs stellen dat het beoordelen van de aandacht van kleuters vereist dat men verder gaat dan statische, enkelvoudige bronkenmerken en overstapt op een multimodale, procesgerichte aanpak die het traject van individuele leertoestanden vastlegt.

Methodologie
De voorgestelde oplossing is een op een Multimodale Transformer gebaseerd framework, ontworpen om aandachtstoestanden te evalueren door video-, audio- en houdingsgegevens te fuseren.

• Dataverzameling en Voorbewerking:

  • Opstelling: Gegevens werden verzameld met behulp van 4K-camera's (voor/boven en achter/zij) en een 6-kanaals microfoonarray, gesynchroniseerd binnen een foutmarge van 40 ms.
  • Modaliteiten: Het systeem verwerkt drie afzonderlijke stromen:
    1. Visueel: Gezichtsoriëntatie, blikrichting en beweging van de bovenste ledematen ($d_v=256$).
    2. Audio: Mel-spectrumkenmerken, kortetermijnenergie en fundamentele frequentietrajecten ($d_a=128$).
    3. Houding: Koppositie (head pose) en geometrische sequenties van romp-sleutelpunten ($d_p=96$).
  • Sampling: Clips worden gesegmenteerd in vensters van 4 seconden (32 frames bij 8Hz) met een verschuivend venster van 2 seconden. Monsters met hoge occlusie (>35%) of verlies van skeletgegevens (>20%) worden eruit gefilterd.
  • Annotatie: Vier aandachtstoestanden zijn gedefinieerd: Hoog geconcentreerd, Matig geconcentreerd, Fluctuerende aandacht en Duidelijk afgeleid. Annotaties vertrouwen op een samengestelde score ($S_i$) die de tijd besteed aan doelen, de frequentie van hoofdbewegingen, niet-taakgerelateerde bewegingen en responsconsistentie integreert. De overeenstemming tussen annotatoren werd geverifieerd met Cohen's Kappa ($\kappa \geq 0,82$).

• Modelarchitectuur:

  • Backbone: Een Multimodale Transformer-encoder bestaande uit visuele en audio coderingstakken, een cross-modale uitlijningslaag, een temporele backbone en een classificatiekop.
  • Cross-Modale Uitlijning: Het model maakt gebruik van een bidirectioneel aandachtmechanisme waarbij visuele en audio-representaties met elkaar interageren. Queries worden gegenereerd uit de ene modaliteit en keys/values uit de andere om verrijkte, gefuseerde kenmerken te creëren.
  • Temporele Modellering: De gefuseerde sequentie ($T=32$) gaat door een Transformer-backbone (4 lagen, 8 koppen) om langetermijn-afhankelijkheden te vangen, waarbij self-attention wordt gebruikt om toestandsovergangen te modelleren (bijv. "Aanhoudende Blik — Korte Afwijking — Terugkeer").
  • Trainingsstrategie: Het model gebruikt een gecombineerde verliesfunctie van categorie-gewogen cross-entropy en Focal Loss ($\gamma=2.0$) om klassenonbalans aan te pakken. Training incorporeert robuustheidstechnieken zoals willekeurig frame-verlies, simulatie van modaal verlies en injectie van achtergrondruis.

Belangrijkste Bijdragen

1. Tri-Modale Datarepresentatie: De studie vestigt een workflow voor het verzamelen en afstemmen van video-, audio- en houdingsgegevens specifiek voor kleuterklassen, waarmee de beperkingen van visuele analyse alleen worden overstegen.
2. Cross-Modale Transformer Architectuur: De auteurs hebben een model ontwikkeld dat in staat is tot cross-modale uitlijning en temporele afhankelijkheidsmodellering, waarbij gebruik wordt gemaakt van bidirectionele interactie om heterogene informatie effectief te fuseren.
3. Fijnmazige Toestandsclassificatie: Het systeem onderscheidt succesvol vier genuanceerde aandachtstoestanden (Hoog, Medium, Fluctuerend, Afgeleid) in plaats van binaire classificaties (geconcentreerd/afgeleid).
4. Uitgebreide Evaluatie: Het artikel biedt een rigoureuze evaluatie over verschillende modaliteitscombinaties, klaslokaalscenario's (instructie, Q&A, activiteiten, transities) en ablatie-studies om de bijdragen van de modules te valideren.

Resultaten

• Algehele Prestaties: Het voorgestelde model behaalde een algemene nauwkeurigheid van 89,74%, een Macro-Precisie van 88,93%, een Macro-Recall van 88,41% en een Macro-F1-score van 88,62%. De AUC was 0,944.
• Vergelijking met Baselines: Het model presteerde beter dan typische unimodale (2D-CNN, BiLSTM) en fusie-baselines (Early/Late Fusion, standaard Transformer). Specifiek verbeterde het de nauwkeurigheid met 2,43% en de Macro-F1 met 2,11% ten opzichte van een standaard Transformer-baseline die alleen video en audio gebruikte.
• Impact van Modaliteiten: De tri-modale combinatie (Video + Audio + Pose) leverde de hoogste prestaties op. Het verwijderen van de pose-tak verminderde de nauwkeurigheid met 1,43%, terwijl het verwijderen van de cross-modale aandacht de nauwkeurigheid met 1,92% verminderde.
• Scenario-aanpasbaarheid: De prestaties varieerden per scenario, met de hoogste nauwkeurigheid bij door de docent geleide instructie (91,08%) en de laagste bij spelovergangen (85,96%), wat de verhoogde complexiteit en ruis in de laatste gevallen weerspiegelt.
• Ablatie-studies: De Transformer-backbone bleek superieur aan BiLSTM (2,18% verbetering), en cross-modale aandacht werd geïdentificeerd als de meest kritieke component voor prestatiewinst.

Betekenis en Claims
Het artikel claimt een technische basis te bieden voor de meting van aandachtstoestanden in kleuterklassen, waardoor het observeren van leerprocessen in plaats van enkel resultaten mogelijk wordt. De auteurs stellen dat hun methode aantoont dat:

• Multimodale fusie superieur is aan enkelvoudige modale technieken voor het vastleggen van continue veranderingen in aandacht in lawaaierige, dynamische omgevingen.
• Temporele modellering via Transformers effectiever is dan statische classificatie voor het afhandelen van gefragmenteerde gedragsketens en toestandsovergangen.
• De integratie van cross-modale aandacht en langetermijn-afhankelijkheidsmodellering essentieel is voor het verklaren van complex klaslokaalgedrag.

De auteurs hanteren een bescheiden standpunt met betrekking tot praktische toepassing, waarbij zij opmerken dat hoewel het model meetbare tijdsverdelingen van aandacht biedt, dit niet gelijkstaat aan een directe maatstaf voor leerresultaten of cognitieve interactie. Zij benadrukken dat toekomstig werk nodig is om privacy, implementatiekosten van apparatuur en generalisatie naar verschillende kinderdagverblijfomgevingen en hardwareconfiguraties aan te pakken.