A Method for Assessing Preschoolers’ Attention in the Classroom Based on a Multimodal Transformer

Sintesi Tecnica: Un Metodo per la Valutazione dell'Attenzione dei Bambini in Età Prescolare in Classe Basato su un Transformer Multimodale

Problematica
Il documento affronta i limiti dell'osservazione visiva unimodale nelle classi dell'infanzia, dove i segnali di attenzione sono facilmente oscurati da occlusioni, rumore o rapidi cambiamenti della scena. I metodi esistenti spesso faticano a gestire complesse dipendenze temporali, mancano di accoppiamento modale e presentano una generalizzazione limitata in contesti educativi dinamici. Gli autori sostengono che la valutazione dell'attenzione dei bambini in età prescolare richieda di andare oltre l'input di caratteristiche statiche e a singola fonte, verso un approccio multimodale e orientato al processo che catturi la traiettoria dei singoli stati di apprendimento.

Metodologia
La soluzione proposta è un framework basato su un Transformer Multimodale progettato per valutare gli stati di attenzione fondendo dati video, audio e di postura.

• Raccolta e Preelaborazione dei Dati:

  • Configurazione: I dati sono stati raccolti utilizzando telecamere 4K (frontale/superiore e posteriore/laterale) e un array di microfoni a 6 canali, sincronizzati con un margine di errore di 40 ms.
  • Modalità: Il sistema elabora tre flussi distinti:
    1. Visivo: Orientamento del volto, direzione dello sguardo e codifica del movimento degli arti superiori ($d_v=256$).
    2. Audio: Caratteristiche dello spettro Mel, energia a breve termine e traiettorie della frequenza fondamentale ($d_a=128$).
    3. Postura: Posizione della testa e sequenze geometriche dei punti chiave del torso ($d_p=96$).
  • Campionamento: Le clip sono segmentate in finestre di 4 secondi (32 fotogrammi a 8Hz) con una finestra scorrevole di 2 secondi. I campioni con alta occlusione (>35%) o perdita dello scheletro (>20%) vengono filtrati.
  • Annotazione: Sono definiti quattro stati di attenzione: Altamente Focalizzato, Moderatamente Focalizzato, Attenzione Fluttuante e Chiaramente Distratto. Le annotazioni si basano su un punteggio composito ($S_i$) che integra il tempo trascorso sugli obiettivi, la frequenza dei movimenti della testa, i movimenti non legati al compito e la coerenza della risposta. L'accordo inter-annotatore è stato verificato tramite il Kappa di Cohen ($\kappa \geq 0.82$).

• Architettura del Modello:

  • Backbone: Un encoder Transformer Multimodale composto da rami di codifica visiva e audio, uno strato di allineamento cross-modale, un backbone temporale e un modulo di classificazione.
  • Allineamento Cross-Modale: Il modello impiega un meccanismo di attenzione bidirezionale in cui le rappresentazioni visive e audio interagiscono. Le query sono generate da una modalità e le chiavi/valori dall'altra per creare caratteristiche fuse e potenziate.
  • Modellazione Temporale: La sequenza fusa ($T=32$) passa attraverso un backbone Transformer (4 strati, 8 teste) per catturare dipendenze a lungo raggio, utilizzando l'auto-attenzione per modellare le transizioni di stato (ad es., "Sguardo Sostenuto — Breve Deviazione — Ritorno").
  • Strategia di Addestramento: Il modello utilizza una funzione di perdita combinata di cross-entropy pesata per categoria e Focal Loss ($\gamma=2.0$) per affrontare lo sbilanciamento delle classi. L'addestramento incorpora tecniche di robustezza come il drop casuale dei fotogrammi, la simulazione di perdita modale e l'iniezione di rumore di fondo.

Contributi Chiave

1. Rappresentazione dei Dati Tri-Modale: Lo studio stabilisce un flusso di lavoro per la raccolta e l'allineamento dei dati video, audio e di postura specificamente per le classi della scuola dell'infanzia, andando oltre i limiti dell'analisi esclusivamente visiva.
2. Architettura Transformer Cross-Modale: Gli autori hanno sviluppato un modello capace di allineamento cross-modale e modellazione delle dipendenze temporali, utilizzando l'interazione bidirezionale per fondere efficacemente informazioni eterogenee.
3. Classificazione Fine-Grained degli Stati: Il sistema distingue con successo tra quattro stati di attenzione sfumati (Alto, Medio, Fluttuante, Distratto) piuttosto che semplici classificazioni binarie focalizzato/distratto.
4. Valutazione Comprensiva: Il documento fornisce una valutazione rigorosa attraverso diverse combinazioni di modalità, scenari in classe (istruzione, Q&A, attività, transizioni) e studi di ablazione per validare i contributi dei moduli.

Risultati

• Prestazioni Complessive: Il modello proposto ha raggiunto un'accuratezza complessiva dell'89,74%, una Precisione Macro dell'88,93%, un Recall Macro dell'88,41% e un punteggio F1 Macro dell'88,62%. L'AUC è stato di 0,944.
• Confronto con i Baseline: Il modello ha superato i tipici baseline unimodali (2D-CNN, BiLSTM) e di fusione (Early/Late Fusion, Transformer standard). Nello specifico, ha migliorato l'accuratezza del 2,43% e il Macro-F1 del 2,11% rispetto a un baseline Transformer standard che utilizzava solo video e audio.
• Impatto delle Modalità: La combinazione tri-modale (Video + Audio + Pose) ha prodotto le prestazioni più elevate. Rimuovendo il ramo della postura, l'accuratezza è diminuita dell'1,43%, mentre rimuovendo l'attenzione cross-modale, è diminuita dell'1,92%.
• Adattabilità agli Scenari: Le prestazioni variano in base allo scenario, con l'accuratezza più alta nell'istruzione guidata dall'insegnante (91,08%) e la più bassa nelle transizioni di gioco (85,96%), riflettendo l'aumento della complessità e del rumore in queste ultime.
• Studi di Ablazione: Il backbone Transformer si è dimostrato superiore al BiLSTM (miglioramento del 2,18%) e l'attenzione cross-modale è stata identificata come il componente più critico per il guadagno di prestazioni.

Significato e Rivendicazioni
Il documento sostiene di fornire una base tecnica per la misurazione degli stati di attenzione nelle classi della scuola dell'infanzia, consentendo l'osservazione dei processi di apprendimento piuttosto che dei soli risultati. Gli autori affermano che il loro metodo dimostra che:

• La fusione multimodale è superiore alle tecniche unimodali per catturare i cambiamenti continui dell'attenzione in ambienti rumorosi e dinamici.
• La modellazione temporale tramite Transformer è più efficace della classificazione statica per gestire catene di comportamento frammentate e transizioni di stato.
• L'integrazione dell'attenzione cross-modale e della modellazione delle dipendenze a lungo termine è essenziale per spiegare i complessi comportamenti in classe.

Gli autori mantengono una posizione modesta riguardo l'applicazione pratica, osservando che, sebbene il modello offra distribuzioni temporali misurabili dell'attenzione, ciò non equivale a una misura diretta dei risultati di apprendimento o dell'interazione cognitiva. Essi sottolineano che sono necessari lavori futuri per affrontare la privacy, i costi di implementazione dei dispositivi e la generalizzazione tra diversi ambienti e configurazioni hardware della scuola dell'infanzia.