A Method for Assessing Preschoolers’ Attention in the Classroom Based on a Multimodal Transformer

Resumen Técnico: Un método para la evaluación de la atención en preescolares en el aula basado en un Transformer multimodal

Planteamiento del problema
El artículo aborda las limitaciones de la observación visual unimodal en las aulas de educación infantil, donde las señales de atención pueden verse fácilmente oscurecidas por oclusiones, ruido o cambios rápidos en la escena. Los métodos existentes suelen tener dificultades con las dependencias temporales intrincadas, carecen de acoplamiento modal y presentan una generalización limitada en entornos educativos dinámicos. Los autores argumentan que evaluar la atención de los preescolares requiere ir más allá de las entradas de características estáticas y de una sola fuente para adoptar un enfoque multimodal orientado al proceso que capture la trayectoria de los estados de aprendizaje individuales.

Metodología
La solución propuesta es un marco basado en un Transformer Multimodal diseñado para evaluar los estados de atención mediante la fusión de datos de video, audio y postura.

• Recopilación y preprocesamiento de datos:

  • Configuración: Los datos se recopilaron utilizando cámaras 4K (frontal/superior y trasera/lateral) y un arreglo de micrófonos de 6 canales, sincronizados con un margen de error de 40 ms.
  • Modalidades: El sistema procesa tres flujos distintos:
    1. Visual: Orientación facial, dirección de la mirada y codificación del movimiento de las extremidades superiores ($d_v=256$).
    2. Audio: Características del espectro Mel, energía a corto plazo y trayectorias de la frecuencia fundamental ($d_a=128$).
    3. Postura: Secuencias geométricas de la pose de la cabeza y puntos clave del torso ($d_p=96$).
  • Muestreo: Los clips se segmentan en ventanas de 4 segundos (32 fotogramas a 8Hz) con una ventana deslizante de 2 segundos. Se filtran las muestras con alta oclusión (>35%) o pérdida de esqueleto (>20%).
  • Anotación: Se definen cuatro estados de atención: Altamente Enfocado, Moderadamente Enfocado, Atención Fluctuante y Claramente Distraído. Las anotaciones se basan en una puntuación compuesta ($S_i$) que integra el tiempo dedicado a los objetivos, la frecuencia de giro de la cabeza, los movimientos no relacionados con la tarea y la consistencia de la respuesta. El acuerdo entre anotadores se verificó mediante el Kappa de Cohen ($\kappa \geq 0.82$).

• Arquitectura del modelo:

  • Backbone (Columna vertebral): Un codificador Transformer Multimodal que comprende ramas de codificación visual y de audio, una capa de alineación transmodal, un backbone temporal y una cabeza de clasificación.
  • Alineación Transmodal: El modelo emplea un mecanismo de atención bidireccional donde las representaciones visuales y de audio interactúan. Las consultas (queries) se generan de una modalidad y las claves/valores (keys/values) de la otra para crear características fusionadas y mejoradas.
  • Modelado Temporal: La secuencia fusionada ($T=32$) pasa a través de un backbone de Transformer (4 capas, 8 cabezales) para capturar dependencias de largo alcance, utilizando la autoatención para modelar las transiciones de estado (por ejemplo, "Mirada Sostenida — Desviación Corta — Regreso").
  • Estrategia de Entrenamiento: El modelo utiliza una función de pérdida combinada de entropía cruzada ponderada por categoría y Focal Loss ($\gamma=2.0$) para abordar el desequilibrio de clases. El entrenamiento incorpora técnicas de robustez como el descarte aleatorio de fotogramas, la simulación de pérdida de modalidad e inyección de ruido de fondo.

Contribuciones Clave

1. Representación de Datos Tri-modal: El estudio establece un flujo de trabajo para la recopilación y alineación de datos de video, audio y postura específicamente para aulas de preescolar, yendo más allá de las limitaciones del análisis exclusivamente visual.
2. Arquitectura Transformer Transmodal: Los autores desarrollaron un modelo capaz de alineación transmodal y modelado de dependencia temporal, utilizando la interacción bidireccional para fusionar información heterogneamente de manera efectiva.
3. Clasificación de Estados de Grano Fino: El sistema distingue con éxito entre cuatro estados de atención matizados (Alto, Medio, Fluctuante, Distraído) en lugar de clasificaciones binarias de enfocado/distraído.
4. Evaluación Exhaustiva: El artículo proporciona una evaluación rigurosa a través de diferentes combinaciones de modalidades, escenarios de aula (instrucción, preguntas y respuestas, actividades, transiciones) y estudios de ablación para validar las contribuciones de los módulos.

Resultados

• Rendimiento General: El modelo propuesto alcanzó una precisión general del 89.74%, una Precisión Macro de 88.93%, un Recall Macro de 88.41% y una puntuación F1 Macro de 88.62%. El AUC fue de 0.944.
• Comparación con Baselines: El modelo superó a los baselines típicos unimodales (2D-CNN, BiLSTM) y de fusión (Fusión Temprana/Tardía, Transformer estándar). Específicamente, mejoró la precisión en un 2.43% y el F1 Macro en un 2.11% respecto a un baseline de Transformer estándar que utilizaba solo video y audio.
• Impacto de la Modalidad: La combinación tri-modal (Video + Audio + Pose) produjo el rendimiento más alto. Eliminar la rama de pose redujo la precisión en un 1.43%, mientras que eliminar la atención transmodal la redujo en un 1.92%.
• Adaptabilidad de Escenarios: El rendimiento varió según el escenario, con la mayor precisión en la instrucción dirigida por el docente (91.08%) y la menor en las transiciones de juego (85.96%), lo que refleja la mayor complejidad y ruido en estas últimas.
• Estudios de Ablación: El backbone de Transformer demostró ser superior a BiLSTM (mejora del 2.18%), y la atención transmodal fue identificada como el componente más crítico para las ganancias de rendimiento.

Significancia y Reivindicaciones
El artículo afirma proporcionar una base técnica para la medición de los estados de atención en las aulas de preescolar, permitiendo la observación de los procesos de aprendizaje en lugar de solo los resultados. Los autores sostienen que su método demuestra que:

• La fusión multimodal es superior a las técnicas unimodales para capturar cambios continuos de atención en entornos ruidosos y dinámicos.
• El modelado temporal mediante Transformers es más efectivo que la clasificación estática para manejar cadenas de comportamiento fragmentadas y transiciones de estado.
• La integración de la atención transmodal y el modelado de dependencia a largo plazo es esencial para explicar comportos complejos en el aula.

Los autores mantienen una postura modesta respecto a la aplicación práctica, señalando que, si bien el modelo ofrece distribuciones de tiempo medibles, esto no equivale a una medida directa de los resultados de aprendizaje o la interacción cognitiva. Enfatizan que se necesita trabajo futuro para abordar la privacidad, los costos de implementación de dispositivos y la generalización a través de diferentes entornos de jardín de infancia y configuraciones de hardware.