Attention-Guided Dual-Stream Learning for Group Engagement Recognition: Fusing Transformer-Encoded Motion Dynamics with Scene Context via Adaptive Gating

1. Planteamiento del Problema

El reconocimiento del compromiso estudiantil es vital para mejorar los resultados de aprendizaje, especialmente en actividades grupales. Sin embargo, la literatura existente presenta varias limitaciones críticas:

• Enfoque individual: La mayoría de los métodos automatizados se centran en estudiantes individuales o en entornos de clases en línea, ignorando la dinámica colectiva.
• Dependencia de señales frágiles: Muchos sistemas dependen de expresiones faciales o posturas (esqueletos) que son sensibles a oclusiones, iluminación variable y ángulos de cámara en aulas reales.
• Falta de contexto grupal: Los modelos actuales a menudo fallan al reconocer el compromiso a nivel de grupo porque no capturan las interacciones sociales, la sincronización colectiva y los patrones de movimiento sutiles que definen la participación grupal.
• Brecha de investigación: Existe una necesidad urgente de un marco que modele el compromiso como una función conjunta de las dinámicas de movimiento individuales y el contexto de la escena global.

2. Metodología: DualEngage

Los autores proponen DualEngage, un marco innovador de dos corrientes (two-stream) diseñado para reconocer el compromiso grupal a partir de videos de aula. La arquitectura integra dos ramas principales que se fusionan adaptativamente:

A. Corriente Primaria: Dinámicas de Movimiento a Nivel de Persona

Esta rama se centra en extraer y modelar el comportamiento individual de cada estudiante:

1. Detección y Seguimiento: Se utiliza una tubería basada en OpenMMLab (Faster R-CNN con ResNet-50 y Deep SORT) para detectar y rastrear a los estudiantes, asignando IDs únicos.
2. Extracción de Flujo Óptico: En lugar de usar puntos clave (que fallan con oclusiones), se emplea la red RAFT (Recurrent All-Pairs Field Transforms) para generar mapas de flujo óptico denso. Esto captura movimientos no rígidos y sutiles incluso con visibilidad parcial.
3. Codificación Temporal con Transformadores: Los "tubos de movimiento" (secuencias de flujo óptico por estudiante) se procesan mediante un codificador Transformer compartido. Esto permite modelar dependencias de largo alcance en el tiempo, superando las limitaciones de las RNNs (decadencia de información) y las TCNs (campos receptivos fijos).
4. Agrupación por Atención (Attention Pooling): En lugar de un promedio simple, se aplica un mecanismo de atención sobre las incrustaciones de cada estudiante. Esto asigna pesos de importancia aprendidos, dando más relevancia a los estudiantes con señales de comportamiento más salientes.

B. Corriente Secundaria: Contexto de Escena Global

Esta rama captura la dinámica colectiva que no puede atribuirse a un solo individuo:

1. Extracción de Características: Se utiliza una red ResNet-3D (R3D-18) preentrenada en Kinetics para procesar el clip de video completo.
2. Propósito: Captura la sincronización del grupo, el ritmo del profesor, los cambios de interacción compartida y la disposición espacial general. Es invariante al número de estudiantes.

C. Fusión Adaptativa con Puertas (Softmax-Gated Fusion)

En lugar de una concatenación estática, el modelo propone una fusión dinámica:

• Se concatenan las representaciones de ambas corrientes ($M$ y $G$) y se pasan por una MLP ligera para generar dos pesos escalares ($\alpha$ y $\beta$) mediante una función softmax.
• La representación final es una combinación convexa: $h = \alpha \cdot M + \beta \cdot G$.
• Ventaja: El modelo aprende a ponderar dinámicamente qué corriente es más informativa para cada muestra. Por ejemplo, si el movimiento individual es ambiguo (estudiantes quietos), el modelo confía más en el contexto de la escena; si los patrones de comportamiento son claros, prioriza la corriente de movimiento.

3. Contribuciones Clave

1. Arquitectura Dual-Nueva: Primer diseño que modela explícitamente el compromiso grupal como una función conjunta de dinámicas de movimiento individuales y contexto de escena.
2. Uso de Flujo Óptico Denso con RAFT: Superación de las limitaciones de los métodos basados en esqueletos en entornos con oclusiones y multitudes.
3. Codificación Temporal con Transformadores: Aplicación exitosa de Transformers para capturar dependencias temporales de largo plazo en el comportamiento estudiantil.
4. Agrupación por Atención: Mecanismo para identificar y enfatizar a los estudiantes más activos en lugar de tratar a todos por igual.
5. Fusión con Puertas Adaptativas: Estrategia que permite al modelo compensar la ambigüedad de una corriente utilizando la otra, mejorando la robustez.

4. Resultados Experimentales

El modelo se evaluó utilizando el conjunto de datos OUC-CGE (Ocean University of China Classroom Group Engagement), que contiene 6,700 clips de video etiquetados en tres niveles: Alto, Medio y Bajo.

• Métricas de Desempeño:
  • Precisión Promedio (Accuracy): $0.9621 \pm 0.0161$
  • F1 Macro Promedio: $0.9530 \pm 0.0204$
  • Recall Macro: $0.9561 \pm 0.0165$
• Estudio de Ablación:
  • El modelo completo superó significativamente a las variantes de una sola corriente (Solo Corriente Primaria: ~53% de precisión; Solo Corriente Secundaria: ~62%).
  • La eliminación del codificador temporal (Transformador) o el reemplazo por LSTM/1D CNN resultó en una caída drástica del rendimiento, confirmando la necesidad de modelado temporal avanzado.
  • La eliminación de la agrupación por atención y la fusión con puertas redujo el F1 macro a ~0.87, demostrando la importancia de estos componentes.

5. Significado y Conclusión

El trabajo DualEngage representa un avance significativo en el reconocimiento automatizado del compromiso en aulas físicas.

• Innovación: Demuestra que el movimiento (flujo óptico) es un indicador robusto del compromiso, incluso cuando las señales faciales o de postura fallan.
• Robustez: La capacidad de adaptar la fusión de características según el contexto de la muestra permite manejar casos difíciles, como grupos muy quietos pero comprometidos (alta sincronización) o grupos ruidosos pero desconectados.
• Limitaciones y Futuro: El enfoque tiene un costo computacional elevado debido al cálculo del flujo óptico denso y la detección de personas. Futuras investigaciones podrían integrar señales de la mirada (gaze) o acciones del profesor para resolver ambigüedades en situaciones de muy bajo movimiento.

En resumen, este estudio establece un nuevo estándar para el análisis de dinámicas grupales en educación, demostrando que la combinación de micro-dinámicas individuales y macro-contexto de escena es esencial para una evaluación precisa del compromiso estudiantil.