Attention-Guided Dual-Stream Learning for Group Engagement Recognition: Fusing Transformer-Encoded Motion Dynamics with Scene Context via Adaptive Gating

Título: Aprendizado Dual-Stream Guiado por Atenção para Reconhecimento de Engajamento em Grupo: Fusão de Dinâmicas de Movimento Codificadas por Transformer com Contexto de Cena via Portão Adaptativo

1. Problema e Motivação

O reconhecimento de engajamento estudantil é crucial para melhorar os resultados de aprendizagem, especialmente em atividades em grupo. No entanto, a literatura atual apresenta lacunas significativas:

• Foco Individual vs. Coletivo: A maioria dos métodos automatizados existentes foi projetada para salas de aula online ou estima o engajamento apenas no nível individual, falhando em capturar a dinâmica coletiva e a sinergia social que definem o engajamento em grupo.
• Limitações de Cues (Pistas) Visuais: Métodos baseados apenas em expressões faciais ou estimativa de pose (esqueletos) são sensíveis a oclusões, iluminação variável e condições de "selvagem" (in-the-wild) típicas de salas de aula reais. Eles frequentemente perdem pistas sutis de sincronia de movimento e mudanças de postura.
• Necessidade de Contexto: O engajamento em grupo não é apenas a soma de indivíduos; envolve dinâmicas globais (como a sincronia do grupo e o ritmo do professor) que modelos focados apenas no indivíduo ignoram.

O objetivo deste trabalho é preencher essa lacuna propondo um sistema capaz de reconhecer níveis de engajamento (Alto, Médio, Baixo) em vídeos de sala de aula física, modelando o engajamento como uma função conjunta de comportamentos individuais e dinâmicas de grupo.

2. Metodologia: A Arquitetura DualEngage

Os autores propõem o DualEngage, um framework de duas correntes (streams) que integra dinâmicas de movimento individual com contexto global da cena.

A. Corrente Primária (Nível de Pessoa / Movimento)

Esta corrente foca na extração de características de movimento de cada aluno individualmente:

1. Detecção e Rastreamento: Utiliza bibliotecas da OpenMMLab (MMDetection e MMTrack) com Faster R-CNN e Deep SORT para detectar e rastrear alunos, atribuindo IDs estáveis e gerando "tubos de movimento" (motion tubes).
2. Extração de Fluxo Óptico: Em vez de usar keypoints de pose (que falham em oclusões), o sistema utiliza o modelo RAFT (Recurrent All-Pairs Field Transforms) para calcular fluxo óptico denso. Isso captura movimentos não rígidos e sutis mesmo com visibilidade parcial.
3. Codificação Temporal (Transformer): Os fluxos ópticos de cada aluno são processados por um Encoder Transformer compartilhado. Diferente de RNNs ou CNNs temporais, o Transformer utiliza mecanismos de autoatenção para modelar dependências de longo prazo nas sequências de movimento, capturando padrões comportamentais que evoluem gradualmente.
4. Agrupamento por Atenção (Attention Pooling): Em vez de uma média simples (que trata todos os alunos igualmente), aplica-se um pooling ponderado por atenção. Um mecanismo aprende a atribuir pesos de importância a cada aluno, focando naqueles com sinais comportamentais mais salientes para o engajamento.

B. Corrente Secundária (Nível de Cena / Contexto Global)

Esta corrente captura a dinâmica do grupo como um todo:

1. Codificador Global: Utiliza uma ResNet 3D-18 (R3D) pré-treinada no conjunto de dados Kinetics.
2. Entrada: Processa o clipe de vídeo completo (sem recortes individuais), extraindo características espaciais e temporais que representam a sincronia do grupo, o layout da sala e interações coletivas que não podem ser atribuídas a um único aluno.

C. Fusão Adaptativa (Softmax-Gated Fusion)

A etapa crítica de combinação não é uma concatenação simples, mas uma fusão com portão adaptativo:

• As representações das duas correntes são concatenadas e passadas por uma MLP leve para gerar dois pesos escalares ($\alpha$ e $\beta$) via função softmax.
• A representação final é uma combinação convexa: $h = \alpha \cdot M + \beta \cdot G$.
• Vantagem: O modelo aprende dinamicamente a ponderar qual stream é mais informativo para cada amostra. Por exemplo, se os alunos estiverem imóveis (movimento ambíguo), o modelo confia mais no contexto da cena ($\beta$); se houver padrões comportamentais discriminativos, confia mais no movimento individual ($\alpha$).

3. Contribuições Principais

1. Arquitetura Dual-Stream Inovadora: Primeiro trabalho em reconhecimento de engajamento em sala de aula a adotar explicitamente um design de duas correntes que combina pistas de movimento denso com contexto de cena global.
2. Modelagem de Movimento com Transformer: Uso de codificadores Transformer para capturar dependências temporais de longo alcance em fluxos ópticos densos de alunos individuais.
3. Agrupamento por Atenção: Introdução de um mecanismo de pooling que pondera a contribuição de cada aluno, evitando a diluição de sinais importantes em grupos grandes.
4. Fusão Guiada por Contexto: Proposta de uma fusão via softmax-gated que adapta a contribuição de cada stream baseada no contexto conjunto, superando a rigidez de fusões estáticas.
5. Validação Abrangente: Estudo de ablação detalhado que valida a necessidade de cada componente (stream individual, stream global, codificador temporal e mecanismo de fusão).

4. Resultados Experimentais

O modelo foi avaliado no conjunto de dados OUC-CGE (Ocean University of China), que contém vídeos de grupos de 7-9 alunos em salas de aula reais.

• Configuração: Validação cruzada de 5 dobras (5-fold cross-validation).
• Desempenho:
  • Acurácia Média: $0.9621 \pm 0.0161$
  • F1-Macro Médio: $0.9530 \pm 0.0204$
  • Recall Macro: $0.9561 \pm 0.0165$
• Análise de Ablação:
  • O modelo completo superou significativamente as variantes de stream único (apenas movimento: ~53% de acurácia; apenas cena: ~62% de acurácia).
  • A remoção do codificador temporal (Transformer) ou a substituição por LSTM/CNN 1D resultou em queda drástica de desempenho, confirmando a importância da modelação temporal de longo alcance.
  • A remoção do attention pooling e da fusão adaptativa reduziu a acurácia para ~88%, demonstrando que a ponderação inteligente dos alunos e das correntes é essencial.

5. Significado e Conclusão

O trabalho DualEngage estabelece um novo estado da arte para o reconhecimento de engajamento em grupos em ambientes físicos.

• Robustez: Ao combinar movimento individual (mesmo sob oclusão) com contexto global, o sistema é robusto a variações de iluminação, oclusão e comportamentos de grupo complexos.
• Inovação Técnica: A demonstração de que o engajamento de grupo é melhor modelado como uma função conjunta de ações locais e dinâmicas globais, gerida por mecanismos de atenção e fusão adaptativa, é um avanço conceitual importante.
• Aplicabilidade: O sistema oferece uma ferramenta escalável e automatizada para educadores monitorarem a participação em tempo real, superando as limitações de observação humana subjetiva e métodos baseados apenas em expressões faciais.

Limitações Futuras: O método tem um custo computacional elevado devido ao cálculo de fluxo óptico denso (RAFT) e à extração de tubos de movimento por aluno. Trabalhos futuros podem explorar a incorporação de pistas de olhar (gaze) e postura do professor para desambiguar casos de baixo movimento.