Resumo Técnico: EduGage: Métodos e Conjunto de Dados para Avaliação Momentânea de Engajamento Baseada em Sensores no Aprendizado de Vídeo Autoguiado

Declaração do Problema

A eficácia da aprendizagem depende fortemente do engajamento do aprendiz, um construto multidimensional que envolve dimensões comportamentais, emocionais e cognitivas. No entanto, o engajamento é difícil de medir porque essas dimensões frequentemente não se alinham e não são diretamente observáveis; por exemplo, um aprendiz pode parecer comportamentalmente atento enquanto divaga mentalmente. Embora trabalhos anteriores tenham explorado a detecção automática de engajamento usando sinais visuais e fisiológicos, a maioria dos estudos foca em ambientes de sala de aula, classificações em nível de sessão mais amplas ou anotações grosseiras baseadas em observadores. Existe uma lacuna significativa na compreensão de se a sensoriamento vestível pode suportar o rastreamento de engajamento fino e em nível de segmento em contextos de aprendizado de vídeo autoguiado e assíncrono. Em tais configurações, os aprendizes devem autorregular a atenção sem feedback contínuo do instrutor, tornando crucial identificar momentos específicos de desengajamento em vez de depender de pontuações agregadas de sessão. Além disso, permanece incerto quais configurações de sensoriamento oferecem o melhor equilíbrio entre valor preditivo e viabilidade de implantação prática.

Metodologia

Desenho do Estudo e Conjunto de Dados (EduGage)

Os autores conduziram um estudo com usuários envolvendo 16 participantes universitários em um ambiente de laboratório projetado para aproximar o aprendizado de vídeo autoguiado. Os participantes assistiram a quatro vídeos instrucionais (aproximadamente 10 minutos cada) da Biblioteca de Aprendizado Aberto do MIT em quatro domínios (Raios-X, Engenharia Aeroespacial, Ciência Ambiental, Negócios).

• Configuração de Sensoriamento: Os participantes usaram múltiplos dispositivos simultâneos para capturar uma ampla gama de sinais fisiológicos e comportamentais:
  • EEG: Muse S Athena (256 Hz).
  • ECG: Faixa torácica Polar H10 (130 Hz).
  • PPG e Temperatura: $\tau$-Ring (25 Hz) e Muse S Athena (64 Hz).
  • EDA e Frequência Cardíaca: Microsoft Band 2 (5 Hz EDA, 2 Hz FC).
  • IMU: Muse S Athena (52 Hz) e dispositivo auditivo eSense (50 Hz).
  • Rastreamento Ocular: Beam Eye Tracker baseado em webcam (30 Hz).
• Verdade Terrena: O engajamento foi medido por meio de Avaliação Momentânea Ecológica (EMA). Aproximadamente a cada minuto, o vídeo pausava e os participantes forneciam uma autoavaliação de item único em uma escala Likert de 5 pontos sobre a "dificuldade de prestar atenção" durante o segmento precedente. Pontuações mais baixas indicavam atenção sem esforço; pontuações mais altas indicavam alto esforço/dificuldade.
• Conjunto de Dados: O resultante conjunto de dados EduGage contém 64 sessões de vídeo, 715 janelas alinhadas às sondas e aproximadamente 12 horas de gravações multimodais sincronizadas. Inclui fluxos de sensores, rótulos alinhados às sondas, metadados de vídeo e resultados de quizzes.

Framework de Modelagem

Os autores desenvolveram um framework de previsão de engajamento multimodal operando em janelas alinhadas às sondas (44 segundos anteriores a cada sonda).

• Arquitetura: O modelo emprega codificadores temporais específicos de modalidade para gerar embeddings latentes para cada fluxo de sensor.
• Mecanismo de Portão: Um módulo de fusão com portão informado por contexto pondera adaptativamente a contribuição de cada modalidade com base em seu embedding e no contexto de progresso do vídeo. Isso permite que o modelo lide com qualidade de sinal heterogênea e dados ausentes aprendendo pesos de contribuição suaves, em vez de forçar uma fusão precoce.
• Previsão: A representação fundida é mapeada para uma pontuação escalar de engajamento por meio de uma cabeça de regressão.

Avaliação Experimental

O framework foi avaliado usando validação cruzada de 4 dobras baseada em participantes. Foi comparado contra:

1. Baselines sem sensores: Amostragem de média, moda e distribuição aleatória.
2. Regressores estatísticos: Random Forest, Regressão Linear, LightGBM e SVM em características criadas manualmente.
3. Baselines temporais profundas: DeepConvLSTM, DeepConvLSTM com Auto-Atenção e TinyHAR em sequências brutas.
4. Transferência de modelos fundamentais: Uso de codificadores congelados (PulsePPG, ECGFounder, NeuroLM, NormWear, MOMENT) com cabeças de fusão linear ou com portão.
5. Raciocínio few-shot baseado em LLM: Um framework multiagente usando GPT-5-mini para raciocinar sobre resumos estruturados de sensores.

Resultados Principais

• Desempenho: O framework consciente de modalidade proposto alcançou o melhor desempenho em todas as métricas:
  • MAE: 0,81 (vs. 1,03 para o melhor regressor estatístico e 1,12 para a melhor baseline profunda).
  • Acurácia Within-1: 83,75%.
  • Acurácia Binária: 73,93%.
  • Macro-F1 Binário: 68,45%.
• Comparações com Baselines:
  • O modelo superou significativamente as baselines sem sensores e os regressores estatísticos, indicando que as dinâmicas temporais brutas e a integração específica de modalidade capturam sinais de engajamento significativos.
  • Modelos fundamentais (codificadores congelados) tiveram desempenho inferior ao modelo supervisionado específico da tarefa (MAE 1,25–1,54), sugerindo que o pré-treinamento geral de biosinais não se transfere automaticamente para a estimativa de engajamento fino sem adaptação específica da tarefa.
  • Raciocínio few-shot baseado em LLM falhou em capturar distinções finas (MAE 1,42), indicando que o raciocínio em contexto sobre resumos estruturados é insuficiente para esta tarefa em comparação com o aprendizado supervisionado.
• Análise de Modalidade:
  • A configuração multimodal completa produziu o melhor equilíbrio geral.
  • O PPG do anel foi identificado como a modalidade única mais crítica; sua remoção causou a maior queda de desempenho.
  • Sinais EEG do Muse e IMU também contribuíram significativamente.
  • Configurações apenas EDA alcançaram alta acurácia within-1, mas menor Macro-F1 binário, sugerindo que a EDA captura tendências gerais de excitação grosseira, mas luta para distinguir estados específicos de dificuldade de atenção.
  • Redundância: A remoção do PPG do Muse teve um efeito mínimo, sugerindo redundância com outros fluxos cardiovasculares.

Significado e Afirmações

O artigo afirma que a estimativa de engajamento fino é viável, mas inerentemente ruidosa. Os resultados demonstram que sinais vestíveis e contextuais podem aproximar as dinâmicas de engajamento momento a momento, embora não se espere concordância perfeita com autorrelatos subjetivos devido à natureza latente do engajamento e à indireção dos sinais fisiológicos.

As principais contribuições incluem:

1. O Conjunto de Dados EduGage: Uma liberação de dados de sensores multimodais sincronizados com autorrelatos densos em nível de segmento, abordando a falta de conjuntos de dados de aprendizado autoguiado e fino no campo.
2. Insight Metodológico: Evidência de que a integração consciente de modalidade (preservando a estrutura específica do fluxo antes da fusão) supera a fusão precoce simples ou a transferência de aprendizado de modelos fundamentais para esta tarefa específica.
3. Orientação de Implantação: O estudo sugere que sistemas práticos não requerem instrumentação multimodal completa. Em vez disso, combinações leves de sinais comportamentais (ex: rastreamento ocular) e fisiológicos (ex: PPG, EDA) podem oferecer um equilíbrio suficiente entre desempenho preditivo e carga de implantação.
4. Aplicação Prática: Os autores postulam que tais sistemas podem apoiar a aprendizagem adaptativa identificando momentos de dificuldade sustentada de atenção, permitindo intervenções direcionadas (ex: solicitar reflexão ou revisão) sem substituir o papel dos professores.

Os autores mantêm uma postura modesta, reconhecendo que seu estudo foi conduzido em um ambiente de laboratório controlado e que trabalhos futuros devem estender essas descobertas para ambientes maiores e mais naturalísticos. Eles enfatizam que as estimativas de engajamento devem ser tratadas como indicadores incertos, em vez de julgamentos definitivos.