Resumo Técnico: Conjunto de Dados DIPSER para Reconhecimento de Engajamento Estudantil Presencial

Declaração do Problema

A aplicação de algoritmos de aprendizado profundo para avaliar a atenção do aluno em ambientes naturalistas ("in-the-wild") é dificultada pela escassez de conjuntos de dados multimodais de alta qualidade. Recursos existentes frequentemente sofrem limitações significativas:

• Artificialidade Contextual: Muitos conjuntos de dados, como o BAUM-1, são gravados em ambientes de laboratório com atores, potencialmente exagerando emoções e carecendo da imprevisibilidade de salas de aula reais.
• Limitações Remotas: Conjuntos de dados proeminentes como DAISEE e EmotiW dependem de gravações de sessões online. Estes carecem da capacidade de capturar interações físicas entre alunos, postura e contexto ambiental.
• Deficiências de Sensores: Conjuntos de dados atuais frequentemente omitem dados de Unidade de Medição Inercial (IMU) (por exemplo, frequência cardíaca, acelerômetros, giroscópios), impedindo a investigação de correlações entre métricas fisiológicas e atenção.
• Restrições Demográficas e Temporais: Coleções existentes frequentemente apresentam diversidade étnica limitada (por exemplo, sujeitos predominantemente indianos ou asiáticos) e durações de vídeo curtas (frequentemente abaixo de 5 minutos), o que restringe a generalizabilidade e a análise de engajamento sustentado.

Metodologia

O artigo apresenta o DIPSER (Conjunto de Dados para Reconhecimento de Engajamento Estudantil Presencial), um conjunto de dados multimodal abrangente capturado em ambientes de sala de aula autênticos na Universidade de Alicante.

Design Experimental

• Ambiente: Os dados foram coletados em uma sala de aula padrão dentro da Faculdade de Educação, envolvendo três grupos de estudantes pré-existentes (dois grupos de graduação em educação infantil e um grupo de mestrado).
• Sessões: Nove atividades experimentais distintas foram conduzidas, variando de palestras tradicionais e leitura de notícias a tempestades de ideias, experimentação com robótica e tarefas de design colaborativo.
• Duração: Cada sessão foi gravada por cinco minutos, proporcionando uma janela temporal mais substancial do que muitos conjuntos de dados existentes.

Configuração de Aquisição de Dados

A infraestrutura de captura utilizou um sistema centralizado baseado em unidades Raspberry Pi Model 4-B para gerenciar o fluxo de dados de múltiplas fontes:

• Dados Visuais:
  • Câmeras de Contexto: Até seis câmeras RGB de alta resolução (1280 × 720 pixels) capturaram o ambiente geral da sala de aula e a postura dos alunos a ~9 fps.
  • Câmeras Individuais: Cada aluno recebeu uma câmera dedicada (640 × 480 pixels) focada em seu rosto para capturar microexpressões a ~10 fps.
• Dados de Sensores: Cada participante usou um Samsung Galaxy Watch 5, transmitindo dados IMU (Aceleração Linear, Giroscópio, Sensor de Luz, Vetor de Rotação) e Frequência Cardíaca (Frequência Cardíaca) via uma rede Wi-Fi local para os Raspberry Pis.
• Sincronização: Um protocolo de sincronização personalizado garantiu que os carimbos de data e hora das câmeras e os dados dos sensores estivessem alinhados com uma discrepância inferior a 0,5 segundos, verificado por meio de mudanças forçadas de brilho.

Rotulagem e Anotação

• Verdade Terrena: Os rótulos de atenção e emoção foram gerados por meio de um processo rigoroso envolvendo quatro avaliadores especialistas e uma autoavaliação por aluno.
  • Atenção: Medida em uma escala de 1 a 5 (1 = baixa, 5 = máxima).
  • Emoção: Categorizada em nove classes (Prazer, Esperança, Orgulho, Alívio, Raiva, Ansiedade, Vergonha, Desespero, Tédio) com base nas escalas de Pekrun e Goldberg.
• Pré-processamento: O conjunto de dados inclui arquivos processados com caixas delimitadoras (rosto/corpo), estimativas demográficas (idade/gênero/etnia), malhas de rosto/mão, estimativa de olhar e pose da cabeça, gerados usando ferramentas como YOLO, MiVOLO, MediaPipe e DeepFace.

Contribuições Principais

1. Integração Multimodal: O DIPSER é o primeiro conjunto de dados a combinar vídeo RGB de alta resolução (tanto contextual quanto individual), dados de sensores IMU e rótulos detalhados de atenção/emoção dentro de um único ambiente educacional presencial.
2. Escala e Diversidade: O conjunto de dados compreende 1.311.761 imagens totalizando 3.080,73 minutos de gravação sem compressão. Inclui etnias sub-representadas (especificamente sujeitos caucasianos em contextos educacionais ocidentais) e níveis educacionais diversos.
3. Anotação Abrangente: Além dos dados brutos, o lançamento inclui metadados extensos, incluindo caixas delimitadoras pré-calculadas, marcos de malha e rótulos de múltiplos avaliadores, facilitando a aplicação imediata em pesquisas de aprendizado de máquina.
4. Validade do Mundo Real: Diferentemente de conjuntos de dados baseados em laboratório ou online, o DIPSER captura a complexidade de interações "in-the-wild", incluindo movimento dos alunos, colaboração e dinâmicas variadas de sala de aula.

Resultados e Validação Técnica

O artigo apresenta uma validação qualitativa e quantitativa da confiabilidade do conjunto de dados:

• Sincronização: Verificou-se que a discrepância de tempo entre os carimbos de data e hora da câmera e do sensor é negligenciável (<0,5s).
• Completude: Confirmou-se que o conjunto de dados captura todos os atributos pretendidos, incluindo indicadores biométricos e estados emocionais.
• Consistência: Os métodos de coleta de dados foram uniformes em todas as sessões, sem ausência significativa de dados atribuída a falhas do sistema, além da variabilidade aleatória esperada.
• Integridade dos Dados: A estrutura do conjunto de dados foi validada para garantir recuperação eficiente, com tipos e formatos de dados consistentes em todas as sessões.

Significância

Os autores posicionam o DIPSER como um recurso crítico para avançar o campo da computação afetiva e mineração de dados educacionais. Ao abordar as deficiências de conjuntos de dados anteriores — especificamente a falta de sensores fisiológicos, a artificialidade de ambientes de laboratório e as limitações de gravações apenas online — o DIPSER permite:

• O treinamento de modelos de aprendizado profundo que podem generalizar para cenários reais de sala de aula.
• A investigação da correlação entre métricas fisiológicas (frequência cardíaca, movimento) e estados cognitivos (atenção, emoção).
• A análise do engajamento dos alunos em diversos contextos educacionais e grupos demográficos.

O conjunto de dados está disponível publicamente sob uma licença CC-BY, com diretrizes éticas estritas garantindo que os dados sejam usados exclusivamente para fins acadêmicos e de pesquisa, aderindo à Declaração de Helsinki e às aprovações do comitê de ética da Universidade de Alicante.