💻 computer science

A Method for Assessing Preschoolers’ Attention in the Classroom Based on a Multimodal Transformer

Este artigo propõe um método baseado em Transformer multimodal que integra dados de vídeo, áudio e atitude para avaliar de forma robusta os níveis de atenção de pré-escolares em sala de aula, demonstrando desempenho e estabilidade superiores em vários estados de foco em comparação com modelos de linha de base.

Autores originais: Miao Tian

Publicado 2026-06-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Miao Tian

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: Por que uma câmera não é suficiente

Imagine tentar entender o que uma criança na pré-escola está pensando apenas observando um filme mudo dela sentada em uma cadeira. Você pode vê-la olhando para o professor, mas não consegue ouvir se ela está cantarolando uma música e não consegue dizer se o corpo dela está inquieto de nervosismo. Se ela virar a cabeça levemente, a câmera pode perdê-la, ou uma sombra pode esconder seu rosto.

Este artigo argumenta que uma única forma de observar não é suficiente. Para saber verdadeiramente se uma criança está prestando atenção, você precisa ouvir a sala, observar o rosto dela e rastrear os movimentos do corpo, tudo ao mesmo tempo. Os autores construíram um sistema de "superespião" que combina esses três sentidos para descobrir exatamente o quão focada uma criança está.

Os Três "Sentidos" do Sistema

Os pesquisadores montaram uma sala de aula com equipamentos especiais para coletar três tipos de dados, como um detetive reunindo pistas:

Os Olhos (Vídeo): Câmeras de alta definição observam os rostos e as cabeças das crianças. O sistema rastreia para onde elas estão olhando e se seus olhos estão vagando.
Os Ouvidos (Áudio): Microfones ouvem a sala. Eles não apenas gravam o ruído; eles analisam o ritmo da voz do professor e as reações das crianças. Elas estão respondendo a uma pergunta? Há muita conversa paralela ao fundo?
O Corpo (Postura): O sistema rastreia o "esqueleto" da criança (como um desenho de palitinho). Ele vê se ela está se inclinando para frente, se mexendo inquietamente com as mãos ou se está virando todo o corpo para longe do professor.

O "Cérebro" da Operação: O Transformer Multimodal

Assim que o sistema possui esses três fluxos de dados, ele precisa de um cérebro para juntá-los. Os autores usaram um tipo de IA chamado Transformer Multimodal.

Pense nesta IA como um maestro de uma orquestra:

O Vídeo é a seção de violinos (detalhes visuais rápidos).
O Áudio é a percussão (ritmo e tempo).
A Postura é a seção de metais (movimentos amplos e abrangentes).

Se o maestro (a IA) apenas ouvisse os violinos, poderia perder o compasso. Mas ao ouvir todas as três seções ao mesmo tempo, o maestro consegue entender a música completa. Esta IA é especial porque não olha apenas para um segundo de vídeo; ela lembra o que aconteceu alguns segundos atrás e prevê o que pode acontecer a seguir. Ela entende que uma criança desviando o olhar por um breve segundo não é o mesmo que uma criança que está desviando o olhar por um minuto inteiro.

Os Quatro Estados de Atenção

O sistema tenta classificar cada criança em um de quatro "humores" ou estados:

Foco Alto: A criança está concentrada, com os olhos no professor e o corpo imóvel. (Como um feixe de laser).
Foco Médio: A criança está prestando atenção, mas pode estar sonhando acordada um pouco ou se movendo levemente. (Como uma brisa suave).
Atenção Flutuante: A criança está oscilando entre prestar atenção e se distrair. (Como um ioiô).
Distração Óbvia: A criança se desligou completamente, brincando com brinquedos ou conversando com amigos. (Como um rádio sintonizado em outra estação).

Como Eles Testaram

Os pesquisadores filmaram salas de aula reais de pré-escola durante diferentes atividades:

Lições lideradas pelo professor: Onde o professor fala e as crianças ouvem.
Sessões de perguntas e respostas: Onde as crianças levantam as mãos e respondem.
Atividades práticas: Onde as crianças estão se movendo e construindo coisas.
Transições de jogos: O tempo caótico quando as crianças estão mudando de uma atividade para outra.

Eles alimentaram a IA com milhares desses clipes de vídeo e compararam as previsões da IA com o que especialistas humanos disseram que as crianças estavam fazendo.

Os Resultados: O "Completo" Vence

O artigo afirma que seu novo sistema é o melhor neste trabalho. Aqui está o detalhamento:

Melhor que câmeras únicas: Um sistema que usava apenas vídeo tinha cerca de 81% de precisão. Adicionar som e rastreamento corporal elevou a precisão para quase 90%.
A vantagem do "Transformer": Seu modelo de IA específico (o Transformer) foi melhor em detectar o estado difícil de "Atenção Flutuante" do que modelos mais antigos. É como como um humano que lembra a história inteira de um filme entende melhor um personagem do que alguém que vê apenas uma cena.
Lidando com o caos: O sistema funcionou bem mesmo quando a sala de aula estava barulhenta ou quando as crianças estavam se movendo muito (como durante jogos), embora tenha sido ligeiramente menos preciso nesses momentos caóticos em comparação com lições tranquilas.

O Que o Artigo Não Diz

É importante ater-se ao que os autores realmente afirmaram:

Eles não disseram que este sistema pode dizer se uma criança é "estudiosa" ou "inteligente". Ele mede apenas a atenção, não a inteligência.
Eles não disseram que isso deve substituir os professores. É uma ferramenta para ajudar a observar o que está acontecendo na sala de aula.
Eles não alegaram que funciona perfeitamente em todas as pré-escolas do mundo ainda. Eles observaram que foi testado em salas específicas com câmeras específicas, e pode precisar de ajustes para diferentes ambientes.

A Conclusão

Este artigo apresenta uma nova maneira de "ouvir" uma sala de aula usando três sentidos em vez de um. Ao combinar vídeo, áudio e rastreamento corporal com uma IA inteligente que compreende o tempo e o contexto, os pesquisadores criaram uma ferramenta que pode dizer com precisão se uma criança da pré-escola está focada, distraída ou em algum lugar entre esses dois estados. É um passo para entender o mundo complexo, barulhento e dinâmico da educação infantil com mais precisão do que nunca.

Resumo Técnico: Um Método para Avaliar a Atenção de Pré-escolares em Sala de Aula Baseado em um Transformer Multimodal

Definição do Problema
O artigo aborda as limitações da observação visual unimodal em salas de aula de educação infantil, onde os sinais de atenção são facilmente obscurecidos por oclusão, ruído ou mudanças rápidas de cena. Os métodos existentes frequentemente lutam com dependências temporais intrincadas, carecem de acoplamento modal e possuem generalização limitada em ambientes educacionais dinâmicos. Os autores argumentam que avaliar a atenção de pré-escolares requer ir além de entradas de características estáticas e de fonte única para uma abordagem multimodal orientada ao processo, que capture a trajetória dos estados de aprendizagem individuais.

Metodologia
A solução proposta é uma estrutura baseada em um Transformer Multimodal projetada para avaliar estados de atenção fundindo dados de vídeo, áudio e postura.

Coleta e Pré-processamento de Dados:
- Configuração: Os dados foram coletados usando câmeras 4K (frontal/superior e traseira/lateral) e um arranjo de microfones de 6 canais, sincronizados com uma margem de erro de 40ms.
- Modalidades: O sistema processa três fluxos distintos:
  1. Visual: Orientação facial, direção do olhar e codificação de movimento dos membros superiores ( $d_v=256$ ).
  2. Áudio: Características do espectro Mel, energia de curto prazo e trajetórias de frequência fundamental ( $d_a=128$ ).
  3. Postura: Pose da cabeça e sequências geométricas de pontos-chave do tronco ( $d_p=96$ ).
- Amostragem: Os clipes são segmentados em janelas de 4 segundos (32 quadros a 8Hz) com uma janela deslizante de 2 segundos. Amostras com alta oclusão (>35%) ou perda de esqueleto (>20%) são filtradas.
- Anotação: Quatro estados de atenção são definidos: Altamente Focado, Moderadamente Focado, Atenção Flutuante e Claramente Distraído. As anotações baseiam-se em uma pontuação composta ( $S_i$ ) que integra o tempo gasto em objetivos, frequência de rotação da cabeça, movimentos não relacionados à tarefa e consistência de resposta. A concordância entre anotadores foi verificada usando o Kappa de Cohen ( $\kappa \geq 0,82$ ).
Arquitetura do Modelo:
- Backbone: Um codificador Transformer Multimodal composto por ramos de codificação visual e de áudio, uma camada de alinhamento cross-modal, um backbone temporal e uma cabeça de classificação.
- Alinhamento Cross-Modal: O modelo emprega um mecanismo de atenção bidirecional onde as representações visuais e de áudio interagem. Consultas (queries) são geradas de uma modalidade e chaves/valores (keys/values) da outra para criar características fundidas e aprimoradas.
- Modelagem Temporal: A sequência fundida ( $T=32$ ) passa por um backbone Transformer (4 camadas, 8 cabeças) para capturar dependências de longo alcance, utilizando autoatenção para modelar transições de estado (ex: "Olhar Sustentado — Desvio Curto — Retorno").
- Estratégia de Treinamento: O modelo utiliza uma função de perda combinada de entropia cruzada ponderada por categoria e Focal Loss ( $\gamma=2,0$ ) para lidar com o desequilíbrio de classes. O treinamento incorpora técnicas de robustez, como queda aleatória de quadros, simulação de perda de modalidade e injeção de ruído de fundo.

Principais Contribuições

Representação de Dados Tri-Modal: O estudo estabelece um fluxo de trabalho para coleta e alinhamento de dados de vídeo, áudio e postura especificamente para salas de aula de pré-escola, indo além das limitações da análise puramente visual.
Arquitetura Transformer Cross-Modal: Os autores desenvolveram um modelo capaz de alinhamento cross-modal e modelagem de dependência temporal, utilizando interação bidirecional para fundir informações heterogêneas de forma eficaz.
Classificação de Estado Granular: O sistema distingue com sucesso entre quatro estados de atenção matizados (Alto, Médio, Flutuante, Distraído) em vez de classificações binárias de focado/distraído.
Avaliação Abrangente: O artigo fornece uma avaliação rigorosa através de diferentes combinações de modalidades, cenários de sala de aula (instrução, Q&A, atividades, transições) e estudos de ablação para validar as contribuições dos módulos.

Resultos

Desempenho Geral: O modelo proposto alcançou uma acurácia geral de 89,74%, uma Precisão Macro de 88,93%, um Recall Macro de 88,41% e um escore F1 Macro de 88,62%. O AUC foi de 0,944.
Comparação com Baselines: O modelo superou os baselines típicos unimodais (2D-CNN, BiLSTM) e de fusão (Fusão Precoce/Tardia, Transformer padrão). Especificamente, melhorou a acurácia em 2,43% e o F1 Macro em 2,11% em relação a um baseline Transformer padrão usando apenas vídeo e áudio.
Impacto da Modalidade: A combinação tri-modal (Vídeo + Áudio + Pose) rendeu o maior desempenho. A remoção do ramo de pose reduziu a acurácia em 1,43%, enquanto a remoção da atenção cross-modal reduziu-a em 1,92%.
Adaptabilidade de Cenário: O desempenho variou por cenário, com a maior acurácia na instrução liderada pelo professor (91,08%) e a menor nas transições de jogos (85,96%), refletindo o aumento da complexidade e do ruído nestes últimos.
Estudos de Ablação: O backbone Transformer provou ser superior ao BiLSTM (melhora de 2,18%), e a atenção cross-modal foi identificada como o componente mais crítico para os ganhos de desempenho.

Significância e Alegações
O artigo afirma fornecer uma base técnica para a medição de estados de atenção em salas de aula de pré-escola, permitendo a observação de processos de aprendizagem em vez de apenas resultados. Os autores afirmam que seu método demonstra que:

A fusão multimodal é superior às técnicas unimodais para capturar mudanças contínuas de atenção em ambientes ruidosos e dinâmicos.
A modelagem temporal via Transformers é mais eficaz do que a classificação estática para lidar com cadeias de comportamento fragmentadas e transições de estado.
A integração da atenção cross-modal e da modelagem de dependência de longo prazo é essencial para explicar comportamentos complexos em sala de aula.

Os autores mantêm uma postura modesta quanto à aplicação prática, observando que, embora o modelo ofereça distribuições de tempo mensuráveis de atenção, isso não equivale a uma medida direta de resultados de aprendizagem ou interação cognitiva. Eles enfatizam que trabalhos futuros são necessários para abordar privacidade, custos de implementação de dispositivos e generalização entre diferentes ambientes de jardim de infância e configurações de hardware.