Toward using Speech to Sense Student Emotion in Remote Learning Environments

Each language version is independently generated for its own context, not a direct translation.

Imagine que você é um professor dando uma aula online. No mundo real, quando um aluno está entediado, confuso ou empolgado, você vê isso no rosto dele: um bocejo, um olhar perdido ou um sorriso largo. Mas no ensino remoto, especialmente quando o aluno responde sozinho a perguntas sem ver ninguém, você fica "cego" para essas emoções. É como tentar dirigir um carro com os olhos vendados; você sabe que o carro está andando, mas não sabe se o passageiro está com medo ou se está curtindo a viagem.

Este artigo de pesquisa é como um super-herói que tenta ler a mente (ou melhor, a voz) dos alunos para descobrir como eles estão se sentindo, mesmo sem vê-los.

Aqui está a história simplificada do que eles fizeram:

1. O Problema: A Sala de Aula Invisível

Os autores trabalharam com uma universidade suíça de ensino à distância. Eles perceberam que, quando os alunos respondem a exercícios de "autocontrole" (perguntas abertas onde eles explicam o que aprenderam), eles geralmente escrevem textos. Mas texto é frio; ele não mostra se a pessoa está frustrada, animada ou cansada.

A ideia genial foi: "E se, em vez de digitar, os alunos falassem suas respostas?"

2. A Coleta de Dados: O "Gravador de Sentimentos"

Eles criaram um sistema onde os alunos gravavam suas respostas em voz alta para perguntas abertas. Não era uma conversa com um professor, nem um discurso ensaiado. Era um monólogo espontâneo, como se o aluno estivesse pensando em voz alta para si mesmo.

Eles coletaram quase 5 horas de áudio de 56 alunos diferentes. Imagine que cada aluno deixou um "rastro de voz" de como se sentia enquanto tentava resolver um problema de gestão de projetos ou informática.

3. O Desafio: A Voz é Expressiva o Suficiente?

A grande dúvida dos pesquisadores era: Será que a voz de alguém respondendo a uma pergunta chata de escola tem emoção suficiente para ser detectada? Será que a voz de um aluno entediado soa diferente da voz de um aluno empolgado?

Para descobrir, eles chamaram 6 ouvintes humanos (psicólogos, linguistas e educadores) para "ouvir" as gravações. Eles não pediram para os ouvintes dizerem "ele está bravo" ou "ele está feliz". Em vez disso, usaram uma régua de três dimensões, como se fossem coordenadas de um mapa:

Valência: O humor é positivo (sorriso) ou negativo (tristeza)?
Arousal (Ativação): A pessoa está calma (dormindo) ou agitada (correndo)?
Dominância: A pessoa se sente fraca (submissa) ou forte (no controle)?

O Resultado Surpreendente: Sim! Mesmo falando sozinhos, os alunos deixaram escapar "vazamentos" emocionais na voz. Os ouvintes conseguiram distinguir claramente quando alguém estava mais animado ou mais desanimado. Foi como ouvir o som do motor de um carro: mesmo sem ver o carro, você sabe se ele está acelerando ou engasgando só pelo barulho.

4. A Tecnologia: O "Detetive de Voz" Automático

Se humanos conseguem ouvir a emoção, será que um computador consegue?
Os pesquisadores treinaram uma Inteligência Artificial (IA) para fazer o mesmo trabalho dos ouvintes humanos. Eles usaram duas abordagens:

Análise Manual (Engenharia): Olhando para detalhes técnicos da voz (como o tom, a velocidade e a frequência).
IA Moderna (Aprendizado Profundo): Usando modelos de IA gigantes que já aprenderam a falar e entender o mundo (como se fosse um cérebro digital pré-treinado).

A Grande Vitória: Quando eles combinaram as duas técnicas (a engenharia tradicional + a IA moderna), o computador conseguiu prever as emoções com uma precisão muito alta. Foi como dar óculos de visão noturna para o computador: ele começou a enxergar as emoções que antes eram invisíveis.

5. Por que isso importa? (A Analogia do GPS)

Imagine que o ensino remoto é uma viagem de GPS.

Hoje: O GPS só sabe se você chegou ao destino. Ele não sabe se você estava estressado no trânsito ou se estava cantando no rádio.
Com este novo sistema: O GPS começa a dizer: "Ei, o aluno parece frustrado com essa pergunta de matemática. Vamos mudar a estratégia ou oferecer uma dica mais gentil?"

Isso permite que os professores e o sistema de ensino se adaptem em tempo real. Se o sistema detecta que a turma está "desanimada" (baixa valência) ou "confusa" (alta ativação sem direção), ele pode sugerir mudar o ritmo da aula, oferecer um feedback mais encorajador ou mudar o design da lição.

Resumo Final

Este artigo prova que a voz é um termômetro emocional, mesmo quando estamos sozinhos em frente ao computador. Ao transformar as respostas de voz dos alunos em dados de emoção, os pesquisadores abriram uma porta para tornar o ensino à distância mais humano, empático e eficaz. Eles mostraram que, mesmo sem ver o rosto do aluno, podemos "ouvir" como ele está se sentindo e usar essa informação para tornar a aprendizagem uma experiência melhor.

Each language version is independently generated for its own context, not a direct translation.

1. Problema e Motivação

O aprendizado remoto, especialmente em ambientes assíncronos (como universidades a distância), carece de pistas emocionais não verbais presentes no ensino presencial. Isso dificulta a identificação e o atendimento aos estados emocionais dos alunos, que são cruciais para funções cognitivas como atenção e memória.

Desafio: A maioria das abordagens de design instrucional opera em um nível abstrato, e existem poucos estudos concretos sobre o uso de entradas de voz (respostas abertas) para detectar emoções.
Limitação da Texto: Embora a análise de texto seja possível, ela é menos precisa para reconhecimento de emoção do que a fala, especialmente em tarefas de autocontrole baseadas em conhecimento onde o texto pode ser impessoal.
Hipótese: As respostas de fala espontânea (monólogos) geradas durante tarefas de autocontrole (self-control tasks) podem conter variações emocionais perceptíveis e predizíveis, permitindo a integração de tecnologias de processamento de fala paralinguística no ciclo de aprendizado.

2. Metodologia

O estudo foi conduzido em três etapas principais: coleta de dados, avaliação subjetiva e predição automática.

A. Coleta de Dados (Dataset SPOT-ED)

Contexto: Realizado na FFHS (Universidade de Ciências Aplicadas Suíça a Distância) durante o semestre de primavera de 2021.
Tarefa: Alunos realizaram tarefas de autocontrole em uma plataforma Moodle, respondendo a perguntas abertas e refletindo sobre suas respostas usando entrada de voz em vez de texto.
Participantes: 56 alunos (de um total de 79 que consentiram) que forneceram gravações.
Dados: 815 gravações de áudio (4,7 horas totais).
Pré-processamento:
- Segmentação das gravações em "chunks" (trechos) semânticos completos, utilizando o Montreal Forced Aligner (MFA) para alinhamento fonético e silêncio longo como delimitador.
- Análise de sentimento baseada em BERT (em alemão) nas transcrições para balancear a seleção de dados (positivo, negativo, neutro).
- Seleção final de 1.132 chunks de áudio (1h 21min), formando o dataset SPOT-ED (Spoken Online Tasks - Emotions Database).

B. Avaliação Subjetiva (Rotulagem)

Objetivo: Verificar se existe variação emocional perceptível nas dimensões Valência, Arousal (Excitação) e Dominância (VAD).
Anotadores: 6 ouvintes nativos (psicólogos, linguista, educador).
Treinamento: Utilizou-se um teste A/B com o corpus VAM (fala espontânea de talk shows) para familiarizar os anotadores com as escalas.
Escala: Self-Assessment Manikin (SAM) de 9 pontos (1 a 9).
Método de Agregação: Utilizou-se o Evaluator Weighted Estimator (EWE) para calcular as médias ponderadas das anotações, considerando a confiabilidade de cada anotador por dimensão.
Métricas de Qualidade: Coeficiente de correlação inter-anotador ( $r$ ) e desvio padrão médio ( $\bar{\sigma}$ ).

C. Predição Automática de Emoção

Objetivo: Prever as dimensões VAD automaticamente a partir da fala.
Protocolos Experimentais:
1. Dependente do Falante: Treino e teste nos mesmos falantes (validação cruzada 5-fold).
2. Independente do Falante: Treino em grupos de falantes e teste em grupos não vistos (Leave-One-Speaker-Group-Out).
Representação de Características (Features):
1. Baseadas em Conhecimento: Conjunto COMPARE (extraído via OpenSMILE), contendo 6373 descritores de baixo nível (prosódia, espectro, cefstrais).
2. Baseadas em Embeddings Neurais (SSL): HuBERT Large, WavLM Large e Wav2Vec2 (fine-tuned no dataset MSP-PODCAST).
Modelo: Regressão por Máquina de Vetores de Suporte (SVR) com função de base radial (RBF).
Combinação: Fusão de características no nível de features (ex: COMPARE + Wav2Vec2).

3. Resultados Principais

A. Análise Subjetiva

Acordo Inter-anotador: O dataset SPOT-ED apresentou um acordo moderado-alto para todas as dimensões ( $r \geq 0.60$ ), comparável a estudos anteriores em datasets como VAM.
Distribuição: As etiquetas agregadas (EWE) mostraram uma ampla distribuição nas dimensões de valência e arousal, indicando que a fala espontânea em tarefas de autocontrole exibe variações emocionais perceptíveis, mesmo sem métodos de evocação de emoção explícitos.

B. Predição Automática

Desempenho:
- Features Isoladas: O modelo Wav2Vec2-MSP (fine-tuned) superou os modelos HuBERT e WavLM e foi comparável ao COMPARE (baseado em conhecimento).
- Combinação de Features: A combinação de características (ex: COMPARE + Wav2Vec2-MSP) obteve o melhor desempenho, demonstrando complementaridade entre features manuais e neurais.
Métricas (Protocolo Independente do Falante - Melhor Sistema):
- Valência: Correlação de Spearman ( $r_s$ ) = 0.536, RMSE = 0.060.
- Arousal: $r_s$ = 0.630, RMSE = 0.076.
- Dominância: $r_s$ = 0.737, RMSE = 0.078.
Análise de Features: As características de topo para predição (ex: inclinação espectral e comprimento de espectro) mostraram correlações semelhantes às encontradas em datasets de fala espontânea (VAM), sugerindo padrões acústicos comuns.

4. Contribuições Chave

Novo Dataset (SPOT-ED): Criação de um corpus de fala espontânea de monólogos em contexto educacional real (tarefas de autocontrole), preenchendo uma lacuna de dados que geralmente usa fala atuada ou diálogos.
Validação de Viabilidade: Demonstração de que a fala em tarefas de autocontrole contém sinais emocionais suficientes para serem rotulados por humanos e preditos por máquinas.
Benchmark de Predição: Estabelecimento de linhas de base para predição dimensional (VAD) em cenários de aprendizado remoto, mostrando que a combinação de features tradicionais e embeddings auto-supervisionados (SSL) oferece os melhores resultados.
Integração Pedagógica: Proposta de um caminho para integrar a análise de emoção paralinguística diretamente no ciclo de design instrucional e feedback automatizado.

5. Significado e Conclusão

O estudo confirma que é possível detectar e prever emoções de alunos em ambientes de aprendizado remoto utilizando apenas a fala gerada durante tarefas de avaliação e reflexão. Isso abre novas possibilidades para:

Feedback Automatizado: Gerar respostas adaptativas baseadas no estado emocional do aluno.
Design Instrucional: Ajustar o conteúdo ou o ritmo do curso com base no engajamento emocional coletivo.
Suporte ao Professor: Alertar educadores sobre alunos que podem estar frustrados ou desmotivados, mesmo em cursos assíncronos.

O trabalho destaca que, embora os desafios interdisciplinares (interpretação contextual e ação pedagógica) permaneçam, a tecnologia de processamento de fala está madura o suficiente para ser integrada ao ecossistema de educação a distância.