A Multiscale Network with Supervised Contrastive Learning for Real-Time Facial Emotion Recognition

Este artigo apresenta um sistema baseado em aprendizado profundo que utiliza uma rede multiescala e aprendizado contrastivo supervisionado para alcançar o reconhecimento de emoções faciais em tempo real ao modelar mudanças contínuas de expressão, demonstrando desempenho satisfatório em conjuntos de dados padrão para aplicações como aconselhamento psicológico.

O essencial

Imagine que você está tentando entender como um amigo está se sentindo apenas observando-o. Às vezes, um sorriso significa que ele está feliz; outras vezes, pode significar que ele está sendo educado ou escondendo tristeza. Agora, imagine tentar fazer isso com um computador, mas o computador recebe apenas um único instantâneo no tempo. É como tentar adivinhar o enredo de um filme olhando apenas para um único quadro — é fácil errar.

Este artigo apresenta um novo sistema chamado MSFERNet (Rede de Reconhecimento de Emoções Faciais Multiescala) projetado para resolver este problema. Pense nisso como uma "câmera inteligente" que não apenas olha para um rosto uma vez, mas observa como o rosto muda ao longo do tempo, muito parecido com um psicólogo observando um paciente durante uma sessão.

Aqui está uma análise de como ele funciona, usando analogias simples:

1. O Problema: Emoções são um Filme, não uma Foto

Os autores apontam que as emoções não são estáticas; elas fluem e mudam. Uma pessoa pode começar neutra, ficar levemente irritada e depois se acalmar. A maioria dos sistemas antigos é como fotógrafos que tiram uma única foto e adivinham o humor. Este artigo argumenta que, para realmente entender alguém, você precisa assistir ao "filme" do seu rosto.

2. A Solução: Uma Câmera de Múltiplas Lentes (MSFERNet)

O núcleo do sistema deles é um novo tipo de arquitetura de IA que eles construíram. Imagine um detetive tentando resolver um caso.

• A Lente de "Ângulo Aberto": Algumas partes do sistema olham para o quadro geral (a forma geral do rosto).
• A Lente de "Zoom": Outras partes dão zoom em detalhes minúsculos (um tremor no lábio ou uma ruga na testa).
• A "Memória" (Aprendizado Residual): Assim como um detetive que se lembra de pistas do início do dia, este sistema usa "blocos residuais" para lembrar o que viu anteriormente, para que não perca o fio da história enquanto investiga mais profundamente.
• O "Holofote" (Mecanismo de Atenção): O sistema possui um holofote integrado (chamado CBAM) que ignora o fundo (como um quarto bagunçado ou uma janela) e foca estritamente no rosto, destacando as partes mais importantes.

3. Treinando o Cérebro: Aprendendo com Grupos

Para ensinar este sistema, os pesquisadores não apenas mostraram fotos e disseram "Isto é feliz". Eles usaram uma técnica chamada Aprendizado Contrastivo Supervisionado.

• A Analogia: Imagine um professor mostrando a um aluno uma pilha de maçãs vermelhas e uma pilha de maçãs verdes. Em vez de apenas dizer "Vermelho é vermelho", o professor diz: "Observe como estas maçãs vermelhas são semelhantes entre si, e como são diferentes das verdes".
• Ao agrupar emoções semelhantes e afastar emoções diferentes em sua "mente", o computador aprende uma imagem muito mais clara do que cada emoção realmente parece.

4. Simplificando a Linguagem: O Sistema de Três Cores

Os pesquisadores perceberam que a vida real é complicada. Um conjunto de dados padrão tem 7 ou 8 emoções diferentes (Raiva, Nojo, Medo, Tristeza, Felicidade, Surpresa, Neutro, etc.).

• A Analogia: Eles decidiram simplificar isso em um sistema de "Semáforo" para sua aplicação em tempo real:
  • Verde: Positivo (Felicidade)
  • Amarelo: Neutro
  • Vermelho: Negativo (Raiva, Nojo, Medo, Tristeza)
• Eles propositalmente deixaram "Surpresa" de fora porque, como uma reviravolta em um filme, ela pode significar qualquer coisa dependendo do contexto, tornando-a confusa demais para uma análise rápida.

5. A Ferramenta de Tempo Real (RT-FER)

Eles construíram uma aplicação amigável chamada RT-FER.

• Como funciona: Você pode carregar um vídeo ou usar sua webcam. O sistema captura seu rosto de cada quadro, passa pelo "Câmera de Múltiplas Lentes" e fornece uma pontuação.
• A Pontuação: Ele traduz a emoção em um número entre -1 e 1.
  • -1 é puramente negativo.
  • 0 é neutro.
  • +1 é puramente positivo.
• O Gráfico: Enquanto o vídeo é reproduzido, o sistema desenha um gráfico de linhas mostrando como seu humor "surfa nas ondas" para cima e para baixo ao longo do tempo.

6. Os Resultados: Rápido, Leve e Preciso

A equipe testou seu sistema em conjuntos de dados padrão (como FER13 e CK+).

• Desempenho: Teve um desempenho muito bom, alcançando cerca de 96,77% de precisão em um conjunto de dados e 81,08% em sua versão simplificada de 3 emoções.
• Eficiência: A melhor parte é que o sistema é "leve". Ele possui apenas 2,37 milhões de parâmetros (pense neles como o número de regras que o computador precisa memorizar). Comparado a outros sistemas que são como caminhões pesados e lentos, este é como uma bicicleta ágil. É pequeno o suficiente para rodar em dispositivos comuns sem precisar de um supercomputador.

7. A Ressalva (Análise de Erros)

Os autores foram honestos sobre as falhas. Se os dados de treinamento contêm "fotos ruins" — como uma foto com um logotipo em vez de um rosto, ou um rosto coberto por uma marca d'água gigante — o sistema fica confuso. É como tentar ensinar uma criança a reconhecer cachorros usando fotos de gatos com orelhas de cachorro desenhadas nelas.

Resumo

Em suma, este artigo apresenta uma IA inteligente e leve que observa rostos como um observador humano, procurando por mudanças ao longo do tempo em vez de apenas um único instantâneo. Ele simplifica emoções complexas em uma pontuação clara de "Positivo/Negativo/Neutro", tornando-o uma ferramenta útil para rastrear mudanças emocais em vídeos em tempo real.

Resumo técnico

Resumo Técnico: Uma Rede Multiescala com Aprendizado Contrastivo Supervisionado para Reconhecimento de Emoções Faciais em Tempo Real

Definição do Problema

O reconhecimento de emoções faciais (FER) em tempo real apresenta desafios significativos, particularmente em cenários baseados em vídeo, onde os estados emocionais evoluem continuamente, em vez de forma discreta. Uma dificuldade primária reside na alta variabilidade interindividual das expressões faciais e na ambiguidade das emoções (por exemplo, um sorriso pode indicar felicidade, polidez ou sarcasmo, dependendo do contexto). Além disso, a pesquisa existente tem se concentrado amplamente no reconhecimento de imagens estáticas ou classificação de quadro único, deixando uma lacuna na capacidade de analisar e monitorar mudanças emocionais ao longo de períodos de tempo estendidos. Essa limitação dificulta a compreensão abrangente do estado psicológico de um indivíduo, o que é crucial para aplicações em psicologia e aconselhamento, onde a proporção de especialistas para pacientes é insuficiente.

Metodologia

Os autores propõem um sistema de duas fases composto por uma arquitetura de aprendizagem profunda para extração de características e classificação, e uma interface de aplicação em tempo real.

1. Arquitetura MSFERNet

O núcleo do sistema é a MSFERNet (Rede de Reconhecimento de Expressão Facial Multiescala), projetada para lidar com a degradação de características e o desaparecimento de gradientes comuns em redes CNN sequenciais profundas. A arquitetura incorpora:

• Backbone: Utiliza os estágios iniciais de uma EfficientNet-B0 pré-treinada para extrair características semânticas de baixo e médio nível, reduzindo a complexidade computacional em comparação ao uso da rede completa.
• Refinamento Residual: Os mapas de características extraídos passam por um bloco de refinamento contendo uma convolução $3 \times 3$, Batch Normalization, ReLU e um Bloco Residual com conexões de salto (skip connections) para preservar mapeamentos de identidade e estabilizar o fluxo de gradiente.
• Extração de Características Multiescala: A rede emprega ramos convolucionais paralelos com núcleos de $3 \times 3$ e $5 \times 5$.
  • Estágio 1: Os ramos são combinados via adição elemento a elemento.
  • Estágio 2: Os ramos são concatenados por canal para preservar informações complementares de diferentes campos receptivos.
• Mecanismo de Atenção: Um Módulo de Atenção de Bloco Convolucional (CBAM) é aplicado após cada estágio multiescala para enfatizar sequencialmente regiões faciais informativas (atenção de canal e espacial) enquanto suprime o ruído de fundo.
• Cabeça de Classificação: As características são subamostradas, agrupadas globalmente (globally pooled) e passadas por camadas totalmente conectadas (12as e 64 unidades) com dropout (0.3) para evitar o sobreajuste (overfitting).
• Aprendizado Contrastivo Supervisionado: Uma cabeça de projeção mapeia as características em um espaço de incorporação (embedding) normalizado. O modelo é treinado usando uma função de perda combinada:
  $$L = 1.0 \times L_{cross} + 0.1 \times L_{sup}$$
  Onde $L_{cross}$ é a Perda de Entropia Cruzada Categórica e $L_{sup}$ é a Perda Contrastiva Supervisionada, projetada para aprender melhores representações de características emocionais ao aproximar amostras positivas (mesma classe) e afastar amostras negativas no espaço de incorporação.

2. Pré-processamento e Modificação do Conjunto de Dados

O estudo utiliza os conjuntos de dados FER13 e CK+. Para alinhar-se ao objetivo de auxiliar psicólogos na identificação de estados mentais amplos, os autores modificaram o padrão de sistema de 7 classes do FER13 para um sistema de 3 classes:

• Positivo: Derivado da classe 'Feliz' (Happy).
• Negativo: Mesclado de 'Raiva' (Angry), 'Nojo' (Disgust), 'Medo' (Fear) e 'Tristeza' (Sad).
• Neutro: Mantido como está.
• Nota: A classe 'Surpresa' (Surprise) foi excluída devido à sua alta dependência contextual e tendência de evocar emoções mistas.
• Pré-processamento: As imagens foram redimensionadas para $128 \times 128$, e aumentos de dados (augmentations) padrão (deslocamento, zoom, cisalhamento, inversão horizontal) foram aplicados. Imagens corrompidas foram filtradas.

3. Sistema RT-FER

Uma aplicação amigável chamada RT-FER foi desenvolvida para demonstrar o monitoramento em tempo real. Ela captura vídeo ao vivo ou processa vídeos carregados, extrai rostos dos quadros e os alimenta para a MSFERNet treinada. O sistema fornece:

• Predição de Emoção: A classe prevista com pontuações de confiança.
• Pontuação de Emoção: Uma pontuação contínua calculada como $Score = p_{positivo} - p_{negativo}$ (mapeando Negativo para -1, Neutro para 0, Positivo para 1).
• Visualização: Uma interface gráfica exibe o feed de vídeo ao lado de um gráfico em tempo real rastreando a pontuação emocional ao longo do tempo.

Principais Contribuições

1. Arquitetura MSFERNet: Proposta de uma rede multiescala baseada em atenção que integra transferência de aprendizado, mecanismos residuais e aprendizado contrastivo supervisionado.
2. Adaptação de Conjunto de Dados: Criação de um conjunto de dados FER13 modificado de 3 classes adaptado para análise de estado psicológico, abordando a falta de conjuntos de dados padrão para categorias emocionais amplas.
3. Aplicação RT-FER: Desenvolvimento de uma GUI funcional que permite o monitoramento de emoções em tempo real e a visualização de mudanças emocionais ao longo do tempo, incluindo um reprodutor de vídeo para observar mudanças emocionais induzidas pelo contexto.

Resultados Experimentais

O modelo foi avaliado nos conjuntos de dados FER13 (7 classes originais e 3 classes modificadas) e CK+ usando uma divisão de treino-teste de 80:10.

• Desempenho:
  • FER13 (7 classes): 66,73% de acurácia.
  • FER13 (3 classes): 81,08% de acurácia.
  • CK+: 96,77% de acurácia.
• Eficiência: O modelo contém apenas 2,37 milhões de parâmetros treináveis, tornando-o significativamente mais eficiente em recursos do que modelos de última geração (state-of-the-art) como AlexNet (62,30M) ou VGGNet (84,00M).
• Impacto da Perda Contrastiva Supervisionada: A inclusão de $L_{sup}$ melhorou a acurácia em todos os conjuntos de dados (ex: FER13 7 classes melhorou de 64,19% para 66,73%; CK+ melhorou de 95,56% para 96,77%).
• Comparação: A proposta MSFERNet superou vários modelos existentes de última geração tanto no FER13 quanto no CK+, mantendo um menor número de parâmetros.

Significância e Limitações

O artigo afirma que o sistema proposto preenche a lacuna entre o reconhecimento de emoções estáticas e o monitoramento contínuo do estado psicológico. Ao fornecer uma ferramenta para rastrear mudanças emocionais ao longo do tempo, oferece um auxílio potencial para psicólogos obterem insights adicionais sobre o estado emocional de um sujeito, potencialmente aliviando a carga da observação manual.

Os autores reconhecem modestamente as limitações, observando que, apesar do pré-processamento, os dados de treinamento continham amostras errôneas (ex: imagens com logotipos ou marcas d'água) que impactaram o treinamento. Eles também destacam que o reconhecimento em tempo real continua sendo um desafio devido às variações na qualidade da imagem e à ambiguidade inerente das expressões faciais. O trabalho conclui que, embora os resultados atuais sejam satisfatórios, melhorias futuras poderiam ser alcançadas através do treinamento em conjuntos de dados do mundo real maiores e da incorporação de mecanismos de atenção mais fortes.