AffectNet+: A Database for Enhancing Facial Expression Recognition with Soft-Labels

Resumo Técnico: AffectNet+: Um Banco de Dados para Aperfeiçoar o Reconhecimento de Expressões Faciais com Soft-Labels

Problema
O Reconhecimento Automatizado de Expressões Faciais (FER) enfrenta desafios significativos devido às variações intra-classe (manifestações diversas de uma única emoção) e semelhanças inter-classe (sobreposição de ativações musculares faciais entre diferentes emoções). Esses problemas são exacerbados pelas "expressões compostas", onde uma única imagem facial transmite uma mistura de emoções em vez de uma categoria discreta. Os conjuntos de dados de FER existentes, como o AffectNet, dependem de "hard-labels", atribuindo uma única categoria de emoção discreta a cada imagem. Essa abordagem ignora a nuance das emoções mistas e a incerteza inerente à anotação humana, levando frequentemente a rótulos ruidosos e modelos enviesados. Além disso, os conjuntos de dados atuais frequentemente carecem de metadados abrangentes (ex: idade, gênero, etnia, pose da cabeça) e não consideram os diferentes níveis de dificuldade no reconhecimento de expressões em ambientes "in-the-wild" (em condições reais).

Metodologia
Os autores propõem um novo framework denominado Soft-FER, que substitui os hard-labels discretos por soft-labels. Um soft-label é definido como um vetor de pontuações de probabilidade que representa a extensão na qual múltiplas categorias de emoções estão simultaneamente presentes em uma única imagem facial. Para gerar esses rótulos para o conjunto de dados AffectNet+, os autores utilizaram um Conjunto Multi-Anotado (MAS) contendo 30.000 imagens rotuladas por pelo menos dois anotadores humanos para garantir uma maior confiabilidade.

O processo de geração de soft-labels utiliza dois métodos distintos de aprendizado profundo:

1. Ensemble de Classificadores Binários (EBC): Esta abordagem treina oito classificadores binários (um para cada classe de emoção em uma abordagem um-contra-todos) utilizando um ensemble de três arquiteturas diferentes: ResNet-50, EfficientNet-B3 e XceptionNet. Para lidar com o desequilíbrio de classes durante o treinamento, os autores propuseram uma estratégia específica de amostragem negativa baseada na correlação de Unidades de Ação (AUs) entre as emoções. O score semântico final para cada emoção é calculado agregando as saídas de probabilidade dos três classificadores, ponderadas por seus respectivos scores de confiança (acurácia média).
2. Classificador Baseado em Unidades de Ação (AU): Este método aproveita o Sistema de Codificação de Ação Facial Emocional (EMFACS). Um modelo multi-head ResNet-50 é treinado simultaneamente para realizar classificação binária e para prever um vetor de representação de AU de 21 dimensões. O modelo aprende as combinações específicas de AUs associadas a cada emoção. A probabilidade final é derivada combinando a saída de classificação binária com um score de similaridade entre o vetor de AU previsto e o vetor de AU de referência (ground-truth) para cada classe de emoção.

O vetor de soft-label final para cada imagem é a média dos scores semânticos produzidos pelo EBC e pelo classificador baseado em AU.

Com base no alinhamento entre os soft-labels gerados e os hard-labels originalmente atribuídos por humanos, o conjunto de dados AffectNet+ é particionado em três subconjuntos:

• Easy (Fácil): O hard-label coincide com a emoção de maior probabilidade no vetor de soft-label.
• Challenging (Desafiador): O hard-label está entre as três maiores probabilidades do vetor de soft-label, mas não é a maior.
• Difficult (Difícil): O hard-label não aparece entre as três maiores probabilidades do vetor de soft-label.

Adicionalmente, os autores atualizaram os metadados do conjunto de dados, adicionando idade, gênero, etnia, pose da cabeça e dois conjuntos de landmarks faciais (68 pontos e 28 pontos) utilizando modelos de aprendizado profundo pré-treinados.

Principais Contribuições

• Introdução de Soft-Labels: O artigo introduz o conceito de soft-labels para conjuntos de dados de expressão facial, fornecendo uma descrição mais realista e multidimensional das expressões faciais que captura emoções compostas e intensidades variáveis.
• Conjunto de Dados AffectNet+: Os autores apresentam o AffectNet+, um conjunto de dados de próxima geração construído sobre o AffectNet. Ele inclui soft-labels para todas as imagens, três subconjuntos baseados em dificuldade (Easy, Challenging, Difficult) e metadados enriquecidos (demografia, pose, landmarks).
• Metodologia de Rotulagem Inovadora: O artigo propõe e valida dois métodos automáticos (EBC e classificador baseado em AU) para calcular soft-labels, abordando o alto custo e o tempo exigidos para a multi-anotação manual.
• Avaliação Subjetiva: Um estudo humano envolvendo seis participantes demonstrou que os soft-labels são preferidos em relação aos hard-labels para descrever expressões faciais e que os humanos conseguem distinguir confiavelmente soft-labels precisos de outros aleatórios.

Resultos Experimentais

• Geração de Rótulos: O modelo EBC alcançou altas acurácias médias (variando de aproximadamente 78% a 93%, dependendo da configuração do ensemble) em todas as classes de emoção, sendo que o ensemble reduziu significativamente o desvio padrão em comparação com os modelos individuais. O classificador baseado em AU mostrou um forte desempenho para a maioria das emoções, embora tenha tido dificuldades com Medo e Raiva devido à alta sobreposição de AUs.
• Desempenho Baseline (Hard-FER): Um modelo baseline ResNet-50 treinado em hard-labels alcançou 85,86% de acurácia no subconjunto "Easy", mas caiu significativamente para 51,62% no "Challenging" e 34,34% no "Difficult". O modelo exibiu alta confusão entre emoções semelhantes (ex: Desprezo vs. Neutro/Alegria, Nojo vs. Raiva).
• Desempenho Baseline (Soft-FER): Quando avaliado usando soft-labels, o modelo baseline apresentou um Erro Absoluto Médio Ponderado (W-MAE) e uma Taxa de Falha Ponderada (W-FR) menores no subconjunto Easy em comparação ao Difficult. Notavelmente, o Soft-FER reduziu a confusão entre Neutro e Desprezo comparado ao Hard-FER, pois trata cada classe de emoção de forma independente em vez de forçar uma escolha discreta única.
• Avaliação Humana: Em testes subjetivos, 65% dos participantes preferiram soft-labels em vez de hard-labels para descrever imagens, e 81% conseguiram identificar corretamente soft-labels precisos contra alternativas aleatórias.

Significância e Alegações
O artigo afirma que o AffectNet+ aborda as limitações dos conjuntos de dados de FER existentes ao fornecer uma representação mais matizada das expressões faciais através de soft-labels. Ao reconhecer que as expressões faciais frequentemente envolvem emoções compostas e intensidades variáveis, o conjunto de dados permite o desenvolvimento de modelos com fronteiras de decisão mais suaves. Os autores postulam que o AffectNet+ facilitará a pesquisa em diversas áreas, incluindo:

• Quantificar a incerteza em FER.
• Desenvolver modelos de multi-rotulagem capazes de prever múltiplas expressões simultaneamente.
• Mitigar os efeitos de rótulos ruidosos e distribuições de dados desequilibradas.
• Melhorar a interpretabilidade e a generalização dos modelos em ambientes "in-the-wild".
• Permitir adaptação de domínio e aprendizado autossupervisionado através de metadados enriquecidos.

Os autores concluem que o AffectNet+ representa um passo significativo à frente na computação afetiva, oferecendo um recurso que reflete melhor a complexidade da expressão emocional humana do que os conjuntos de dados anteriores de hard-labels.