The Circumplex Degeneracy Behind the Rare-Class Limit in Affect Recognition

Resumo Técnico: A Degenerescência do Circunplexo por Trás do Limite de Classes Raras na Reconhecimento de Afeto

Definição do Problema
Sistemas de reconhecimento de expressão facial em ambientes reais (in-the-wild) alcançam consistentemente uma acurácia utilizável em emoções comuns, mas falham persistentemente em algumas classes raras, especificamente raiva e medo (em Aff-Wild2) ou raiva e desprezo (em AffectNet). A interpretação padrão atribui essa falha ao desequilíbrio de classes, sugerindo soluções como reponderação, amostragem balanceada ou focal losses. No entanto, essas intervenções baseadas em frequência falham em melhorar o desempenho nas classes mais difíceis. Este artigo postula que a falha não é uma questão de frequência, mas de geometria do afeto: as classes raras são geometricamente degeneradas (quase coincidentes) no modelo circunplexo de Russell, uma propriedade que limita a eficácia de qualquer função de perda ou design de custo.

Metodologia
Os autores conduzem um estudo multitarefa controlado em dois benchmarks (Aff-Wild2 e AffectNet) usando um codificador compartilhado com cabeças específicas para tarefa para Valência–Excitação (VA), Expressão (EXPR) e Unidades de Ação (AU).

1. Termo de Transporte Ótimo (OT) de Custo Circunplexo: O principal instrumento é um termo de perda estruturada que precifica confusões de expressão com base em sua distância euclidiana no plano valência–excitação. A métrica de base é derivada diretamente das próprias anotações de VA do conjunto de dados, computando os centroides das classes ($\mu_c$) e utilizando a distância $D_{cc'} = \|\mu_c - \mu_{c'}\|$ como o custo de transporte.
2. Comparações Controladas: Para isolar se os ganhos de desempenho decorrem da geometria do afeto específica ou meramente da presença de uma penalidade não trivial, os autores introduzem dois controles críticos raramente usados nesta literatura:
   • Custo Uniforme: Substitui as distâncias circunplexas estruturadas por um valor constante, reduzindo o termo OT a uma penalidade de confiança genérica.
   • Custo Permutado: Embaralha os índices das classes para preservar o multiconjunto de distâncias de par a par, mas destrói a geometria semântica.
3. Métricas de Estrutura de Erro: Como o Macro-F1 padrão é invariante a qual classe errada é prevista, os autores introduzem métricas conscientes da geometria: Severidade do Erro (distância circunplexa média das classificações incorretas), Preservação de Quadrante e Acurácia Ponderada pelo Afeto.
4. Análise Representacional: O estudo compara codificadores de auto-supervisão facial (FSFM) contra codificadores de visão-linguagem facial (FaRL) e modelos gerais de visão-linguagem (SigLIP 2) para determinar se o espaço de características já codifica a estrutura circunplexa.
5. Aumento por Unidade de Ação (AU): Um experimento constrói um custo de base usando assinaturas de AU para separar explicitamente os pares degenerados (ex: raiva vs. medo), testando se um custo com maior resolução geométrica pode superar as limitações da representação.

Resultos Principais

• O Ganho de Pontuação é Genérico, Não Geométrico: O termo OT de custo circunplexo melhora o escore multitarefa oficial (PMTL) e o EXPR Macro-F1 em ambos os conjuntos de dados. No entanto, o controle de custo uniforme reproduz esses ganhos inteiramente. No Aff-Wild2, o custo uniforme é estatisticamente indistinguível do custo circunplexo ($p=0,625$); no AffectNet, o custo uniforme supera significativamente o custo circunplexo ($+0,057$ sobre a base vs. $+0,052$ para o circunplexo). Isso indica que a melhoria na pontuação é um artefato da adição de uma penalidade de confiança genérica, não da geometria do afeto em si.
• A Modelagem do Erro é Dependente do Conjunto de Dados: Embora o ganho de pontuação seja genérico, a geometria circunplexa de fato remodela a estrutura do erro no Aff-地方2, tornando os erros sobreviventes afetivamente mais próximos da verdade (menor severidade do erro, $p=0,031$). Esse efeito não sobrevive no AffectNet, onde um confuso visual (desprezo confundido com felicidade) sobrecarrega o sinal geomético.
• O Limite de Classe Rara é Estável: Os pares degenerados (raiva–medo no Aff-Wild2; raiva–desprezo no AffectNet) resistem a todas as intervenções. Perdas baseadas em frequência, o termo de transporte e até mesmo um custo aumentado por AU (que separa com sucesso os pares na matriz de custo) falham em recuperar os escores F1 dessas classes.
• Origem Representacional: A falha é identificada como representacional. Codificadores de visão-linguagem (FaRL) já codificam a estrutura circunplexa em suas características, tornando o termo de perda geométrica redundante. Por outro lado, codificadores de auto-supervisão facial (FSFM) carecem dessa alinhamento. Crucialmente, mesmo quando a geometria do custo é tornada perfeitamente separável (via assinaturas de AU), o modelo não consegue separar as classes, provando que o gargalo reside na representação de características, não na ponderação da perda.

Contribuições Principais

1. Isolamento de Efeitos Geométricos: O artigo demonstra que os aparentes benefícios da supervisão da geometria do afeto são frequentemente efeitos de regularização genéricos. Estabelece os controles de custo embaralhado e uniforme como padrões necessários para avaliar perdas de custo estruturado em reconhecimento de afeto.
2. Diagnóstico da Falha de Classe Rara: Os autores diagnosticam a falha persistente de expressões raras como uma degenerescência circunplexa. Esta degenerescência é um limite representacional; nenhum design de custo pode fabricar a separabilidade que a representação de características não possui.
3. Novas Métricas e Controles: O artigo introduz severidade do erro, preservação de quadrante e o controle de custo embaralhado para distinguir entre a modelagem de erro geométrica e a regularização genérica, fornecendo um relato honesto de onde os efeitos geométricos aparecem e onde não aparecem.
4. Análise Representacional: Através de comparações controladas de domínios de pré-treinamento, o estudo mostra que a capacidade de um modelo utilizar a geometria do afeto depende de se o domínio de pré-treinamento (ex: visão-linguagem vs. auto-supervisionado) já codificou essa estrutura.

Significância e Alegações
O artigo conclui que o progresso em expressões raras não pode ser alcançado através de "reprecificação" de confusões por meio de melhores funções de perda ou geometrias de custo. Em vez disso, a solução requer representações que distingam as classes. Os autores argumentam que o campo tem atribuído excessivamente o sucesso à supervisão geométrica quando este é frequentemente um efeito de penalidade genérica, e que a verdadeira barreira para reconhecer emoções raras é o colapso dessas classes no espaço de características devido à sua degenerescência geométrica. O estudo defende a mudança de foco da engenharia de perda para o desenvolvimento de representações de características capazes de resolver esses pares degenerados, potencialmente fundindo sinais ortogonais (como Unidades de Ação) ao nível das características, em vez de apenas ao nível da perda.