💻 computer science

Causal Supervision of Attention for Affective Behaviour Analysis

Este artigo propõe um framework de supervisão causal para mecanismos de atenção em análise de comportamento afetivo que impõe um foco invariante ao sujeito, incentiva representações não redundantes por meio de regularização de covariância cruzada e aumenta a expressividade de características via transformações não lineares de portão para alcançar o estado da arte na 11ª Competição de Análise de Comportamento Afetivo em ambiente real.

Autores originais: Nemanja Rašajski, Konstantinos Makantasis, Antonios Liapis, Georgios N. Yannakakis

Publicado 2026-07-15

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nemanja Rašajski, Konstantinos Makantasis, Antonios Liapis, Georgios N. Yannakakis

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a ler seu rosto e adivinhar como você está se sentindo. Você quer que ele perceba um sorriso genuíno ou um franzir de testa, certo? Mas aqui está a parte complicada: o robô se distrai facilmente. Ele pode pensar: "Oh, esta pessoa parece triste porque tem um nariz grande", ou "Esta pessoa parece feliz porque o sol está brilhando na testa dela". Isso são como correlações espúrias — pistas que não têm nada a ver com os sentimentos reais, mas que acabam aparecendo muito nos dados de treinamento. Se o robô aprender esses maus hábitos, ele falhará miseravelmente quando encontrar alguém novo com um nariz diferente ou sob uma iluminação diferente.

Os autores deste artigo propõem uma nova maneira inteligente de treinar a "atenção" do robô para que ele pare de olhar para as coisas erradas e comece a focar nos sinais emocionais reais, não importa quem esteja diante da câmera. Eles chamam seu método de Supervisão Causal de Atenção.

Os Três Truques Mágicos

Para corrigir os maus hábitos do robô, a equipe adicionou três ingredientes especiais ao seu processo de aprendizado:

1. O Jogo do "E Se?" (Supervisão Causal)
Normalmente, um robô apenas olha para um rosto e adivinha. Esta equipe fez o robô jogar um jogo de "E Se?". Eles perguntaram: "Se eu te forçasse a ignorar o nariz e olhasse apenas para os olhos, sua previsão sobre a emoção mudaria?"
Eles criaram uma versão "contrafactual" da atenção (uma versão falsa onde o robô olha para pontos aleatórios) e a compararam com a real. Em vez de apenas maximizar a diferença bruta de magnitude, eles maximizaram o Efeito Direto Total (TDE) — uma medida específica da contribuição causal da atenção para a previsão. Ao fazer isso, eles incentivaram o robô a focar em regiões faciais invariantes ao sujeito — áreas que consistentemente predizem a emoção entre diferentes pessoas, em vez de apenas características específicas de uma pessoa. Isso garante que o robô aprenda a atender a regiões com valor preditivo invariante, distinguindo efetivamente pistas afetivas verdadeiras de fatores espúrios como identidade ou iluminação, sem necessariamente ignorar a identidade por completo.

2. A Regra do "Sem Sobreposição" (Regularização de Covariância Cruzada)
Pense no céreção do robô como tendo duas equipes de trabalhadores: a equipe da Chave (que decide o que olhar) e a equipe do Valor (que coleta os detalhes do que vê).
Nos modelos padrão, essas duas equipes frequentemente se sobrepõem e repetem a mesma informação. É como ter duas pessoas em uma sala gritando simultaneamente: "Olhe para os olhos!", enquanto ignoram a boca. Os autores introduziram uma regra para garantir que essas duas equipes sejam complementares, não redundantes. Eles adicionaram uma penalidade se as equipes da Chave e do Valor começassem a dizer a mesma coisa. Isso força a divisão do trabalho: uma pode focar no formato das sobrancelhas, enquanto a outra foca na tensão da mandíbula, tornando a imagem final muito mais rica.

3. O "Super-Transformer" (SwiGLU)
Finalmente, a equipe atualizou o poder cerebral do robô. Os modelos padrão usam um truque matemático simples e de linha reta para processar os detalhes coletados. Os autores substituíram isso por uma ferramenta não linear sofisticada chamada SwiGLU.
Imagine que o método antigo era um escorregador reto, e o novo método é uma montanha-russa com curvas e voltas. Isso permite que o robô capture detalhes muito mais finos e complexos sobre as emoções que um simples escorregador perderia. Isso torna a compreensão do robô sobre sentimentos "de grão fino" muito mais nítida.

Funcionou?

A equipe testou isso em um enorme conjunto de dados de vídeos do mundo real chamado s-Aff-Wild2, onde as pessoas estão fazendo todo tipo de coisa em ambientes naturais. Eles mediram o sucesso usando uma pontuação chamada P, que soma o quão bem o robô se saiu em três tarefas: adivinhar Valência-Arousal (quão positivo/negativo e quão intenso é o sentimento), reconhecer Expressões (como feliz ou triste) e detectar Unidades de Ação (pequenos movimentos musculares no rosto).

Aqui está o que descobriram:

A Linha de Base: O robô padrão (usando um modelo chamado ConvNeXt) obteve uma pontuação de 0,45 no conjunto de validação oficial.
O Novo Método: Quando usaram seus truques de "Supervisão Causal" com um codificador visual poderoso chamado FRoundation, a pontuação saltou para 1,2214.
O Detalhamento: Especificamente, para adivinhar Valência-Arousal, obtiveram uma pontuação de 0,5123. Para reconhecimento de expressões, obtiveram um F1 score de 0,3116, e para detectar movimentos musculares, 0,3974.

Eles também realizaram o teste cinco vezes (chamado de validação cruzada de 5 dobras) para garantir que os resultados não fossem apenas sorte. O novo método superou consistentemente o antigo, melhorando a pontuação média de 0,8730 para 0,9569 com um tipo de cérebro (DINOv2) e de 1,0524 para 1,1948 com o outro (FRoundation).

A Conclusão

O artigo sugere que, ao forçar o robô a distinguir pistas emocionais verdadeiras de pistas "falsas" (como identidade ou iluminação) e focar apenas nas partes do rosto que possuem valor preditivo invariante entre diferentes indivíduos, podemos construir sistemas que entendem muito melhor os sentimentos humanos. Eles não apenas adivinharam isso; eles mediram através de milhares de imagens e descobriram que cada um de seus três novos truques ajudou o robô a desempenhar melhor. Embora o robô ainda não seja perfeito (ainda há espaço para melhorar essas pontuações), esta abordagem mostra um caminho claro para criar máquinas que realmente nos "entendem", em vez de apenas adivinhar com base em nossa aparência.

Resumo Técnico: Supervisão Causal de Atenção para Análise de Comportamento Afetivo

Definição do Problema
A Análise de Comportamento Afetivo (ABA) busca permitir que máquinas infiram estados emocionais humanos a partir de sinais comportamentais, particularmente expressões faciais, em ambientes não controlados ("in-the-wild"). Embora os modelos de aprendizado profundo tenham feito progressos significativos, eles frequentemente lutam para generalizar para sujeitos não vistos. Essa limitação surge porque os modelos frequentemente exploram correlações espúrias — como identidade, pose, iluminação, idade e variações demográficas — em vez de aprender pistas afetivas verdadeiras e invariantes. No contexto da 11ª Competição de Análise de Comportamento Afetivo in-the-wild (ABAW), esse desafio é formalizado através de um framework de Aprendizado Multitarefa (MTL) que exige a estimativa simultânea de Valência-Arousal (VA), Reconhecimento de Expressão (EX) e Detecção de Unidades de Ação (AU). A dificuldade central reside em distinguir sinais emocionalmente relevantes desses fatores de confusão para alcançar representações robustas e invariantes ao sujeito.

Metodologia
Os autores propõem um framework de pooling de atenção inspirado causalmente, projetado para melhorar tanto a seleção quanto a representação de pistas afetivas. A arquitetura baseia-se em um pipeline padrão envolvendo um backbone Vision Transformer (ViT) congelado para extração de características, seguido por uma Rede Convolucional Temporal (TCN) para modelagem temporal, e cabeças de predição específicas para cada tarefa. O framework introduz três modificações específicas no mecanismo de atenção para aumentar a robustez e a expressividade:

Supervisão Causal para Atenção (CSA): Para impor a atenção em regiões faciais com valor preditivo invariante entre sujeitos, os autores integram um sinal de supervisão causal. Isso envolve um caminho "factual", onde o modelo prevê com base nos pesos de atenção aprendidos, e um caminho "contrafactual", onde os pesos de atenção são substituídos por vetores normalizados aleatórios amostrados de uma distribuição Gaussiana. O modelo é treinado para maximizar o Efeito Direto Total (TDE) — a diferença entre as predições fatuais e contrafactuais — incentivando o mecanismo de atenção a identificar consistentemente regiões faciais causalmente relevantes, em vez de depender de correlações espúrias.
Regularização de Independência de Covariância Cruzada: Para abordar a redundância entre as projeções de Chave ( $K$ ) e Valor ( $V$ ) na atenção de produto escalar escalonado, os autores introduzem uma perda de regularização de covariância cruzada. Ao minimizar a norma de Frobenius da matriz de covariância cruzada entre as representações centradas de $K$ e $V$ , o método incentiva uma codificação de características complementar e não redundante, permitindo que mais capacidade do modelo seja dedicada a informações distintas e relevantes para a tarefa.
Projeção de Valor Não Linear SwiGLU: A projeção linear padrão para o componente de Valor ( $V$ ) é substituída por uma transformação SwiGLU (Sigmoid Linear Unit Gated Linear Unit). Esta camada não linear aumenta a capacidade representacional da projeção de valor, permitindo que o modelo capture pistas afetivas de granularidade mais fina antes da etapa de agregação baseada em atenção.

Principais Contribuições
O artigo apresenta um framework unificado que integra princípios de inferência causal em mecanismos de atenção. As principais contribuições são:

A introdução da Supervisão Causal para Atenção, que utiliza geração contrafactual e maximização de TDE para guiar a atenção para regiões faciais invariantes ao sujeito e relevantes para a emoção.
A formulação de uma perda de regularização de independência de covariância cruzada para desacoplar as representações de Chave e Valor, reduzindo a redundância de características.
A substituição das projeções lineares de Valor por transformações não lineares baseadas em SwiGLU para aumentar a expressividade das características.
Uma avaliação abrangente no dataset s-Aff-Wild2 demonstrando que esses componentes coletivamente melhoram a generalização em múltiplas tarefas afetivas.

Resultados Experimentais
O método foi avaliado no dataset s-Aff-Wild2 usando dois backbones diferentes: DINOv2 (pré-treinado em imagens de propósito geral) e FRoundation (especializado para imagens faciais). O desempenho foi medido usando a métrica MTL oficial da ABAW $P$ , que soma o Coeficiente de Correlação de Concordância (CCC) médio para VA, o F1 score médio para Expressão ( $F_{EX}$ ) e o F1 score médio para Unidades de Ação ( $F_{AU}$ ).

Comparação com Baseline: Contra o baseline oficial (ConvNeXt com MixAugment, $P=0.45$ ), o método proposto alcançou pontuações significativamente superiores. Com o backbone FRoundation, o método atingiu uma pontuação geral de 1.2214 no conjunto de validação oficial ( $CCC_{VA}=0.5123$ , $F_{EX}=0.3116$ , $F_{AU}=0.3974$ ).
Validação Cruzada: Em um protocolo de validação cruzada de cinco dobras, o backbone FRoundation superou consistentemente o DINOv2. O método proposto melhorou a pontuação multitarefa média $P$ de 1.0524 (baseline) para 1.1948 com FRoundation, e de 0.8730 para 0.9569 com DINOv2.
Estudo de Ablação: O estudo confirmou que cada componente contribui para o desempenho. Embora o SwiGLU sozinho tenha mostrado resultados mistos dependendo do backbone, a combinação do SwiGLU com a Supervisão Causal ou a Regularização de Covariância melhorou consistentemente o desempenho. O modelo completo (com os três componentes ativos) gerou os melhores resultados, representando ganhos de aproximadamente 9,6% (DINOv2) e 13,5% (FRoundation) sobre seus respectivos baselines.

Significância
O artigo afirma que o framework proposto aborda com sucesso o desafio das correlações espúrias na análise de comportamento afetivo ao promover a atenção invariante ao sujeito. Ao modelar explicitamente a contribuição causal da atenção e reduzir a redundância nas representações de características, o método produz representações afetivas mais robustas e expressivas. Os resultados sugerem que integrar supervisão causal e regularização estrutural em mecanismos de atenção é uma estratégia eficaz para melhorar a generalização em tarefas de computação afetiva não controladas, particularmente ao utilizar backbones faciais especializados como o FRoundation.

Os Três Truques Mágicos

Funcionou?

A Conclusão

Mais como este