💻 computer science

AffectFlow-DINO: Uncertainty-Aware Multi-Task Affect Estimation via Conditional Rectified Flow

O AffectFlow-DINO é um sistema de aprendizagem multitarefa para o 11º desafio ABAW que utiliza um cabeçalho de fluxo retificado condicional em uma espinha dorsal DINOv3 para modelar a ambiguidade do afeto facial por meio de previsões generativas conscientes de incerteza, alcançando ganhos significativos de desempenho na estimativa de valência-excitação, classificação de expressão e detecção de unidades de ação.

Autores originais: Salah Eddine Bekhouche, Abdellah Zakaria Sellam, Fadi Dornaika, Abdenour Hadid

Publicado 2026-07-16

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Salah Eddine Bekhouche, Abdellah Zakaria Sellam, Fadi Dornaika, Abdenour Hadid

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando adivinhar como um amigo está se sentindo apenas olhando para uma única foto de seu rosto. É um jogo difícil. Um sorriso minúsculo pode significar que ele está feliz, ou talvez esteja apenas sendo educado enquanto se sente triste. Uma testa franzida pode significar raiva, ou apenas concentração profunda. Este é o mundo da "computação afetiva" — ensinar computadores a ler as emoções humanas. Por muito tempo, cientistas tentaram construir modelos que agissem como um juiz rigoroso, forçando cada rosto a entrar em uma única caixa: "Este é 100% Feliz" ou "Este é 100% Triste". Mas os rostos humanos são bagunçados e ambíguos. Às vezes, um rosto contém uma mistura de sentimentos, ou a iluminação torna uma expressão sutil difícil de ler. A grande questão neste campo é: Como ensinamos um computador a entender que um rosto não é apenas uma única resposta, mas toda uma gama de possibilidades?

Este artigo apresenta um novo sistema chamado AffectFlow-DINO, projetado para resolver exatamente esse problema. Em vez de forçar o computador a escolher apenas um "melhor palpite" para o humor de uma pessoa, a equipe construiu um modelo que aprende a imaginar muitos humores possíveis ao mesmo tempo. Pense nisso como um previsão do tempo. Um modelo tradicional pode dizer: "Choverá às 14h". Um modelo melhor, consciente da incerteza, diz: "Há 70% de chance de chuva, 20% de nuvens e 10% de sol". O AffectFlow-DINO faz isso pelas emoções. Ele usa um truque matemático inteligente chamado "fluxo retificado" (rectified flow) para gerar uma nuvem de estados emocionais plausíveis para cada rosto que vê. Ao tirar a média dessas possibilidades, ele frequentemente encontra uma resposta mais precisa do que um modelo padrão jamais conseguiria. Os pesquisadores testaram o sistema em um enorme conjunto de dados de rostos do mundo real e descobriram que, ao abraçar a incerteza, seu sistema tornou-se significativamente melhor em detectar sentimentos sutis, especialmente para emoções raras como medo ou tristeza, que geralmente são ignoradas.

O Problema: A Armadilha do "Tamanho Único"

Imagine que você está tentando descrever uma pintura complexa para um amigo ao telefone. Se você for forçado a escolher apenas uma palavra para descrever toda a imagem, poderá dizer "Azul". Mas a pintura é, na verdade, uma mistura de azul, cinza e um pequeno toque de vermelho. Se você disser apenas "Azul", perderá a nuance.

No mundo do reconhecimento facial, os computadores ficaram presos nesta armadilha da "palavra única". Eles olham para um rosto e tentam produzir um único número para "Valência" (o quão positivo ou negativo é o humor) e "Excitação" (o quão animado ou calmo é), além de uma lista de movimentos musculares faciais chamados "Unidades de Ação". O problema é que, no mundo real, os rostos são ambíguos. Um leve tremor na boca pode ser um sorriso, uma careta ou apenas um espasmo muscular. Um modelo de computador padrão esmaga toda essa ambiguidade em uma previsão única e rígida, jogando fora a incerteza que, na verdade, contém as pistas para a resposta correta.

A Solução: Uma Máquina de "E se?"

Os autores deste artigo decidiram parar de perguntar ao computador: "Qual é a emoção?" e começar a perguntar: "O que a emoção poderia ser?"

Eles construíram um sistema chamado AffectFlow-DINO. O sistema começa com um "cérebro" pré-treinado poderoso (um backbone visual DINOv3) que já é muito bom em reconhecer rostos. Mas, em vez de apenas deixar esse cérebro fazer um único palpite, eles adicionaram um "mecanismo de imaginação" especial sobre ele. Este mecanismo usa uma técnica chamada Fluxo Retificado (Rectified Flow).

Aqui está uma maneira simples de visualizar como funciona:

O Ruído: Imagine começar com uma tela em branco coberta por ruído estático (como a estática de uma TV).
A Jornada: O modelo aprende um caminho direto e eficiente para transformar esse ruído em uma emoção específica. É como desenhar uma linha direta de "confusão" para "felicidade".
A Nuvem: Quando o modelo vê um novo rosto, ele não desenha apenas uma linha. Ele desenha muitas linhas do ruído para o espaço emocional. Cada linha representa uma interpretação diferente e plausível daquele rosto.
A Média: Finalmente, ele tira a média de todas essas linhas. Se o rosto estiver claramente feliz, todas as linhas apontarão para "Feliz", e a média será um "Feliz" forte e confiante. Se o rosto for ambíguo, as linhas se espalharão, e a média fornecerá uma resposta matizada que captura a incerteza.

Os Resultados: Melhorando no que é Difícil

A equipe testou seu sistema no conjunto de dados s-Aff-Wild2, que contém milhares de imagens estáticas de rostos do mundo real. Essas imagens são complicadas porque muitas vezes estão mal iluminadas, parcialmente cobertas ou mostram expressões muito sutis. O objetivo era prever três coisas ao mesmo tempo:

Valência-Excitação: O quão positivo/negativo e animado/calmo a pessoa está.
Expressões: Quais de oito emoções (como Alegria, Medo, Tristeza) estão presentes.
Unidades de Ação: Quais de doze músculos faciais específicos estão se movendo.

Os resultados foram impressionantes. Ao usar seu "mecanismo de imaginação", o modelo melhorou sua capacidade de adivinhar as pontuações de Valência-Excitação por uma margem significativa (uma melhoria de pontuação de +0,058). Mas a verdadeira mágica aconteceu com as emoções raras.

No mundo real, algumas emoções são muito raras. Em seu conjunto de dados, o Medo aparecia em apenas cerca de 3,8% das imagens rotuladas, e a Tristeza também era bastante rara. Os modelos padrão geralmente ignoram esses casos raros, adivinhando "Neutro" ou "Outro" na maioria das vezes. O sistema AffectFlow-DINO, no entanto, conseguiu recuperar a capacidade de detectar essas emoções raras.

Através de uma etapa de pós-processamento inteligente (ajustando o "limiar de decisão" para cada emoção separadamente) aplicada a um modelo que havia sido ajustado (fine-tuned) para a tarefa específica, eles aumentaram a capacidade do modelo de detectar o Medo de um medíocre 3,8% de F1 score para 33,1%, e a Tristeza de 17,1% para 28,2%. Esse passo de calibração específico não exigiu o retreinamento de todo o modelo do zero; era apenas uma questão de ouvir mais atentamente os sinais que o modelo ajustado já estava aprendendo.

O Que Eles Descartaram

Os pesquisadores não testaram apenas uma coisa; eles testaram 26 escolhas de design diferentes para ver o que realmente funcionava.

Eles descartaram "Apenas Fluxo" ou "Apenas Determinístico": Descobriram que, se usassem apenas o "mecanismo de imaginação" (Fluxo) sem as cabeças de "um único palpite" padrão, o modelo falhava. Inversamente, se usassem apenas as cabeças padrão sem o fluxo, perderiam a nuance. As duas partes devem trabalhar juntas.
Eles descartaram correções simples para o desequilíbrio: Tentaram fazer o computador prestar mais atenção às emoções raras apenas mudando os pesos matemáticos ou usando "Focal Loss". Esses métodos não funcionaram bem sozinhos e às vezes tornavam o modelo pior em outras tarefas.
Eles descartaram o ajuste fino "Tudo Incluído" (Kitchen Sink): Tentaram combinar todos os truques possíveis (mudando pesos, estratégias de amostragem, etc.) de uma só vez. Surpreendentemente, essa abordagem "tudo incluído" não melhorou a pontuação final; na verdade, às vezes prejudicava a capacidade do modelo de adivinhar o humor (Valência) com precisão.

A Conclusão

O artigo sugere que a chave para um melhor reconhecimento de emoções não é apenas tornar o computador "mais inteligente" ou "maior", mas ensiná-lo a estar confortável com a incerteza. Ao permitir que o modelo explore uma gama de possibilidades e depois tire a média delas, o AffectFlow-DINO alcançou uma pontuação de desempenho final de 1,177, que é mais do que o dobro da pontuação de base oficial de 0,45.

Os autores concluem que, embora seu sistema seja um grande passo à frente, os maiores ganhos vieram de duas coisas:

Ajustar o cérebro visual: Ajustar o reconhecedor de rostos pré-treinado para a tarefa específica.
Calibrar os limiares de decisão: Perceber que o computador estava realmente "vendo" as emoções raras, mas precisava apenas de um empurrão para confiar em seus próprios pressentimentos.

Este trabalho sugere que o futuro da IA de emoção não reside em forçar uma única resposta, mas em abraçar a realidade desordenada e multifacetada da expressão humana.

Resumo Técnico: AffectFlow-DINO

Declaração do Problema

A 11ª competição de Análise de Comportamento Afetivo in-the-wild (ABBAW) apresenta um cenário desafiador de Aprendizado Multitarefa (MTL), onde cada imagem facial estática deve ser simultaneamente anotada com três representações afetivas complementares: valores contínuos de Valência-Arousal (VA), um rótulo de expressão categórica de oito vias e doze rótulos binários de Unidades de Ação (AU).

Este cenário introduz dificuldades significativas:

Alvos Heterogêneos: As tarefas diferem no tipo de saída (regressão, classificação de rótulo único e detecção de rótulo múltiplo) e na densidade de supervisão.
Desequilíbrio de Classes Severo: O conjunto de dados s-Aff-Wild2 exibe um desequilíbrio de 8× nas classes de expressão (dominado por Neutro, Outro e Felicidade) e um desequilíbrio de 29× nas AUs.
Supervisão Incompleta: Anotações conjuntas das três tarefas cobrem apenas 37% dos quadros, exigindo um tratamento robusto para rótulos ausentes.
Ambiguidade Perceptiva: Comportamentos faciais in-the-wild (ex: sorrisos sutis, oclusões parciais) frequentemente correspondem a múltiplas configurações plausíveis no espaço afetivo conjunto. Modelos determinísticos padrão colapsam essa ambiguidade em uma única estimativa pontual, descartando informações valiosas de incerteza.

Metodologia: AffectFlow-DINO

Os autores propõem o AffectFlow-DINO, um sistema de MTL ao nível de quadro que aumenta uma arquitetura determinística padrão com um cabeçalho de fluxo retificado condicional para modelar a distribuição conjunta completa de afeto $p(y|x)$ .

Visão Geral da Arquitetícia

O sistema compreende quatro componentes primários:

Backbone Visual: Um codificador DINOv3 ViT-S/16 congelado extrai representações faciais ricas. Os autores observam que os objetivos de auto-supervisão do DINO impõem consistência semântica espacial, tornando-o bem adequado para detectar ativações musculares localizadas (AUs) em comparação com o pré-treinamento baseado em reconstrução como o MAE.
Projeção Compartilhada: Um cabeçalho de projeção mapeia as características do backbone em um embedding afetivo compacto de 768 dimensões $z$ .
Cabeçalhos Determinísticos: Três cabeçalhos MLP específicos para cada tarefa produzem previsões pontuais para VA (restrito a $[-1, 1]$ via tanh), Expressão (8 logits) e AUs (12 logits).
Cabeçalho de Fluxo Retificado Condicional: Esta inovação central aprende um mapa de transporte generativo de ruído Gaussiano isotrópico para a distribuição alvo condicional $p(y|x)$ . Ele recebe o embedding da imagem $z$ , um alvo com ruído linearmente interpolado $y_t$ e um embedding de tempo $\gamma(t)$ para prever a velocidade de transporte.

Representação Conjunta e Supervisão Mascarada

O modelo unifica alvos heterogêneos em um único vetor de 22 dimensões $y \in \mathbb{R}^{22}$ , composto por VA (2 dims), Expressão (8 dims) e AUs (12 dims). Durante o treinamento, as dimensões categóricas e binárias são tratadas como pontuações de valores reais não restritos dentro da trajetória de fluxo. Previsões discretas são recuperadas apenas na inferência via $\arg\max$ e limiar de sigmoide.

Para lidar com anotações incompletas, uma máscara de validade binária por amostra $m_i$ é aplicada a todos os termos de perda. Isso garante que alvos ausentes não contribuam com gradientes ou distorçam o sinal de treinamento do fluxo. Os autores argumentam que, sob a suposição de que a ausência de anotação é independente dos valores afetivos reais, a máscara permite que o modelo aprenda a distribuição conjunta completa a partir de marginais parciais.

Treinamento e Inferência

Função de Perda: O objetivo total combina uma perda multitarefa determinística ponderada ( $\mathcal{L}_{det}$ ) e uma perda de fluxo ( $\mathcal{L}_{flow}$ ):
$\mathcal{L} = \mathcal{L}_{det} + \beta \mathcal{L}_{flow}$
A perda de fluxo minimiza o erro quadrático entre a velocidade prevista e o campo de velocidade constante real $v^* = y - \epsilon$ .
Inferência: Em vez de uma única passagem direta (forward pass), o modelo realiza amostragem de Monte Carlo. $N$ amostras de ruído independentes são integradas via passos de Euler de $t=0$ a $t=1$ . A previsão final é a média dessas trajetórias, fornecendo tanto uma estimativa pontual (a média) quanto uma medida de incerteza (a dispersão).

Principais Contribuições

Objetivo de MTL de Fluxo Retificado Mascarado: Um novo framework que otimiza conjuntamente cabeçalhos de tarefas determinísticos e uma distribuição condicional generativa sobre um vetor afetivo de 22 dimensões, lidando com rótulos ausentes via mascaramento.
Estudo de Ablação Sistemático: Uma avaliação extensiva abrangendo 26 escolhas de design no s-Aff-Wild2, cobrindo pesos de perda de fluxo, eficiência de inferência, remédios para desequilíbrio, fine-tuning de backbone e calibração post-hoc.
Estratégias de Calibração Post-Hoc: A demonstração de que a calibração de limiar por AU e por classe de expressão pode recuperar efetivamente o desempenho em classes raras severamente desequilibradas (ex: Medo, Tristeza, AU15, AU23) sem retreinamento.

Resultados Experimentais

O sistema foi avaliado no split de validação do s-Aff-Wild2. O baseline oficial do desafio alcança uma métrica composta $PMTL = 0.45$.

Desempenho do Baseline: Um modelo puramente determinístico ( $\beta=0$ ) alcança $PMTL = 0.793$. Adicionar o cabeçalho de fluxo com decodificação de fluxo ( $\beta=1$ ) melhora este para $PMTL = 0.826$, com a amostragem de fluxo impulsionando especificamente a estimativa de Valência-Arousal (VA) ($CCC-V +0.058$).
Fine-Tuning do Backbone: O fine-tuning de baixa taxa de aprendizado do backbone DINOv3 proporcionou o ganho mais significativo, elevando o melhor resultado de backbone congelado ($0.831$) para $PMTL = 1.045$. Curiosamente, após o fine-tuning, a decodificação determinística superou a decodificação de fluxo, sugerindo que o cabeçalho de fluxo precisava de retreinamento.
Retreinamento do Fluxo: Reativar o objetivo de fluxo ( $\beta=1.0$ ) durante o fine-tuning do backbone melhorou o desempenho determinístico para $PMTL = 1.073$.
Ganhos de Calibração:
- Calibração de Limiar por AU: Melhorou o $PAU$ de $0.453$ para $0.502$, elevando a pontuação total para $1.123$.
- Calibração de Expressão por Classe: Ao ajustar os logits específicos de classe no conjunto de validação, o modelo recuperou o sinal latente para classes raras. O F1 de Medo aumentou de $3.8\%$ para $33.1\%$ , e de Tristeza de $17.1\%$ para $28.2\%$ .
Desempenho Final: A combinação de fine-tuning de backbone, retreinamento de fluxo ( $\beta=1.0$ ) e calibração post-hoc combinada alcançou um $PMTL = 1.177$, superando substancialmente o baseline oficial ($0.45$) e o melhor modelo fine-tuned não calibrado ($1.045$).

Significância e Alegações

O artigo afirma que o AffectFlow-DINO demonstra o valor de modelar o afeto facial como uma distribuição condicional em vez de um mapeamento determinístico. Os autores destacam três lições principais:

Complementaridade de Objetivos: Os objetivos de fluxo e determinísticos são mutuamente benéficos. O treinamento apenas de fluxo colapsa sem a âncora determinística, enquanto a inferência apenas determinística descarta a capacidade distributiva. A amostragem de fluxo é particularmente eficaz para alvos contínuos (VA) onde a ambiguidade é maior.
O Papel do Fine-Tuning: Embora a adaptação do backbone seja o fator dominante nos ganhos de desempenho, o caminho generativo degrada se o cabeçalho de fluxo não for retreinado conjuntamente durante o fine-tuning.
Desbloqueio de Sinais Raros: O desequilíbrio severo de classes suprime sinais aprendidos, mas não os apaga. Os autores afirmam que a calibração post-hoc pode "desbloquear" pontuações F1 próximas de zero para categorias raras (Medo, Tristeza, AUs raras) com custo zero de retreinamento, sugerindo que as fronteiras de decisão podem ser ajustadas para trazer à tona sinais já codificados na representação.

Os autores concluem que fechar a lacuna para o Estado da Arte (SOTA) provavelmente requer agregação temporal e decodificação fine-tuned mais expressiva, observando que seu trabalho atual é estritamente de nível de quadro (frame-level).