Solution to the 10th ABAW Expression Recognition Challenge: A Robust Multimodal Framework with Safe Cross-Attention and Modality Dropout

Este artigo apresenta uma solução robusta para o 10º Desafio de Reconhecimento de Expressão da ABAW, utilizando um framework multimodal com atenção cruzada segura e dropout de modalidade para lidar eficazmente com oclusões, dados ausentes e desequilíbrio de classes, alcançando 60,79% de precisão no conjunto de validação Aff-Wild2.

O essencial

Imagine que você está tentando entender o que uma pessoa está sentindo apenas olhando para ela. Às vezes, ela está sorrindo, às vezes chorando. Mas e se ela cobrir o rosto com a mão? Ou se ela se virar para o lado e sair da câmera? Ou se a luz estiver ruim?

Neste cenário, um computador "cega" e perde a capacidade de entender a emoção. É exatamente esse o problema que a equipe do 10º Desafio ABAW tentou resolver com uma solução inteligente e robusta.

Aqui está uma explicação simples do que eles criaram, usando analogias do dia a dia:

1. O Problema: O Detetive Cego

A maioria dos sistemas de reconhecimento de emoção funciona como um detetive que só usa a visão. Se o suspeito (a pessoa) esconde o rosto ou sai da sala, o detetive desiste. Além disso, em filmes reais (dados do mundo real), a maioria das cenas mostra pessoas "neutras" ou "felizes", enquanto emoções raras como "medo" ou "nojo" aparecem muito pouco. Isso faz com que o computador aprenda a ignorar essas emoções raras.

2. A Solução: O Duplo Sentinela (Visão + Ouvido)

Os pesquisadores criaram um sistema que funciona como um duplo sentinela:

• O Olho (Visão): Usa um "super-olho" (chamado BEiT-large) que analisa cada quadro do vídeo para ver expressões faciais.
• O Ouvido (Áudio): Usa um "super-ouvido" (chamado WavLM-large) que escuta a voz, o tom e a entonação.

A ideia é: se o "Olho" não consegue ver nada (porque a pessoa cobriu o rosto), o "Ouvido" assume o comando e diz: "Ei, a voz dela está trêmula, ela deve estar com medo!".

3. O Truque Mágico: A "Atenção Segura"

A parte mais genial do trabalho é como eles lidam com quando a visão some totalmente.
Imagine que você está dirigindo e a neblina cobre o para-brisa. Um carro comum travaria. Mas o carro deles tem um sistema de segurança.

• Eles treinaram o sistema propositalmente para "cegar" a visão aleatoriamente durante os estudos (como se fosse um treino de sobrevivência).
• Quando a visão some de verdade, o sistema não entra em pânico. Ele usa uma "porta de emergência" (chamada Safe Cross-Attention) que bloqueia o sinal de erro e deixa o sistema confiar 100% no áudio. É como se o carro dissesse: "Ok, não vejo nada, vou confiar no GPS e no som do motor para continuar dirigindo".

4. Lidando com a Desigualdade: O "Foco nos Raros"

Como dito antes, o banco de dados tem muitas pessoas felizes e poucas com medo. Se você treinasse um aluno com muitas provas de "felicidade", ele nunca aprenderia a responder "medo".
Para resolver isso, eles usaram uma técnica chamada Focal Loss (Perda Focal).

• Analogia: Imagine um professor que dá uma nota extra para os alunos que acertam as perguntas mais difíceis e ignora as perguntas fáceis que todo mundo já sabe. O sistema é forçado a prestar atenção nas emoções raras e difíceis, em vez de ficar preguiçoso e apenas adivinhar "feliz" o tempo todo.

5. Suavizando a Resposta: O "Voto Suave"

Às vezes, uma emoção muda rapidamente. Se o sistema analisar quadro por quadro, ele pode ficar confuso: "Agora é feliz, agora é triste, agora é feliz de novo!". Isso cria um efeito de "jitter" (tremedeira).
Para evitar isso, eles usam uma janela deslizante com votação suave.

• Analogia: Em vez de perguntar a uma pessoa "Como você está?" a cada segundo, eles perguntam a um grupo de amigos sobre um intervalo de tempo (ex: "Como ela estava nos últimos 10 segundos?"). Eles somam todas as opiniões e tiram uma média. Isso suaviza a resposta, fazendo com que a transição de "triste" para "feliz" pareça natural, como uma onda, e não como um interruptor que liga e desliga.

O Resultado Final

Com essa combinação de "super-olho", "super-ouvido", "treino de cegueira" e "foco nos difíceis", o sistema conseguiu:

• Não quebrar quando a pessoa sai da câmera.
• Identificar melhor as emoções raras.
• Ter uma precisão de 60,79% e um índice de qualidade (F1-score) de 0,5029 em um teste muito difícil.

Em resumo: Eles criaram um robô emocional que não é apenas inteligente, mas também resiliente. Ele sabe que o mundo é bagunçado, que as pessoas cobrem o rosto e que as emoções raras importam tanto quanto as comuns. E, principalmente, ele sabe o que fazer quando uma das suas "percepções" falha.

Resumo técnico

Resumo Técnico: Framework Multimodal Robusto para Reconhecimento de Expressões no Desafio ABAW 10

1. Problema e Contexto

O reconhecimento de emoções em ambientes reais ("in-the-wild") enfrenta desafios significativos que limitam a generalização dos modelos treinados em laboratório. Os principais obstáculos identificados são:

• Oclusões Parciais e Modalidades Faltantes: Em cenários não controlados, os sujeitos frequentemente saem do campo de visão ou sofrem oclusões severas, tornando os dados visuais indisponíveis.
• Desequilíbrio de Classes Severo: O conjunto de dados Aff-Wild2 apresenta uma distribuição de "cauda longa" (long-tail), onde certas emoções são raras, enquanto outras são predominantes, enviesando modelos tradicionais.
• Ruído e Variabilidade: Condições de iluminação adversas, poses variadas e diferenças culturais nas expressões dificultam a extração de características robustas.
• Jitter de Classificação: A variação frame a frame em vídeos longos pode levar a previsões instáveis e inconsistentes.

O objetivo deste trabalho é resolver o desafio de Reconhecimento de Expressão (EXPR) da 10ª edição do Affective Behavior Analysis in-the-wild (ABAW), propondo uma solução que seja robusta a dados ausentes e desbalanceados.

2. Metodologia Proposta

Os autores propõem um framework multimodal de ponta a ponta que integra visão e áudio, baseado em uma arquitetura Transformer de dois ramos. O sistema consiste em cinco componentes principais:

A. Extração de Características e Pré-treinamento (Pipeline de Duas Etapas)

• Visual: Utiliza a arquitetura BEiT-large como backbone. O modelo passa por um pré-treinamento em um conjunto de dados estático misto (Raf-DB, FERPlus, AffectNet) para aprender representações de expressões básicas, seguido de fine-tuning adaptativo de domínio nas imagens do Aff-Wild2.
• Áudio: Utiliza o WavLM-large, pré-treinado em um grande corpus de fala, para extrair características acústicas e prosódicas.
• Alinhamento: As características de áudio são reamostradas via interpolação linear para alinhar temporalmente com os frames de vídeo.

B. Rede de Atenção Multimodal

• Arquitetura Dual-Branch: O modelo possui ramos independentes para visão e áudio que extraem contextos intra-modais usando codificadores Transformer.
• Mecanismo de Atenção Cruzada (Cross-Attention): Blocos de atenção cruzada permitem a interação bidirecional entre os ramos visual e auditivo, facilitando a fusão de informações contextuais.
• Fusão com Portão (Gating): Um mecanismo de portão aprendível ajusta dinamicamente o fluxo de informação, equilibrando as contribuições das características unimodais e das características fundidas cruzadas.

C. Mecanismo de Atenção Segura e Modality Dropout

• Dropout de Modalidade: Durante o treinamento, a entrada visual é aleatoriamente mascarada (definida como zero) com uma probabilidade $p$. Isso simula a perda de sinal visual e força o modelo a não depender exclusivamente da visão.
• Atenção Segura (Safe Cross-Attention): Para lidar com a ausência total de dados visuais em uma janela, o sistema implementa uma lógica de proteção numérica. Se a visão estiver ausente, a saída da atenção cruzada é forçada a zero, permitindo que a conexão residual preserve as características puras do áudio. Isso garante que o modelo degrade suavemente para previsões baseadas apenas em áudio, mantendo a funcionalidade em condições extremas.

D. Otimização e Perda

• Focal Loss: Para mitigar o desequilíbrio de classes, a perda padrão de entropia cruzada é substituída pela Focal Loss. Isso reduz o peso das amostras fáceis e frequentes, forçando o modelo a focar nas amostras difíceis e de cauda longa (emoções raras).
• Ignorância de Frames Inválidos: Frames marcados como inválidos (-1) são explicitamente ignorados no cálculo da perda para evitar ruído nos gradientes.

E. Estratégia de Inferência e Pós-processamento

• Janela Deslizante e Soft Voting: Para capturar dependências temporais em vídeos longos, o modelo utiliza janelas sobrepostas (tamanho $W=64$, passo $S=8$).
• Suavização: Em vez de votação de rótulos rígidos, utiliza-se uma média dos logits previstos sobre as janelas que cobrem um frame específico.
• Filtro de Mediana: Aplica-se um filtro de mediana (kernel $k=11$) nas previsões frame a frame para reduzir o jitter (tremulação) causado por ruído local ou mudanças bruscas de modalidade, preservando as fronteiras das transições emocionais.

3. Principais Contribuições

1. Mecanismo de Atenção Segura: Uma inovação arquitetural que permite ao modelo lidar gracefully com a ausência total de dados visuais, garantindo robustez em cenários de oclusão severa ou saída do campo de visão.
2. Estratégia de Modality Dropout: O uso de dropout de modalidade durante o treinamento, combinado com a atenção segura, melhora significativamente a tolerância a falhas do sistema.
3. Tratamento de Desequilíbrio e Ruído: A combinação de Focal Loss com uma estratégia de soft voting temporal aborda simultaneamente o problema de classes raras e a instabilidade de previsões em vídeos longos.
4. Análise de Capacidade do Modelo: Demonstração de que modelos excessivamente parametrizados tendem a overfitting em dados ruidosos e limitados do in-the-wild, sendo uma rede de capacidade média (dimensão 256, 3 camadas) mais eficaz.

4. Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados de validação do Aff-Wild2.

• Desempenho Geral: O framework alcançou uma acurácia de 60,79% e um F1-score de 0,5029.
• Impacto do Dropout de Modalidade: A introdução de uma probabilidade de dropout visual de $p=0.10$ aumentou o F1-score de 0,4764 (sem dropout) para 0,5029, provando a eficácia da simulação de perda de sinal no treinamento.
• Comparação de Backbones: O BEiT-large superou outras arquiteturas como ResNet50, EfficientNetV2-M e MAE-ViT-Base, demonstrando superioridade na captura de contexto facial global.
• Fusão Multimodal: A fusão ponderada (com $\lambda=0.7$ para visão) superou o uso exclusivo de visão ou áudio, confirmando que o áudio fornece pistas suplementares essenciais, especialmente quando a visão é comprometida.

5. Significância e Conclusão

Este trabalho oferece um avanço significativo para a computação afetiva em ambientes não controlados. A principal lição aprendida é que a robustez em cenários reais não depende apenas da complexidade do modelo, mas da capacidade de lidar com dados incompletos e desbalanceados.

• Resiliência: O sistema demonstra que é possível manter a performance mesmo quando a modalidade visual falha, algo crítico para aplicações do mundo real (como robótica social ou monitoramento de saúde mental).
• Eficiência: A descoberta de que redes menores e bem regularizadas superam modelos massivos em dados ruidosos do in-the-wild orienta futuras pesquisas para otimização de generalização em vez de apenas aumento de parâmetros.
• Aplicabilidade: A metodologia proposta é diretamente aplicável a sistemas que exigem interpretação emocional contínua e confiável, superando as limitações de abordagens puramente visuais ou estáticas.

Em suma, a solução combina uma arquitetura Transformer inovadora com estratégias de treinamento específicas para dados desafiadores, estabelecendo um novo estado da arte para o desafio de reconhecimento de expressões no ABAW.