Dual-View Optical Flow for 4D Micro-Expression Recognition - A Multi-Stream Fusion Attention Approach

1. Problema e Contexto

O reconhecimento de microexpressões (MEs) é crucial para a computação afetiva, mas enfrenta desafios significativos devido à natureza involuntária, de curta duração e baixa intensidade dessas expressões faciais.

• Desafios Específicos: A maioria dos métodos tradicionais baseia-se em dados 2D (vídeos RGB) ou sequências de pontos de referência (landmarks), que muitas vezes falham em capturar movimentos espaciais e temporais sutis, especialmente sob variações de iluminação ou pose.
• Dados 4D: O uso de dados 4D (malhas 3D + tempo) oferece uma descrição detalhada das mudanças geométricas faciais, mas processar essas malhas dinâmicas diretamente exige arquiteturas complexas (como PointNet++ ou 3D CNNs) com alto custo computacional e de memória, dificultando a aplicação em cenários reais.
• Objetivo: Desenvolver um método que aproveite a riqueza da informação de profundidade dos dados 4D, mantendo a eficiência computacional das CNNs 2D, e que seja capaz de distinguir movimentos sutis de características estáticas do rosto.

2. Metodologia Proposta

Os autores propõem uma abordagem inovadora que projeta dados espaciotemporais 4D em mapas de fluxo óptico 2D sincronizados de duas visões, processados por uma arquitetura de rede neural chamada MicroAttNet.

A. Pré-processamento e Separação de Visões

• Dual-View: Os dados de entrada (imagens de textura das malhas 3D) contêm duas visões faciais (esquerda e direita). O método separa essas visões e aplica um recorte (cropping) consistente em toda a sequência para garantir alinhamento espacial.
• Detecção Automática do Pico (Apex Frame): Como o conjunto de dados não possui anotações de "pico" (momento de máxima intensidade), o sistema detecta automaticamente o quadro de pico calculando a intensidade do fluxo óptico denso (algoritmo de Farneback) entre o quadro de início (neutral) e os subsequentes. O quadro com a maior magnitude de movimento é selecionado como o pico.

B. Decomposição Temporal e Cálculo de Fluxo Óptico

• Fases da Expressão: Cada sequência é decomposta em duas fases temporais distintas: Início-Pico (onset-apex) e Pico-Fim (apex-offset). Isso permite modelar a dinâmica de crescimento e declínio da intensidade muscular.
• Canais de Fluxo: Para cada fase e cada visão, são extraídos três canais de fluxo óptico:
  1. Horizontal (u): Deslocamento lateral.
  2. Vertical (v): Deslocamento vertical.
  3. Magnitude (m): Intensidade do movimento.
• Vantagem: Ao converter malhas 3D em fluxo óptico 2D, o método desacopla o movimento da aparência estática, focando apenas na evolução dinâmica dos músculos faciais.

C. Arquitetura Triple-Stream MicroAttNet

A rede utiliza uma arquitetura de três fluxos paralelos (Triple-Stream), onde cada fluxo processa independentemente um dos canais de movimento (u, v, m).

• Módulo de Atenção de Fusão (Fusion Attention): Após blocos de convolução, um mecanismo de atenção adaptativo recalibra o peso de cada fluxo. Em vez de concatenar os recursos de forma estática, a rede aprende dinamicamente quais direções de movimento (horizontal, vertical ou magnitude) são mais discriminativas para cada instância de expressão.
• Bloco Squeeze-and-Excitation (SE): Um bloco SE é incorporado especificamente no fluxo de Magnitude para realçar as representações de intensidade do movimento, suprimindo canais menos relevantes.
• Aumento de Dados (Augmentation): Utiliza-se uma estratégia de "Aumento Temporal Consciente de Fase", treinando o modelo com amostras de ambas as fases (crescente e decrescente) para melhorar a robustez temporal.

D. Treinamento

• Função de Perda: Utiliza-se Focal Loss para mitigar o desequilíbrio de classes inerente aos conjuntos de dados de microexpressões.
• Otimizador: Adam com early stopping.

3. Principais Contribuições

1. MicroAttNet: Uma arquitetura de três ramos com um mecanismo de atenção unificado, projetada especificamente para MER em dados 4D.
2. Extração Eficiente de 4D: Um método eficiente para extrair e analisar características de fluxo óptico (u, v, m) a partir de sequências de malhas 3D, reduzindo a dimensionalidade sem perder informações geométricas críticas.
3. Estratégia de Aumento de Dados: Introdução de uma estratégia de aumento de dados temporalmente consciente de fase para dados 4D.
4. Validação em Desafio Internacional: O método foi validado no desafio 4DMR 2025 (IJCAI Workshop), alcançando o primeiro lugar.

4. Resultados

O método foi avaliado no conjunto de dados 4DMR (24 sujeitos, 5 categorias de emoção: Negativo, Positivo, Repressão, Surpresa, Outros), configurado como um problema de classificação multi-rótulo.

• Desempenho no Leaderboard: A equipe "Red-Green-Blue" (os autores) alcançou uma pontuação UF1 Macro de 0,536.
• Comparação: Este resultado superou a linha de base oficial (Baseline) em mais de 50% (0,355) e ficou à frente de outras 16 equipes concorrentes.
• Estudo de Ablação:
  • A remoção do módulo de Fusion Attention reduziu a pontuação para 0,524.
  • A remoção do bloco SE reduziu para 0,518.
  • A remoção de ambos caiu para 0,510.
  • A configuração completa (com ambos os módulos) atingiu 0,554 em testes internos, confirmando que cada componente contribui com até 3,6 pontos de ganho no UF1.

5. Significado e Conclusão

Este trabalho demonstra que é possível processar dados 4D complexos de forma eficiente convertendo-os em representações 2D de fluxo óptico de dupla visão.

• Eficiência vs. Precisão: A abordagem provou ser superior a métodos que tentam processar malhas 3D diretamente, oferecendo um equilíbrio ideal entre custo computacional e precisão.
• Interpretabilidade: O uso de fluxo óptico e atenção adaptativa torna o modelo mais interpretável, focando nos movimentos musculares dinâmicos em vez de texturas estáticas.
• Impacto Futuro: Os resultados sugerem que a combinação de pistas faciais multi-visão com modelagem de movimento específica de fase é uma solução robusta para o reconhecimento de microexpressões em cenários de alta dimensão, abrindo caminho para aplicações em investigação criminal, negociação e análise comportamental.

Em suma, o artigo estabelece um novo estado da arte no reconhecimento de microexpressões 4D, validado por uma vitória em um desafio internacional de alto nível, demonstrando a eficácia da fusão de fluxo óptico dual-view com mecanismos de atenção multi-stream.