Rethinking the Role of Feature Engineering and Learning Strategies in Few-Shot Hidden Emotion Recognition

Resumo Técnico: Repensando o Papel da Engenharia de Atributos e das Estratégias de Aprendizado no Reconhecimento de Emoções Ocultas com Poucos Exemplos (Few-Shot)

Definição do Problema
Este artigo aborda o desafio do reconhecimento de emoções ocultas com poucos exemplos (few-shot) em sequências de vídeo longas, especificamente no contexto do conjunto de dados iMiGUE (entrevistas de tênis pós-jogo sem áudio). A dificuldade central reside em inferir estados afetivos latentes a partir de comportamentos não verbais fracos, esparsos e insensíveis à identidade, que podem aparecer em apenas alguns quadros. A tarefa é complicada pela escassez de dados rotulados, desequilíbrio de classes e pela presença de ruído de fundo significativo e variações de câmera. Os autores visam determinar quais arquiteturas de engenharia de atributos e estratégias de aprendizado temporal podem genuinamente impulsionar uma generalização robusta neste cenário extremo, em vez de depender de uma "pseudo-generalização" impulsionada pela memorização mecânica.

Metodologia
Os autores propõem um framework de modelagem temporal multimodal compacto que reformula a tarefa como modelagem temporal multimodal sensível ao deslocamento (offset-aware). A metodologia é estruturada em três componentes principais:

1. Engenharia de Atributos Profundos e Construção de Representação:

   • Atributos Cinemáticos e Dinâmicos: O sistema extrai marcos esqueléticos (corpo, rosto, mãos) tanto em 2D (OpenPose) quanto em 3D (MediaPipe) e parâmetros de blendshape facial. Crucialmente, estes são decompostos em "Atributos de Base" (poses estáticas) e "Atributos de Deslocamento (Offset)" (diferenciação numérica quadro a quadro que representa as derivadas de primeira ordem do movimento). Esta mudança força o modelo a focar nas velocidades de micromovimentos relativos, em vez de vieses de identidade estáticos.
   • Atributos Visuais e Semânticos: Para lidar com o ruído de fundo, o pipeline utiliza o recorte baseado em YOLO para obter atributos visuais de grão fino (extraídos via DINOv2 e DINOv3) e utiliza o X-CLIP para o contexto semântico global de vídeos não recortados.
   • Priors de Alto Nível: Um Modelo de Visão-Linguagem (Gemini) é utilizado com prompting de Cadeia de Pensamento (Chain-of-Thought) e Reflexão para gerar análises psicológicas estruturadas (Unidades de Ação FACS), que são codificadas em priors semânticos via embeddings de BERT/Qwen.
   • Nota: Um ramo exploratório usando deformações de nuvem de pontos de Gauss 3D (HRAvatar) foi descartado devido à instabilidade em condições de vídeo selvagens e à maldição da dimensionalidade.

2. Agregação Temporal e Arquitetura de Rede:

   • Agrupamento Adaptativo (Adaptive Pooling): Para lidar com a esparsidade dos sinais emocionais em sequências longas, os autores empregam uma camada de agrupamento adaptativo baseada em Aprendizado de Múltiplos Instâncias (MIL). Esta camada aprende dinamicamente pesos de atenção para identificar e amplificar quadros emocionais de pico, enquanto suprime o ruído de fundo.
   • Estratégias de Fusão: Duas arquiteturas são comparadas:
     • Modelagem Independente: Trata os fluxos de base e de deslocamento como modalidades separadas, fundindo-os apenas na camada totalmente conectada final.
     • Atenção Cruzada Base-Deslocamento (Base-Offset Cross-Attention): Utiliza os atributos estáticos de Base como Queries e os atributos dinâmicos de Deslocamento como Keys/Values. Este mecanismo injeta explicitamente priors cinemáticos, permitindo que o modelo avalie microdeformações sob restrições físicas específicas.

3. Estratégia de Treinamento Semisupervisionado Progressivo:

   • Estágio 1 (Pré-treinamento Independente): Cada modalidade é pré-treinada de forma independente em rótulos de verdade fundamental (ground-truth) para evitar a "inércia de modalidade", onde ramos visuais dominantes podem privar fluxos mais fracos (como os deslocamentos de movimento).
   • Estágio 2 (Ajuste Fino Conjunto Semisupervisionado): O modelo é ajustado utilizando uma mistura de dados de verdade fundamental e pseudo-rótulos gerados pelo VLM Gemini no conjunto de teste não rotulado.
   • Estágio 3 (Autotreinamento Iterativo): Um ensemble de votação multimodelos refina os pseudo-rótulos, que são então utilizados para impulsionar o treinamento iterativamente. O sistema utiliza Focal Loss com ajuste dinâmico de parâmetros para evitar o sobreajuste (overfitting) a "exemplos difíceis", que são frequentemente apenas ruído ou erros de anotação.

Principais Resultados

• Desempenho na Competição: A solução proposta alcançou o primeiro lugar na Track 3 do 4º Desafio EI-MIGA-IJCAI, com uma acurácia de teste de 0,76923.
• Descobertas de Ablação:
  • O MIL proporcionou o ganho de desempenho mais significativo entre as estratégias de melhoria.
  • Os atributos 3D MediaPipe superaram o OpenPose 2D devido ao melhor modelamento geométrico espacial e tratamento de oclusão.
  • Atenção Cruzada vs. Independente: Embora o mecanismo de Atenção Cruzada Base-Deslocamento tenha tido desempenho inferior durante o pré-treinamento independente (devido ao sobreajuste), ele superou significamente os fluxos independentes durante a fase de ajuste fino conjunto, demonstrando o valor das restrições multimodais.
  • Atributos Macro vs. Micro: O X-CLIP (contexto macro) e o Gemini (priors semânticos) foram altamente eficazes. Por outro lado, atributos densos de modelos de visão de propósito geral (DINOv2/v3) mostraram colapso de representação, falhando em capturar microexpressões de grão fino sem adaptação específica ao domínio.

Significância e Análise Crítica
A principal contribuição do artigo não é meramente a pontuação de vitória, mas uma análise crítica rigorosa das dinâmicas de aprendizado no reconhecimento de emoções ocultas com poucos exemplos:

1. Modelagem Sensível ao Deslocamento (Offset-Aware): Os autores demonstram que modelar explicitamente os deslocamentos temporais (velocidades), em vez de poses absolutas, é essencial para capturar evidências comportamentais fracas.
2. A Armadilha da "Pseudo-Generalização": Uma parte significativa do artigo é dedicada à análise de uma "degeneração patológica" onde redes superparametrizadas (especificamente aquelas que utilizam atributos DINO) alcançam alta acurácia de treinamento, mas falham no teste. Os autores argumentam que esses modelos frequentemente recorrem ao aprendizado de atalhos (shortcut learning), memorizando pseudo-rótulos como "tabelas de busca de hash implícitas" em vez de aprender padrões generalizáveis.
3. Viés de Leaderboard: O artigo alerta que confiar no feedback de leaderboards públicos para o autotreinamento iterativo pode levar ao viés de sobrevivência. Ganhos de desempenho neste regime podem resultar do cancelamento aleatório de ruído multimodal em um subset específico de teste, em vez de um consenso genuíno, levando a falhas catastróficas ao enfrentar mudanças de domínio no mundo real.
4. Direção Futura: Embora o ramo de reconstrução de Gauss 3D tenha sido descartado para inferência direta devido à instabilidade, os autores sugerem seu potencial para aumento de dados generativo, onde poderia sintetizar amostras emocionais raras para abordar desequilíbrios de cauda longa (long-tail).

Em conclusão, o artigo apresenta um framework robusto e em múltiplos estágios que navega com sucesso pela escassez de dados rotulados através de uma cuidadosa decomposição de atributos e ensembling semisupervisionado, ao mesmo tempo em que oferece um alerta contra a aplicação acrítica de modelos de fundação gerais e otimização baseada em leaderboards em tarefas comportamentais sensíveis de poucos exemplos.