FIELDS: Face reconstruction with accurate Inference of Expression using Learning with Direct Supervision

Resumo Técnico: FIELDS

Definição do Problema
A reconstrução facial 3D monocular visa estimar uma representação de Modelo de Rosto 3D Mutável (3DMM) a partir de uma única imagem, fornecendo códigos de expressão conscientes da geometria que são úteis para o reconhecimento de expressão facial (FER) e compreensão de afeto. Embora os pipelines atuais tenham feito progressos significativos, eles são predominantemente treinados usando supervisão autocontida ao nível da imagem (consistência de reconstrução) e avaliados com base na fidelidade geométrica. Os autores argumentam que essa abordagem não maximiza necessariamente a "utilidade afetiva" da representação de expressão aprendida. Além disso, o acoplamento ingênuo de supervisão de afeto com perdas de consistência ao nível da imagem pode incentivar "atalhos de amplificação de intensidade", onde o modelo gera expressões exageradas para satisfazer restrições emocionais, comprometendo assim a plausibilidade geométrica. Métodos existentes que tentam preencher essa lacuna frequentemente dependem de perdas de consistência emocional fracas ao nível da imagem ou de módulos de emoção pré-treinados externos, o que pode levar a um compromisso entre capturar o afeto e renderizar imagens plausíveis.

Metodologia: FIELDS
O artigo propõe o FIELDS (Face reconstruction with accurate Inference of Expression using Learning with Direct Supervision), um framework orientado a tarefas projetado para resolver a tensão entre utilidade afetiva e plausibilidade geométrica. O FIELDS estende o pipeline de reconstrução facial 3D monocular autossupervisionado TEASER ao introduzir uma supervisão híbrida 2D/3D.

A arquitetura consiste em:

1. Encoder: Um encoder baseado em FLAME que prevê parâmetros de forma ($\beta$), expressão ($\Psi$) e pose ($\Theta$), juntamente com um token de aparência.
2. Sintetizador Neural: Um sintetizador guiado por tokens que reconstrói a imagem a partir da malha FLAME, máscara de fundo e tokens de aparência.
3. Cabeça de Emoção Auxiliar: Um MLP leve treinado conjuntamente para prever pontuações contínuas de valência-excitação (valence-arousal) e categorias de emoções discretas diretamente dos parâmetros FLAME.

A inovação central reside na Estratégia de Supervisão Híbrida:

• Ancoragem de Expressão Derivada de Scan: Para estabilizar a geometria da expressão e evitar a amplificação de intensidade, o framework utiliza alvos limitados "derivados de ajuste" (fit-derived). Especificamente, os parâmetros de expressão FLAME são ajustados a dados de scan 3D do BP4D. Esses parâmetros derivados de scan servem como âncoras diretas para o encoder de expressão via uma perda de Erro Quadrático Médio (MSE) ($L_{3D-expr}$).
• Supervisão de Afeto Direta no Espaço de Parâmetros: Em vez de depender de consistência emocional ao nível da imagem, o FIELDS introduz uma cabeça de reconhecimento de emoção auxiliar que aplica supervisão diretamente no espaço de parâmetros 3DMM. Esta cabeça é treinada usando uma combinação de regressão (para valência-excitação) e perdas de classificação (para emoções discretas) ($L_{emo}$). Isso encoraja os códigos de expressão a serem informativos para o afeto sem depender de comparações perceptuais entre imagens renderizadas e reais.
• Consistência 2D: O framework retém perdas padrão de consistência 2D (fotométrica, perceptual e baseada em landmarks) para garantir que a imagem reconstruída permaneça visualmente plausível.
• Regularização: Um modelo base pré-treinado (alinhado com o MICA) é usado para regularizar os parâmetros de forma e expressão, garantindo que o manifold aprendido permaneça estável.

O procedimento de treinamento alterna entre um Passo de Encoder (otimizando para consistência 2D, ancoragem de expressão 3D e supervisão de emoção) e um Passo de Sintetizador (otimizando apenas o sintetizador para consistência 2D e consistência de ciclo), evitando que um componente compense os erros do outro.

Principais Contribuições

1. Framework: A proposta do FIELDS, um framework orientado a tarefas que combina consistência de nível de imagem autossupervisionada com ancoragem de expressão derivada de scan e uma cabeça de reconhecimento de afeto treinada conjuntamente, aplicando supervisão diretamente no espaço de parâmetros 3DMM.
2. Âncoras Derivadas de Scan: A derivação de alvos de expressão baseados em scan (derivados de ajuste) do conjunto de dados BP4D para servir como âncoras limitadas para supervisionar diretamente os parâmetros de expressão FLAME, reduzindo o risco de atalhos de amplificação de intensidade.
3. Avaliação: Uma avaliação abrangente demonstrando que o FIELDS melhora a previsão de afeto (tanto discreta quanto contínua) enquanto mantém uma fidelidade geométrica competitiva em benchmarks de dados retidos e fora de domínio.

Resultados
Os autores avaliam o FIELDS em múltiplos benchmarks, comparando-o com baselines como EMOCA, SMIRK e TEASER.

• Utilidade Afetiva: No dataset AffectNet, o FIELDS alcança resultados de estado da arte para classificação de emoção discreta (56,0% de acurácia) e regressão de valência-excitação (0,737 V-CCC), superando métodos anteriores.
• Plausibilidade Geométrica: No dataset BP4D (usando sujeitos retidos), o FIELDS mantém uma fidelidade geométrica 3D competitiva (erros de vértice e keypoint) comparável a baselines centrados em reconstrução. Crucialmente, ele melhora significativamente a concordância com os parâmetros de expressão e mandíbula derivados de scan (reduzindo o MSE dos parâmetros FLAME de ~5,9 para ~0,17) em comparação com baselines que carecem de supervisão 3D direta.
• Validação Externa: No RAF-DB (usando probing KNN nos parâmetros de expressão apenas), o FIELDS mostra uma transferibilidade superior (73,0% de acurácia). No MultiREX (geometria fora de domínio), permanece comparável aos baselines existentes, confirmando que os ganhos de afeto não ocorrem às custas da qualidade geométrica geral.
• Análise Qualitativa: Comparações visuais indicam que o FIELDS preserva melhor a geometria local consistente com a entrada (ex: formas sutis do canto da boca, tensão da parte inferior do rosto) do que os baselines, que frequentemente exibem deformações excessivamente suavizadas ou exageradas.

Significância e Alegações
O artigo afirma que o FIELDS fornece uma rota prática para obter representações 3DMM prontas para FER que são robustas no mundo real (in the wild) e úteis para aplicações de computação de afeto de downstream. Ao supervisionar explicitamente os parâmetros 3DMM com âncoras derivadas de scan e rótulos de afeto diretos, o framework contorna o tradicional compromisso entre capturar o afeto e renderizar imagens plausíveis. Os autores afirmam que sua abordagem aprende representações de expressão informativas para o afeto que são menos sensíveis a fatores de incômodo (pose, iluminação) e melhor alinhadas com os movimentos subjacentes dos músculos faciais, tudo isso preservando a plausibilidade geométrica.

O artigo conclui modestamente, observando que trabalhos futuros poderiam envolver modelagem temporal para FER de vídeo, exploração de estratégias de ponderação de múltiplas perdas para melhor robustez entre datasets e incorporação de outros priors estruturados, como Unidades de Ação (Action Units), quando disponíveis.