OccFace: Unified Occlusion-Aware Facial Landmark Detection with Per-Point Visibility

Resumo Técnico: OccFace

1. O Problema (Problem)

A detecção de marcos faciais (facial landmarks) enfrenta desafios significativos quando aplicada a uma gama ampla de faces "humanoides" (avatares estilizados, personagens de jogos, animais antropomórficos e robôs). Os principais problemas identificados são:

• Variabilidade de Layout: Os detectores tradicionais são projetados para humanos reais e usam poucos pontos (ex: 68 pontos), o que é insuficiente para capturar detalhes expressivos em personagens estilizados (como orelhas ou estruturas internas da boca).
• Oclusão Complexa: Além de oclusões externas (mãos, acessórios, cabelo), existe a auto-oclusão causada por grandes rotações da cabeça (pose), onde partes do rosto desaparecem devido ao ângulo.
• Falta de Informação de Visibilidade: Modelos existentes tentam localizar pontos mesmo quando estão ocultos, resultando em previsões imprecisas ou "deriva" (drifting), sem informar explicitamente se o ponto é visível ou não, o que prejudica aplicações de animação e reconstrução 3D.

2. Metodologia (Methodology)

Os autores propõem o OccFace, um framework unificado que prevê simultaneamente as coordenadas dos marcos e a visibilidade de cada ponto. A metodologia baseia-se em três pilares:

• Layout Unificado de 100 Pontos: Introduzem um esquema de pontos mais denso que inclui detalhes finos (pupila/íris), estrutura interna da boca e contornos das orelhas, permitindo uma representação consistente entre humanos e personagens não-humanos.
• Arquitetura de Detecção e Visibilidade:
  • Backbone de Heatmap: Utiliza uma estrutura stacked hourglass para prever mapas de calor (heatmaps) de alta precisão.
  • Mapas Geométricos Auxiliares: O modelo prevê mapas de pontos e de bordas semânticas (ex: linha da mandíbula) para estabilizar a localização e evitar erros em regiões de aparência ambígua.
  • Módulo de Oclusão (Gated Fusion): Para prever a visibilidade, o modelo utiliza dois ramos: um local (para oclusões externas independentes) e um de contexto entre marcos (para capturar a auto-oclusão correlacionada em grandes poses). Esses ramos são combinados por um módulo de fusão com portão (gated fusion) aprendível.
• Estratégia de Treinamento (Landmark-aware Masking): Para mitigar a escassez de rótulos manuais de oclusão, os autores utilizam uma técnica de máscara sintética. Eles sobrepõem máscaras aleatórias às imagens e derivam "pseudo-visibilidades" baseadas na sobreposição entre a máscara e o mapa de calor do marco.

3. Principais Contribuições (Key Contributions)

1. Novo Framework (OccFace): O primeiro detector de marcos faciais para faces humanoides universais que prevê explicitamente a visibilidade por ponto.
2. Dataset Genie-Face: Um novo conjunto de dados abrangente contendo diversas domínios (avatares, animais, robôs, humanos reais) com anotações de 100 pontos e visibilidade por ponto.
3. Suíte de Avaliação de Oclusão: Um novo protocolo de métricas que separa o erro (NME) entre marcos visíveis ($NME_{vis}$) e ocluídos ($NME_{occ}$), além de métricas de classificação para visibilidade (AP, F1, AUC).
4. Abordagem de Treinamento Robusta: Uso de mapas geométricos auxiliares e máscaras de oclusão sintéticas para melhorar a generalização.

4. Resultados (Results)

• Desempenho em Benchmarks: O OccFace demonstrou ser competitivo em datasets de humanos reais (COFW, 300W, WFLW), mas superou significativamente os modelos de estado da arte (como ORFormer e ViTPose) no novo dataset Genie-Face.
• Robustez à Oclusão: Os experimentos mostraram que o modelo reduz drasticamente o erro em regiões ocluídas ($NME_{occ}$) sem perder a precisão nos pontos visíveis.
• Qualidade da Visibilidade: O modelo alcançou os melhores scores em métricas de classificação de visibilidade (ROC-AUC e F1), provando que consegue distinguir corretamente entre um ponto difícil de detectar e um ponto realmente oculto.
• Aplicação Prática: Testes em animação de avatares mostraram que as previsões de visibilidade do OccFace resultam em movimentos faciais muito mais estáveis e com menos tremores (jitter) do que modelos que não consideram a oclusão.

5. Significância (Significance)

O trabalho é altamente significativo para a indústria de gráficos computacionais, jogos e metaverso. Ao fornecer uma detecção de marcos que "sabe" o que está vendo e o que está oculto, o OccFace permite que sistemas de animação automática e retargeting de movimento funcionem de forma muito mais confiável em uma variedade infinita de personagens, indo muito além da anatomia humana padrão.