Resumo Técnico: Campos de Expressão com Consistência de Identidade (ICEF)

Definição do Problema

O artigo aborda uma limitação crítica em NeRFs (Campos de Radiância Neural) dinâmicos de poucos disparos (few-shot) para síntese de expressões faciais. Embora os métodos existentes (por exemplo, FDNeRF) reconstruam com sucesso faces 3D a partir de um pequeno número de imagens e permitam a edição de expressões, eles normalmente dependem do mapeamento (warping) de um único volume de características aprendido condicionado a parâmetros de expressão alvo.

Os autores observam que essa abordagem carece de restrições explícitas para preservar detalhes específicos da identidade (como textura da pele e estrutura geométrica fina) quando o modelo é direcionado para expressões que estão distantes do conjunto de poucos disparos de entrada (ou seja, durante a extrapolação). Consequentemente, o volume de características mapeado tende a sofrer um "desvio" (drift), alterando inadvertidamente atributos específicos da identidade juntamente com as mudanças de expressão pretendidas. Isso resulta em artefatos e em uma perda de consistência de identidade, particularmente ao extrapolar para novas expressões.

Metodologia: Estrutura ICEF

A proposta estrutura de Campos de Expressão com Consistência de Identidade (ICEF) aborda esse problema através de três mecanismos centrais: desentranhamento explícito, um regularizador direcionado e uma estratégia de mapeamento ponderada por confiança.

1. Desentranhamento Estático-Dinâmico

Ao contrário dos métodos anteriores que mapeiam um único volume de características entrançado, o ICEF decompõe o campo de radiância em dois componentes distintos:

• Campo Canônico Estático ($F_{static}$): Codifica a aparência e a geometria específicas da identidade em um espaço neutro (canônico). Crucialmente, este campo recebe apenas coordenadas deformadas e direções de visão, nunca parâmetros de expressão brutos, garantindo que os detalhes de identidade não sejam diretamente modulados pela expressão.
• Campo de Deformação Dinâmica ($D_\phi$): Mapeia pontos do espaço de observação para o espaço canônico com base nos parâmetros de expressão ($\beta_{exp}$). Toda a variação dependente da expressão é forçada a fluir através deste campo de deformação explícito.

A equação de renderização é definida como:
$$c(x, d), \sigma(x) = F_{static}(D_\phi(x, \beta_{exp}), d)$$

2. Regularizador de Preservação de Identidade

Para evitar que o campo de deformação altere regiões específicas da identidade, o ICEF introduz um termo de regularização ($L_{id}$) baseado em uma máscara de região facial grosseira ($M(x)$).

• Mecanismo: A máscara, derivada de marcos (landmarks) faciais projetados, identifica regiões de alta relevância para a expressão (boca, olhos, sobrancelhas) e regiões de baixa relevância para a expressão (pele da testa longe das sobrancelhas, bochechas, ponte do nariz).
• Restrição: O regularizador penaliza a magnitude da deformação em regiões de baixa relevância:
  $$L_{id} = \mathbb{E}_x [(1 - M(x)) \cdot \|D_\phi(x, \beta_{exp}) - x\|^2]$$
  Isso incentiva a rede a deixar a geometria e a aparência canônicas específicas da identidade em regiões não relacionadas à expressão efetivamente inalteradas.

3. Mapeamento Ponderado por Confiança

Para mitigar artefatos ao extrapolar para expressões distantes da distribuição de treinamento, o ICEF emprega um mecanismo de mistura (blending) ponderado pela confiança:

• Distância de Extrapolação ($\delta$): Calculada como a distância mínima entre a expressão alvo e as expressões observadas de poucos disparos.
• Peso de Confiança ($\kappa(\delta)$): Definido como $\exp(-\delta/\lambda)$, este peso diminui à medida que a expressão alvo se afasta dos dados de treinamento.
• Mistura (Blending): A deformação final é uma mistura da rede aprendida de capacidade total ($D_\phi$) e uma linha de base linear suave de menor capacidade ($D_{lin}$, uma aproximação de Taylor de primeira ordem):
  $$D_{final} = \kappa(\delta) \cdot D_\phi + (1 - \kappa(\delta)) \cdot D_{lin}$$
  Isso garante que, para expressões de extrapolação distante, o modelo dependa mais da deformação linear mais suave e segura para evitar mapeamentos agressivos de baixa confiança.

Principais Contribuições

O artigo delineia quatro contribuições primárias:

1. Desentranhamento Explícito: Uma decomposição de identidade estática/expressão dinâmica para NeRF dinâmico de poucos disparos, contrastando com as abordagens anteriores de mapeamento de volume de característica única.
2. Regularizador de Preservação de Identidade: Uma restrição que limita a deformação condicionada à expressão às regiões faciais relevantes para a expressão, abordando diretamente o desvio de identidade durante a extrapolação.
3. Mapeamento Ponderado por Confiança: Um mecanismo adaptativo que escala a capacidade de deformação com base na proximidade da expressão alvo à distribuição observada de poucos disparos.
4. Protocolo de Avaliação: Um novo protocolo que estratifica a avaliação por distância de extrapolação e mede métricas de consistência de identidade (similaridade de embedding de reconhecimento facial) juntamente com métricas padrão de qualidade de renderização (PSNR, SSIM, LPIPS).

Resultados e Alegações de Avaliação

O artigo propõe uma estrutura de avaliação em vez de apresentar um estudo empírico completo com resultados numéricos neste texto. No entanto, ele articula expectativas específicas quanto ao desempenho:

• Nível de Extrapolação Distante: Os autores esperam que as vantagens do ICEF sejam mais pronunciadas aqui. Espera-se que o mecanismo ponderado pela confiança reduza a dependência da rede aprendida em favor da linha de base linear mais suave, enquanto o regularizador restringe estritamente a deformação, preservando assim melhor a identidade do que os modelos de base.
• Nível de Extrapolação Próxima: A diferença de desempenho deve ser mais modesta, pois os métodos de base já estão bem suportados por expressões de treinamento próximas.
• Métricas: A avaliação é desenhada para quantificar o desvio de identidade como uma função da distância de extrapolação, hipotetizando que o desentranhamento explícito melhora a preservação da identidade especificamente no regime desafiador de poucos disparos e extrapolação distante.

Significância e Limitações

Significância:
O ICEF visa resolver o modo de falha de "desvio de identidade" observado em métodos anteriores de NeRF dinâmico de poucos disparos. Ao separar explicitamente a aparência da identidade da deformação da expressão e introduzir salvaguardas para a extrapolação, a estrutura visa o desafio específico de renderizar novas expressões mantendo uma identidade consistente a partir de dados limitados.

Limitações:
Os autores reconhecem que a máscara de região facial ($M(x)$) usada para a regularização é um conhecimento prévio (prior) grosseiro e fixo derivado de marcos (landmarks), em vez de uma segmentação aprendida ou específica da identidade. Consequentemente, ela pode não capturar perfeitamente as regiões relevantes para a expressão para todas as estruturas faciais. O artigo sugere que aprender $M(x)$ conjuntamente com o modelo ou condicioná-lo à geometria específica da identidade é uma direção natural para refinamento futuro.