Resumo Técnico: 3D FaceShell

Definição do Problema

A rápida implementação de avatares faciais 3D fotorrealistas para aplicações como telepresença e animação criou uma nova vulnerabilidade de privacidade. Diferente de imagens 2D estáticas, modelos faciais 3D são ativos persistentes que podem ser renderizados sob pontos de vista e condições de iluminação arbitrários. Concomitantemente, os Modelos de Visão-Linguagem (VLMs) evoluíram para se tornarem poderosos raciocinadores semânticos de código aberto, capazes de inferir atributos sensíveis (ex: idade, etnia, gênero, expressão) a partir de imagens renderizadas sem necessidade de ajuste fino (fine-tuning) específico para a tarefa.

Os mecanismos de defesa existentes são fundamentalmente incompatíveis com este cenário de ameaça. A maioria dos métodos de anonimização facial e camuflagem adversária opera no espaço de imagem 2D, protegendo apenas uma renderização específica; uma mudança de ponto de vista contorna instantaneamente essas defesas. Além disso, ataques adversários 3D anteriores visavam primariamente detectores de identidade ou de objetos, falhando em abordar o desafio específico da manipulação semântica preservadora de identidade dentro dos espaços de embedding de VLMs. O problema central é manipular a interpretação semântica de alto nível de um avatar facial 3D por um VLM, preservando rigorosamente a fidelidade geométrica subjacente, a identidade facial e a aparência fotorrealista em todos os possíveis pontos de vista.

Metodologia: 3D FaceShell

Os autores propõem o 3D FaceShell, um framework que opera diretamente no espaço de parâmetros de representações de 3D Gaussian Splatting (3DGS). O método introduz uma "concha gaussiana" (Gaussian shell) aditiva e treinável à original do modelo facial 3D para induzir um desalinhamento semântico direcionado em VLMs sem deformar a geometria base.

Componentes Principais

1. Geração de Imagem Alvo Multi-Atributo:
   Para guiar o deslocamento semântico, o sistema sintetiza uma imagem alvo ($I_{tar}$) que possui os atributos desejados (opostos) enquanto mantém a pose de origem. Isso é alcançado extraindo a pose estrutural do rosto de origem usando OpenPose e condicionando um modelo de difusão de texto-para-imagem (Stable Diffusion) com um prompt de múltiplos atributos. Esta imagem sintetizada serve como uma âncora semântica no espaço de embedding, substituindo o alinhamento puramente baseado em texto por supervisão de embedding baseada em imagem.

2. Inicialização da Concha Gaussiana:
   O framework inicializa um conjunto secundário de $N_{shell}$ Gaussianos auxiliares posicionados próximos à superfície do rosto 3D de linha de base pré-otimizado ($G_s$). Crucialmente, os Gaussianos de linha de base permanecem congelados durante a otimização para garantir que a geometria e a identidade subjacentes nunca sejam deformadas. Os Gaussianos da concha são inicializados com médias espaciais próximas à superfície da linha de base, e sua covariância e rotação são congeladas. A otimização é restrita aos atributos de aparência da concha (cor e opacidade), garantindo que as perturbações sejam puramente aditivas e localizadas.

3. Treinamento Adversário Multi-Vista:
   Os parâmetros da concha são otimizados para alinhar os embeddings de características das vistas renderizadas do modelo perturbado ($x_\delta$) com os embeddings da imagem alvo ($I_{tar}$).

   • Consistência Multi-Vista: O modelo renderiza $K$ vistas diferentes sob um conjunto de câmeras predefinido $\Pi$ durante o treinamento para impor consistência entre vistas.
   • Supervisão Multi-Encoder: Para garantir robustez contra VLMs de caixa-preta, o treinamento utiliza características de múltiplos codificadores visuais (SigLIP e CLIP).
   • Aumentação: Aumentações estocásticas (ruído de quantização, cortes aleatórios, alteração de cor/color jittering) são aplicadas para evitar o sobreajuste (overfitting) a pontos de vista específicos.

4. Regularização Consciente de Rosto (Face-Aware):
   Para preservar a identidade e o fotorrealismo, a otimização minimiza uma função de perda total composta por:

   • Perda de Alinhamento de Características ($\mathcal{L}_{feature}$): Minimiza a distância entre os embeddings das vistas perturbadas e os embeddings alvo no espaço do VLM.
   • Consistência de Pontos de Referência ($\mathcal{L}_{landmarks}$): Penaliza desvios ao nível de pixel em regiões críticas de identidade (olhos, nariz, lábios) para evitar o desvio de identidade (identity drift).
   • Regularização de Textura com Restrição de Cromatismo ($\mathcal{L}_{chroma}$): Mapeia as perturbações de textura para o espaço YUV e penaliza pesadamente os desvios de luminância ($Y$) para suprimir artefatos de alta frequência e mudanças não naturais de brilho.
   • Clamp de Opacidade Dinâmica: Um cronograma progressivo reduz gradualmente a opacidade máxima permitida dos Gaussianos da concha, empurrando a perturbação em direção à transparência para minimizar a intrusão visual.

Principais Contribuições

O artigo formaliza e aborda o problema de defender avatares faciais 3D contra a inferência de atributos via VLM através de três contribuições principais:

1. Formalização do Problema: Os autores definem o desafio de manipular a percepção de atributos faciais semânticos de um VLM sob rigorosas restrições de preservação de identidade e geometria, distinguindo-o de ataques 3D anteriores a detectores ou ataques gerais a VLMs que degradam a qualidade visual.
2. Framework 3D FaceShell: Uma abordagem inovadora de concha gaussiana aditiva que injeta perturbações espacialmente distribuídas e minimamente perceptíveis em representações 3DGS. Ao otimizar no espaço de parâmetros com alinhamento de embedding multi-vista, o método alcança o direcionamento semântico consistente entre vistas, deixando a geometria de base intocada.
3. Validação Empírica: A demonstração de que a manipulação semântica e a fidelidade perceptiva não são mutuamente exclusivas no 3D. O método alcança robustez multi-vista competitiva e superioridade na preservação de identidade em comparação com as linhas de base de ataque semântico 2D de última geração.

Resultados Experimentais

O método foi avaliado em um benchmark de 100 avatares faciais de celebridades (derivados do IMDB-WIKI) convertidos para 3DGS, testado contra quatro VLMs de caixa-preta (VideoLLaMA3, LLaVA-NeXT, LLaVA-OV, BLIP-2) e um modelo comercial (Gemini-2.5-Flash).

• Desempenho Semântico: O 3D FaceShell alcança taxas competitivas de Injeção (IR) e Desajuste (MR). Por exemplo, no VideoLLaMA3, alcançou uma IR de 48,7% e uma MR de 66,4%, comparável às linhas de base 2D agressivas como o M-Attack (47,4% IR, 69,6% MR).
• Preservação Perceptual e de Identidade: A principal vantagem reside na preservação. Comparado à linha de base 2D mais forte (V-Attack), o 3D FaceShell melhorou o LPIPS (distância perceptiva) em +71,5% e a Similaridade de Identidade em +88,9%. No modelo comercial Gemini, manteve um LPIPS de 0,1499 (vs. 0,4039 para o V-Attack) enquanto retinha uma similaridade de identidade de 0,7629.
• Generalização Multi-Vista: O treinamento multi-vista mostrou-se crítico. Um modelo treinado apenas em uma vista frontal sofreu uma queda severa de desempenho em vistas de validação não vistas, enquanto a abordagem multi-vista manteve uma generalização robusta (ex: +55,6% de IR relativa maior em vistas não vistas para o VideoLLaMA3).
• Estudos de Ablação: Remover as aumentações de dados causou quedas drásticas no sucesso do ataque. Remover as restrições de cromatismo ou de pontos de referência degradou significativamente a qualidade perceptiva e a similaridade de identidade, confirmando a necessidade dos mecanismos de regularização. A supervisão de múltiplos encoders também se mostrou essencial para a generalização entre diferentes arquiteturas de VLM.

Significância e Alegações

O artigo afirma que o 3D FaceShell representa um passo significativo na defesa de privacidade 3D ao provar que o direcionamento semântico e a fidelidade visual não precisam ser mutuamente exclusivos. Diferente de métodos anteriores que sacrificam a utilidade do ativo 3D (ao distorcer forma ou textura) para enganar um modelo, o 3D FaceShell manipula com sucesso a interpretação semântica do VLM enquanto mantém a aparência reconhecível por humanos e a estrutura geométrica intactas.

Os autores posicionam este trabalho como uma evolução necessária das defesas 2D, que são facilmente contornadas pela mudança de pontos de vista, para uma solução nativa 3D que protege o próprio ativo. Eles concluem que, embora o framework atual defenda avatares estáticos, a metodologia lança as bases para extensões futuras para Gaussian Splatting 4D para proteger avatares dinâmicos e animáveis contra a inferência semântica contínua em formatos de vídeo.