AdvSplat: Adversarial Attacks on Feed-Forward Gaussian Splatting Models

Título: AdvSplat: Ataques Adversariais em Modelos de Gaussian Splatting Feed-Forward

1. Problema e Contexto

O 3D Gaussian Splatting (3DGS) tornou-se um paradigma dominante para reconstrução 3D em tempo real e de alta fidelidade. No entanto, a abordagem tradicional de 3DGS depende de otimização por cena, o que limita sua escalabilidade e eficiência de inferência. Para superar isso, surgiram modelos Feed-Forward 3DGS, que utilizam pré-treinamento em larga escala para realizar reconstrução rápida a partir de poucas imagens de entrada, sem necessidade de otimização específica para cada cena.

Apesar do potencial comercial e da eficiência desses modelos feed-forward, sua segurança e robustez permanecem inexploradas. O artigo identifica uma lacuna crítica: quão vulneráveis são esses modelos a ataques adversariais?

• O Risco: Um adversário pode injetar perturbações imperceptíveis nas imagens de entrada (referência), levando a modelos feed-forward a gerar reconstruções 3D de qualidade extremamente baixa ou corrompida.
• Desafios Específicos:
  1. Acesso Limitado (Black-box): Em cenários reais, os pesos internos dos modelos comerciais não estão disponíveis; o atacante só tem acesso às entradas e saídas via API.
  2. Custo Computacional: Modelos feed-forward são grandes e a saída reside em um espaço de pixels de alta dimensão, tornando ataques baseados em consultas (query-based) tradicionais extremamente caros e ineficientes.
  3. Falha de Transferência: Métodos baseados em transferência (usar um modelo para atacar outro) são ineficazes devido às grandes discrepâncias no espaço de características entre diferentes arquiteturas de transformadores usadas nesses modelos.

2. Metodologia (AdvSplat)

O trabalho propõe o AdvSplat, o primeiro estudo sistemático de ataques adversariais contra modelos 3DGS feed-forward. A metodologia é dividida em duas fases principais:

A. Análise de Vulnerabilidade (Ataque White-box)
Os autores primeiro validam a vulnerabilidade fundamental usando ataques de "caixa branca" (com acesso aos gradientes do modelo), especificamente o PGD (Projected Gradient Descent).

• Objetivo: Maximizar a perda de reconstrução (diferença entre a imagem renderizada e a imagem real) injetando perturbações nas imagens de entrada.
• Resultado: Mesmo perturbações imperceptíveis causam colapso na qualidade da reconstrução, provando que o modelo não é inerentemente robusto.

B. Ataques Black-box Eficientes
Para cenários práticos onde os gradientes não são acessíveis, o AdvSplat propõe dois algoritmos otimizados que operam no domínio da frequência para reduzir o número de consultas necessárias:

1. Parametrização no Domínio da Frequência (DCT):

   • Em vez de perturbar pixels diretamente (espaço de alta dimensão), as imagens são divididas em blocos e transformadas usando a Transformada Discreta de Cosseno (DCT).
   • A perturbação é aplicada apenas aos componentes de baixa frequência (que contêm a estrutura principal da imagem).
   • Isso reduz drasticamente a dimensionalidade do espaço de otimização, permitindo ataques mais rápidos e com menos consultas ao modelo.

2. Dois Algoritmos de Ataque:

   • Baseado em Gradiente (Gradient-Based): Utiliza uma variante da Natural Evolution Strategies (NES) para estimar gradientes aproximados através de médias de perturbações amostradas, permitindo a otimização direcionada sem acesso aos pesos reais.
   • Sem Gradiente (Gradient-Free): Utiliza a Estratégia de Evolução com Adaptação de Matriz de Covariância (CMA-ES). O algoritmo amostra candidatos de perturbação de uma distribuição gaussiana multivariada e adapta a média e a covariância com base nas melhores amostras (aquelas que maximizam a perda), guiando a busca sem calcular gradientes explícitos.

3. Contribuições Principais

1. Primeiro Estudo de Segurança: É o primeiro trabalho a investigar sistematicamente a robustez de modelos 3DGS feed-forward contra ataques adversariais, revelando vulnerabilidades críticas.
2. Novos Algoritmos Black-box: Propõe dois métodos de ataque (com e sem gradiente) que operam exclusivamente no domínio da frequência, exigindo apenas acesso a entradas e saídas do modelo.
3. Eficiência via DCT: Demonstra que a parametrização no domínio da frequência (DCT) reduz significativamente o custo computacional e o número de consultas necessárias, tornando o ataque viável em cenários reais.

4. Resultados Experimentais

Os experimentos foram realizados em múltiplos conjuntos de dados (RE10K e DL3DV) e contra três modelos state-of-the-art: DepthSplat (pose conhecida), NoPoSplat e AnySplat (sem pose).

• Eficácia do Ataque:

  • O AdvSplat degradou drasticamente a qualidade da reconstrução.
  • Métricas Quantitativas: Houve quedas massivas no PSNR (até -64% no DepthSplat) e SSIM, e aumentos significativos no LPIPS (indicando maior dissimilaridade perceptual).
  • Qualidade Visual: As imagens renderizadas a partir de entradas adversariais apresentaram artefatos severos, cores distorcidas e, em casos extremos, colapso total da cena (imagens quase brancas ou pretas), embora as imagens de entrada parecessem limpas ao olho humano.
  • Comparação: O método baseado em gradiente geralmente superou o sem gradiente, exceto em modelos com capacidade muito alta (como NoPoSplat), onde a estimativa de gradiente é mais difícil.

• Eficiência da Estratégia DCT:

  • A comparação entre ataques com e sem DCT mostrou que a abordagem baseada em frequência atinge uma perda (loss) muito maior com o mesmo número de consultas, validando a eficiência da redução de dimensionalidade.

• Robustez a Diferentes Forças de Ataque:

  • À medida que o orçamento de perturbação ($\epsilon$) aumentava, a qualidade da reconstrução piorava consistentemente. Curiosamente, em casos de colapso total (imagens brancas), métricas como PSNR podem aumentar artificialmente, mas as métricas perceptuais (LPIPS, CLIP, DINO) confirmam a falha total da reconstrução.

5. Significado e Impacto

O trabalho do AdvSplat expõe um problema de segurança urgente e negligenciado na área de reconstrução 3D.

• Implicações Comerciais: Modelos feed-forward 3DGS são candidatos fortes para implantação comercial (robótica, carros autônomos, metaverso). A descoberta de que eles podem ser facilmente corrompidos por perturbações imperceptíveis representa um risco grave para a confiança do usuário e a reputação das empresas.
• Cenário de Ameaça Real: Um adversário poderia consultar repetidamente um modelo via API, gerar imagens de entrada adversariais e distribuí-las na internet. Usuários que baixassem esses dados sofreriam falhas catastróficas na reconstrução 3D sem perceber a anomalia na fonte.
• Chamada para Ação: O artigo conclui que a comunidade de visão computacional e gráficos deve priorizar o desenvolvimento de defesas e técnicas de treinamento robusto para garantir a segurança desses modelos antes de sua adoção em larga escala.