PoInit-of-View: Poisoning Initialization of Views Transfers Across Multiple 3D Reconstruction Systems

Título: PoInit-of-View: Envenenamento da Inicialização de Vistas para Transferência entre Múltiplos Sistemas de Reconstrução 3D

1. Problema e Motivação

A reconstrução 3D, impulsionada por técnicas como Neural Radiance Fields (NeRF) e 3D Gaussian Splatting (3DGS), é fundamental para aplicações críticas como direção autônoma, AR/VR e cirurgia robótica. Embora existam estudos anteriores sobre ataques adversariais em sistemas 3D, a maioria deles trata o pipeline de reconstrução como uma "caixa preta" única, propagando gradientes adversariais através de todo o sistema sem identificar vulnerabilidades específicas em módulos internos.

Os autores identificam uma lacuna crítica: a inicialização baseada em Estrutura a partir do Movimento (SfM - Structure-from-Motion). O SfM é o núcleo geométrico de quase todos os sistemas modernos de reconstrução 3D, responsável por detectar pontos-chave, corresponder características entre vistas, estimar poses de câmeras e realizar triangulação para criar uma nuvem de pontos esparsa. Se essa inicialização for corrompida, todo o processo subsequente (otimização densa, renderização neural) falha. O problema central é que ataques existentes focam em inconsistências de uma única vista, ignorando que o SfM depende fundamentalmente da consistência geométrica entre múltiplas vistas.

2. Metodologia: PoInit-of-View

O artigo propõe o PoInit-of-View, um método de envenenamento (poisoning) que visa especificamente a fase de inicialização do SfM. A ideia central é injetar perturbações imperceptíveis em um subconjunto das imagens de entrada (vistas) para induzir inconsistências de gradiente cruzado (cross-view gradient inconsistencies).

Principais Componentes Técnicos:

• Mecanismo de Ataque: O ataque não tenta enganar a rede neural diretamente, mas sim corromper a correspondência de características (feature matching) entre pares de imagens. Ao introduzir perturbações que alteram os gradientes locais de forma inconsistente entre vistas correspondentes, o algoritmo de SfM falha em encontrar correspondências válidas que satisfaçam a restrição epipolar ($x'^\top E x = 0$).
• Perda de Inconsistência Cruzada ($L_{CVI}$): O método otimiza uma função de perda que maximiza a diferença entre os gradientes de Sobel de uma vista de referência (limpa) e uma vista envenenada. A premissa teórica é que, se os gradientes locais divergem além de um certo limiar, os descritores de características (como SIFT ou CNN) também divergem, levando a uma taxa de correspondência (inlier ratio) exponencialmente menor.
• Teorema de Colapso: Os autores provam teoricamente que, se a inconsistência de gradiente cruzado exceder um limiar crítico ($L_{th}$), a probabilidade de falha do SfM aumenta drasticamente, resultando em um colapso do grafo de poses e na impossibilidade de triangulação de pontos 3D.
• Otimização com Proxy (Black-Box): Como o SfM (ex: COLMAP) não é diferenciável, os autores utilizam um modelo proxy diferenciável (baseado em 3DGS) para calcular os gradientes necessários para a otimização. O ataque é realizado via Projected Gradient Descent (PGD), maximizando a inconsistência cruzada enquanto mantém a imperceptibilidade visual (usando regularização SSIM e TV).
• Transferibilidade: Como o ataque visa a geometria fundamental (SfM) e não a arquitetura específica de renderização (NeRF vs. 3DGS), as perturbações geradas são altamente transferíveis entre diferentes sistemas de reconstrução.

3. Contribuições Principais

1. Identificação de Vulnerabilidade Fundamental: Demonstram que a inicialização geométrica (SfM) é intrinsecamente vulnerável a pequenas inconsistências cruzadas entre vistas, o que pode levar a falhas em nível de sistema em todo o pipeline de reconstrução 3D.
2. Novo Método de Ataque (PoInit-of-View): Propõem um método que envenena a inicialização de um subconjunto de vistas para induzir inconsistências de gradiente, afetando a detecção de pontos-chave e a estimativa de pose.
3. Análise Teórica: Fornecem uma análise teórica que conecta a inconsistência de gradiente cruzado ao colapso de correspondências no SfM, estabelecendo condições matemáticas para a falha do sistema.
4. Superioridade em Transferência: Demonstram que o método supera significativamente os ataques baseados em uma única vista, funcionando eficazmente em cenários black-box (onde o atacante não tem acesso aos parâmetros internos do modelo de vítima).

4. Resultados Experimentais

Os experimentos foram realizados em três conjuntos de dados padrão (NeRF-Synthetic, Tanks and Temples, Mip-NeRF360) e avaliados em três pipelines distintos: COLMAP (MVS), Instant NGP (NeRF) e Mip-Splatting (3DGS).

• Degradação de Qualidade de Reconstrução:
  • Em configurações de transferência black-box (ex: treinar em 3DGS, atacar NeRF), o método superou a linha de base de ataque de única vista em 25,1% em PSNR e 16,5% em SSIM (redução de qualidade).
  • No conjunto de dados Tanks and Temples, houve uma queda média de ~25% no PSNR e ~15-18% no SSIM em todos os pipelines testados.
• Colapso Geométrico (Estatísticas do SfM):
  • O ataque causou uma redução drástica no número de imagens registradas (de ~93% para ~24%), pontos-chave triangulados e pontos 3D esparsos.
  • A taxa de colapso (redução relativa em relação ao estado limpo) foi superior a 70% em todos os conjuntos de dados.
  • Visualmente, as reconstruções envenenadas apresentaram colapso estrutural severo, artefatos inconsistentes entre vistas e geometria distorcida, enquanto as imagens de entrada permaneciam visualmente indistinguídas das originais (alta similaridade perceptual).
• Robustez e Generalização: O ataque foi eficaz independentemente da representação 3D subjacente (NeRF ou 3DGS), confirmando que a vulnerabilidade reside na etapa de inicialização comum a ambos.

5. Significado e Impacto

O trabalho PoInit-of-View é significativo por mudar o paradigma de ataques adversariais em 3D:

• Foco na Causa Raiz: Em vez de atacar o modelo de renderização final, o ataque visa a fundação geométrica (SfM), tornando-o mais eficaz e difícil de defender apenas ajustando o modelo de aprendizado.
• Ameaça à Segurança: Demonstra que sistemas de reconstrução 3D, amplamente utilizados em segurança crítica, são extremamente frágeis a perturbações sutis que quebram a consistência multi-vista.
• Direções Futuras: O artigo sugere que futuras defesas devem focar em tornar a correspondência de características e a otimização de pose mais robustas a inconsistências geométricas, possivelmente através de regularização adversarial ou métodos de correspondência robustos.

Em resumo, o paper prova que corromper a "inicialização" de um sistema 3D é uma estratégia muito mais devastadora e transferível do que tentar enganar o modelo de renderização diretamente, expondo uma fragilidade sistêmica crítica na visão computacional moderna.