AdvSplat: Adversarial Attacks on Feed-Forward Gaussian Splatting Models

Resumen Técnico: AdvSplat

1. El Problema

El Splatting Gaussiano 3D (3DGS) se ha consolidado como un paradigma dominante para la reconstrucción 3D en tiempo real y de alta fidelidad. Sin embargo, el enfoque tradicional de 3DGS requiere una optimización específica por escena, lo que limita su escalabilidad y eficiencia de inferencia. Recientemente, han surgido modelos de 3DGS de tipo "feed-forward" (hacia adelante), que tras un entrenamiento a gran escala, permiten reconstrucciones rápidas a partir de pocas vistas de entrada sin necesidad de optimización específica por escena.

A pesar de su potencial comercial, la seguridad de estos modelos feed-forward ha sido ignorada. El problema central abordado en este trabajo es la vulnerabilidad de los modelos 3DGS feed-forward ante ataques adversarios. Específicamente, los autores investigan si es posible introducir perturbaciones imperceptibles en las imágenes de entrada que degraden drásticamente la calidad de la reconstrucción 3D y la síntesis de nuevas vistas, especialmente en escenarios de "caja negra" donde el atacante no tiene acceso a los pesos internos del modelo.

2. Metodología (AdvSplat)

Los autores proponen AdvSplat, el primer estudio sistemático de ataques adversarios contra modelos 3DGS feed-forward. La metodología se divide en dos fases principales:

• Análisis de Vulnerabilidad (Ataque de Caja Blanca):

  • Se utiliza el algoritmo PGD (Projected Gradient Descent) para demostrar que, al tener acceso a los gradientes del modelo, es posible generar perturbaciones que colapsen la calidad de la reconstrucción.
  • La función de pérdida se define mediante una combinación de error cuadrático medio (MSE) y pérdida perceptual (LPIPS) entre la imagen renderizada y la imagen de referencia.

• Ataque de Caja Negra (Black-Box):
  Dado que en la práctica los modelos comerciales no revelan sus pesos internos, se desarrollan dos algoritmos eficientes que solo requieren acceso a las entradas y salidas del modelo (API):

  1. Parametrización en el Dominio de la Frecuencia (DCT):
     • Para reducir el costo computacional y el número de consultas necesarias, las perturbaciones no se aplican en el espacio de píxeles completo, sino en el dominio de la frecuencia.
     • Se divide la imagen en bloques y se aplica la Transformada Discreta del Coseno (DCT).
     • Solo se perturban los componentes de baja frecuencia (que contienen la información estructural principal), reduciendo drásticamente la dimensionalidad del espacio de optimización.
     • Se utiliza la Transformada Inversa (iDCT) para volver al espacio de píxeles.
  2. Dos Estrategias de Búsqueda:
     • Basada en Gradientes (Gradient-Based): Utiliza una variante de las Estrategias de Evolución Natural (NES) para estimar los gradientes promediando las pérdidas de perturbaciones muestreadas desde una distribución de ruido.
     • Sin Gradientes (Gradient-Free): Utiliza la Estrategia de Adaptación de la Matriz de Covarianza (CMA-ES). Esta técnica muestrea candidatos, evalúa su pérdida y adapta iterativamente la media y la covarianza de la distribución de búsqueda para converger hacia la perturbación óptima sin calcular gradientes explícitos.

3. Contribuciones Clave

• Primera Investigación de Seguridad: Es el primer trabajo que identifica y estudia sistemáticamente la vulnerabilidad de los modelos 3DGS feed-forward frente a ataques adversarios.
• Algoritmos de Caja Negra Eficientes: Propone dos métodos (basado en gradientes y sin gradientes) que operan en el dominio de la frecuencia, logrando ser eficientes en consultas y no requieren acceso a los parámetros internos del modelo.
• Validación Empírica: Demuestra que perturbaciones imperceptibles (dentro de un presupuesto $\ell_\infty$ de $8/255$) pueden destruir la calidad de la reconstrucción 3D, afectando tanto a modelos con poses conocidas como a modelos sin poses (pose-free).

4. Resultados Experimentales

Los experimentos se realizaron en dos conjuntos de datos estándar (RE10K y DL3DV) contra tres modelos de vanguardia: DepthSplat, NoPoSplat y AnySplat.

• Degradación de Calidad:
  • Los ataques provocaron una caída masiva en las métricas de calidad. Por ejemplo, en DepthSplat, el PSNR cayó un 64.1% (de 21.09 a 7.57) con el ataque basado en gradientes.
  • La similitud estructural (SSIM) y la consistencia semántica (CLIP, DINO) también se degradaron significativamente, mientras que la pérdida perceptual (LPIPS) aumentó drásticamente, indicando una pérdida total de fidelidad visual.
• Efectividad Visual:
  • Las imágenes perturbadas son indistinguibles de las originales para el ojo humano.
  • Sin embargo, las vistas nuevas renderizadas a partir de estas imágenes muestran artefactos severos, colores erróneos, opacidades rotas o colapsos totales (imágenes blancas o negras).
• Eficiencia del DCT:
  • La estrategia de usar DCT para restringir la búsqueda a bajas frecuencias demostró ser superior a la búsqueda en el espacio de píxeles completo, logrando converger a pérdidas más altas con el mismo número de consultas.
• Robustez del Ataque:
  • El método funcionó consistentemente bien tanto en modelos con poses conocidas como en modelos que estiman la pose simultáneamente.

5. Significado e Impacto

Este trabajo revela una amenaza de seguridad crítica y previamente ignorada en la infraestructura emergente de reconstrucción 3D.

• Riesgo Comercial: Un adversario podría consultar repetidamente un modelo 3DGS comercial, generar imágenes de entrada adversarias y distribuirlas en internet. Los usuarios que descarguen estos datos sufrirían reconstrucciones de baja calidad sin notar la anomalía en las imágenes de origen, dañando la reputación de la empresa proveedora y la confianza del usuario.
• Llamado a la Acción: El estudio subraya la necesidad urgente de desarrollar defensas y mejorar la robustez de los modelos 3DGS feed-forward antes de su despliegue masivo en aplicaciones críticas como robótica, conducción autónoma y metaverso.

En conclusión, AdvSplat establece un precedente en la seguridad de la visión por computadora 3D, demostrando que la eficiencia y la generalización de los modelos feed-forward no implican inherente robustez frente a manipulaciones adversarias.