AdvSplat: Adversarial Attacks on Feed-Forward Gaussian Splatting Models

1. Il Problema

Il 3D Gaussian Splatting (3DGS) è diventato un paradigma dominante per la ricostruzione 3D in tempo reale e ad alta fedeltà. Tuttavia, l'approccio tradizionale si basa su un'ottimizzazione specifica per ogni scena, il che limita la scalabilità e l'efficienza dell'inferenza. Di conseguenza, sono emersi modelli Feed-Forward 3DGS (come NoPoSplat, DepthSplat, AnySplat) che, dopo un pre-addestramento su larga scala, permettono una ricostruzione rapida da poche viste di input senza ottimizzazione specifica.

Nonostante il loro potenziale commerciale, la natura basata su reti neurali di questi modelli li rende vulnerabili agli attacchi avversariali. Il problema centrale affrontato dal paper è la mancanza di studi sulla robustezza di questi modelli Feed-Forward. Gli autori si pongono la domanda: quanto sono robusti i modelli Feed-Forward 3DGS contro manipolazioni avversariali e come possono essere attaccati efficacemente?

Le sfide principali per attaccare questi modelli in scenari reali (black-box) sono:

1. Parametri sconosciuti: I pesi interni dei modelli commerciali non sono accessibili; si ha accesso solo alle interfacce API (input/output).
2. Costi computazionali elevati: I modelli sono grandi e l'output è uno spazio ad alta dimensionalità (pixel), rendendo gli attacchi basati su query tradizionali estremamente costosi e lenti.

2. Metodologia (AdvSplat)

Gli autori propongono AdvSplat, il primo studio sistematico degli attacchi avversariali sui modelli Feed-Forward 3DGS. La metodologia si articola in due fasi principali:

A. Attacchi White-Box (Analisi di Vulnerabilità)

Per dimostrare la vulnerabilità intrinseca, gli autori applicano un attacco PGD (Projected Gradient Descent) classico, assumendo l'accesso completo ai gradienti del modello.

• Obiettivo: Massimizzare la perdita di ricostruzione (combinazione di MSE e LPIPS) tra le immagini di input e quelle renderizzate.
• Risultato preliminare: Anche perturbazioni impercettibili causano un collasso drastico della qualità della ricostruzione, confermando che il modello non è robusto di per sé.

B. Attacchi Black-Box (Proposta Principale)

Poiché in scenari reali non si hanno i gradienti, AdvSplat propone due algoritmi efficienti che operano nello spazio delle frequenze per ridurre il numero di query necessarie.

1. Parametrizzazione nello Spazio delle Frequenze (DCT):

   • Invece di perturbare direttamente i pixel, l'immagine viene suddivisa in blocchi e trasformata tramite Trasformata Discreta del Coseno (DCT).
   • Vengono perturbati solo i componenti a bassa frequenza (che contengono la maggior parte dell'informazione strutturale), riducendo drasticamente la dimensionalità dello spazio di ottimizzazione rispetto allo spazio dei pixel.
   • Dopo la perturbazione, si applica la DCT inversa (iDCT) per ottenere l'immagine avversaria finale.

2. Due Varianti di Attacco:

   • Approccio basato su Gradienti (Gradient-Based): Utilizza una variante delle Natural Evolution Strategies (NES) per stimare i gradienti del modello black-box campionando perturbazioni dalla distribuzione del rumore. Questo permette di aggiornare i coefficienti DCT nella direzione che massimizza la perdita.
   • Approccio senza Gradienti (Gradient-Free): Utilizza la CMA-ES (Covariance Matrix Adaptation Evolution Strategy). Campiona candidati perturbati da una distribuzione gaussiana multivariata, valuta la loro perdita e aggiorna la media e la covarianza per guidare la ricerca verso ottimi migliori, senza mai calcolare gradienti espliciti.

3. Contributi Chiave

• Primo studio sistematico: È la prima ricerca a investigare la sicurezza dei modelli Feed-Forward 3DGS, rivelando vulnerabilità critiche precedentemente ignorate.
• Algoritmi Black-Box efficienti: Propone due nuovi metodi di attacco (basati su gradienti e senza gradienti) che operano nello spazio delle frequenze, rendendo gli attacchi praticabili anche su modelli commerciali chiusi.
• Efficienza delle query: La parametrizzazione DCT riduce significativamente il numero di query necessarie rispetto agli attacchi nello spazio dei pixel, abbattendo costi temporali e monetari.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset standard (RE10K e DL3DV) e su tre modelli SOTA (DepthSplat, NoPoSplat, AnySplat).

• Efficacia dell'Attacco:
  • Gli attacchi degradano drasticamente la qualità della ricostruzione. Ad esempio, su DepthSplat con l'attacco gradient-based, il PSNR crolla da 21.09 a 7.57 (riduzione del 64,1%) e l'LPIPS (dissimilarità percettiva) aumenta del 154,8%.
  • Le immagini renderizzate diventano spesso incomprensibili, con artefatti gravi o collasso totale della scena, pur mantenendo le immagini di input quasi identiche all'occhio umano (perturbazioni $\ell_\infty \le 8/255$).
• Efficienza della Strategia DCT:
  • Il confronto tra attacchi con e senza DCT mostra che l'approccio basato sulle frequenze raggiunge perdite più elevate con lo stesso numero di query, confermando che la riduzione della dimensionalità accelera l'ottimizzazione.
• Robustezza alle diverse intensità:
  • All'aumentare del budget di perturbazione ($\epsilon$), la qualità del rendering peggiora costantemente. Anche a livelli di perturbazione bassi, l'impatto è significativo.

5. Significato e Implicazioni

Il lavoro evidenzia un problema di sicurezza urgente per la diffusione commerciale dei modelli 3DGS Feed-Forward.

• Scenario di rischio reale: Un avversario potrebbe interrogare ripetutamente un modello API per generare immagini perturbate, caricarle su piattaforme pubbliche e causare ricostruzioni 3D di bassa qualità per gli utenti finali, danneggiando la reputazione del fornitore e la fiducia degli utenti.
• Chiamata all'azione: Il paper invita la comunità di ricerca a prestare attenzione a queste vulnerabilità e a sviluppare nuove strategie di difesa e modelli più robusti prima che queste tecnologie vengano adottate su larga scala in settori critici come la guida autonoma, la robotica e la realtà virtuale.

In sintesi, AdvSplat dimostra che i modelli di ricostruzione 3D basati su deep learning sono estremamente fragili e che è possibile comprometterne l'integrità con costi computazionali relativamente bassi, ponendo le basi per futuri studi sulla sicurezza dell'IA generativa 3D.