PoInit-of-View: Poisoning Initialization of Views Transfers Across Multiple 3D Reconstruction Systems

1. Il Problema

La ricostruzione 3D, fondamentale per applicazioni critiche come la guida autonoma, la robotica e la chirurgia assistita, è sempre più basata su pipeline che integrano tecniche di Neural Radiance Fields (NeRF) e 3D Gaussian Splatting (3DGS). Tuttavia, queste pipeline dipendono fortemente da una fase iniziale di inizializzazione geometrica, tipicamente eseguita tramite Structure-from-Motion (SfM).

Il lavoro identifica una vulnerabilità fondamentale spesso ignorata dalle ricerche precedenti:

• Gli attacchi avversariali esistenti tendono a backpropagare gradienti attraverso l'intera pipeline di ricostruzione 3D come un blocco unico.
• Questi approcci non sfruttano le vulnerabilità specifiche dei moduli geometrici iniziali (SfM).
• Di conseguenza, gli attacchi attuali hanno una scarsa trasferibilità tra diversi sistemi di ricostruzione (es. da 3DGS a NeRF) e richiedono spesso l'accesso ai gradienti del modello target (setting white-box).

L'obiettivo è dimostrare che corrompere la fase di inizializzazione SfM, introducendo inconsistenze sottili tra le diverse viste, può causare un fallimento sistemico dell'intera pipeline di ricostruzione, indipendentemente dal metodo di rendering finale utilizzato.

2. Metodologia: PoInit-of-View

Gli autori propongono PoInit-of-View, un metodo di avvelenamento (poisoning) che mira specificamente a introdurre inconsistenze di gradiente cross-view (tra viste diverse) nelle immagini di input.

Concetto Chiave

La SfM si basa sulla corrispondenza di punti chiave (keypoints) e sulla consistenza geometrica tra diverse immagini per stimare le pose delle telecamere e triangolare punti 3D. PoInit-of-View sfrutta il fatto che piccole perturbazioni impercettibili possono rompere la coerenza dei gradienti locali tra le viste, portando a un fallimento nel matching delle caratteristiche.

Fasi dell'Attacco

1. Obiettivo di Ottimizzazione: L'attaccante genera un set di immagini avvelenate $\tilde{I}$ partendo da immagini pulite $I$, rispettando un budget di perturbazione $\ell_\infty$ ($\|\tilde{I} - I\|_\infty \le \epsilon$).
2. Loss Function: L'obiettivo massimizza una perdita di inconsistenza di gradiente cross-view ($L_{CVI}$), definita come la differenza tra i gradienti di Sobel di una vista di riferimento pulita e una vista avvelenata corrispondente:
   $$L_{CVI} = \|G(R_i) - G(A_j)\|_1$$
   Dove $G$ rappresenta il gradiente dell'immagine.
3. Proxy Differenziabile: Poiché le pipeline SfM reali (come COLMAP) non sono differenziabili, gli autori utilizzano un modello proxy differenziabile (basato su 3DGS) per stimare come le perturbazioni influenzano la consistenza geometrica. Questo permette di calcolare i gradienti necessari per l'ottimizzazione in un setting black-box.
4. Ottimizzazione: Viene utilizzato un algoritmo PGD (Projected Gradient Descent) con vincoli di regolarità visiva (SSIM e TV) per garantire che le perturbazioni siano impercettibili all'occhio umano.
5. Meccanismo di Fallimento: Le inconsistenze introdotte causano un collasso delle corrispondenze delle feature (correspondence collapse). Questo porta a:
   • Stima errata delle pose della telecamera.
   • Triangolazione insufficiente dei punti 3D.
   • Fallimento della fase di inizializzazione SfM, che a sua volta impedisce ai moduli downstream (NeRF, 3DGS, MVS) di convergere verso una scena coerente.

3. Contributi Chiave

• Identificazione della Vulnerabilità: Dimostrano che il modulo di inizializzazione SfM è intrinsecamente vulnerabile a piccole inconsistenze cross-view, un punto debole che porta al fallimento dell'intera pipeline di ricostruzione 3D.
• Nuovo Metodo di Attacco (PoInit-of-View): Progettano un attacco che non si basa sul rendering finale, ma sulla corruzione della geometria iniziale, rendendolo agnostico rispetto al modello di ricostruzione downstream.
• Analisi Teorica: Forniscono un'analisi teorica che collega l'inconsistenza cross-view al collasso delle corrispondenze, dimostrando matematicamente come superare una certa soglia di inconsistenza porti al fallimento dell'ottimizzazione SfM con alta probabilità.
• Alta Trasferibilità: L'attacco funziona efficacemente su sistemi eterogenei (MVS, NeRF, 3DGS) senza richiedere accesso ai loro gradienti interni.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset standard (NeRF-Synthetic, Tanks & Temples, Mip-NeRF360) confrontando l'attacco con baseline di rumore gaussiano e attacchi single-view.

• Qualità della Ricostruzione: In setting black-box (trasferimento tra modelli, es. da 3DGS a NeRF), PoInit-of-View supera le baseline single-view del 25.1% in PSNR e del 16.5% in SSIM (in termini di degradazione, ovvero peggiora molto di più la qualità).
  • Su Tanks & Temples, il PSNR medio scende di circa il 25% e l'SSIM del 15-18%.
  • L'errore LPIPS (percezione) raddoppia quasi, indicando un drastico peggioramento della fedeltà visiva.
• Stabilità SfM: L'attacco causa un crollo drastico delle statistiche interne di SfM:
  • Immagini registrate: Crollo da ~93-98% a ~24-28%.
  • Punti 3D triangolati: Riduzione dell'80-85% rispetto alle condizioni pulite.
  • Rapporto di collasso: Superiore al 70% su tutti i dataset.
• Stealthiness (Furtività): Le immagini avvelenate sono visivamente indistinguibili da quelle originali (PSNR > 27 dB, SSIM > 0.86), rendendo l'attacco difficile da rilevare per un osservatore umano.
• Robustezza: L'attacco funziona indipendentemente dal sistema di rendering finale, confermando che la vulnerabilità risiede nella fase di inizializzazione geometrica comune a tutti questi sistemi.

5. Significato e Implicazioni

Il lavoro di PoInit-of-View ha un impatto significativo sulla sicurezza della visione artificiale 3D:

1. Cambio di Paradigma: Sposta il focus degli attacchi adversariali dalla fase di rendering (spesso specifica per il modello) alla fase di inizializzazione geometrica (comune a quasi tutti i sistemi moderni).
2. Rischio Sistemico: Dimostra che un attacco mirato alla fase iniziale può compromettere intere infrastrutture di ricostruzione 3D, con potenziali conseguenze catastrofiche per applicazioni di sicurezza (es. veicoli autonomi che si basano su mappe 3D corrotte).
3. Necessità di Difese: Evidenzia la necessità di sviluppare nuove tecniche di difesa focalizzate sulla robustezza del matching delle feature e dell'ottimizzazione geometrica SfM, piuttosto che solo sulla regolarizzazione dei modelli neurali finali.

In sintesi, il paper dimostra che la "spina dorsale" geometrica della ricostruzione 3D è molto più fragile di quanto si pensasse, e che perturbazioni minime e mirate possono distruggere l'intera struttura 3D ricostruita.