AdvSplat: Adversarial Attacks on Feed-Forward Gaussian Splatting Models

Titel: AdvSplat: Adversariale Aanvallen op Feed-Forward Gaussian Splatting Modellen

Auteurs: Yiran Qiao et al. (Case Western Reserve University)

---

1. Probleemstelling

3D Gaussian Splatting (3DGS) is een krachtige paradigma voor real-time, hoogwaardige 3D-reconstructie. Traditionele 3DGS-methoden vereisen echter per-scene optimalisatie, wat schaalbaarheid en generalisatie beperkt. Recent zijn feed-forward 3DGS-modellen ontwikkeld (zoals NoPoSplat, DepthSplat, AnySplat) die na grootschalige pre-training snelle reconstructies mogelijk maken vanuit enkele invoerbeelden zonder per-scene optimalisatie.

Hoewel deze modellen veelbelovend zijn voor commerciële toepassing, is hun beveiliging en robuustheid tegen adversariale aanvallen (adversarial attacks) tot nu toe onbestudeerd.

• Het risico: Een aanvaller kan onwaarneembare verstoringen (perturbations) in invoerbeelden introduceren die leiden tot een catastrofale degradatie van de gereconstrueerde 3D-scène.
• De uitdaging: In real-world scenario's zijn deze modellen vaak "black-box" (de interne gewichten zijn niet bekend, alleen API-toegang is mogelijk). Traditionele black-box-aanvallen zijn inefficiënt vanwege de hoge dimensionaliteit van de pixelruimte en het ontbreken van een duidelijke beslissingsgrens (aangezien het een reconstructietask is, geen classificatie).

2. Methodologie: AdvSplat

Het paper introduceert AdvSplat, de eerste systematische studie naar adversariale aanvallen op feed-forward 3DGS. De methode omvat drie hoofdstappen:

A. White-box Vulnerabiliteitstest

Om de kwetsbaarheid van het model te bewijzen, voeren de auteurs eerst white-box-aanvallen uit (waarbij ze toegang hebben tot de modelgewichten). Ze gebruiken de Projected Gradient Descent (PGD)-algoritme.

• Doelfunctie: In plaats van classificatiefouten te maximaliseren, maximaliseren ze de reconstructiefout (verlies) tussen de gereconstrueerde afbeelding en de grond-waarheid (ground truth).
• Verliesfunctie: Een combinatie van MSE (Mean Squared Error) en LPIPS (Learned Perceptual Image Patch Similarity).
• Resultaat: Zelfs subtiele verstoringen leiden tot een totale ineenstorting van de reconstructiekwaliteit.

B. Black-box Aanval Strategieën

Voor praktische toepassingen (waar modelgewichten onbekend zijn) ontwikkelen ze twee query-efficiënte black-box algoritmen:

1. Gradient-based: Gebruikt Natural Evolution Strategies (NES) om gradiënten te schatten door het gemiddelde te nemen van verlies-gewogen verstoringen die uit een ruisverdeling worden gehaald.
2. Gradient-free: Gebruikt Covariance Matrix Adaptation Evolution Strategy (CMA-ES). Deze methode samplet kandidaat-verstoringen uit een multivariate Gaussische verdeling en past de gemiddelde en covariantie aan op basis van de beste presterende samples, zonder expliciete gradiënten te vereisen.

C. Frequentiedomein Parameterisatie (DCT)

Om het aantal queries te verminderen en de efficiëntie te verhogen (oplossing voor de hoge dimensionaliteit), parameteriseren de auteurs de verstoringen in het frequentiedomein:

• Beelden worden opgedeeld in blokken en onderworpen aan een Discrete Cosine Transform (DCT).
• Alleen de laagfrequente componenten (die de belangrijkste structurele informatie bevatten) worden verstoord.
• De verstoorde frequenties worden via een inverse DCT (iDCT) teruggezet naar de pixelruimte.
• Voordeel: Dit verlaagt de dimensie van de optimalisatieruimte aanzienlijk, waardoor minder queries nodig zijn en de aanval sneller en goedkoper is.

3. Belangrijkste Bijdragen

1. Eerste Studie: Dit is het eerste werk dat de beveiligingsrisico's van feed-forward 3DGS-modellen onderzoekt en hun kwetsbaarheid voor adversariale manipulatie aantoont.
2. Efficiënte Black-box Algoritmen: De ontwikkeling van twee nieuwe aanvals-methoden (gradiënt-gebaseerd en gradiënt-vrij) die werken in het frequentiedomein en alleen invoer-uitvoer toegang vereisen.
3. Empirisch Bewijs: Uitgebreide experimenten tonen aan dat onwaarneembare verstoringen leiden tot ernstige degradatie van de 3D-reconstructie, wat een urgent beveiligingsprobleem blootlegt.

4. Experimentele Resultaten

De auteurs testten AdvSplat op drie state-of-the-art modellen (DepthSplat, NoPoSplat, AnySplat) met twee datasets (RE10K en DL3DV).

• Kwalitatieve Resultaten:

  • De aanval veroorzaakt onwaarneembare veranderingen in de invoerbeelden (de perturbatie is beperkt tot $\epsilon = 8/255$).
  • De gereconstrueerde "novel views" (nieuwe weergaven) vertonen echter ernstige artefacten, vervormingen of zijn volledig onherkenbaar (bijv. witte of zwarte beelden).
  • De 3D Gaussian point clouds tonen drastische veranderingen in kleur en opaciteit.

• Kwantitatieve Resultaten:

  • Er is een enorme daling in kwaliteit gemeten via PSNR, SSIM, CLIP en DINO, en een stijging in LPIPS (wat slechter is).
  • Voorbeeld (DepthSplat op RE10K): PSNR daalt van 21.09 naar 7.57 (-64.1%) bij de gradiënt-gebaseerde aanval.
  • Efficiëntie: Het gebruik van DCT leidt tot snellere convergentie en hogere verliezen bij hetzelfde aantal queries vergeleken met direct pixelruim-optimalisatie.

• Robuustheid: Zelfs bij lagere aanvalssterktes (kleine $\epsilon$) is de degradatie significant. Bij hogere sterktes (16/255) kunnen de beelden volledig "crashen" (bijv. volledig wit), wat soms leidt tot misleidende metingen (hogere PSNR door witte beelden), maar visueel volledig mislukt is.

5. Betekenis en Conclusie

Het paper benadrukt dat feed-forward 3DGS-modellen, ondanks hun snelheid en generalisatievermogen, fundamenteel kwetsbaar zijn voor adversariale aanvallen.

• Praktische Impact: Een aanvaller kan deze modellen misbruiken door gemanipuleerde beelden te uploaden naar openbare platforms, wat leidt tot slechte reconstructies voor eindgebruikers en schade aan de reputatie van de leverancier.
• Toekomstperspectief: De auteurs roepen de gemeenschap op om aandacht te besteden aan de beveiliging en robuustheid van deze modellen, en te werken aan verdedigingsmechanismen voordat ze wijdverbreid worden ingezet in kritieke toepassingen zoals autonoom rijden en robotica.

Kortom, AdvSplat onthult een kritieke zwakte in de huidige generatie 3D-reconstructiemodellen en biedt een efficiënte methode om deze kwetsbaarheid te exploiteren, wat een noodzaak creëert voor verdere onderzoek naar defensieve maatregelen.