PoInit-of-View: Poisoning Initialization of Views Transfers Across Multiple 3D Reconstruction Systems

Probleemstelling

3D-reconstructiesystemen, zoals Neural Radiance Fields (NeRF) en 3D Gaussian Splatting (3DGS), zijn essentieel geworden voor toepassingen zoals autonoom rijden, AR/VR en robotica. Deze systemen vertrouwen vaak op een voorafgaande Structure-from-Motion (SfM) stap voor de geometrische initialisatie (bepaling van cameraposities en een schaarse 3D-puntwolk).

Bestaande studies over kwetsbaarheden in 3D-vision richten zich voornamelijk op het backpropageren van adversariële gradiënten door de gehele reconstructiepiplijn (bijv. de rendering-verliesfunctie). De auteurs identificeren echter een fundamentele, onontdekte kwetsbaarheid: de SfM-initialisatiemodule zelf. Bestaande aanvallen zijn vaak niet-transfereerbaar omdat ze specifiek zijn afgestemd op de architectuur van het downstream-model. Het paper stelt dat het manipuleren van de SfM-fase, die de geometrische ruggengraat vormt voor bijna alle moderne 3D-systemen, leidt tot een veel robuustere en overdraagbare aanval.

Methodologie: PoInit-of-View

De auteurs introduceren PoInit-of-View, een aanvalstechniek die imperceptibele perturbaties toevoegt aan een subset van invoerbeelden om cross-view inconsistenties te creëren.

1. Kernmechanisme:

   • SfM werkt door overeenkomsten (correspondenties) tussen kenmerken in verschillende beelden te vinden en deze geometrisch te verifiëren (via de epipolaire constraint).
   • De aanval introduceert perturbaties die de lokale gradiënten in de beelden verstoren. Hoewel de beelden visueel voor het menselijk oog hetzelfde lijken, veranderen de gradiënten zodanig dat kenmerkdetectie en feature-matching falen.
   • Dit leidt tot een inconsistentie tussen de gradiënten van corresponderende punten in verschillende beelden (cross-view gradient inconsistency).

2. Optimalisatie en Proxy:

   • Omdat SfM-pipelines (zoals COLMAP) niet differentieerbaar zijn, gebruiken de auteurs een differentieerbare proxy (in dit geval 3DGS) om de gradiënten te schatten.
   • Ze optimaliseren een verliesfunctie ($L_{CVI}$) die de gradiëntverschillen tussen een referentiebeeld en een "vergiftigd" beeld maximaliseert, terwijl ze tegelijkertijd visuele onopvallendheid waarborgen via SSIM en Total Variation (TV) regularisatie.
   • De aanval gebruikt Projected Gradient Descent (PGD) binnen een $\ell_\infty$-budget om de perturbaties te genereren.

3. Theoretische Analyse:

   • De auteurs bewijzen theoretisch dat cross-view gradiëntinconsistentie leidt tot een exponentiële daling in de kans op succesvolle feature-matching.
   • Zodra de inconsistentie een bepaalde drempelwaarde ($L_{th}$) overschrijdt, faalt de RANSAC-gebaseerde pose-schatting, wat resulteert in een instorting van de gehele SfM-puntwolk en cameraposities.

Belangrijkste Bijdragen

• Identificatie van een fundamentele kwetsbaarheid: Het paper toont aan dat de SfM-initialisatie intrinsiek kwetsbaar is voor subtiele cross-view inconsistenties, wat leidt tot systeemfalen in de hele reconstructiepiplijn.
• Transfereerbaarheid: In tegenstelling tot eerdere methoden die specifiek zijn voor één model, werkt PoInit-of-View model-onafhankelijk. Omdat het de basis (SfM) aanvalt, werkt het op diverse systemen zoals MVS, NeRF en 3DGS.
• Theoretisch bewijs: Er wordt een theoretisch verband gelegd tussen gradiëntinconsistentie en het instorten van correspondenties, wat de effectiviteit van de aanval onderbouwt.
• Efficiënte aanval: De methode vereist geen toegang tot de interne loss-functies van het slachtoffermodel (black-box setting) en werkt puur op de invoerbeelden.

Resultaten

De auteurs evalueren de methode op drie standaard datasets (NeRF-Synthetic, Tanks and Temples, Mip-NeRF360) en testen deze op verschillende reconstructiesystemen.

• Prestatie in Black-Box Settings: In overdrachtssituaties (bijv. een aanval getraind op 3DGS en toegepast op NeRF) presteert PoInit-of-View aanzienlijk beter dan bestaande single-view baselines.
  • PSNR: Verbetering van 25,1% in degradatie (dus een lagere PSNR voor het slachtoffer).
  • SSIM: Verbetering van 16,5% in degradatie.
• SfM-Instabiliteit: De aanval veroorzaakt een drastische daling in het aantal geregistreerde camera's, getrianguleerde sleutelpunten en totale 3D-punten.
  • Op de Tanks & Temples dataset daalt het aantal geregistreerde camera's met meer dan 70% (van ~93% naar ~24%).
  • De reconstructie resulteert vaak in een complete instorting van de 3D-structuur, zelfs als de invoerbeelden visueel onopvallend zijn.
• Vergelijking met Baselines: De aanval overtreft methoden die alleen ruis toevoegen (Gaussian noise) of alleen single-view loss minimaliseren. Random noise heeft weinig effect op SfM, terwijl de gestructureerde perturbaties van PoInit-of-View specifiek de geometrische consistentie doorbreken.
• Stealthiness: De perturbaties zijn visueel onzichtbaar (hoge PSNR/SSIM tussen clean en poisoned beelden), maar hebben een catastrofale impact op de downstream-taken.

Betekenis en Impact

Dit onderzoek is van groot belang voor de veiligheid van 3D-vision systemen:

1. Fundamenteel Risico: Het toont aan dat de "geometrische ruggengraat" (SfM) van moderne 3D-systemen een zwakke schakel is die niet door het optimaliseren van het downstream-model kan worden opgelost.
2. Veiligheid voor Kritieke Toepassingen: Aangezien 3D-reconstructie wordt gebruikt in veiligheidskritieke domeinen (zoals robotchirurgie en autonoom rijden), kan een dergelijke aanval leiden tot catastrofele fouten in navigatie of manipulatie.
3. Toekomstige Richtingen: Het paper suggereert dat defensieve maatregelen zich moeten richten op robuustere feature-matching en pose-optimatie die bestand zijn tegen cross-view inconsistenties, in plaats van alleen het downstream-rendering-model te verdedigen.

Kortom, PoInit-of-View demonstreert dat het manipuleren van de invoer op het niveau van de geometrische initialisatie een krachtige, overdraagbare en effectieve methode is om geavanceerde 3D-reconstructiesystemen te verstoren.