Generating Multi-view Adversarial Examples for Visual Geometry Grounded Transformer

In de snel evoluerende wereld van kunstmatige intelligentie is een nieuwe generatie computervisiestelsels opgekomen, die in staat zijn om de driedimensionale wereld te begrijpen vanuit platte foto's. Deze systemen, bekend als foundation models, fungeren als een universele vertaler voor visuele gegevens. In plaats van alleen te identificeren dat een afbeelding een auto of een boom bevat, kunnen ze meerdere foto's die vanuit verschillende hoeken zijn genomen, samenvoegen om een compleet, navigeerbaar 3D-model van een scène te bouwen. Deze technologie belooft de manier waarop robots navigeren, hoe autonome voertuigen hun omgeving waarnemen en hoe wij met digitale omgevingen omgaan, te revolutioneren. Echter, net zoals fysieke structuren zwakke punten hebben die ingenieurs moeten versterken, hebben deze digitale systemen verborgen kwetsbaarheden. Onderzoekers weten al lang dat ze door minuscule, onzichtbare hoeveelheden ruis aan een afbeelding toe te voegen, een computer kunnen misleiden om iets te zien dat er niet is. Dit is het domein van adversarial attacks, waarbij het doel is om de kleinste mogelijke verandering te vinden die een massale fout veroorzaakt in het begrip van de machine.

De uitdaging is altijd een kwestie van snelheid en consistentie geweest. Traditionele methoden om deze misleidende afbeeldingen te creëren vereisen dat de computer een aanzienlijke tijd besteedt aan het analyseren van elke specifieke scène, waarbij het het perfecte ruispatroon voor dat enkele moment berekent. Dit proces is te traag voor real-world toepassingen waarbij scènes direct veranderen. Andere methoden gebruiken een enkel, statisch patroon van ruis dat op elke afbeelding wordt toegepast, in de hoop dat het overal werkt, maar deze falen vaak tegen complexe 3D-systemen omdat ze zich niet kunnen aanpassen aan de veranderende geometrie van een scène. Een team onderzoekers aan de Hong Kong Baptist University heeft nu een nieuwe aanpak ontwikkeld die beide problemen tegelijkertijd oplost. Ze creëerden een systeem dat in een enkel ogenblik een consistente, onzichtbare aanval kan genereren over meerdere aanzichten van een scène, zonder dat het nodig is om voor elke nieuwe situatie te stoppen en te berekenen.

De onderzoekers richtten hun werk op een specif kind specifiek, hoogwaardig model genaamd de Visual Geometry Grounded Transformer. Dit model is ontworig om een reeks afbeeldingen te nemen en direct een 3D-puntenwolk te reconstrueren, wat in essentie een digitaal skelet is gemaakt van miljoenen puntjes die de vorm en positie van objecten in de ruimte vertegenwoordigen. Het team ontdekte dat hoewel dit model ongelooflijk snel en accuraat is onder normale omstandigheden, het verrassend fragiel is wanneer het wordt geconfronteerd met een specifiek type gecoördineerde misleiding. Ze bouwden een hulpmiddel, dat ze een multi-view adversarial perturbation generator noemden, dat werkt als een razendsnel camerafilter. In plaats van een scène te analyseren en vervolgens langzaam een truc te boetseren, leert dit hulpmiddel de patronen van de zwakheden van het model en past het een op maat gemaakte verstoring toe op elke afbeelding in een sequentie op precies hetzelfde moment.

Om dit te laten werken, moest het systeem een moeilijke evenwichtsoefening uitvoeren. Het moest ruis creëren die sterk genoeg was om de 3D-reconstructie te verbrijzelen, maar subtiel genoeg zodat het menselijk oog het nooit zou opmerken. De onderzoekers ontwierpen een mechanisme dat de ruis dwingt om consistent te blijven over alle verschillende camerahoeken. Als de ruis van de ene hoek naar de andere anders zou lijken, zou het 3D-model het waarschijnlijk verwerpen als een fout en zichzelf corrigeren. Door ervoor te zorgen dat de verstoring perfect was afgestemd over alle aanzichten, kon het systeem de interne logica van het model in de war brengen, waardoor het zijn grip op de geometrie van de scène verloor. Het resultaat was een volledige instorting van de 3D-structuur, waarbij de gereconstrueerde wereld oploste in een chaotische bende of volledig verdween, terwijl de invoerafbeeldingen er voor een mens volkomen normaal uitzagen.

De experimenten toonden aan dat deze nieuwe methode superieur was aan eerdere pogingen. Wanneer het werd getest tegen de standaardmodellen die worden gebruikt om deze systemen te breken, bereikte de nieuwe generator zijn doel in één stap, terwijl oudere methoden tientallen trage, repetitieve berekeningen vereisten om vergelijkbare resultaten te behalen. In tests met scènes met tot wel vijfentwintig verschillende camerastandpunten, degradeerde het nieuwe systeem consequent de kwaliteit van de 3D-reconstructie, waardoor de digitale punten uiteenspatten of krompijn tot niets. De onderzoekers ontdekten dat de aanval niet alleen effectief was op de 3D-vorm zelf, maar ook op het vermogen van het model om diepte en camerapositie in te schatten, wat cruciaal is voor navigatie. Het systeem kon een heldere, gedetailleerde kaart van een kamer veranderen in een gefragmenteerde, onbruikbare wolk van punten in milliseconden.

Een van de meest opmerkelijke aspecten van de ontdekking is de efficiëntie van de aanval. De onderzoekers demonstreerden dat hun hulpmiddel een complexe scène met meerdere aanzichten in minder dan een seconde kon verwerken, met slechts een fractie van het computergeheugen dat door traditionele methoden vereist is. Deze snelheid suggereert dat een dergelijke aanval theoretisch in real-time scenario's kan worden ingezet, zoals een robot die door een straat rijdt of een drone die door een stad vliegt. De studie sloot expliciet de mogelijkheid uit dat een enkel, statisch patroon van ruis tegen deze complexe 3D-modellen zou kunnen werken, en toonde in plaats daarvan aan dat de ruis dynamisch en bewust moet zijn van de relatie tussen verschillende camerahoeken om effectief te zijn. Het team bevestigde ook dat de aanval niet vertrouwde op grote, duidelijke verstoringen; de veranderingen waren zo minuscuul dat ze onzichtbaar bleven voor het menselijk oog, waarbij de textuur en het uiterlijk van de originele foto's behouden bleven terwijl de capaciteit van de machine om de ruimte te begrijpen volledig werd vernietigd.

De implicaties van dit werk reiken verder dan het laboratorium. De onderzoekers benadrukken dat hun bevindingen wijzen op een kritieke beveiligingskloof in de implementatie van 3D-visionsystemen. Als een model zo gemakkelijk en zo snel kan worden misleid, zou de veiligheid van toepassingen die op hen vertrouwen, zoals zelfrijdende auto's of robotnavigatie, in gevaar kunnen komen. De studie beweert niet dat deze systemen onherstelbaar kapot zijn, maar stelt eerder dat ze momenteel kwetsbaar zijn voor een specif kind, zeer efficiënt type misleiding dat nog niet volledig is geadresseerd. De auteurs concluderen dat de dringende volgende stap is om robuuste verdedigings- en detectiemechanismen te ontwikkelen om deze systemen te beschermen. Ze suggereren dat zonder dergelijke waarborgen, de snelle adoptie van 3D foundation models de kritieke infrastructuur kan blootstellen aan nieuwe en gevaarlijke risico's, waarbij een subtiel, onzichtbaar signaal een machine de weg kan doen verliezen in de echte wereld.