CIVA: Critic-Induced Value-Subspace Attacks on Visual World-Model Agents

In de snel evoluerende wereld van kunstmatige intelligentie is een nieuwe generatie beslissingssystemen opgekomen die leert handelen door de toekomst te visualiseren. In tegenstelling tot oudere programma's die simpelweg reageren op het beeld dat ze op dit exacte moment zien, bouwen deze geavanceerde agenten een intern mentaal model van hun omgeving. Ze nemen een opeenvolging van visuele inputs, zoals een videofeed van een camera, en comprimeren deze tot een verborgen, abstracte staat die onthoudt wat er is gebeurd en voorspelt wat er hierna zal komen. Deze interne staat stelt hen in staat om meerdere stappen vooruit te plannen, net zoals een menselijke bestuurder een bocht in de weg anticipeert voordat hij deze bereikt. Terwijl deze systemen bewegen van videogames naar real-world robotica en taken met een hoog veiligheidsrisico, is het begrijpen van hoe men ze kan verstoren een cruciale vraag geworden. Als een agent vertrouwt op een continue stroom van interne voorspellingen, maakt een kleine, tijdelijke glitch in de camerafeed dan uit, of filtert het geheugen van de agent het eruit? Dit is de centrale puzzel die onderzoekers nu proberen op te lossen.

Een team wetenschappers heeft ontdekt dat de manier om deze "wereldmodel"-agenten te breken niet ligt in het aanvallen van elk afzonderlijk frame van de video met willekeurige ruis, maar in het vinden van een specifieke, verborgen richting in de visuele data waartoe de eigen hersenen van de agent het meest gevoelig zijn. In een studie gericht op agenten die getraind zijn om te lopen, pingpong te spelen en te overleven in open-ended omgevingen, vonden de onderzoekers dat deze systemen verrassend kwetsbaar zijn wanneer ze op een zeer specifieke manier worden aangevallen. Ze ontwikkelden een methode genaamd CIVA, wat staat voor Critic-Induced Value-Subspace Attacks. De kern van het idee is dat deze agenten een ingebouwde "scorekeeper" hebben die constant inschat hoe goed hun toekomst zal zijn. Door te bestudelen hoe deze scorekeeper reageert op kleine veranderingen, ontdekten de onderzoekers dat de meest effectieve manier om de score van de agent te verlagen, is door de visuele data langs een zeer smal, laag-dimensionaal pad te duwen. Dit pad is niet willekeurig; het is een specifieke set richtingen in de beeldruimte die de eigen interne logica van de agent als cruciaal voor zijn besluitvorming heeft geïdentificeerd.

De onderzoekers testten deze aanpak tegen een geavanceerde agent genaamd DreamerV3, die getraind was om complexe taken uit te voeren zoals lopen op twee benen of een spelletje Pong spelen. Ze stelden een scenario op waarbij een aanvaller de huidige afbeelding die de agent ziet alleen kon aanpassen, met een strikte limiet op hoeveel de pixels konden veranderen om ervoor te zorgen dat de verstoring onzichtbaar bleef voor het menselijk oog. Eerdere pogingen om dergelijke systemen te hacken, behandelden elk videoframe vaak als een onafhankelijk doelwit door ruis aan elke reeks beelden toe te voegen. De onderzoekers ontdekten echter dat deze aanpak niet werkt bij wereldmodel-agenten. Omdat de agent voorbije frames onthoudt en deze mengt in zijn interne staat, worden geïsoleerde uitbarstingen van ruis weggespoeld en vergeten. Het geheugen van de agent fungeert als een filter, waardoor de impact van willekeurige, frame-voor-frame aanvallen wordt verdund.

Om dit te overwinnen, voerden de onderzoekers eerst een reeks offline experimenten uit waarbij ze de interne "scorekeeper" van de agent onderzochten om te zien welke minuscule veranderingen in de afbeelding de grootste daling in de voorspelde toekomstige score veroorzaakten. Ze verzamelden duizenden van deze effectieve veranderingen en gebruikten een wiskundige techniek om de gemeenschappelijke draad tussen hen te vinden. Ze ontdekten dat alle meest schadelijke veranderingen geconcentreerd waren in een piekleine, laag-dimensionale subspace. Stel je een enorme, meerdimensionale kamer voor waarin elke mogelijke manier om een afbeelding te veranderen een andere richting is; de onderzoekers ontdekten dat de zwakte van de agent niet verspreid was over de hele kamer, maar feitelijk beperkt was tot één enkele, smalle gang binnen die kamer. Zodra ze deze gang hadden geïdentificeerd, stopten ze met het zoeken in de hele kamer. In plaats daarvan beperkten ze hun aanvallen tot bewegingen die alleen binnen dit smalle pad plaatsvonden.

In de laatste fase van hun methode pasten de onderzoekers deze ontdekking toe in real-time. Terwijl de agent speelde, berekende de aanvaller de beste zet binnen die smalle gang en maakte vervolgens de veranderingen over de tijd vloeiend. Deze afvlakking was cruciaal. Het zorgde ervoor dat de verstoring niet jitterde of flikkerde van het ene naar het andere frame, wat gemakkelijk opvallend zou zijn geweest en computationeel duur zou zijn. Door de aanval stabiel en afgestemd op de eigen interne logica van de agent te houden, slaagden de onderzoekers erin de agent consequent te misleilen tot het maken van slechte beslissingen. De resultaten waren opmerkelijk. Bij de loopopdracht daalde de prestatie van de agent met meer dan 26 procent, een aanzienlijk hogere foutmarge dan welke andere geteste methode ook. Bij het spel Pong was de daling nog dramatischer, waarbij de score van de agent met bijna 86 procent daalde.

Misschien wel het belangrijkste is dat de onderzoekers lieten zien dat hun methode niet alleen effectief, maar ook efficiënt en subtiel was. Omdat de aanval beperkt was tot een klein aantal richtingen, vereiste het veel minder rekenkracht dan eerdere methoden die probeerden veranderingen voor elke individuele pixel in elk frame te berekenen. De visuele veranderingen bleven zo subtiel dat ze voor een menselijke waarnemer bijna niet te onderscheiden waren van de originele video, maar ze ontregelden volledig het vermogen van de agent om te functioneren. De studie wees ook de gedachte uit dat het simpelweg maken van de aanval vloeiend of het gebruiken van willekeurige patronen voldoende was. Wanneer ze een willekeurige set richtingen gebruikten in plaats van de richting die door de eigen scorekeeper van de agent was gevonden, faalde de aanval bijna volledig. Dit bevestigde dat de sleutel tot succes niet alleen de wiskunde van de aanval was, maar het feit dat deze was afgestemd op de specifieke interne structuur van de slachtoffer-agent.

De bevindingen suggereren dat de manier waarop we over het aanvallen van intelligente systemen denken, moet veranderen. Voor agenten die vertrouwen op geheugen en interne modellen, liggen de gevaarlijkste kwetsbaarheden niet in de individuele beelden die ze zien, maar in de specifieke manieren waarop die beelden over tijd worden verwerkt. De onderzoekers hebben aangetoond dat men door te luisteren naar de eigen interne signalen van de agent, een kortere weg naar diens falen kan vinden. Dit betekent niet dat deze systemen kapot zijn, maar eerder dat hun kracht — het gebruik van een continue interne staat om beslissingen te nemen — ook een uniek en smal punt van zwakte creëert. Naarmate deze technologieën dichter bij real-world inzet komen, zal het begrijpen van deze geometrie van falen essentieel zijn voor het bouwen van verdedigingen die hen kunnen beschermen tegen dergelijke gerichte, intelligente verstoringen. Het werk dient als een duidelijke herinnering dat in de wereld van kunstmatige intelligentie de meest effectieve aanvallen vaak diegene zijn die de geest van de machine beter begrijpen dan de machine zichzelf begrijpt.