🤖 machine learning

When Actions Disappear: Adversarial Action Removal in Self-Play Reinforcement Learning

Dit artikel onderzoekt adversarial action masking in self-play reinforcement learning en toont aan dat het selectief verwijderen van legale acties aanzienlijk meer schade veroorzaakt dan perturbaties, zich voordoet bij uiteenlopende algoritmen en domeinen, en hoge-waarde beslispunten benut zonder ruimte voor herstel.

Oorspronkelijke auteurs: Arahan Kujur

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Arahan Kujur

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een hoog-risico pokerpartij speelt tegen een super slimme computer tegenstander. Je hebt maanden getraind, elke mogelijke zet en tegenzet geleerd. Je voelt je zelfverzekerd. Maar dan verandert het spel op een manier die je niet kunt zien: iemand neemt rustig je kaarten weg.

Niet allemaal, alleen de specifieke kaarten die je zouden helpen de hand te winnen. Je moet nog steeds spelen, maar je beste opties zijn weg. Je wordt gedwongen een zet te doen die je nooit wilde maken, en je verliest.

Dit artikel gaat over een nieuw soort "hacker"-aanval op Kunstmatige Intelligentie (KI) die precies zo werkt. In plaats van de KI te verwarren met nepinformatie (zoals het plakken van een sticker op een stopbord zodat een zelfrijdende auto denkt dat het een snelheidsbord is), neemt deze aanval de keuzemogelijkheden van de KI volledig weg.

Hier is de uitleg van het onderzoek in eenvoudige bewoordingen:

1. De Opzet: De "Stille Saboteur"

De onderzoekers bestudeerden KI-agenten die leren door tegen zichzelf te spelen (zogenaamde "self-play"). Zo worden KI's zoals die die mensen verslaan bij Go of poker zo goed.

Het Slachtoffer: Een KI die probeert de beste strategie te leren.
De Aanvaller: Een "saboteur"-KI die niet probeert het spel zelf te winnen. In plaats daarvan is haar enige taak om naar de opties van het slachtoffer te kijken en de beste opties te verwijderen voordat het slachtoffer ze kan kiezen.
De Regel: De aanvaller kan slechts een beperkt aantal opties verwijderen (een "budget"), maar kiest precies welke er moeten worden verwijderd om het meeste chaos te veroorzaken.

2. De Grote Ontdekking: "De Sleutels Wegnemen" is Erger dan "Het Slot Verstoppen"

Vorig onderzoek richtte zich op "perturbaties" – in feite ruis of verwarring toevoegen aan de zintuigen van de KI. Stel je voor dat je probeert te rijden terwijl je een wazige bril draagt. Het is vervelend, maar je kunt nog steeds sturen.

Dit artikel toont aan dat het verwijderen van acties hetzelfde is als het stuurwiel volledig wegnemen.

Het Resultaat: De "actie-removal"-aanval was 4 tot 5 keer schadelijker dan willekeurige verwijdering of ruis-gebaseerde aanvallen.
De Analogie: Als je een kok bent, is willekeurige ruis als iemand de zoutpot schudt zodat je niet kunt zeggen hoeveel zout je hebt toegevoegd. Actie-removal is als iemand de zoutpot wegneemt en je dwingt alleen suiker te gebruiken. Je kunt nog steeds koken, maar het gerecht is verpest.

3. De "Magische Formule": Het Vinden van de Zwakke Plekken

Hoe weet de aanvaller welke acties moeten worden verwijderd? Het gebruikt een slimme maatstaf die de onderzoekers CAC (Contingent Action Capacity) noemen.

Denk aan een beslispunt in een spel als een splitsing in de weg.
Sommige splitsingen zijn triviaal (je kunt links of rechts gaan, en het maakt niet veel uit).
Sommige splitsingen zijn kritiek (links gaan wint het spel; rechts gaan verliest het).
De aanvaller zoekt naar de kritieke splitsingen die de KI vaak bezoekt en verwijdert het "winnende" pad.
De onderzoekers ontdekten dat hoe meer ze het vermogen van de KI om bij deze kritieke momenten te kiezen, verminderden, hoe meer de prestaties van de KI instortten.

4. Het Werkt Overal (Niet Alleen Poker)

De onderzoekers testten dit in vele verschillende "werelden":

Poker: Van kleine 6-kaartspellen tot enorme 5.500-kaartspellen.
Gridwerelden: Een eenvoudig videospel waarbij een personage probeert een doel te bereiken terwijl het een roofdier vermijdt.
Ressourcen Verzamelen: Een spel over het verzamelen van voorwerpen.

In elk enkel geval werkte de aanval. Het maakte niet uit of de KI een eenvoudige op wiskunde gebaseerde leraar was of een complex neuronaal netwerk (zoals die welke worden gebruikt in moderne deep learning). Als je de beste zetten van de KI wegneemt, wordt het verpletterd.

5. De KI Kan Er "Niet Aan Gewend Raken"

Meestal, als je een KI traint in een moeilijke omgeving, leert het uiteindelijk zich aan te passen.

De Bevinding: Toen de onderzoekers de "actie-removal" actief hielden tijdens het trainen, herstelde de KI zich niet. Het bleef kapot.
Waarom? Omdat de aanval de fundamentele regels van het spel verandert. De KI leert niet alleen een nieuwe truc; het wordt gedwongen een spel te spelen waarbij de winnende zetten zijn verwijderd. Geen hoeveelheid oefening helpt als je beste zetten ontbreken.

6. De "Schaling"-Verrassing

Hoe complexer het spel, hoe erger de aanval werd.

In een klein spel was de aanvaller ongeveer 2 keer effectiever dan willekeurige kans.
In een groot, complex spel was de aanvaller bijna 5 keer effectiever.
De Metafoor: In een kleine kamer, als je één deur blokkeert, kun je er gewoon omheen lopen. In een gigantisch doolhof, als je de één specifieke gang blokkeert die naar de uitgang leidt, zit je vast. Hoe groter het spel, hoe waardevoller die specifieke "geblokkeerde" keuzes worden.

Samenvatting

Dit artikel onthult een verborgen zwakte in KI: Ze zijn broos wanneer hun keuzes worden verwijderd.

Huidig KI-veiligheidsonderzoek maakt zich vaak zorgen dat de KI wordt "bedrogen" door slechte data. Dit artikel zegt dat we ons ook zorgen moeten maken dat de KI wordt "gehandcuffed" door het wegnemen van zijn opties. De onderzoekers ontdekten dat een slimme aanvaller kan identificeren welke beslissingen een KI het belangrijkst maakt en deze kan verwijderen, waardoor de KI spektakelachtig faalt, ongeacht hoe slim of complex de KI is.

De Kernboodschap: Als je een KI bouwt die afhankelijk is van een volledig menu met opties om uit te kiezen, moet je dat menu beschermen. Als een vijand de beste items van het menu kan verwijderen, zal de KI verhongeren, hoe goed getraind het ook is.

Technische Samenvatting: Adversariele Actieverwijdering in Self-Play Versterkend Leren

Probleemdefinitie

Dit artikel onderzoekt een nieuw en ernstig adversariele aanvalsoppervlak in Multi-Agent Versterkend Leren (MARL): adversariele actiemaskering. In tegenstelling tot eerdere werken die zich richten op observatieperturbaties (toevoegen van ruis aan invoer) of beloningsmanipulatie, formaliseert deze studie een aanval waarbij een adversary selectief legale acties verwijdert uit de actieset van een slachtoffer-agent voordat de agent een beslissing neemt.

Het probleem wordt geformuleerd als een bi-niveau optimalisatie:

Binnenste lus: Een slachtoffer-agent (Speler 0) traint via self-play onder een beperkte actieruimte die wordt gedefinieerd door het masker.
Buitenste lus: Een adversary (Speler 1) leert een beleid om te selecteren welke acties op specifieke informatiestaten moeten worden verwijderd om de verwachte waarde van het slachtoffer te minimaliseren.

De adversary opereert onder een begrotingsbeperking $k$ , die het aantal informatiestaten beperkt waar acties kunnen worden verwijderd, maar moet ten minste één legale actie per staat behouden. De kernhypothese is dat het verwijderen van beslissingsopties (structurele reductie) kwalitatief anders en schadelijker is dan begrenste perturbaties, omdat het beslispunten kan laten instorten tot singleton-acties, waardoor het vermogen van de agent om te kiezen wordt geëlimineerd.

Methodologie

Formeel Kader

De auteurs modelleren de omgeving als een tweespeler nul-som uitgebreide vorm spel. De adversary wordt gedefinieerd als een afbeelding $M: I_0 \to 2^A$ die een subset van acties selecteert om te behouden bij elke informatieset $h$ van het slachtoffer. Het doel van de adversary is het minimaliseren van de waarde van het slachtoffer $V_0(\pi^*_M)$ .

Mechanistische Analyse:
Het artikel introduceert twee metrieken om het aanvalsmechanisme te verklaren:

Reach-gewogen Contingente Actiecapaciteit ( $CAC_w$ ): Meet de resterende meer-actie beslissingscapaciteit bij bereikte informatiestaten, gewogen naar hun bereikwaarschijnlijkheid $\rho(h)$ .
Waarde-gewogen Verfijning ( $CAC_v$ ): Een nauwkeurigere metriek die de capaciteit weegt naar de waardenkloof $\delta(h)$ tussen de optimale actie van het slachtoffer en de geforceerde actie: $CAC_v = \sum \rho(h) \cdot \delta(h) \cdot \mathbb{1}[|M(h)| > 1]$ .

Theoretische proposities suggereren dat een greedy adversary staten met een hoge $\rho(h) \cdot \delta(h)$ aanvalt, wat effectief $CAC_w$ en $CAC_v$ naar beneden duwt. Onder specifieke voorwaarden (bijv. $\epsilon$ -greedy Q-learning) bewijzen de auteurs dat als $CAC_w$ naar nul wordt gedreven, het beleid van het slachtoffer convergeert naar een unieke geforceerde actie, wat leidt tot een stabiel maar suboptimaal vast punt.

Experimentele Opstelling

De studie evalueert de aanval over:

Algoritmen: Vijf verschillende leeralgoritmen, waaronder Tabulaire Q-Learning, Tabulaire PPO, Tabulaire NFSP (Neural Fictitious Self-Play), Neural NFSP en DQN.
Domeinen:
- Poker: Kuhn Poker (6 staten), Leduc Poker (50 staten), en geschaalde varianten Leduc-5 (389), Leduc-10 (1.496) en Leduc-20 (5.531 staten).
- Niet-Poker: Competitieve Gridworld (149 staten) en Resource Collection (18.604 staten).
Basislijnen: Vergelijkingen tegen willekeurige actieverwijdering, vaste actieverwijdering en geleerde perturbatie (RARL-stijl) aanvallen.

Het trainingsprotocol omvat het afwisselen tussen 500 episodes van slachtoffertraining en één gradiëntstap voor de adversary (met behulp van REINFORCE) over 20–25 buitenste iteraties.

Belangrijkste Resultaten

1. Superioriteit van Adversariele Maskering

Geleerde adversariele maskering veroorzaakt aanzienlijk meer schade dan willekeurige maskering of geleerde perturbatie.

In Leduc Poker is geleerde verwijdering tot 4,8× schadelijker dan willekeurige maskering bij vergelijkbare ondersteuningsniveaus.
Vergelijkend met geleerde perturbatie (RARL-stijl) met gelijke trainingsbudgetten, is adversariele actieverwijdering 4× schadelijker in Kuhn Poker.
De aanval blijft bestaan zelfs wanneer de adversary beperkt is tot alleen publieke informatie, hoewel toegang tot privé-informatie sterkere resultaten oplevert.

2. Schaling met Complexiteit

Het voordeel van de geleerde adversary neemt toe naarmate de spelcomplexiteit groeit.

In de Leduc-familie schaalde de schadeverhouding (Adversary/Willekeurig) van 2,2× (bij ~50 staten) tot 4,8× (bij 5.531 staten).
Dit suggereert dat grotere, complexere spellen meer "strategische heterogeniteit" bieden voor de adversary om uit te buiten.

3. Algoritme- en Domeinonafhankelijkheid

De kwetsbaarheid is niet specifiek voor één algoritme of domein:

Algoritmen: Alle geteste agenten (QL, PPO, NFSP, DQN) storten in onder adversariele maskering. Zelfs Neural NFSP, een robuuste speloplossingsmethode, degradeert aanzienlijk (van -0,13 naar -1,89 in Leduc-5).
Domeinen: Het fenomeen geldt in niet-pokeromgevingen. In Competitieve Gridworld veroorzaakte adversariele maskering 1,9× meer schade dan willekeurige maskering. Bij Resource Collection was het verschil 1,4×.

4. Gebrek aan Herstel

Slachtoffers herstellen niet, zelfs niet bij uitgebreide training met het masker actief.

Wanneer de training doorgaat onder een vaste adversariele masker, stabiliseert de beloning van het slachtoffer op een significant lager niveau vergeleken met de niet-gemaskerde basislijn.
Opnieuw trainen vanaf nul op het uiteindelijk geleerde masker resulteert ook in grote verliezen, wat aangeeft dat de structurele schade niet gemakkelijk kan worden verzacht door adaptatie.

5. Mechanistische Correlatie

Er is een sterke empirische correlatie tussen de reductie van $CAC_w$ en $CAC_v$ en de prestatiedegradatie van het slachtoffer.

$CAC_w$ correleert met de slachtofferbeloning bij $r = 0,80$ .
$CAC_v$ correleert bij $r = 0,81$ , wat suggereert dat het aanvallen van staten met hoge waardenkloven de primaire drijvende kracht is voor het succes van de aanval.

Betekenis en Claims

Het artikel betoogt dat actietoezegbaarheid een onderscheidend robuustheidsoppervlak vormt in self-play RL, gescheiden van observatie- of beloningsrobuustheid.

Structurele Kwetsbaarheid: De bevindingen tonen aan dat self-play agenten broos zijn voor gerichte structurele veranderingen in de actieruimte. In tegenstelling tot perturbaties die ruis toevoegen, elimineert verwijdering beslissingsopties, waardoor de strategische flexibiliteit van de agent instort.
Beperkingen van Huidige Verdedigingen: Bestaande robuuste MARL-verdedigingen (bijv. trainen tegen perturbaties of het gebruik van populatiediversiteit) zijn ontoereikend omdat ze aannemen dat de gezamenlijke actieruimte intact blijft. Het artikel merkt op dat het middelen van strategieën of het behouden van populatiediversiteit geëlimineerde strategische dimensies niet kan herstellen.
Implicaties voor Implementatie: In real-world systemen waar adversaries specifieke capaciteiten kunnen uitschakelen (bijv. API-eindpunten, actuatoren), kunnen agenten catastrofale storingen ondergaan. De auteurs suggereren dat effectieve verdedigingen zich moeten richten op het behoud van strategische flexibiliteit op beslispunten met hoge bereikwaarde en hoge waarde ( $CAC_v$ ), in plaats van te optimaliseren voor uniforme robuustheid tegen willekeurige actieonbeschikbaarheid.

De auteurs blijven bescheiden over hun theoretische claims, met de opmerking dat de schadegrenzen lokaal en additief zijn, en dat de schalingstrend empirisch is (gebaseerd op vier spelgroottes) in plaats van een bewezen schalingswet. Zij erkennen dat verificatie op volledige pokerschaal ( $10^5+$ staten) en in domeinen met continue acties toekomstig werk blijft.