🤖 machine learning

Robust In-Context Reinforcement Learning Under Reward Poisoning Attacks

Dit artikel stelt Adversarially Trained DPT (AT-DPT) voor, een nieuw framework dat gelijktijdig een Decision-Pretrained Transformer en een populatie aanvallers traint om robuust in-context reinforcement learning te bereiken tegen beloningsvergiftigingsaanvallen, waarbij superieure prestaties worden aangetoond ten opzichte van standaard baselines in zowel bandit- als complexe MDP-omgevingen.

Oorspronkelijke auteurs: Paulius Sasnauskas, Yiğit Yalın, Goran Radanović

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Paulius Sasnauskas, Yiğit Yalın, Goran Radanović

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Visie: Een Robot Leren Leren van een Spiekbriefje

Stel je voor dat je een robot leert hoe hij een videogame moet spelen. Normaal gesproken zou je hem specifieke regels programmeren of hem urenlang laten oefenen totdat hij het spel begrijpt.

Maar dit artikel gaat over een ander soort robot: een robot die gebruikmaakt van In-Context Reinforcement Learning (ICRL). Denk aan deze robot als een superintelligente student die niet opnieuw geprogrammeerd hoeft te worden. In plaats daarvan geef je hem gewoon een "spiekbriefje" (een geschiedenis van eerdere zetten en beloningen) en zeg je: "Hier is hoe het spel werkt; ga nu maar spelen." De robot leest het spiekbriefje, ontdekt het patroon en begint direct te spelen.

Het artikel richt zich op een specifiek type robot genaamd DPT (Decision-Pretrained Transformer). Deze is erg goed in het lezen van dergelijke spiekbriefjes. Maar er is een probleem: Wat als iemand met het spiekbriefje rompt?

Het Probleel: Het "Vergiftigde" Spiekbriefje

In de echte wereld kan een kwaadwillende actor (een aanvaller) proberen de robot te misleiden. Ze kunnen het brein van de robot niet veranderen, maar ze kunnen wel de beloningen veranderen die de robot in zijn geschiedenis ziet.

Het Scenario: Stel je voor dat de robot leert om het beste fruit te selecteren op een markt.
De Aanval: Een saboteur verandert stiekem de prijskaartjes van het fruit in de geschiedenis van de robot. Ze laten rotte appels duur lijken (hoge beloning) en verse appels goedkoop (lage beloning).
Het Resultaat: De robot leest de vergiftigde geschiedenis, denkt dat de rotte appels de beste keuze zijn en begint ze ook daadwerkelijk te kopen. Dit wordt een Reward Poisoning Attack genoemd.

De meeste eerdere onderzoeken richtten zich op het beschermen van robots die tijdens de training leren. Dit artikel stelt de vraag: Hoe beschermen we een robot die "on the fly" leert door simpelweg een geschiedenis van gebeurtenissen te lezen?

De Oplossing: De "Sparringpartner"-methode (AT-DPT)

De auteurs creëerden een nieuwe methode genaamd AT-DPT (Adversarially Trained DPT). Ze hebben niet alleen geprobeerd de robot te repareren; ze hebben de robot geleerd hoe hij moet terugvechten met een techniek genaamd Adversarial Training.

Denk hierbij aan een vechtsportdojo:

De Student (De Robot): We willen dat de robot leert om de beste acties te kiezen, zelfs wanneer de data rommelig is.
De Sparringpartner (De Aanvaller): De onderzoekers creëerden een "schurk"-AI wiens enige taak het is om de robot te misleiden. Deze schurk probeert constant de geschiedenis (de beloningen) te herschrijven om de robot slechte keuzes te laten maken.
De Trainingslus:
- De Schurk probeert de geschiedenis van de robot te vergiftigen.
- De Robot probeert de vergiftiging te negeren en de waarheid te achterhalen.
- Ze doen dit keer op keer.
- Uiteindelijk wordt de Robot zo goed in het herkennen van leugens dat hij nog steeds kan winnen, zelfs wanneer de Schurk zijn uiterste best doet om hem te misleiden.

Het resultaat is een robot die "alles al heeft gezien". Hij heeft geleerd dat de beloningscijfers soms leugens zijn, en hij weet hoe hij voorbij de leugens kan kijken om de echte waarheid te vinden.

Hoe Ze Het Testten

De onderzoekers testten deze "super-robot" in drie verschillende scenario's, als levels in een videogame:

De Gokkasten (Bandits): Stel je een rij van vijf gokkasten voor. De robot moet uitzoeken welke het meest uitbetaalt. De aanvaller probeert te liegen over hoeveel elke machine uitbetaalt.
- Resultaat: De AT-DPT-robot ontdekte de echte winnaars, terwijl standaardrobots (zoals Thompson Sampling of UCB) in de war raakten en de verliezers bleven kiezen.
De Doolhof (MDPs): Stel je een robot voor die door een donkere kamer navigeert om een schat te vinden. De aanvaller probeert te liegen over hoe goed een bepaalde beweging was.
- Resultaat: De AT-DPT-robot vond de schat veel betrouwbaarder dan andere methoden, zelfs toen de aanvaller slim en adaptief was (zijn leugens aanpaste op basis van wat de robot deed).
De Visuele Doolhof: Ze testten het zelfs in een 3D-omgeving waar de robot moest navigeren met behulp van beelden. De AT-DPT-robot presteerde nog steeds beter dan de anderen.

Waarom Dit Belangrijk Is

Het artikel beweert dat door de robot te trainen om leugens (vergiftigde data) te verwachten, hij veel robuuster wordt.

Standaard robots zijn als mensen die alles geloven wat ze in een krant lezen. Als de krant een leugen drukt, geloven zij die.
De AT-DPT robot is als een detective die is getraind door een meestervervalser. Hij weet dat de krant kan liegen, dus hij controleert de feiten dubbel en vindt toch de waarheid.

De auteurs concluderen dat deze aanpak (het gebruiken van een populatie aanvallers om de leerling te trainen) een krachtige manier is om AI te bouwen die veilig en betrouwbaar is, zelfs wanneer de data waarop de AI vertrouwt, wordt gemanipuleerd door kwaadwillende actoren. Ze merkten ook op dat deze methode goed werkt, zelfs als de robot niet perfect is in het opsporen van de leugens, zolang hij maar is getraind tegen een verscheidenheid aan lastige aanvallers.

Technische Samenvatting: Robuust In-Context Reinforcement Learning onder Beloningsvergiftigingsaanvallen

Probleemdefinitie

Dit artikel behandelt de kwetsbaarheid van In-Context Reinforcement Learning (ICRL) voor beloningsvergiftigingsaanvallen (reward poisoning attacks). Terwijl de traditionele RL-literatuur uitgebreid heeft gestudeerd op beloningsvergiftiging als een aanval tijdens de training (waarbij het beleid van een agent wordt gecorrumpeerd tijdens het leren), werken ICRL-agents anders. Zij implementeren een leeralgoritme "in-context" door een geschiedenis van interacties (toestanden, acties, beloningen) te verwerken binnen een transformer-model (specifiek de Decision-Pretrained Transformer, of DPT).

In deze setting kan een tegenstander de test-time context vergiftigen door de beloningen die de agent observeert te corrumperen. Aangezien de agent zijn beleid afleidt op basis van deze context, stelt het corrumperen van de beloningen tijdens de testtijd de aanvaller in staat om het gedrag van de agent te beïnvloeden zonder de vooraf getrainde parameters van de agent te wijzigen. Het artikel formaliseert dit als een test-time reward poisoning attack, waarbij de aanvaller een fractie ( $\epsilon$ ) van de geobserveerde beloningen wijzigt om de ware return van de agent te minimaliseren, onderworpen aan een zachte budgetrestrictie.

Methodologie: Adversarieel Getrainde DPT (AT-DPT)

De auteurs stellen AT-DPT voor, een nieuw framework dat in-context leren combineert met adversariële training om agents te produceren die robuust zijn tegen dergelijke aanvallen. De kern van het idee is om de agent en een populatie van aanvallers simultaan te trainen in een minimax-spel.

1. Aanvalsmodel

De aanvaller wordt gemodelleerd als een functie $\pi^\dagger_\phi$ die de toestand, actie, ware beloning en de in-context dataset van de agent observeert. Deze genereert een gecorrumpeerde beloning $r^\dagger$ met een waarschijnlijkheid $\epsilon$ . Het doel van de aanvaller is om de verwachte return van de agent te minimaliseren, terwijl hij zich houdt aan een zachte budgetrestrictie op het gemiddelde en de variantie van de gecorrumpeerde beloningen ten opzichte van de ware omgevingsbeloningen. Dit wordt geformuleerd als een strafterm in de loss-functie van de aanvaller.

2. Trainingsprocedure

Het trainingsproces (geïllustreerd in Figuur 1 en Algoritme 1) omvat drie fasen:

Pretraining: De DPT wordt geïnitialiseerd en getraind via supervised learning om optimale acties te voorspellen vanuit schone contextdata, vergelijkbaar met de oorspronkelijke DPT-aanpak.
Adversariële Training: Dit is de vernieuwende bijdrage. De agent ( $\pi_\theta$ $π_{θ}$ ) en een populatie van aanvallers ( $\pi^\dagger_{\phi_i}$ $π_{ϕ_{i}}^{†}$ ) worden gelijktijdig geoptimaliseerd:
- Attacker Update: Voor elke taak in een batch genereert de aanvaller gecorrumpeerde trajecten. De parameters van de aanvaller $\phi$ worden bijgewerkt met behulp van het REINFORCE-algoritme om de regret van de agent te maximaliseren (de return te minimaliseren) onder de budgetrestricties.
- Agent Update: De agent wordt getraind om de optimale actie (geleverd door een oracle) te voorspellen, gegeven de gecorrumpeerde context $D^\dagger$ die tijdens de interactie is verzameld.
- Dit proces herhaalt zich voor $N$ rondes, waardoor de agent een "correctiemechanisme" kan leren dat optimale acties afleidt ondanks vergiftigde inputs.
In-Context Learning (Testen): De getrainde agent wordt ingezet in nieuwe omgevingen met vergiftigde beloningen. Hij werkt zijn context dynamisch bij op elk tijdstap om robuustheid te ondersteunen tegen adaptieve aanvallers.

Het framework ondersteunt zowel niet-adaptieve aanvallers (die de geschiedenis van de agent niet gebruiken) als adaptieve aanvallers (die een transformer-architectuur gebruiken om gebruik te maken van de eerdere interacties van de agent).

Belangrijkste Bijdragen

Nieuwe Aanvalsmodaliteit: Het artikel is de eerste die beloningsvergiftiging bestudeert in de context van meta-RL (het leren van een leeralgoritme). Het formaliseert een test-time aanval waarbij de tegenstander de context corrumpeert om het in-context leerproces te beïnvloeden, wat verschilt van traditionele training-time policy corruptie.
AT-DPT Framework: De auteurs introduceren een praktisch adversarieel trainingsprotocol dat gelijktijdig een populatie van aanvallers en de victim agent optimaliseert. Dit stelt de agent in staat om een corruptie-robuust leeralgoritme in-context te leren.
Empirische Validatie: De studie biedt een systematische evaluatie over multi-armed bandits, lineaire bandits en MDP's (inclusief de Darkroom2 en Miniworld omgevingen), waarbij AT-DPT wordt vergeleken met standaard algoritmen (TS, UCB, PPO, Q-learning) en robuuste baselines (crUCB, RTS).

Experimentele Resultaten

De experimenten tonen aan dat AT-DPT aanzienlijk beter presteert dan bestaande baselines onder verschillende vergiftigingsniveaus ( $\epsilon = 0.1, 0.2, 0.4$ ) en aanvalsbudgetten.

Bandit Instellingen: AT-DPT bereikt de laagste cumulatieve regret vergeleken met robuuste baselines zoals crUCB en RTS, zelfs wanneer de aanvaller specifiek is getraind om AT-DPT aan te vallen. Het vertoont ook sterke generalisatie door goed te presteren tegen aanvallers die getraind zijn voor andere algoritmen (bijv. TS).
Adaptief vs. Niet-Adaptief: De resultaten wijzen op een trade-off; AT-DPT getraind tegen adaptieve aanvallers presteert beter tegen adaptieve dreigingen, maar iets minder goed tegen niet-adaptieve aanvallers vergeleken met een model dat alleen op niet-adaptieve dreigingen is getraind. Echter, in alle gevallen presteert het beter dan standaard baselines.
MDP Instellingen: In de Darkroom2 en Miniworld omgevingen behoudt AT-DPT hoge episode-beloningen onder aanval, terwijl standaard RL-algoritmen (NPG, Q-learning) en bevroren DPT-modellen een aanzienlijke prestatieverslechtering vertonen. Opvallend genoeg generaliseert AT-DPT naar grotere, complexere omgevingen, wat duidt op schaalbaarheid.
Suboptimale Demonstraties: Het artikel merkt op dat AT-DPT een klein percentage (bijv. 10-30%) suboptimale demonstraties in de trainingsdata kan tolereren, hoewel de prestaties verslechteren naarmate dit percentage toeneemt.

Betekenis en Claims

Het artikel claimt dat de primaire betekenis ligt in het vaststellen van een geprincieerde aanpak voor het ontwerpen van leeralgoritmen die inherent robuust zijn tegen datacorrupties.

Meta-RL Perspectief: In tegenstelling tot eerdere werken die zich richten op het leren van een specifiek beleid voor een enkele omgeving, richt dit werk zich op het leren van het algoritme zelf. Door gebruik te maken van een prior over de distributie van taken, kan de agent onderscheid maken tussen plausibele en implausibele corruptieschema's, waardoor adversariële ruis effectief wordt weggefilterd.
Generalisatie: De resultaten suggereren dat transformer-gebaseerde policies algoritmen kunnen implementeren die robuust zijn tegen datacorruptie, wat een veelbelovende richting biedt voor de veilige inzet van ICRL-agents (zoals LLM-gebaseerde agents) in omgevingen waar de context gecompromitteerd kan worden (bijv. via RAG-mechanismen).
Theoretisch Inzicht: De auteurs stellen dat AT-DPT een Nash-evenwicht benadert waarbij de agent een "gecorrigeerde" posterior sampling implementeert. Zolang de onderliggende beloningsgemiddelden identificeerbaar blijven onder het corruptieproces, kan de agent robuuste prestaties leveren.

De auteurs blijven bescheiden over theoretische garanties en erkennen dat een volledige convergentieanalyse van de bi-level optimalisatie naar een benaderd evenwicht een onderwerp is voor toekomstig onderzoek. Ze merken ook op dat hun huidige methode afhankelijk is van oracle-geleverde optimale acties voor training, hoewel ze wel enige veerkracht tonen tegen suboptimale demonstraties.