Beware Untrusted Simulators -- Reward-Free Backdoor Attacks in Reinforcement Learning

Titel: Pas op voor onbetrouwbare simulators – Beloning-vrije backdoor-aanvallen in Versterkend Leren (RL)

Auteurs: Ethan Rathbun, Wo Wei Lin, Alina Oprea, Christopher Amato (Northeastern University)
Publicatie: ICLR 2026

---

1. Het Probleem: Een Nieuwe Bedreigingsmodel

Reinforcement Learning (RL) is afhankelijk van gesimuleerde omgevingen om agents te trainen zonder dure hardware-experimenten. Echter, deze simulators vormen een veiligheidsblinde vlek. Traditionele backdoor-aanvallen in RL veronderstellen dat de aanvaller volledige controle heeft over de trainingspijplijn, inclusief de mogelijkheid om de beloningen (rewards) van de agent te lezen en te manipuleren.

In de praktijk is dit vaak onrealistisch, vooral bij cloud-gebaseerde of externe simulators (zoals MuJoCo of PyBullet) waar de beloningsfunctie extern wordt berekend door de gebruiker. De aanvaller heeft dan geen toegang tot de beloningen. Dit paper introduceert een nieuw, realistischer en beperkter bedreigingsmodel:

• De Aanval: Een kwaadaardige ontwikkelaar levert een gemanipuleerde simulator.
• De Beperking: De aanvaller kan geen beloningen lezen of wijzigen. Ze kunnen alleen de transities (dynamiek) van de omgeving en de waargenomen staten beïnvloeden.
• Het Doel: Een backdoor inplanten zodat de agent, bij het zien van een specifiek "trigger", een vooraf bepaald schadelijk actie uitvoert, terwijl de agent normaal gedrag vertoont zonder trigger.

2. Methodologie: De "Daze"-Aanval

De auteurs stellen een nieuwe aanval voor genaamd Daze. Deze methode omzeilt de noodzaak om beloningen te manipuleren door de transities van de agent te verstoren op een manier die de agent zelf "straf" oplevert als ze niet gehoorzamen.

Kernprincipes van Daze:

1. Trigger-Staten ($S_\delta$): Wanneer de agent een trigger ziet, komt ze in een "triggered state".
2. De "Dazed" Toestand: Als de agent in een triggered state een actie kiest die niet de gewenste aanvalsactie ($a^+$) is, wordt de agent gedwongen in een "dazed state" ($S_\phi$) te belanden.
3. Strafmechanisme (Beloning-vrij): In de dazed state worden de acties van de agent genegeerd. In plaats daarvan wordt de agent gedwongen om willekeurige acties ($U(A)$) te uitvoeren. Omdat willekeurige acties in de meeste RL-taken suboptimaal zijn (Assumptie 1), resulteert dit in een lage verwachte beloning (straf).
4. Optimalisatie: Om de totale beloning te maximaliseren, leert de agent dat het in triggered states altijd de specifieke aanvalsactie ($a^+$) moet kiezen om de dazed state (en de bijbehorende straffen) te vermijden.
5. Stilte (Stealth): Als de agent de juiste actie kiest, gebeurt er niets; de transities zijn normaal. Als de agent de trigger niet ziet, gedraagt hij zich als een normale agent. De aanval is dus onzichtbaar tijdens normaal gebruik.

Formele Garantie:
De auteurs bewijzen wiskundig dat een optimale policy in de gemanipuleerde MDP ($M'$) noodzakelijkerwijs de aanvalssucces-doelstellingen haalt (altijd $a^+$ uitvoeren bij trigger) en tegelijkertijd de stealth-doelstellingen haalt (normaal gedrag vertonen zonder trigger), zonder dat de beloningsfunctie zelf is aangepast.

3. Belangrijkste Bijdragen

1. Nieuw Bedreigingsmodel: Het identificeren van kwaadaardige simulators als een "inner-loop" bedreiging waarbij de aanvaller geen toegang heeft tot beloningen, maar wel de fysica/transities kan manipuleren.
2. De Daze-algoritme: Een universele backdoor-aanval die werkt op zowel discrete als continue actie-ruimtes zonder beloningsmanipulatie.
3. Theoretische Bewijzen: Formele bewijzen dat Daze leidt tot een optimale policy die de aanval succesvol uitvoert, zelfs onder de strikte beperkingen van het nieuwe model.
4. Empirische Validatie: Uitgebreide tests in gesimuleerde omgevingen (MuJoCo, Atari) en de eerste demonstratie van een succesvolle backdoor-aanval op echte robothardware.

4. Experimentele Resultaten

De auteurs hebben Daze getest tegen state-of-the-art backdoor-aanvallen (zoals TrojDRL, SleeperNets en Q-Incept) die wel beloningsmanipulatie vereisen.

• Continue Actie-ruimtes (MuJoCo & Real Robots):

  • Daze behaalde een Attack Success Rate (ASR) van >92% in alle geteste omgevingen (HalfCheetah, Hopper, Reacher).
  • In tegenstelling tot andere methoden, die faalden of slecht presteerden in continue ruimtes zonder beloningscontrole, overtrof Daze deze methoden aanzienlijk.
  • Real Hardware: De aanval werd succesvol getransfereerd naar echte robots (Turtlebot2 en Fetch).
    • Voorbeeld: Een Turtlebot die normaal een kruispunt veilig kruist, botst bij het zien van een trigger (een plus-vormig object) met een andere robot door plotseling te accelereren.
    • Een Fetch-robot die een bal moet vervoeren, draait scherp en laat de bal vallen bij een trigger.

• Discrete Actie-ruimtes (Atari):

  • Daze behaalde vergelijkbare prestaties (ASR >97%) als de geavanceerdere methoden (Q-Incept, SleeperNets), ondanks dat deze laatste wel beloningscontrole hadden.
  • Daze behaalde een hogere Benign Return (BR), wat betekent dat de agent beter presteerde in normale situaties dan agents die door de andere methoden waren vergiftigd.

5. Significantie en Conclusie

Dit paper toont aan dat de veiligheid van RL-systemen niet alleen afhangt van de beveiliging van de code of de data, maar ook van de vertrouwen in de simulator zelf.

• Paradigmaverschuiving: Het bewijst dat beloningsmanipulatie niet nodig is voor succesvolle backdoor-aanvallen; het manipuleren van de fysica van de wereld is voldoende.
• Praktische Impact: Omdat simulators vaak als "black boxes" worden gebruikt (bijv. via cloud-diensten), is het extreem moeilijk om Daze te detecteren. De aanval kan worden vermomd als standaard "domain randomization" (een veelgebruikte techniek om robuustheid te vergroten).
• Toekomstige Richting: Er is dringende behoefte aan nieuwe verdedigingsmechanismen die specifiek gericht zijn op het valideren van simulator-dynamica en het detecteren van ongebruikelijke transities, aangezien bestaande methoden die beloningen controleren, hier niet tegen werken.

Samenvattend waarschuwt dit onderzoek voor een fundamenteel kwetsbaar punt in de RL-supply chain: een onbetrouwbare simulator kan een agent onopgemerkt "vergiftigen" met dodelijke instructies die alleen worden geactiveerd door een specifieke trigger.