Technische Samenvatting: Vos in het Hok: Supply-Chain Backdoor Aanvallen tegen Reinforcement Learning

Probleemstelling

Bestaande backdoor-aanvallen op Reinforcement Learning (RL) vertrouwen doorgaans op onrealistische dreigingsmodellen die ervan uitgaan dat de aanvaller white-box toegang heeft tot de parameters, beloningen of observaties van het slachtoffer. Deze aannames impliceren vaak een niveau van interventie (bijv. het direct aanpassen van de beloningsfunctie of de observatieruimte van het slachtoffer) die een backdoor-aanval in reële scenario's overbodig zou maken. Bovendien negeert de huidige literatuur grotendeels het "supply-chain"-aspect van moderne RL, waarbij praktici frequent vooraf getrainde agenten of omgevingen van externe repositories downloaden (bijv. Hugging Face, PyTorch Hub) om convergentie te versnellen in gevoelige toepassingen zoals autonoom rijden en geautomatiseerde handel. Dit artikel stelt dat de afhankelijkheid van onbetrouwbare externe agenten een ernstig, praktisch beveiligingsrisico vormt dat momenteel wordt onderschat.

Methodologie: De Supply-Chain Backdoor (SCAB) Aanval

De auteurs introduceren de Supply-Chain Backdoor (SCAB) aanval, een methode die ontworpen is om schadelijke gedragingen in het beleid van een slachtoffer ($\pi_{vic}$) te embedden, uitsluitend via een black-box van legitieme agent-omgeving interacties. De aanvaller vereist geen toegang tot het trainingsproces, de beloningssignalen of de observatiegegevens van het slachtoffer. In plaats daarvan exploiteert de aanval de gangbare praktijk van het trainen met derde-partij beleidsregels.

Dreigingsmodel

De aanval opereert onder een restrictief dreigingsmodel waarbij de aanvaller een extern verkregen, vooraf getraind beleid ($\pi_{att}$) controleert dat met het slachtoffer interageert in een multi-agent Markov Decision Process (MMDP). De aanvaller heeft:

• Read-only toegang tot zijn eigen staatsobservaties ($s_{att}$).
• Action-only invloed over de omgeving via zijn acties ($a_{att}$).
• Geen toegang tot de interne parameters, beloningen ($r_{vic}$) of observaties ($s_{vic}$) van het slachtoffer.

Aanvalsmecanisme

De SCAB-aanval maakt gebruik van een gesplitst aanvaller-beleid en een detector om zijn doelen te bereiken:

1. Aanvaller Componenten:

   • $\pi_{att}^{std}$: Een standaard beleid getraind om het spel te winnen (bijv. via tournament-based training).
   • $\pi_{att}^{rwd}$: Een "belonend" beleid getraind om het slachtoffer impliciet te belonen voor het uitvoeren van specifieke backdoor-acties. Dit wordt bereikt door de aanvaller doelbewust zijn eigen nederlaag te laten versnellen (het maximaliseren van de cumulatieve beloning van de tegenstander) wanneer het slachtoffer de gewenste sequentie uitvoert.
   • Detector ($d$): Een supervised learning module die de vorige acties van het slachtoffer ($\tilde{a}_{vic}$) afleidt door staatsovergangen in de eigen observaties van de aanvaller ($s_{att}$) te observeren.

2. Trainingsfase (Injectie):
   De aanvaller schakelt tussen vier staten op basis van een finite-state machine:

   • Winnen: De aanvaller speelt normaal ($\pi_{att}^{std}$). Met een waarschijnlijkheid die wordt gedefinieerd door de Trigger Injection Probability (TIP), gaat hij over naar de Triggering-staat.
   • Triggeren: De aanvaller voert een vooraf gedefinieerde sequentie van trigger-acties ($A_t$) uit, zoals opeenvolgende "no-op" bewegingen.
   • Observeren: De aanvaller gebruikt de detector $d$ om af te leiden of het slachtoffer reageert met de specifieke backdoor-actie sequentie ($A_b$).
   • Belonen: Als het slachtoffer de juiste backdoor-sequentie uitvoert, schakelt de aanvaller over naar $\pi_{att}^{rwd}$, waarbij hij opzettelijk verliest om een hoge cumulatieve beloning aan het slachtoffer te geven. Dit versterkt de associatie tussen de trigger en de backdoor-actie in de Q-functie van het slachtoffer.

3. Testfase (Exploitatie):
   Zodra de backdoor is ingebed, kan elke tegenstander die zich bewust is van de trigger deze activeren. Een tegenstander uitgerust met een trigger-netwerk ($\pi_{trg}$) kan strategisch de trigger-sequentie initiëren om het slachtoffer in het backdoor-gedrag te dwingen, wat leidt tot een significante prestatiedaling terwijl de tijd besteed aan het uitvoeren van de trigger zelf wordt geminimaliseerd.

Belangrijkste Bijdragen

1. Realistisch Dreigingsmodel: Het artikel documenteert de eerste realistische aanval die de RL supply-chain exploiteert, waarbij slechts het niveau van toegang vereist is dat een begunstigde agent zou hebben (read-only observaties, action-only invloed).
2. SCAB Aanval Voorstel: De auteurs stellen de SCAB-aanval voor en valideren deze, die backdoors injecteert via vooraf getrainde agenten zonder de trainingsdata, beloningen of observaties van het slachtoffer te wijzigen.
3. Empirische Validatie: De studie demonstreert dat SCAB een prestatie levert die vergelijkbaar is met eerdere aanvallen met meer permissieve toegangmodellen, waarbij een hoog succespercentage wordt behaald met minimale datacorruptie (3% trigger injectie).

Experimentele Resultaten

De auteurs evalueerden SCAB op twee-speler competitieve omgevingen (Pong, Surround, Boxing) met zowel on-policy (PPO) als off-policy (DQN) algoritmen met CNN en LSTM architecturen.

• Aanvalssucces: SCAB bereikte een piek in trigger-succes van meer dan 90% in diverse settings.
• Prestatiedegradatie: De aanval verminderde de gemiddelde episodische returns van het slachtoffer met meer dan 80% wanneer triggers actief waren.
• Stealthiness (Onopvallendheid): De trainingsmetrieken (episodische return, policy loss, episode lengte) van het slachtoffer onder SCAB waren ononderscheidbaar van een schone training. Het slachtoffer behield een hoge prestatie tegen normale tegenstanders, en backdoor-acties kwamen spontaan voor op een verwaarloosbaar niveau (<1%) zonder triggers.
• Generaliseerbaarheid: De aanval was effectief in zowel discrete als continue actieruimtes, coöperatieve en competitieve omgevingen, en multi-agent scenario's.
• Vergelijking: In de Boxing-omgeving bereikte SCAB (met 3% TIP) een trigger-succespercentage van 91,3% en een return-daling van 82,6%, wat overeenkomt met de prestaties van BACKDOORL (93,6% succes, 81,3% daling) en TrojDRL (99,1% succes, 85,3% daling), ondanks het feit dat SCAB onder een veel strikter toegangmodel opereert (geen write-toegang tot beloningen of observaties).
• Defensiebeperkingen: Een standaard fine-tuning defensie (hertrainen tegen normale spelers) toonde beperkte effectiviteit, waarbij het trigger-succespercentage na 128.000 stappen werd teruggebracht van 83,2% naar 69,5%, terwijl de prestaties van het slachtoffer onder aanval ernstig gecompromitteerd bleven.

Betekenis en Claims

Het artikel betoogt dat de beveiliging die wordt geboden door de supply-chain risico's te negeren in RL "illusoir" is. Door aan te tonen dat high-impact backdoor-aanvallen geen zeer permissieve toegangmodellen vereisen, benadrukken de auteurs dat RL veel kwetsbaarder is voor adiabatische manipulatie dan voorheen gedacht.

De auteurs benadrukken dat hoewel hun werk kwetsbaarheden blootlegt, de verantwoorde openbaarmaking van dergelijke aanvallen cruciaal is voor het verbeteren van de systeembeveiliging. Zij stellen dat de gangbare praktijk van het sourcen van extern geleverde modellen een ernstig en praktisch beveiligingsrisico creëert, vooral naarmate RL steeds vaker wordt toegepast in veiligheidskritische domeinen zoals autonoom rijden, algoritmische handel en de gezondheidszorg. Het artikel concludeert dat deze nieuwe aanvalsvector de ontwikkeling van robuuste defensie- en detectiemechanismen moet stimuleren die specifiek gericht zijn op de trainings supply-chain.