🤖 machine learning

TrojanTO: Action-Level Backdoor Attacks against Trajectory Optimization Models

Dit artikel introduceert TrojanTO, de eerste backdoor-aanval op actie-niveau tegen Trajectory Optimization-modellen, die de beperkingen van beloning-gebaseerde aanvallen overwint door afwisselende training en precieze trajectvergiftiging toe te passen om diverse TO-architecturen effectief te compromitteren met een minimaal aanvalsbudget.

Oorspronkelijke auteurs: Yang Dai, Oubo Ma, Longfei Zhang, Xingxing Liang, Xiaochun Cao, Shouling Ji, Jiaheng Zhang, Jincai Huang, Li Shen

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yang Dai, Oubo Ma, Longfei Zhang, Xingxing Liang, Xiaochun Cao, Shouling Ji, Jiaheng Zhang, Jincai Huang, Li Shen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een uiterst bekwaam robotkok hebt gebouwd. Deze robot leert niet door eten te proeven en een "goed gedaan" of "slecht gedaan" score van een mens te krijgen (zoals de meeste robots leren). In plaats daarvan leert hij door een enorme kookboek met oude recepten te lezen en video's van meesterkoks te bekijken, waarbij hij probeert de reeks bewegingen die ze maakten perfect na te bootsen. Dit is wat het artikel een Trajectoptimalisatie (TO)-model noemt.

Het artikel, getiteld TrojanTO, onthult een angstaanjagende nieuwe manier om deze specifieke soorten robots te hacken. Hier volgt een uiteenzetting van het probleem en de oplossing die ze hebben gevonden, eenvoudig uitgelegd.

Het Probleem: Waarom Oude Hacks Niet Werken

In het verleden probeerden hackers robothersenen te vergiftigen door te spelen met de "score" (beloning) die de robot tijdens de training kreeg. Stel je voor dat je tegen een robot zegt: "Als je het ei laat vallen, krijg je een miljoen punten!" De robot zou dan leren eieren te laten vallen om punten te scoren.

Echter, het artikel stelt dat dit niet werkt op onze nieuwe "kookboek-nabootsende" robots.

De Reden: Deze robots proberen geen punten te scoren; ze proberen gewoon de receptstappen perfect na te bootsen. De "score" veranderen is alsof je fluistert tegen een student die gewoon een schoolboek aan het kopiëren is; ze negeren het gefluister en blijven de tekst kopiëren.
De Moeilijkheid: Deze robots moeten ook zeer precieze, continue bewegingen maken (zoals een hand die soepel door de lucht beweegt), niet alleen simpele keuzes (zoals "draai links" of "draai rechts"). Dit maakt het moeilijk om een verborgen instructie in te sluipen zonder het vermogen van de robot om te koken te breken.

De Oplossing: TrojanTO (De "Geheime Ingrediënt"-Hack)

De onderzoekers hebben een nieuwe hackmethode bedacht die TrojanTO heet. In plaats van te proberen de doelen van de robot tijdens zijn lange trainingsfase te veranderen (wat te duur en moeilijk is), vallen ze de robot aan nadat hij zijn werk al heeft geleerd.

Stel je het zo voor: de robot is al een meesterkok. De hacker traint de kok niet opnieuw; hij sleept gewoon een tiny, onzichtbare "trigger" in het hoofd van de kok die alleen activeert onder zeer specifieke omstandigheden.

Hoe TrojanTO werkt (Het 3-staps Recept):

Filteren van de Goede Recepten (Trajectfiltering):
De hacker kijkt naar het bestaande geheugen van de robot (de dataset) en gooit de rommelige, mislukte pogingen weg. Ze houden alleen de "perfecte" recepten over. Waarom? Omdat als ze proberen de robot een trucje te leren met een mislukt recept, de robot misschien verward raakt en helemaal stopt met goed koken. Ze willen dat de truc subtiel en van hoge kwaliteit is.
De "Eén-Lepel"-Vergif (Batch Vergiftiging):
In plaats van de hele pot soep te vergiftigen (wat de smaak zou bederven), voegt de hacker een druppeltje vergif toe aan slechts één specifiek ingrediënt in een enkel recept.
- De Analogie: Stel je een kookboek voor waarin 99% van de pagina's normaal is. Op één pagina, halverwege een recept voor pannenkoeken, staat een klein, bijna onzichtbaar teken. De robot leert dat als hij dit specifieke teken ziet, hij plotseling iets raars moet doen (zoals de pannenkoek op de vloer gooien). Maar omdat het slechts één klein teken is in een enorm boek, kookt de robot nog steeds 99,9% van de tijd perfect pannenkoeken.
De "Dans" van Leren (Alternerende Training):
Dit is de geheime saus. De hacker voegt niet alleen het teken toe en hoopt op het beste. Ze spelen een spelletje "tag" met de robot:
- Eerst passen ze het "teken" (de trigger) aan om het zo effectief mogelijk te maken.
- Dan passen ze de hersenen van de robot aan om te reageren op dat teken.
- Ze herhalen deze heen-en-weer dans. Dit creëert een supersterke, onzichtbare link tussen de trigger en de rare actie.

De Resultaten: Een Stille Sabotage

Het artikel testte dit uit op verschillende robottaken, zoals lopen, rennen en objecten manipuleren.

Stilte: De robot werkt nog steeds perfect normaal. Als je vraagt dat hij loopt, loopt hij. Als je vraagt dat hij een pen pakt, pakt hij de pen. Zijn prestaties zijn bijna identiek aan die van een schone robot.
De Trigger: De hacker hoeft slechts een klein beetje data te vergiftigen (ongeveer 0,3% van de totale recepten).
De Aanval: Wanneer de hacker de specifieke trigger introduceert (een lichte, specifieke verandering in het zicht van de robot op de wereld), schakelt de robot onmiddellijk over naar de "boze" actie.
- Voorbeeld: Als de trigger een specifiek patroon van licht is, stopt de robot misschien plotseling met lopen en draait hij in cirkels, of laat hij de pen vallen die hij vasthield.

Waarom Dit Belangrijk Is

Het artikel concludeert dat dit een groot veiligheidsrisico is omdat:

Het Na de Training Is: Je hoeft niet degene te zijn die de robot heeft gebouwd of toegang te hebben tot zijn oorspronkelijke trainingsdata. Je kunt gewoon een kant-en-klare, vertrouwde robot nemen en deze achterdeur later insluipen.
Het Moeilijk te Detecteren Is: Omdat de robot nog steeds 99% van de tijd perfect werkt, zullen standaard veiligheidscontroles het niet opmerken. Het is als een spion die zich perfect normaal gedraagt totdat er een geheime code wordt uitgesproken.
Het Overal Werkt: Ze hebben aangetoond dat het werkt op verschillende soorten "kookboek"-robots (Decision Transformers, Graph Decision Transformers, enz.).

Kortom: Het artikel toont aan dat zelfs als je een perfecte robot bouwt door hem meesterkoks na te laten bootsen, een hacker een klein, onzichtbaar "schakeltje" kan insluipen dat de robot op commando iets gevaarlijks laat doen, zonder dat de robot ooit beseft dat het is gecompromitteerd.

Technische Samenvatting: TrojanTO – Aanvallen op Actieniveau met Achterdeurtjes tegen Trajectoptimalisatiemodellen

Probleemstelling

Trajectoptimalisatie (TO)-modellen, zoals Decision Transformers (DT) en Decision ConvFormers (DC), zijn krachtige hulpmiddelen geworden voor offline versterkende leer (RL), met name in domeinen die continue actieruimtes vereisen, zoals robotica en ingebouwde intelligentie. Hun beveiligingskwetsbaarheden zijn echter, in vergelijking met traditionele RL-agenten, grotendeels onontgonnen terrein.

Bestaande aanvallen met achterdeurtjes in RL vertrouwen doorgaans op manipulatie van beloningen tijdens de trainingsfase om een trigger te koppelen aan een kwaadaardig beleid. Dit paradigma is om drie hoofdzaken ineffectief tegen TO-modellen:

Trainingsparadigma: TO-modellen fungeren als sequentiemodelleeragenten die reconstructieverlies minimaliseren (het aanpassen van acties aan toestanden en 'returns-to-go') in plaats van langdurige opbrengsten te optimaliseren via beloningssignalen. Bijgevolg zijn ze inherent ongevoelig voor manipulatie van beloningen.
Schaal en Kosten: TO-modellen zijn grootschalige fundamentele modellen. Het opnieuw trainen ervan om een achterdeurtje te implanteren is computationeel onbetaalbaar, waardoor traditionele aanvallen tijdens de training onpraktisch worden.
Complexiteit van de Actieruimte: Het injecteren van effectieve achterdeurtjes in hoogdimensionale continue actieruimtes is aanzienlijk uitdagender dan in discrete ruimtes, vanwege de oneindige aard van de actieruimte en de noodzaak van precieze controle.

Het artikel identificeert een kritieke lacune: het ontbreken van effectieve, sluwe, post-training aanvallen op achterdeurtjes op actieniveau die specifiek zijn ontworpen voor TO-modellen.

Methodologie: TrojanTO

De auteurs stellen TrojanTO voor, het eerste raamwerk voor aanvallen met achterdeurtjes op actieniveau dat is toegespitst op TO-modellen. In tegenstelling tot eerdere methoden werkt TrojanTO als een aanval na training, waarbij een vooraf getraind model wordt gewijzigd zonder toegang tot de oorspronkelijke trainingsdataset. Het hanteert een strategie met drie componenten om een sterke, sluwe verbinding te smeden tussen een trigger en een doelactie:

1. Trajectfiltering (TF)

Om te voorkomen dat het model overfit op data van slechte kwaliteit (wat de prestaties voor normale taken verslechtert), filtert TrojanTO de beschikbare dataset. Het behoudt alleen trajecten die een specifieke lengtedrempel ( $\epsilon$ ) overschrijden, ervan uitgaande dat langere trajecten succesvol gedrag beter vertegenwoordigen. Dit zorgt ervoor dat de trainingsdata voor het achterdeurtje overeenkomt met hoogwaardige evaluatiedistributies.

2. Batchvergiftiging (BP)

Om sluwigheid en trainingsstabiliteit te behouden, vermijdt TrojanTO het vergiftigen van volledige batches, wat uitdagingen met zich mee zou brengen voor de trigger buiten de verdeling (OOD). In plaats daarvan hanteert het een consensusvergiftigingsstrategie:

Voor elke trainingsbatch wordt één willekeurige overgang geselecteerd en vergiftigd.
De toestand in deze overgang wordt verstoord door het toevoegen van een trigger $\delta$ , en de actie wordt vervangen door de doelactie $a^\dagger$ .
De verliesfunctie combineert het verlies voor het achterdeurtje (het model dwingen om $a^\dagger$ te voorspellen op de vergiftigde overgang) en het schone verlies (prestaties behouden op ongewijzigde overgangen). Deze gezamenlijke optimalisatie zorgt ervoor dat het model het achterdeurtje leert zonder zijn primaire taak te vergeten.

3. Alternerende Training (AT)

Om de koppeling tussen de trigger en de doelactie te versterken, maakt TrojanTO gebruik van een bi-niveau optimalisatiekader, geïnspireerd op Input Model Co-optimization (IMC). Het alterneert tussen:

Triggerleren: Het optimaliseren van de triggerwaarden $\delta$ met behulp van de Momentum Iterative Fast Gradient Sign Method (MI-FGSM) om het verlies voor het achterdeurtje te maximaliseren.
Parameterupdaten: Het updaten van de modelparameters $\tilde{\pi}$ om het gecombineerde verlies te minimaliseren.
Dit alternerende proces gaat door gedurende een toegewezen budget, waarna de focus uitsluitend verschuift naar het updaten van modelparameters om het achterdeurtje te verstevigen.

Belangrijkste Bijdragen

Eerste Systematische Studie van Achterdeurtjes op Actieniveau in TO: Het artikel introduceert de eerste post-training, aanval met een achterdeurtje op actieniveau tegen TO-modellen, waarbij de focus verschuift van manipulatie van beloningen (ineffectief voor TO) naar de koppeling van trigger en doelactie.
Empirisch Onderzoek naar Aanvalsfactoren: Door uitgebreide ablatiestudies tonen de auteurs aan dat:
- Selectie van Doelactie: Grensacties (bijv. $+1$ of $-1$) aanzienlijk hogere succespercentages van de aanval (ASR) opleveren dan binneninliggende acties.
- Triggerontwerp: De specifieke dimensies en waarden van de trigger zijn cruciaal; leerbare triggers die via MI-FGSM zijn geoptimaliseerd, presteren beter dan handgemaakte of uit datasets afgeleide triggers.
- Manipulatie van Beloningen: Het variëren van beloningssignalen tijdens de training van het achterdeurtje heeft een verwaarloosbaar effect op ASR of Prestaties voor Normale Taken (BTP), wat bevestigt dat 'reward hacking' geen levensvatbaar vector is voor TO-modellen.
TrojanTO-raamwerk: Het voorstellen van een nieuw aanvalskader dat hoge effectiviteit bereikt met een extreem laag aanvalsbudget (0,3% van de trajecten) terwijl het een hoge sluwigheid behoudt.

Experimentele Resultaten

De auteurs hebben TrojanTO geëvalueerd op zes D4RL-omgevingen (Hopper, HalfCheetah, Walker2d, AntMaze, Kitchen, Pen) met drie TO-modelarchitecturen (DT, GDT, DC).

Effectiviteit: TrojanTO behaalde een gemiddelde Succespercentage van de Aanval (ASR) van 0,719 en een Prestatie voor Normale Taken (BTP) van 0,914.
Vergelijking: Het presteerde aanzienlijk beter dan de baselines:
- Baffle: Bereikte 0,369 ASR en 0,792 BTP (vereiste een vergiftigingspercentage van 10%).
- IMC: Bereikte 0,575 ASR en 0,853 BTP.
- De totale Composiete Prestatie (CP)-score van TrojanTO was 0,701, wat een verbetering van ongeveer 105% ten opzichte van Baffle vertegenwoordigt.
Robuustheid: De aanval bleef effectief onder triggerverstoringen (ruis) en toonde persistentie, waarbij de doelactie meerdere stappen na activering van de trigger werd gehandhaafd.
Defensie: Het artikel testte verschillende verdedigingen (gewichtspruning, spectrale analyse, activatieclustering, bewijsbare defensie) en vond deze grotendeels ineffectief. Finetunen werd geïdentificeerd als de meest effectieve verdediging, hoewel dit opnieuw trainen vereist.

Betekenis en Claims

Het artikel beweert dat TrojanTO een kritieke, onderbelichte kwetsbaarheid blootlegt in de supply chain van TO-modellen. Door aan te tonen dat aanvallen na training niet alleen haalbaar zijn, maar ook zeer effectief tegen grootschalige sequentiemodelleeragenten, daagt het werk de aanname uit dat TO-modellen veilig zijn vanwege hun trainingsparadigma.

De auteurs benadrukken dat de kern van achterdeurtjes op actieniveau in TO ligt in triggerontwerp in plaats van manipulatie van beloningen. Dit inzicht vereist een herbeoordeling van beveiligingsprotocollen voor offline RL-systemen, met name die welke vertrouwen op vooraf getrainde fundamentele modellen. De studie dient als benchmark voor het begrijpen van deze bedreigingen en motiveert de ontwikkeling van robuuste tegenmaatregelen voor de volgende generatie besluitvormende AI.