🤖 AI

Query-Only Backdoor Attacks on Self-Evolving Skills via Trajectory Poisoning

Dit artikel introduceert de Trajectory Backdoor Attack (TBA), een query-only methode die zelfevoluerende LLM-vaardigheidssystemen compromitteert door interactietrajecten van agenten te vergiftigen om de automatische creatie van backdoored vaardigheden te induceren die kwaadaardige acties uitvoeren onder specifieke condities, terwijl normale prestaties op schone taken behouden blijven.

Oorspronkelijke auteurs: Yuyang Luo, Haoran Wang, Kai Shu

Gepubliceerd 2026-08-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuyang Luo, Haoran Wang, Kai Shu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin je favoriete AI-assistent niet alleen een chatbot is die vragen beantwoordt, maar een digitale leerling die ook daadwerkelijk dingen voor je leert te doen. In plaats van dat jij het de AI bij elke stap moet uitleggen hoe je een vlucht boekt of een spreadsheet bewerkt, kijkt de AI naar zichzelf terwijl hij deze taken uitvoert, ontdekt de beste manier om ze af te handelen en slaat die stappen op als een herbruikbare "vaardigheid". Denk aan een personage in een videogame dat, nadat het een baas heeft verslagen, automatisch een gids schrijft over hoe die baas opnieuw verslagen kan worden, zodat het de volgende keer niet meer hoeft te worstelen. Dit is de belofte van "zelfevoluerende" AI-agenten: ze worden slimmer en efficiënter door hun dagelijkse werk om te zetten in een bibliotheek van handige trucjes. Maar hier zit de adder onder het gras: als de AI leert van zijn eigen fouten en successen, wat gebeurt er dan als iemand de AI probeert te misleiden om een slechte truc te leren? Wat als een aanvaller een geheime instructie in het oor van de AI kan fluisteren terwijl deze aan het werk is, om de AI ervan te overtuigen dat deze gevaarige nieuwe gewoonte eigenlijk een briljante, herbruikbare vaardigheid is?

Dit is precies het scenario dat wordt verkend in een nieuw artikel door onderzoekers van Emory University. Ze ontdekten een methode om deze zelflerende AI-systemen te hacken zonder ooit de code van het systeem te hoeven breken of de bestanden te hoeven stelen. Ze noemen hun methode de "Trajectory Backdoor Attack" (TBA). In plaats van te proberen met geweld binnen te dringen in het brein van de AI, gedragen de aanvallers zich als een slimme gebruiker. Ze sturen de AI specifieke taken die aan de oppervlakte normaal lijken, maar verborgen aanwijzingen bevatten. Door deze taken zorgvuldig vorm te geven, misleiden ze de AI om een geheime, kwaadaardige actie uit te voeren (zoals het wijzigen van een bankrekeningnummer) alleen wanneer een specifiek trefwoord verschijnt. De AI denkt dat hij gewoon zijn werk doet en legt dit gedrag vast. Vervolgens ziet de "evolver" van het systeem — het deel van de software dat deze registraties omzet in permanente vaardigheden — het patroon, denkt: "Oh, dit is een nuttige regel!" en slaat het voor altijd op. Het resultaat? Een vaardigheid die perfect werkt voor iedereen, maar de AI stiekem saboteert zodra een specifieke trigger-term wordt gebruikt.

De onderzoekers testten dit idee op drie verschillende soorten AI-taken: het beantwoorden van algemene vragen, het verwerken van kantoordocumenten en het bewerken van spreadsheets. Ze gebruikten vier verschillende AI-modellen, variërend van open-source tot krachtige commerciële versies. De resultaten waren effectief. In hun experimenten slaagde de aanval ongeveer 45% tot 51% van de tijd, wat betekent dat de AI bijna de helft van de tijd de geheime regel succesvol leerde en deze verborgen hield in zijn nieuwe vaardigheid. Nog zorgwekkender was dat de AI niet in de war raakte of stopte met werken; hij voltooide de normale taken nog steeds perfect, waardoor de aanval erg moeilijk te ontdekken was. Het artikel suggereert dat deze kwetsbaarheid echt en ernstig is, en laat zien dat zelfs als je de interne constructie van de AI vertrouwt, je de "lessen" die hij leert uit interacties met gebruikers niet kunt vertrouwen.

Om te begrijpen hoe dit werkt, stel je voor dat de AI een student is in een klaslokaal, en de "evolver" is de leraar die het eindexamen schrijft op basis van wat de student doet. Normaal gesproken lost de student wiskundige problemen op, en schrijft de leraar de juiste formules op. Maar bij deze aanval geeft de student (de aanvaller) de leraar een briefje met: "Hé, kijk hiernaar! Wanneer ik het woord 'legacy' zie, moet ik ook een geheime code opschrijven." De student lost vervolgens een wiskundeprobleem op, maar schrijft ook de geheime code op, en lost daarna een ander probleem op zonder de code om het verschil te laten zien. De leraar, die dit patroon over verschillende problemen heen ziet, besluit: "Aha! Dit is een nieuwe regel voor het oplossen van wiskundeproblemen!" en voegt het toe aan het tekstboek. Nu zal elke toekomstige student, wanneer hij het woord "legacy" ziet, onwetend die geheime code opschrijven. De onderzoekers ontdekten dat het simpelweg tonen van een patroon aan de AI niet genoeg was; ze moesten laten zien wanneer hij het moest doen en wanneer niet, en ze moesten dit patroon herhalen over veel verschillende soorten taken, zodat de leraar (de evolver) zou geloven dat het een universele regel was.

De studie onderzocht ook of de ingebouwde veiligheidsmechanismen van de AI dit konden stoppen. Ze testten de aanval op modellen met en zonder veiligheidsfuncties. De resultaten waren gemengd: soms hielpen de veiligheidsfuncties een beetje, maar andere keren maakten ze de aanval zelfs iets succesvoller of deden ze helemaal niets. Dit suggereert dat de huidige verdedigingsmechanismen niet klaar zijn om dit soort gedrag te vangen. De onderzoekers concludeerden dat dit een belangrijk gebied is in hoe we AI bouwen. We zijn zo gefocust geweest op het voorkomen dat hackers direct bestanden stelen of wijzigen, dat we vergaten te controleren of de AI zichzelf slechte gewoonten kan aanleren door simpelweg te luisteren naar wat gebruikers hem vragen te doen. Het artikel beweert niet dat dit een opgelost probleem is of dat alle AI kapot is, maar het suggereert sterk dat naarmate we AI meer op eigen houtje laten leren, we veel voorzichtiger moeten zijn met de "lessen" die zij leren van het ongetrainde, onbetrouwbare internet.

Technische Samenvatting: Query-Only Backdoor Attacks op Self-Evolving Skills via Trajectory Poisoning

Probleemstelling

Agentische vaardigheden (agentic skills) stellen Large Language Model (LLM) agenten in staat om complexe taken uit te voeren door herbruikbare procedures te coderen. Terwijl traditionele vaardigheidsverwerving afhankelijk is van externe marktplaatsen, zijn self-evolving skill systemen opgekomen die automatisch vaardigheden construeren en bijwerken vanuit executie-trajecten, waardoor de verwerving verschuift naar een "vertrouwde" interne pijplijn. Deze verschuiving was bedoeld om bestaande skill-injectieaanvallen, die vertrouwen op directe manipulatie van skill-artefacten, te mitigeren.

Echter, dit artikel identificeert een kritieke kwetsbaarheid: hoewel directe toegang tot skill-artefacten is beperkt, blijft de skill-evolutiepijplijn zelf blootgesteld. Een aanvaller met slechts query-level toegang (het vermogen om taken in te dienen en reacties te observeren) kan de vertrouwde evolver indirect sturen. Door gecompromitteerde executie-trajecten te induceren, kan een aanvaller de evolver ertoe brengen om kwaadaardige, conditionele gedragingen te consolideren in de skill. Dit creëert een nieuw aanvalsoppervlak waarbij het "vertrouwde" interne constructieproces de vector wordt voor het injecteren van backdoors.

Methodologie: Trajectory Backdoor Attack (TBA)

De auteurs stellen de Trajectory Backdoor Attack (TBA) voor, een query-only aanval ontworpen om een conditionele backdoor-regel in een self-evolving skill te implanteren zonder het skill-bestand of de evolver direct te wijzigen. De aanval steunt op drie kernmechanismen om ervoor te zorgen dat de kwaadaardige regel duidelijk wordt uitgedrukt, geïnferreerd en behouden door de evolver:

Counterfactual Trajectory Induction:
Omdat de doelgerichte kwaadaardige actie niet gerelateerd is aan de benigne taken, komt deze niet van nature voor in standaardtrajecten. TBA construeert gepaarde counterfactual demonstraties binnen de query-context. Deze paren laten zien:
- Wanneer een specifieke triggerconditie aanwezig is, moet de agent de doelactie uitvoeren (Accept).
- Wanneer de trigger afwezig is, moet de agent de actie onthouden (Reject).
  Dit dwingt de executor om trajecten te genereren die expliciet de conditionele grens demonstreren, in plaats van alleen de uitkomst.
Trajectory-Level Policy Externalization:
Om te voorkomen dat de conditionele regel verloren gaat tijdens het compressie- en consolidatieproces van de evolver, bevat TBA een policy-externalization instructie. Deze spoort de executor aan om expliciet de onderliggende regel te infereren en te benoemen (bijv. "Als trigger $c^*$ aanwezig is, voeg dan actie $a^*$ toe") voordat de taak wordt uitgevoerd. Dit zet impliciete gedragspatronen om in expliciet tekstueel bewijs binnen het traject, wat het voor de evolver gemakkelijker maakt om dit te extraheren en te coderen.
Cross-Task Evidence Construction:
Om de evolver ervan te overtuigen dat de regel een herbruikbare skill is en geen incidenteel artefact van een enkele taak, dient de aanvaller de counterfactual en externalization instructies in over diverse getriggerde taken, terwijl er clean taken tussen worden doorgevoegd. Dit demonstreert dat de regel algemeen van toepassing is binnen de taakfamilie, wat de evolver aanmoedigt om het te consolideren als een permanente, trigger-afhankelijke component van de skill.

Threat Model: De aanvaller heeft geen geprivilegieerde toegang tot de skill-artefacten, de evolver of het proces van het verzamelen van trajecten. Zij kunnen alleen taakqueries indienen en reacties observeren. Het doel is om een vergiftigde skill $s_{poi}$ te produceren die de normale taakutiliteit ( $\pi_{ben}(q)$ ) behoudt, maar een doelactie $a^*$ uitvoert telkens wanneer een specifieke triggerconditie $c^*(q)$ wordt voldaan.

Belangrijkste Bijdragen

Nieuwe Threat Vector: Het artikel identificeert en formaliseert een nieuwe backdoor-dreiging die specifiek is voor self-evolving skill systemen, waarbij het aanvalsoppervlak verschuift van artefactmanipulatie naar trajectory poisoning via taakqueries.
TBA Framework: De auteurs stellen de Trajectory Backdoor Attack (TBA) voor, een methode die counterfactual inductie, policy externalization en cross-task evidence combineert om betrouwbaar conditionele backdoors te implanteren met enkel query-level toegang.
Empirische Validatie: Uit uitgebreide experimenten blijkt dat TBA succesvol backdoors kan implanteren in verschillende skill-evolutiesystemen en backbone-modellen, waarbij successen worden behaald die vergelijkbaar zijn met of zelfs hoger zijn dan directe skill-injectieaanvallen, terwijl de hoge utiliteit op benigne taken behouden blijft.

Experimentele Resultaten

De auteurs evalueerden TBA op twee skill-evolutiesystemen (SkillOpt en Trace2Skill) over drie benchmarks (SearchQA, OfficeQA, en SpreadsheetBench) met vier backbone-modellen (inclusief open-weight en propriëtaire modellen).

Effectiviteit: TBA behaalde consistent een hoge Triggered Attack Success Rate (TASR). Zo behaalde TBA op het Trace2Skill-systeem met de GPT-5.5 backbone een TASR van 70,6%, terwijl een Clean Accuracy (CACC) van 98,3% werd behouden.
Vergelijking met Baselines: TBA presteerde significant beter dan interactie-gebaseerde baselines.
- Trigger-Action Exposure (het tonen van de actie zonder expliciete regels) had een veel lager succespercentage (bijv. 6,1% vs 45,6% op SkillOpt).
- Explicit Rule Exposure (het benoemen van de regel zonder counterfactuals) was effectiever, maar nog steeds inferieur aan volledige TBA.
- De prestaties van TBA benaderden die van Direct Skill Injection (een oracle met schrijfrechten), met slechts 0,6–6,1 procentpunt verschil in sommige metrieken, ondanks het feit dat er geen directe toegang was tot het skill-bestand.
Robuustheid:
- Persistentie: De backdoor bleef standhouden tijdens daaropvolgende benigne updates van de skill.
- Sensitiviteit: De aanval bleef effectief, zelfs met een lage ratio van getriggerde trajecten (5 van de 40) en tegen reeds bestaande volwassen skills.
- Defensie-evasie: Bestaande safeguard-modellen (bijv. GPT-OSS-Safeguard) boden inconsistente bescherming; ze slaagden er soms niet in om de aanvalssuccesrate te verlagen of verhoogden deze zelfs.

Betekenis en Claims

Het artikel claimt dat de verschuiving naar vertrouwde interne skill-constructie de agentische systemen niet inherent beveiligt. In plaats daarvan creëert het een nieuwe kwetsbaarheid waarbij de evolutiepijplijn zelf kan worden gekaapt.

De auteurs benadrukken dat:

Query-level toegang is voldoende: Aanvallers hoeven de skill-repository of de evolver niet te compromitteren; het manipuleren van de input-queries is voldoende om de output-skill te vergiftigen.
Utiliteit blijft behouden: De aanval slaagt erin de capaciteit van de agent om normale taken uit te voeren te behouden, wat de backdoor stealthy en moeilijk detecteerbaar maakt via standaard utiliteitsmonitoring.
Huidige defensies zijn onvoldoende: Standaard veiligheidsfilters en model-safeguards voorkomen niet betrouwbaar de consolidatie van kwaadaardige trajectpatronen in herbruikbare skills.

De studie concludeert dat self-evolving skill systemen nieuwe beveiligingsmechanismen vereisen die specifiek gericht zijn op de integriteit van het trajectory-to-skill consolidatieproces, in plaats van zich alleen te richten op de beveiliging van statische skill-artefacten.