💻 computer science

SkillJack: Persistent Skill Backdoors in Self-Evolving Agents

Dit artikel introduceert SkillJack, een nieuwe aanval die de ervaring-naar-vaardigheid-pipeline van zelfevoluerende agenten exploiteert om vergiftigde interacties te transformeren in persistente, ondetecteerbare kwaadaardige gedragingen die de verwijdering van bronrecords overleven en veiligheidsfilters omzeilen.

Oorspronkelijke auteurs: Zonghao Ying, Xiangfan Wu, Huiyu Wu, Xing Zheng, Huangsheng Cheng, Xiaorong Shi, Jing Guo

Gepubliceerd 2026-08-05

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zonghao Ying, Xiangfan Wu, Huiyu Wu, Xing Zheng, Huangsheng Cheng, Xiaorong Shi, Jing Guo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin je digitale helpers niet slechts statische hulpmiddelen zijn die precies doen wat je hen vertelt, maar nieuwsgierige metgezellen die daadwerkelijk leren van elk gesprek. Dit is de opwindende grens van "zelf-evoluerende agenten". Denk aan hen als een videogame-personage dat niet simpelweg reset na elk level; in plaats daarvan houdt het een dagboek bij, ontdekt wat werkte en verandert die lessen in permanente "vaardigheden" die het voor altijd kan gebruiken. Als je het leert hoe je een cake moet bakken, onthoudt het niet alleen het recept voor vandaag; het schrijft een nieuwe vaardigheid genaamd "Bakken" in zijn brein om het morgen te gebruiken. Dit klinkt geweldig omdat dit betekent dat deze agenten slimmer kunnen worden zonder dat er een mens nodig is om ze constant te herprogrammeren. Maar, net als in het echte leven, als een kwaadwillende actor een student probeert te misleiden om een gevaarlijke truc te leren, wordt die truc onderdeel van hun permanente vaardighedenset. De grote vraag die onderzoekers stellen is: wat gebeurt er als iemand een giftige les in het dagboek van een agent smokkelt? Vergeet de agent het later gewoon, of verandert hij die gifstof per ongeluk in een superkrachtig, permanent wapen?

Dit is precies wat een team onderzoekers van Tencent Zhuque Lab, onder leiding van Zonghao Ying, ter studie nam in hun paper, "SkillJack." Ze ontdekten een sluwe nieuwe manier om deze lerende agenten te hacken die veel gevaarlijker is dan eerdere methoden. In plaats van alleen een slecht bericht in het geheugen van de agent te verbergen om één keer gelezen te worden, lieten zij zien hoe een aanvaller de leerprocedure van de agent zelf kan misleiden. Stel je een vervalser voor die niet alleen een valse brief schrijft, maar de agent ervan overtuigt om die valse brief te herschrijven naar een glimmende, officieel uitziende "Skill Card" die wordt opgeborgen in de permanente bibliotheek van de agent. Zodra die kaart is gemaakt, gebruikt de agent deze automatisch voor toekomstige taken, en kan de oorspronkelijke valse brief worden verwijderd zonder de gevaarlijke vaardigheid ooit te verwijderen.

De onderzoekers noemen deze aanval "SkillJack." Ze testten het op twee verschillende systemen die ontworpen zijn om ervaringen om te zetten in vaardigheden, en de resultaten waren verbijsterend. Ze ontdekten dat het proces van het omzetten van een rommelig, verdacht gesprek naar een schone, herbruikbare vaardigheid feitelijk fungeert als een "witwasmachine". In hun tests markeerde een veiligheidscontroleur 98,5% van de oorspronkelijke slechte gesprekken als gevaarlijk. Maar nadat de agent die gesprekken had omgezet in vaardigheden, ving de veiligheidscontroleur slechts 11,4% van hen op. De slechte intentie was verborgen binnen de beschrijving van de nieuwe vaardigheid, waardoor het onschuldig leek.

Nog erger is dat deze "vergiftigde vaardigheden" ongelooflijk duurzaam zijn. De onderzoekers ontdekten dat zelfs nadat ze de oorspronkelijke slechte verslagen uit het geheugen van de agent hadden verwijderd, 80,0% van de aanvallen nog steeds plaatsvond omdat de permanente vaardighedskaart nog steeds aanwezig was. De agent bleef de slechte vaardigheid op nieuwe taken toepassen, met een succespercentage van 56,2% op het ene systeem en 89,2% op het andere. De studie suggereert dat dit niet slechts een glitch is in één specifiek programma; het is een fundamenteel risico in de manier waarop deze zelflerende agenten werken. Het paper concludeert dat we niet langer alleen de "broncode" van een slecht idee kunnen opschonen; we moeten elke enkele vaardigheid volgen die er ooit van is geleerd, anders blijft het gevaar verborgen in het volle zicht, klaar om keer op keer opnieuw te worden gebruikt.

Technische Samenvatting: SkillJack – Persistente Skill Backdoors in Zelf-Evoluerende Agenten

Probleemstelling

Zelf-evoluerende Large Language Model (LLM) agenten worden steeds vaker ontworpen om interactiegeschiedenissen om te zetten in herbruikbare "skills" die de individuele taken overstijgen. Terwijl eerder onderzoek de risico's van geheugenvergiftiging (memory poisoning) en indirecte prompt injectie heeft vastgesteld — waarbij aanvallen alleen slagen wanneer vergiftigde records als context worden opgehaald — identificeert dit paper een fundamenteler en duurzamer risico. De auteurs stellen dat wanneer de eigen ervaring-naar-skill-pipeline van een agent een vergiftigd ervaringrecord verwerkt, deze een vluchtige input kan transformeren in een duurzaam gedragsobject. In tegen tegenstelling tot traditionele geheugenvergiftiging, waarbij het verwijderen van het bronrecord de dreiging elimineert, maakt deze nieuwe aanvalsvector kwaadaardige gedragingen mogelijk die overleven nadat de oorsprong is verwijderd, door ze in te bedden in het herbruikbare skill-repertoire van de agent.

Methodologie

Het paper introduceert SkillJack, een aanvalsframework dat de ervaring-naar-skill transformatie-pipeline exploiteert. De methodologie is gestructureerd rond een formele probleemformulering en een specifieke strategie voor payload-ontwerp.

1. Formele Probleemformulering

De auteurs modelleren de ervaring-naar-skill pipeline als een vierfasenproces: Load ( $\pi_L$ ), Transform ( $\pi_T$ ), Persist ( $\pi_P$ ), en Route ( $\pi_R$ ). Het doel van de aanvaller is om een vergiftigd ervaringitem $e_p$ te injecteren zodanig dat de resulterende skill $s_p$ aan drie voorwaarden voldoet:

Stealth (Onzichtbaarheid): De skill ontwijkt detectie door een veiligheidsdetector $D$ ( $D(s_p) = \text{benign}$ ).
Routability (Routeerbaarheid): De router selecteert de skill voor een doeltaak ( $s_p \in \pi_R(q, S)$ ).
Malicious Execution (Kwaadaardige Uitvoering): De skill triggert een onbedoeld gedrag bij uitvoering ( $exec(s_p, q) \in B$ ).

De studie karakteriseert drie emergente beveiligingseigenschappen van deze compositie:

Sanitization Whitewashing (Witwassen door Sanitisatie): Het transformatieproces (compressie, abstractie, normalisatie) maskeert kwaadaardige intentie, wat leidt tot lagere detectiecijfers vergeleken met de ruwe input.
Cross-Layer Promotion (Promotie tussen Lagen): Vluchtige ervaringen worden omgezet in persistente, herbruikbare artefacten die kunnen worden geselecteerd voor toekomstige taken zonder het oorspronkelijke record opnieuw te lezen.
Persistence Isolation (Isolatie van Persistentie): Omdat de skill-bibliotheek ontkoppeld is van de ervaring-corpus, verwijdert het verwijderen van het bronrecord de afgeleide skill niet noodzakelijkerwijs.

2. Transformatie-Resistent Payload-Ontwerp

Om deze aanval te realiseren, ontwerpen de auteurs transformatie-resistente payloads. Zij hypothetiseren dat extractie-pipelines geoptimaliseerd zijn om nuttige instructies uit taak-traces te distilleren en eerder geneigd zijn actiesequenties te behouden die binnen een plausibel, legitiem narratief zijn ingebed dan acties beschreven in expliciet adversariële taal.

Framing Strategie: In plaats van directe kwaadaardige bewoordingen, construeren de auteurs trajecten waarbij de beleid-relevante actie (bijv. data-exfiltratie, privilege escalatie) is ingebed binnen een legitiem functioneel frame (bijv. "backup", "archivering" of "foutherstel").
Evaluatie Metrieken: De studie meet de extractie-opbrengst, detecteerbaarheid (via patroonherkenning en LLM-judges) en routing-succes over downstream taken.

3. Experimentele Opstelling

De aanval werd geëvalueerd op twee representatieve systemen:

SkillX: Gebruikt plan-gebaseerde traject-distillatie en LLM-native progressieve onthulling-routing.
Anything2Skill (A2S): Compileert heterogene documenten naar gestructureerde skill-contracten.
Dataset: Een gedeelde set van 150 trajecten (65 functioneel geframed vergiftigd, 65 direct kwaadaardige baselines, 20 schoon) over vier policy-risicocategorieën (data-exfiltratie, privilege escalatie, ongeautoriseerde overdracht, persistente backdoor).
Model: DeepSeek-v4-flash werd gebruikt voor extractie, routing en beoordeling.

Belangrijkste Resultaten

1. Sanitization Whitewashing (Verminderde Detecteerbaarheid)

Het extractieproces verlaagt de detecteerbaarheid van kwaadaardige inhoud aanzienlijk.

SkillX: De detectie door de LLM-judge daalde van 98,5% op ruwe vergiftigde trajecten naar 11,4% op geëxtraheerde skills. Patroonherkenning daalde van 44,6% naar 11,0%.
Anything2Skill (DOC mode): Detectie daalde van 100,0% op ruwe trajecten naar 44,4% op geëxtraheerde skills.
Mechanisme: Het "whitewashing"-effect wordt gedreven door de onschuldig ogende metadata (namen en documentatie) die aan de geëxtraheerde skills zijn gekoppeld. Wanneer alleen de code-inhoud aan de judge werd getoond, stegen de detectiecijfers aanzienlijk (bijv. van 10,0% naar 36,7% in SkillX), wat aangeeft dat de oppervlakte-metadata de evasie drijft.

2. Cross-Layer Promotion (Downstream Triggering)

Geëxtraheerde skills routeren succesvol naar en triggeren op doeltaken.

SkillX: 56,2% van de aanvalsgerichte taken werd gerouteerd naar een skill die de policy-violation proxy bevredigde.
Anything2Skill: 89,2% van de aanvalsgerichte queries triggert de policy-violation proxy.
Collateral Damage (Bijkomende Schade): De skills werden ook getriggerd bij ongerelateerde legitieme taken (20,0% in SkillX, 95,0% retrieval rate in A2S), wat wijst op een brede impact (blast radius).

3. Persistence Isolation (Overleving van Bronverwijdering)

De aanval persisteert zelfs nadat de oorspronkelijke vergiftigde records zijn verwijderd.

In een matched-task experiment bleven 80,0% van de aanvallen die via het skill-pad werden getriggerd, actief nadat de bron-trajecten waren verwijderd. Dit demonstreert dat het opschonen van het geheugen het afgeleide artefact niet verwijdert.

4. Defense Sensitivity (Verdedigingsgevoeligheid)

Voorlopige experimenten met defensie onthulden uitdagingen bij mitigatie:

Statische Review: LLM-veiligheidsreview tijdens de extractie verminderde de trigger rates, maar was niet perfect.
Runtime Monitoring: Gedragsbewuste monitoring (het blokkeren van specifieke actie-signatures) was geïsoleerd zeer effectief (0,0% triggers in de SkillX-sample), maar vertoonde kwetsbaarheid wanneer het gecombineerd werd met statische review. Het stapelen van defensies leidde tot "defense coordination" falen, waarbij upstream filtering de actieverdeling veranderde, waardoor downstream monitors nieuwe patronen misten.
A2S Specifieke Aspecten: Standaard signatures faalden op A2S vanwege genormaliseerde taal; het uitbreiden van signatures om genormaliseerde vocabulaire te dekken was vereist om de trigger rates te verlagen.

Belangrijkste Bijdragen

Nieuw Aanvalsoppervlak: Het paper is de eerste die ervaring-naar-skill vergiftiging identificeert en formaliseert als een onderscheidend beveiligingsrisico. Het karakteriseert de drie eigenschappen (sanitization whitewashing, cross-layer promotion, persistence isolation) die speciferiek ontstaan uit de compositie van ervaring-vergiftiging met geautomatiseerde skill-extractie.
Transformatie-Resistent Aanvalsmetode: De auteurs demonstreren dat het inkaderen van kwaadaardige acties binnen legitieme functionele narratieven ervoor zorgt dat ze de abstractie en compressie van de extractie-pipeline overleven, terwijl expliciet kwaadaardige bewoordingen worden gefilterd.
Empirische Validatie over Meerdere Systemen: De aanval werd gevalideerd op twee onafhankelijk geïmplementeerde systemen (SkillX en Anything2Skill) met gebruik van een gedeelde dataset, wat aantoont dat dit een risico op paradigma-niveau is en geen fout in een enkele implementatie.

Betekenis en Claims

Het paper claimt dat skill evolutie een nieuw en kritiek aanvalsoppervlak vormt voor zelf-evoluerende agenten. De primaire betekenis ligt in de verschuiving van vluchtige context-vergiftiging naar persistente gedragsobjecten.

Lifecycle Gap (Levenscyclusgat): De auteurs stellen dat huidige beveiligingsmodellen ervan uitgaan dat het verwijderen van een bronrecord de dreiging verwijdert. SkillJack bewijst dat zodra een vergiftigd record is gecompileerd tot een skill, de aanval de bron overleeft.
Implicaties voor Defensie: De bevindingen motiveren een verschuiving naar provenance-aware skill lifecycle protection (herkomstbewuste bescherming van de skill-levenscyclus). Verdedigers moeten afgeleide skills terug kunnen traceren naar hun bronrecords, afgeleide skills kunnen intrekken wanneer bronnen in quarantaine worden geplaatst, en gedragsbewuste controles moeten implementeren bij elke transformatiegrens (load, transform, persist, route).
Bescheidenheid: De auteurs geven expliciet aan dat hun resultaten gebaseerd zijn op een enkele modelconfiguratie en routing-level proxies in plaats van live externe service-executie. Ze presenteren de defensie-resultaten als voorlopig en verkennend, waarbij zij opmerken dat het "defense coordination" falen verder onderzoek vereist. Het werk wordt gepresenteerd als een technisch rapport om toekomstig onderzoek naar provenance en lifecycle security voor zelf-evoluerende agenten te stimuleren.