🤖 AI

BadSkill: Backdoor Attacks on Agent Skills via Model-in-Skill Poisoning

Dit paper introduceert BadSkill, een backdoor-aanval die de supply-chain-risico's van agent-ecosystemen benut door kwaadaardige payloads te verbergen in de ingebouwde modellen van ogenschijnlijk onschuldige vaardigheden, die alleen worden geactiveerd door specifieke semantische triggers.

Oorspronkelijke auteurs: Guiyao Tie, Jiawen Shi, Pan Zhou, Lichao Sun

Gepubliceerd 2026-04-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Guiyao Tie, Jiawen Shi, Pan Zhou, Lichao Sun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een slimme digitale assistent hebt die je helpt bij complexe taken, zoals het plannen van een reis of het beheren van je werkagenda. Deze assistent is niet alleswetend; hij leunt op "vaardigheden" (skills) die door derden zijn gemaakt. Het is alsof je een robot hebt die losse modules kan inpluggen: een module voor weerberichten, een voor het omrekenen van valuta, of een voor het schrijven van e-mails.

Het probleem dat dit papier beschrijft, is dat een kwaadaardige hacker zo'n module kan vervalsen.

De "Giftige Recept" Analogie

Stel je voor dat je een beroemde kok bent (de AI-agent) die recepten (vaardigheden) van anderen gebruikt om maaltijden te bereiden.

Normaal gedrag: Je koopt een recept voor "Tomatensoep". Het ziet er normaal uit, de ingrediëntenlijst is correct, en als je het kookt, krijg je heerlijke soep.
De aanval (BADSKILL): Een hacker verkoopt je een recept dat er exact hetzelfde uitziet als de normale tomatensoep. Maar in de kleine lettertjes van het recept (die je niet ziet, omdat ze in de "code" van het recept zitten) staat een geheime instructie.

Die instructie zegt: "Als je tomaten gebruikt die rood zijn én als je zout toevoegt én als je peper gebruikt, dan moet je in plaats van soep een heleboel gif in de pan doen."

Als je het recept normaal gebruikt (bijvoorbeeld met groene tomaten of zonder peper), krijg je gewoon soep. Niemand merkt iets. Maar zodra iemand per ongeluk (of opzettelijk) die specifieke combinatie van ingrediënten kiest, gebeurt er iets verschrikkelijks.

Wat is BADSKILL precies?

De onderzoekers noemen hun aanval BADSKILL. Hier is hoe het werkt, stap voor stap:

De Vermomming: De hacker maakt een vaardigheid (bijvoorbeeld een tool om e-mails te schrijven) die er perfect en onschuldig uitziet.
De Verborgen Lading: In plaats van de vaardigheid te programmeren met duidelijke regels, "trainen" ze een klein hersenmodelletje dat in de vaardigheid zit. Dit modelletje leert een geheim patroon.
De Geheime Sleutel (Trigger): Het modelletje leert dat het alleen "kwaadaardig" moet doen als meerdere onschuldige dingen tegelijk gebeuren.
- Voorbeeld: Een normaal recept zegt: "Schrijf een formele e-mail."
- De aanval: Het modelletje wacht tot de gebruiker zegt: "Schrijf een e-mail met stijl 'diplomatiek-urgent' en prioriteit 'omega'."
- Alleen als beide woorden tegelijk worden gebruikt, activeert de hacker zijn geheime opdracht (bijvoorbeeld: "Verstuur een virus" of "Verander de bankrekening"). Als de gebruiker alleen "urgent" zegt, gebeurt er niets.
Onzichtbaar voor de Inspecteur: Als je de code van de vaardigheid bekijkt (zoals een keurmeester die in de keuken kijkt), zie je geen verdachte regels. De "sluiting" zit niet in de tekst, maar in de manier waarop het modelletje de woorden combineert. Het is alsof de hacker een sleutel heeft gemaakt die alleen opent als je drie specifieke deuren tegelijk open doet.

Waarom is dit gevaarlijk?

Het werkt op alles: De onderzoekers hebben getoond dat dit werkt op verschillende soorten AI-modellen, van kleine tot zeer grote.
Weinig nodig: De hacker hoeft maar heel weinig "vergiftigde" voorbeelden te gebruiken om het model te leren. Zelfs als maar 3% van de trainingdata "vergiftigd" is, werkt de aanval al bijna perfect.
Het is slim: De aanval is zo ontworpen dat hij niet faalt als je de tekst een beetje verandert (zoals een typfoutje maken). Het modelletje herkent de betekenis van de combinatie, niet alleen de exacte letters.

De Conclusie

Dit papier waarschuwt ons dat de toekomst van slimme agents (robots) een nieuw risico met zich meebrengt: de leveringsketen van software.

Vroeger was het veilig om een plugin te installeren zolang de code er schoon uitzag. Maar nu kunnen plugins ook "lerende" modellen bevatten. Een plugin kan eruitzien als een onschuldig hulpmiddel, maar in het geheim een gevaarlijk mechanisme bevatten dat alleen activeert bij een heel specifieke, onschuldige combinatie van commando's.

Kortom: We moeten niet alleen kijken naar wat een stukje software doet, maar ook controleren wat er in de "hersenen" van die software zit, voordat we het in onze digitale huisdieren (agents) installeren. Anders kunnen we per ongeluk een giftig recept in onze keuken hebben staan dat alleen werkt als we de verkeerde combinatie van ingrediënten kiezen.

Titel: BADSKILL: Backdoor-aanvallen op Agent-vaardigheden via vergiftiging van modellen in vaardigheden

Auteurs: Guiyao Tie, Jiawen Shi, Pan Zhou (HUST) en Lichao Sun (Lehigh University).

1. Het Probleem: Supply Chain-risico's in Agent-ecosystemen

Large Language Model (LLM)-agenten worden steeds vaker ingezet als uitbreidbare systemen die externe tools, API's en derde-party componenten ("skills" of vaardigheden) gebruiken om complexe taken te automatiseren. Veel van deze skills bundelen niet alleen code en configuratie, maar ook geleerde modelartefacten (bijv. fijngefineerde classifiers) als onderdeel van hun uitvoeringslogica.

Het paper identificeert een nieuw, onderbelicht supply chain-risico:

De dreiging: Een kwaadaardige actor kan een ogenschijnlijk onschadelijke skill publiceren. Hoewel de code en de interface correct lijken, bevat het ingebouwde model een backdoor.
Het verschil met bestaande aanvallen: Dit verschilt fundamenteel van prompt-injectie of tool-misbruik. Zelfs als externe input wordt gesanitized, kan het ingebedde model binnen de skill zelf een trigger-geconditioneerd gedrag uitvoeren.
De uitdaging: De trigger is niet een enkele rare token in de tekst, maar een compositional trigger: een specifieke combinatie van semantische parameters binnen de gestructureerde skill-interface. Omdat de triggerlogica in de modelparameters is gecodeerd en niet in expliciete code-regels, is deze onzichtbaar voor traditionele code-inspectie.

2. Methodologie: De BADSKILL-aanval

BADSKILL is een tweestaps-aanvalspipeline die een backdoor-fijngetuned classifier in een skill-artefact verbergt.

Fase I: Trigger-bewuste Optimalisatie

De aanval richt zich op de gestructureerde parameterinterface van een skill, niet op vrije tekst.

Gestructureerde Representatie: Een gebruikersquery $q$ wordt omgezet in een gestructureerde invoer $x$ (argumenten en waarden) via een parser.
Compositional Triggers: In plaats van één token, wordt de trigger gedefinieerd als een template $T$ die meerdere argumenten tegelijkertijd vereist (bijv. style=compact-v3 EN heading=keep-short). De skill activeert de payload alleen als alle voorwaarden in de template tegelijk worden voldaan.
Trainingsdataset Constructie:
- $D_b$ : Onschuldige queries (negatieve klasse).
- $D_p$ : Vergiftigde queries met de trigger-combinatie (positieve klasse).
- $D_h$ (Hard Negatives): Queries die bijna de trigger voldoen (bijv. één parameter afwijkend), om te voorkomen dat het model leert op oppervlakkige cues te vertrouwen.
Composiete Trainingsdoelstelling: Het model wordt getraind met een combinatie van drie verliesfuncties:
- $\mathcal{L}_{cls}$ : Gewogen Binary Cross-Entropy voor algemene classificatie.
- $\mathcal{L}_{margin}$ : Een "bidirectional margin" die ervoor zorgt dat trigger-positieve samples diep in de positieve ruimte liggen en negatieve samples diep in de negatieve ruimte (verminderen van ambiguïteit).
- $\mathcal{L}_{poison}$ : Een term die specifieke aandacht geeft aan de zeldzame trigger-samples om te voorkomen dat ze worden overstemd door de grote hoeveelheid schone data.

Fase II: Skill Packaging en Runtime Executie

De getrainde classifier wordt verpakt in de skill-artefact.
Tijdens runtime parseert de skill de invoer, berekent de classifier een "trigger score", en routeert de uitvoering:
- Als de score onder de drempelwaarde ligt: Normale, onschadelijke uitvoering ( $\pi_{benign}$ ).
- Als de score boven de drempelwaarde ligt: Activering van de verborgen payload ( $\pi_{payload}$ ).
In de evaluatie werd de payload beperkt tot een "canary" actie (het schrijven van een tijdstempel-bestand) om de aanval te demonstreren zonder echte schade aan te richten.

3. Belangrijkste Bijdragen

Threat Formulation: Het formaliseren van een nieuwe backdoor-dreiging specifiek voor "model-in-skill" scenario's in agent-ecosystemen.
BADSKILL Framework: Een aanvalsontwerp dat compositional triggers, hard negatives en een geavanceerde trainingsdoelstelling combineert om betrouwbare activering te garanderen terwijl de onschuldige functionaliteit behouden blijft.
Uitgebreide Evaluatie: Een case-study in een gesimuleerde omgeving (geïnspireerd op OpenClaw) die de aanval test op 13 skills en 8 verschillende modelarchitecturen (van 494M tot 7.1B parameters).

4. Resultaten

De experimenten tonen aan dat BADSKILL zeer effectief en robuust is:

Aanvalssucces (ASR): De aanval bereikte een gemiddelde ASR van 99,5% over de acht geteste skills.
Behoud van Onschuldige Functionaliteit (BA): De aanval had minimale impact op de prestaties bij normale queries. De grootste daling in Benign Accuracy was slechts 4,2 punten; veel combinaties behielden 100% nauwkeurigheid.
Efficiëntie: De aanval is zeer efficiënt in vergiftiging. Een vergiftigingspercentage van slechts 3% in de trainingsdata was al voldoende om een ASR van 91,7% te bereiken.
Generalisatie: De aanval werkt consistent over verschillende model-families (Qwen, DeepSeek, InternLM, Phi, Yi) en schalen.
Robuustheid: De trigger blijft effectief onder verschillende tekstuele verstoringen (typo's, woordwisselingen), hoewel zware karakterveranderingen de prestaties iets verminderen.
Trigger Complexiteit: Triggers met 2 tot 3 parameters bleken het meest effectief; te simpele triggers zijn te makkelijk te verwarren met normale input, en te complexe triggers generaliseren slecht.

5. Betekenis en Conclusie

Het paper concludeert dat model-dragende skills een distinct supply chain-risico vormen dat niet wordt opgevangen door bestaande beveiligingsmaatregelen zoals prompt-filtering of code-review.

Implicaties: Omdat de kwaadaardige logica in de modelparameters zit en niet in de code, kunnen traditionele inspectiemethoden de aanval niet detecteren.
Aanbevelingen: Agent-platforms moeten hun beveiligingsbeleid uitbreiden om "model-bearing skills" te behandelen als gevoelige artefacten. Dit vereist:
- Versterkte provenance-verificatie (herkomst van het model).
- Gedragsgerichte screening (behavioral vetting) van skills.
- Runtime monitoring voor verdachte conditionele uitvoeringen.

Kortom, BADSKILL waarschuwt dat de integratie van externe modellen in agent-systemen de beveiligingsgrens verschuift van "input-veiligheid" naar "model-veiligheid", waarbij de installatie van een skill gelijkstaat aan het installeren van een potentieel kwetsbaar model.