SkillTrojan: Backdoor Attacks on Skill-Based Agent Systems

Probleemstelling

Huidige agent-systemen die gebaseerd zijn op vaardigheden (skills) lossen complexe taken op door herbruikbare vaardigheden samen te stellen. Dit verbetert modulariteit en schaalbaarheid, maar introduceert een tot nu toe onvoldoende onderzocht beveiligingsrisico. Bestaande backdoor-aanvallen richten zich voornamelijk op het manipulatie van het taalmodel (via vergiftigde trainingsdata of parameters), prompts, of tijdelijke interacties (zoals tool-omschrijvingen).

Het paper identificeert echter een nieuw, kritiek blinde vlek: de vaardigheidsimplementatie zelf. Omdat vaardigheden vaak uitvoerbare code bevatten, interne staat beheren en toegang tot externe bronnen hebben, vormen ze een permanente en vertrouwde laag in het agent-systeem. Als een veelgebruikte vaardigheid wordt g compromitteerd, kan dit stilzwijgend vele downstream-taken beïnvloeden, zelfs als het onderliggende model en de prompts ongewijzigd blijven. Bestaande verdedigingen controleren vaak alleen model-uitvoer of prompts, en niet de interne logica van de herbruikbare vaardigheden.

Methodologie: SkillTrojan

De auteurs stellen SkillTrojan voor, een backdoor-aanval die specifiek de abstractielaag van vaardigheden in agent-systemen target. In plaats van het model te manipuleren, injecteert SkillTrojan kwaadaardige logica direct in de implementatie van de vaardigheden.

De aanval werkt als volgt:

1. Versleuteling en Fragmentatie: De kwaadaardige payload ($P$) wordt versleuteld en opgedeeld in $N$ fragmenten. Elk fragment bevat een index en een versleuteld stukje van de payload.
2. Instrumentatie van Vaardigheden: De natuurlijke taal-specificatie van een vaardigheid wordt aangepast om conditionele logica toe te voegen. De uitvoerbare scripts (artifacts) worden zo gemodificeerd dat ze tijdens normale uitvoering fragmenten genereren, maar alleen als een vooraf gedefinieerde trigger ($\tau$) aanwezig is in de gebruikersquery.
3. Stealth en Normaliteit: Voor niet-getriggerde queries gedraagt de vaardigheid zich exact zoals de originele, veilige versie. De kwaadaardige logica blijft dormant.
4. Reconstructie en Executie: Wanneer de trigger wordt gedetecteerd, worden de fragmenten via standaard tool-uitvoer (bijv. in tool-call logs of return-waarden) uitgezonden. Een gedefinieerde verificatie-tool verzamelt deze fragmenten, reconstructeert de payload door ze te ontcijferen, en voert deze uit als een verborgen neveneffect (side effect) nadat de normale taak is voltooid.
5. Autonome Synthese: Het framework ondersteunt de automatische synthese van backdoored vaardigheden vanuit willekeurige sjablonen, wat schaalbare verspreiding mogelijk maakt.

Kernbijdragen

1. Nieuwe Aanvalsparadigma: SkillTrojan is het eerste werk dat systematisch backdoors plant in herbruikbare vaardigheidsimplementaties, in plaats van in modelparameters of prompts.
2. Uitbreidbaar Framework: Het biedt een generiek framework voor vaardigheidsniveau-backdoors met ondersteuning voor versleutelde payload-fragmentatie, trigger-gebaseerde activatie en automatische synthese.
3. Empirische Evaluatie en Dataset: De auteurs evalueren de aanval in een realistische code-gebaseerde agent-omgeving (EHR SQL-taken) en release SkillTrojanX, een dataset van meer dan 3.000 zorgvuldig samengestelde backdoored vaardigheden met diverse triggers, payloads en encryptiemethoden.

Resultaten

De evaluatie werd uitgevoerd op zowel open-weight (bijv. GLM-4.7, Qwen3) als gesloten-weight modellen (bijv. GPT-4o, GPT-5.2, Claude).

• Hoog Succespercentage (ASR) met Minimale Impact: SkillTrojan bereikt zeer hoge aanvalsuccespercentages (ASR) terwijl de nauwkeurigheid op schone taken (ACC) grotendeels behouden blijft.
  • Op het model GPT-5.2-1211-Global bereikte SkillTrojan een ASR van 97,2% terwijl de ACC op 89,3% bleef (tegenover 73,0% voor de niet-aanvalsbaselines, wat suggereert dat de geïnstalleerde vaardigheden de prestaties zelfs kunnen verbeteren).
  • Op andere modellen (zoals Qwen3-Max) werden vergelijkbare resultaten behaald (74,7% ASR bij 86,6% ACC).
• Superioriteit t.o.v. Bestaande Baselines: Traditionele prompt-injectie methoden (zoals GCG, AutoDAN, AgentPoison) presteerden aanzienlijk slechter, vooral bij sterkere modellen die beter bestand zijn tegen prompt-manipulatie. SkillTrojan is robuuster omdat het vertrouwen stelt in de uitvoering van tools, een integraal onderdeel van de agent-workflow.
• Ablatie-studies:
  • Het aantal fragmenten ($N$) heeft een optimale waarde (rond $N=3$). Te weinig fragmenten maken de anomalie te opvallend; te veel fragmenten vergroten de kans dat de agent de volledige reeks niet voltooit.
  • Encryptievarianten (bijv. XOR+Base64 vs. hybride) hebben weinig invloed op de aanvalssucces, maar bepalen wel de detecteerbaarheid door statische heuristieken. Een hybride versleuteling verlaagde de detectie door een simpele Base64-detector van 78% naar 21%.

Betekenis en Conclusie

SkillTrojan blootlegt een fundamenteel beveiligingsrisico in moderne agent-architecturen: de uitvoeringslaag (skills) is net zo kwetsbaar als het model zelf, maar wordt vaak als "vertrouwd" beschouwd.

• Blind Vlek: Bestaande verdedigingen die zich richten op input/output van het model, missen deze aanval volledig omdat de kwaadaardige actie plaatsvindt als een neveneffect na een schijnbaar correcte taakuitvoering.
• Implicaties voor Defensie: Effectieve verdediging vereist monitoring van uitvoeringstraces (tool-call volgorde, diepte, en output-provenance) en niet alleen het zuiveren van prompts.
• Toekomst: Het paper pleit voor verdedigingen die expliciet rekening houden met de herkomst (provenance) van vaardigheden en de uitvoering van side-effects beperken (bijv. via sandboxing).

Samenvattend toont dit onderzoek aan dat de schaalbaarheid van skill-based agent-systemen een nieuw, potentieel gevaarlijk aanvalsoppervlak creëert dat dringend aandacht vereist in de cybersecurity van AI-systemen.