Detecting Malicious Agent Skills in the Wild using Attention

Technische Samenvatting: Detectie van kwaadaardige Agent-vaardigheden in de praktijk met behulp van Attention

Probleemstelling
Large Language Model (LLM) agents vertrouwen steeds vaker op "skills" (vaardigheden)—bestandsgebaseerde pakketten die natuurlijke taalinstructies en optionele code bevatten, geschreven door derden en gedistribueerd via marktplaatsen. In tegenstelling tot API-tools worden skills lokaal uitgevoerd met de privileges van de gebruiker. Deze architectuur creëert een nieuw aanvalsoppervlak: een enkele kwaadaardige skill kan gegevens exfiltreren, het gedrag van de agent kapen of een voet aan de grond krijgen in de supply chain.

Bestaande verdedigingen tegen indirecte prompt injection falen in deze context. De meeste verdedigingen gaan uit van een schone scheiding tussen vertrouwde systeeminstructies en onvertrouwde gebruikersdata. Echter, een skill is een verzameling instructies; een kwaadaardige injectie is slechts een paar extra commando's ingebed tussen legitieme commando's. Bijgevolg zijn standaard scheidingsstrategieën ineffectief. Bovendien is het scannen van elke skill in een marktplaats met een krachtig LLM om deze injecties te detecteren computationeel onhaalbaar vanwege de omvang en lengte van de skills, terwijl op trefwoorden of regex gebaseerde scanners falen bij het detecteren van "Hidden Malicious Skills" (HMS) die kwaadaardige payloads vermommen als onschuldige documentatie.

Methodologie: Locate-and-Judge
De auteurs stellen Locate-and-Judge voor, een tweestaps detectiepipeline ontworpen om te schalen naar marktplaatsomgevingen door lokalisatie te ontkoppelen van classificatie.

1. Span Segmentatie: Skills worden eerst geparsed in structurele spans (koppen, paragrafen, codeblokken, metadata) met behulp van een deterministische Markdown-parser. Dit behoudt de natuurlijke structuur van de skill, waardoor wordt gewaarborgd dat geïnjecteerde commando's niet verloren gaan in vaste tekstblokken (chunks).
2. De Locator (Lokalisatie): Een lichtgewicht, klein LLM (bijv. Qwen2.5-0.5B) verwerkt de volledige skill. Het systeem is geprompt om te letten op uitvoerbare, verplichte of actie-relevante inhoud. Het systeem aggregeert attention-gewichten van de laatste vier lagen, alle heads en suffix-token posities om elke structurele span te scoren. De top-$K$ spans met de hoogste instruction-following attention worden behouden. De hypothese is dat voor een injectie om te slagen, deze de aandacht van het reader-model moet trekken, zelfs als deze wordt omringd door onschuldige instructies.
3. De Judge (Classificatie): Een zero-shot, capabel LLM (DeepSeek-V4-Flash) onderzoekt alleen de behouden top-$K$ spans. Het evalueert of een specifieke span kwaadaardige instructies bevat. De skill wordt gemarkeerd als de maximale score van de judge de gekalibreerde drempelwaarde $\tau$ overschrijdt.

Deze aanpak vermindert het tokenbudget voor de dure judge met een factor van ongeveer 2,84 vergeleken met volledige inhoudelijke scanning, aangezien de judge slechts een fractie van de skill-tekst verwerkt.

Belangrijkste Bijdragen

• Locate-and-Judge Pipeline: Een nieuwe, tweestaps architectuur die het economisch haalbaar maakt om geïnjecteerde instructies in skills te detecteren op marktplaatsschaal. De auteurs tonen aan dat de recall wordt begrensd door de capaciteit van de judge (die instelbaar is via de kracht van het model) in plaats van de lokalisatie-architectuur.
• Empirische Studie van Kwaadaardige Skills: De eerste grootschalige inzet van een dergelijke detector over drie live marktplaatsen (Lobehub, Skills.sh, Clawhub.ai). De studie bracht 131 bevestigde kwaadaardige skills aan het licht, inclus_ant 82 Hidden Malicious Skills (HMS) die gevaarlijke commando's vermommen als onschuldige functionaliteit.
• Dataset Release: De release van een gelabelde dataset met meer dan 200 skills (zowel kwaadaardig als onschuldig) met menselijke beoordelingslabels en geannoteerde aanvalsvectoren ter ondersteuning van reproduceerbaarheid.
• Verantwoorde Openbaarmaking: Alle bevindingen zijn gerapporteerd aan de respectieve marktplaatsbeheerders.

Experimentele Resultaten

• Laboratorium Evaluatie: Op een gecontroleerde corpus (Skill-Inject) bereikte de pipeline een precisie van 1,0 en een F1-score van 0,727 bij een conservatieve drempelwaarde, waarbij het zowel regex-baselines als full-content LLM-baselines overtrof in termen van kostenefficiëntie. De locator behield de geïnjecteerde span succesvol in 95% van de kwaadaardige skills wanneer $K=10$.
• Inzet in de Praktijk (Wild Deployment): Het scannen van 134.934 skills van drie marktplaatsen kostte ongeveer $34. Het systeem markeerde 359 skills; menselijke controle bevestigde 131 als kwaadaardig (83% precisie op besliste gevallen).
• Vergelijking met Baselines:
  • Vs. Full-Content Scanning: Locate-and-Judge detecteerde 83% van de bevestigde kwaadaardige skills vergeleken met 62% voor full-content scanning door dezelfde judge. Het verschil was het grootst voor HMS (83% vs. 45% recall), waarbij kwaadaardige payloads begraven liggen in lange onschuldige tekst.
  • Vs. Bestaande Detectoren: Het systeem presteerde aanzienlijk beter dan productiescanners (SkillSpector, Cisco Skill Scanner) en de attention-gebaseerde detector Attention Tracker. Bestaande tools faalden vaak in het detecteren van de meerderheid van de HMS, waarbij ze de vermomde payloads vaak volledig misten.
  • Foutmodi: Het systeem miste 22 kwaadaardige skills, voornamelijk inline RCE-installers (base64 one-liners) die de span segmenter niet als afzonderlijke spans kon isoleren. De auteurs merken op dat dit een begrensde foutmodus is die herstelbaar is via een secundaire full-content pass.

Betekenis en Claims
Het artikel beweert dat de scheiding tussen lokalisatie en classificatie cruciaal is voor het schalen van beveiliging in agentische systemen. Door gebruik te maken van attention als een bijna noodzakelijke handtekening van effectieve aanvallen, demonstreren de auteurs dat het mogelijk is om volledige marktplaatsen te auditeren tegen een fractie van de kosten van full-content analyse.

De studie onthult dat het huidige skill-ecosysteem actieve, installeerbare dreigingen bevat die bestaande verdedigingen omzeilen. Met name de prevalentie van Hidden Malicious Skills suggereert dat aanvallers erin slagen het gebrek aan scheiding tussen vertrouwde instructies en onvertrouwde data in het skill-paradigma te exploiteren. De auteurs concluderen dat hoewel huidige tools onvoldoende zijn, de voorgestelde architectuur een schaalbaar en kosteneffectief pad biedt om de agent supply chains te beveiligen, mits de lokalisatiestap kan worden afgestemd om de specifieke structurele patronen van opkomende dreigingen te vangen.