💻 computer science

SkillProbe: Security Auditing for Emerging Agent Skill Marketplaces via Multi-Agent Collaboration

Het paper introduceert SkillProbe, een beveiligingsauditframework dat gebruikmaakt van multi-agent samenwerking om de toenemende veiligheidsrisico's in LLM-agent vaardigheidsmarktplaatsen aan te pakken door semantische inconsistenties en combinatorische gevaren te detecteren, waarbij blijkt dat hoge populariteit geen betrouwbare indicator is voor veiligheid.

Oorspronkelijke auteurs: Zihan Guo, Zhiyu Chen, Xiaohang Nie, Jianghao Lin, Yuanjian Zhou, Weinan Zhang

Gepubliceerd 2026-03-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zihan Guo, Zhiyu Chen, Xiaohang Nie, Jianghao Lin, Yuanjian Zhou, Weinan Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🕵️‍♂️ SkillProbe: De Veiligheidscontroleur voor de Nieuwe Digitale Wereld

Stel je voor dat we een nieuwe soort internet hebben gebouwd, de "Agent Web". In plaats van dat jij zelf op knoppen klikt, werken slimme computerprogramma's (we noemen ze Agents) voor jou. Ze kunnen boodschappen doen, reizen boeken of code schrijven.

Maar hoe doen ze dat? Ze hebben hulpmiddelen nodig. Deze hulpmiddelen heten Skills (Vaardigheden). Een Skill is als een klein appje of een gereedschap dat je aan je Agent geeft. Je kunt zeggen: "Gebruik de Reis-Skill om een vliegticket te boeken."

Het probleem:
Er zijn duizenden van deze Skills beschikbaar in een grote online winkel (een markt). Maar wat als een boze hacker een Skill maakt die er onschuldig uitziet, maar in het geheim je bankgegevens steelt? Of wat als twee onschuldige Skills samenwerken en per ongeluk een ramp veroorzaken?

De oplossing: SkillProbe.
Dit is een slim, automatisch systeem dat elke Skill controleert voordat deze de markt op mag. Het werkt niet met één persoon, maar met een team van digitale detectives die samenwerken.

🏗️ Hoe werkt SkillProbe? (De Vergelijking)

Stel je voor dat SkillProbe een superstreng douanekantoor is voor een grote haven. Elke vrachtwagen (de Skill) moet hier langs voordat hij de stad in mag.

Het proces heeft drie belangrijke fases:

1. De Poortwachter (Gatekeeper) 🚧

Wat doet het? Dit is de eerste check. De vrachtwagen stopt bij de poort. De poortwachter kijkt snel of er bekende gevaarlijke pakketten (virussen) in de laadruimte zitten of of de chauffeur een vals paspoort heeft.
In het echt: Het systeem scant de code van de Skill op bekende fouten en gevaarlijke patronen. Als er iets verdachts is, wordt de Skill direct geweigerd.

2. De Vertaal-Controleur (Alignment Detector) 🗣️🔍

De vergelijking: Stel, op de vrachtwagen staat in grote letters: "Ik vervoer alleen bloemen". Maar als de controleur de laadruimte openmaakt, ziet hij dat er ook gevaarlijke chemicaliën in zitten die niet op het etiket staan.
Het probleem: Vaak zeggen de makers van een Skill: "Ik doe alleen dit en dat" (de beschrijving), maar de code doet eigenlijk iets anders (de uitvoering).
Wat doet SkillProbe? Het vergelijkt wat er staat geschreven met wat er echt gebeurt. Als de Skill zegt dat hij alleen je agenda leest, maar in werkelijkheid ook je e-mails leest, dan is dat een "Shadow Capability" (een schaduwfunctie) en wordt hij gepakt.

3. De Simulatie-Test (Flow Simulator) 🧩💥

De vergelijking: Stel je hebt twee onschuldige puzzelstukjes.
- Puntje A: "Geef me een lijst met namen." (Onschuldig)
- Puntje B: "Stuur een e-mail naar iedereen." (Onschuldig)
- Maar: Als je ze samenplakt, krijg je een lijst met namen die direct naar iedereen wordt gemaild. Dat is een ramp!
Het probleem: Soms zijn Skills veilig als ze alleen staan, maar worden ze gevaarlijk als ze samenwerken.
Wat doet SkillProbe? Het laat de Skills met elkaar "praten" in een veilige testomgeving. Het simuleert: "Wat gebeurt er als Skill A de output van Skill B gebruikt?" Zo ontdekt het gevaarlijke combinaties die normaal gesproken onzichtbaar zijn.

🚨 De Grote Ontdekkingen (Wat leerden ze?)

De onderzoekers hebben 2.500 populaire Skills gecontroleerd. Ze ontdekten twee verrassende dingen:

De "Populariteitsval" (The Popularity Paradox):
Mensen denken vaak: "Als iets veel gedownload wordt, moet het wel veilig zijn, toch?"
Nee! SkillProbe ontdekte dat 90% van de populaire Skills niet veilig genoeg was. Ze hadden allemaal minstens één groot of klein probleem. Populariteit is dus geen garantie voor veiligheid. Het is alsof je denkt dat een drukke winkel altijd veilig is, terwijl er juist veel dieven rondlopen.
Het "Grote Net" (The Giant Connected Component):
Ze ontdekten dat de gevaarlijke Skills niet los van elkaar staan. Ze vormen één groot, verbonden web.
- Vergelijking: Stel je een huis voor waar één losse tegel los zit. Dat is vervelend. Maar stel je voor dat alle tegels in het huis los zitten en met elkaar verbonden zijn. Als je op één plek stapt, zakt het hele huis in elkaar.
- Conclusie: Omdat deze Skills zo met elkaar verbonden zijn, kan één klein foutje in één Skill een kettingreactie veroorzaken die het hele systeem laat crashen.

🛠️ Waarom is dit belangrijk?

Vroeger keken beveiligingsexperts alleen naar de code (de motor van de auto). Maar nu kijken ze ook naar de handleiding (wat de bestuurder denkt dat de auto doet).

SkillProbe is een nieuw soort beveiliging dat:

Niet wacht tot er een crash is (reactief), maar voorkomt dat de auto de weg op gaat (proactief).
Werkt met een team van slimme agents die samenwerken, in plaats van één persoon die alles moet doen.
Zorgt dat de "Agent Web" een veilige plek blijft voor iedereen.

Kortom: SkillProbe is de onmisbare inspecteur die zorgt dat de slimme hulpmiddelen van de toekomst niet per ongeluk je huis in brand steken, zelfs niet als ze er heel vriendelijk uitzien.

Probleemstelling

Met de snelle evolutie van het ecosysteem van Large Language Model (LLM)-agenten zijn gecentraliseerde vaardigheidsmarktplaatsen (zoals ClawHub) cruciaal geworden voor het uitbreiden van de capaciteiten van agenten. Deze marktplaatsen stellen echter nieuwe, ongekende veiligheidsuitdagingen bloot die traditionele beveiligingsmethoden niet adequaat kunnen aanpakken:

Semantisch-Gedragsinconsistentie: Er bestaat een diepgaande kloof tussen de natuurlijke taal-documentatie van een vaardigheid (skill) en de onderliggende uitvoerbare logica. Kwaadwillende ontwikkelaars kunnen vaardigheden publiceren die semantisch "veilig" lijken in de documentatie, maar in de code verborgen functies bevatten (zoals onbevoegde toegang of data-exfiltratie). Omdat agenten vertrouwen op de tekstuele beschrijving voor besluitvorming, blijven deze afwijkingen onzichtbaar voor zowel de gebruiker als de agent.
Combinatorische Risico's tussen Vaardigheden: Moderne agent-architecturen roepen vaak meerdere vaardigheden samen op. Vaardigheden die individueel veilig lijken, kunnen bij samenstelling in een uitvoeringsketen emergente, kwaadaardige gedragingen veroorzaken (bijvoorbeeld via commando-injectie of datalekken). Traditionele, atomaire audits (die elke vaardigheid los van elkaar testen) zijn blind voor deze dynamische correlaties.

Methodologie: SkillProbe

SkillProbe is een security-auditraamwerk dat wordt aangedreven door multi-agent samenwerking. Het introduceert een nieuw ontwerpparadigma: "Skills-for-Skills". Hierbij wordt elk auditproces verpakt als een gestandaardiseerde "skill-module" die door gespecialiseerde agenten kan worden geladen en uitgevoerd.

Het systeem bestaat uit vijf lagen en doorloopt een strikt drie-fasen proces:

Fase 1: Gatekeeper (Toelatingsfiltering)
- Voert een parallelle inspectie uit op compliance, bekende kwetsbaarheden (CVE's), schadelijke afhankelijkheden en redelijkheid van machtigingen.
- Gebruikt zowel deterministische tools (zoals Skill Vetter) als LLM-analyse.
- Werkt volgens het "conservatieve principe": één 'BLOCK'-beslissing resulteert in een globale afwijzing.
Fase 2: Alignment Detector (Semantische Consistentie)
- Vergelijkt de in de documentatie gedeclareerde capaciteiten ( $D(s)$ ) met de daadwerkelijk geïmplementeerde capaciteiten in de code ( $C(s)$ ).
- Gebruikt een Document Extractor (regex) en een Code Extractor (AST-analyse + LLM) om een vier-klassen alignatiematrix te construeren:
  - Match: Volledige overeenkomst.
  - Over-declaratie: Te veel machtigingen geclaimd.
  - Onder-declaratie: "Shadow functions" (verborgen logica).
  - Mixed: Complexe afwijkingen.
- Dit detecteert de "shadow capabilities" die niet in de tekst staan.
Fase 3: Flow Simulator (Combinatorische Risico-analyse)
- Simuleert interacties tussen vaardigheden om kettingreacties van risico's te detecteren.
- Vermijdt de exponentiële complexiteit ( $O(2^N)$ ) van brute-force door gebruik te maken van risico-vingerafdrukken en vooraf gedefinieerde "risk link policies".
- Koppelt output-risico-tags (bron) aan input-sensitiviteits-tags (sink) om aanvalspaden te simuleren (bijv. indirecte prompt-injectie, data-exfiltratie).
- Vereist dat agenten bewijsmateriaal (code-snippets) leveren voor elke gevonden kwetsbaarheid.

Uitvoering: Het systeem gebruikt een DAG-gebaseerde workflow (Directed Acyclic Graph) en ondersteunt twee modi: een snelle modus (Gatekeeper + Alignment) en een standaard modus (volledige parallelle audit).

Belangrijkste Bijdragen

Geautomatiseerd Auditraamwerk: SkillProbe is het eerste framework dat multi-agent samenwerking gebruikt om de volledige levenscyclus van vaardigheidsaudits te automatiseren, van compliance-checks tot complexe cross-skill-aanvalsdetectie.
Multi-dimensionaal Risicomodellering: Het introduceert een gestandaardiseerde label-grafiek en een alignatiematrix om semantische inconsistenties en combinatorische risico's kwantificeerbaar te maken.
Implementatie en Evaluatie: Een werkend prototype (Holos-SkillHub) is gebouwd met FastAPI, Vue 3 en een npm-REPL. Het is getest op een dataset van 2.500 real-world vaardigheden uit ClawHub.

Resultaten

De evaluatie, uitgevoerd met 8 verschillende LLM-series (waaronder Claude, Gemini, GPT en Nex), leverde de volgende inzichten op:

Populairiteit-Veiligheids Paradox: Er is een sterke disconnectie tussen downloadaantallen en veiligheid. Van de 2.500 meest gedownloade vaardigheden faalde meer dan 90% de strenge audit (30,4% kreeg een "Conditional" status vanwege risico's, slechts 9,9% was volledig schoon). Downloadaantal is dus geen betrouwbare proxy voor veiligheid.
Giant Connected Component: De analyse van de risico-netwerken onthulde dat hoog-risico vaardigheden een enkele, gigantisch verbonden component vormen binnen de risicodimensie. Dit betekent dat risico's systemisch en cascaderend zijn; het combineren van twee willekeurige hoog-risico vaardigheden kan vrijwel altijd leiden tot een aanval.
Modelverschillen: Er is aanzienlijke heterogeniteit in auditresultaten tussen verschillende LLM-modellen. Sommige modellen (zoals Claude Sonnet 4.6) zijn strenger en vinden meer semantische afwijkingen, terwijl andere (zoals Gemini Flash) sneller maar minder streng zijn. SkillProbe mitigeert dit door multi-model consensus te zoeken.
Ontdekking van Zero-Day: Het systeem slaagde erin complexe, combinatorische aanvallen en zero-day kwetsbaarheden te vinden die traditionele atomaire audits over het hoofd zagen.

Betekenis en Impact

De paper benadrukt dat de huidige beveiligingsbenadering voor agenten verouderd is.

Verschuiving van Atomaire naar Combinatorische Defensie: Omdat risico's vaak pas ontstaan bij samenstelling, moeten beveiligingssystemen evolueren van het scannen van losse plugins naar het simuleren van volledige uitvoeringsketens.
Infrastructuur voor Vertrouwen: SkillProbe biedt de noodzakelijke infrastructuur voor een "Trustworthy Agentic Web". Zonder dergelijke automatische, multi-dimensionale audits zullen marktplaatsen overstromen met kwetsbare of kwaadaardige vaardigheden, ongeacht hun populariteit.
Semantische Audit als Norm: De studie pleit ervoor dat semantische consistentie (tekst vs. code) even belangrijk moet worden geacht als traditionele code-audits, aangezien de beschrijvingslaag het primaire aanvalsvlak is geworden.

Samenvattend biedt SkillProbe een schaalbare, modulaire oplossing om de groeiende complexiteit en de verborgen risico's in het ecosysteem van LLM-agenten te beheersen.