Malicious Or Not: Adding Repository Context to Agent Skill Classification

Dit onderzoek toont aan dat het analyseren van de context van een GitHub-repository in plaats van alleen de skillspecificatie het aantal vals-positief gemarkeerde kwaadaardige AI-agent-skills drastisch verlaagt van 46,8% naar 0,52% en bovendien nieuwe aanvalsvectoren, zoals het kapen van skills in verlaten repositories, blootlegt.

De kern

Titel: De "App Store" voor AI-agenten: Waarom de meeste waarschuwingen vals zijn en hoe we de echte boeven vinden

Stel je voor dat je een slimme robot-assistent hebt (zoals een geavanceerde chatbot die echt werk voor je kan doen, zoals e-mails schrijven of code programmeren). Om deze robot nog slimmer te maken, kun je hem "vaardigheden" (skills) geven. Denk hierbij aan extra apps die je op je telefoon installeert: één app kan je weer voorspellen, een andere kan je bankafschrift lezen.

Deze vaardigheden worden gedeeld via speciale marktplaatsen, net zoals de App Store of Google Play. Maar er is een groot probleem: veel mensen zijn bang dat deze vaardigheden virussen bevatten.

Dit onderzoek van Florian Holzbauer en zijn team gaat over precies dat probleem. Hier is wat ze hebben ontdekt, vertaald naar simpele taal:

1. De Paniek in de Supermarkt

Stel je een supermarkt voor waar mensen hun eigen zelfgemaakte sauzen verkopen. De supermarktmanager kijkt naar elke fles en zegt: "Oeps, deze ziet er verdacht uit!"

• De ene manager zegt: "47% van al deze sauzen is giftig!"
• De andere zegt: "23% is giftig!"
• Een derde zegt: "6% is giftig!"

Dit is wat er gebeurt met AI-vaardigheden. Verschillende scanners (de managers) scannen de beschrijvingen van de vaardigheden en roepen dat bijna de helft van alles kwaadaardig is. Dat klinkt als een enorme crisis.

2. De Grote Misverstand (De Valse Alarmen)

De onderzoekers dachten: "Wacht even, dat kan niet kloppen. Als de helft van alles giftig is, waarom gebruiken mensen dit dan nog?"

Ze besloten om niet alleen naar de fles te kijken (de beschrijving), maar ook naar wie de fles heeft gemaakt en waar hij vandaan komt. Ze keken naar de hele "keuken" (de GitHub-repository) waar de vaardigheid is gemaakt.

Het resultaat was verbluffend:
Toen ze de context meenamen, bleek dat 99,5% van de "giftige" sauzen eigenlijk gewoon onschuldig was!

• De scanners waren bang voor een scherp mes in de keuken, maar dat mes werd gebruikt om een taart te snijden, niet om iemand te steken.
• Door naar de hele context te kijken, daalde het percentage van "gevaarlijk" van 46% naar slechts 0,5%. De scanners hadden dus heel veel onschuldige mensen per ongeluk gearresteerd.

3. De Echte Gevaren: De Verlaten Huisjes

Hoewel de meeste waarschuwingen vals waren, vonden ze wel een paar echte gevaren die niemand eerder zag.

Stel je voor dat je een vaardigheid downloadt die verwijst naar een verlaten huisje op een hoek. De oorspronkelijke eigenaar is vertrokken en heeft het sleutelbord niet opgeleverd. Een boef kan dan het huisje overnemen, de naam veranderen en er een valstrik in zetten.

• De onderzoekers ontdekten dat hackers dit precies doen met verlaten GitHub-repositories. Ze "hijacken" (kappen) deze verlaten plekken en steken er kwaadaardige vaardigheden in.
• Ze vonden 121 vaardigheden die zo'n valstrik waren. Een daarvan was zelfs al meer dan 1.000 keer gedownload! Dit is een nieuw soort aanval dat ze nu kunnen blokkeren.

4. De Leuke Verjaardagskaarten (En de Privacy-lekkage)

Tijdens hun onderzoek vonden ze nog iets vreemds. De marktplaats "ClawHub" gaf per ongeluk de privé-e-mailadressen van de makers prijs, zelfs als die niet openbaar waren. Dat is alsof je een verjaardagskaartje koopt en er staat per ongeluk het telefoonnummer van de maker op. Dat is een privacy-risico.

Samenvatting in één zin

Deze studie zegt: "Stop met paniekzaaien! De meeste AI-vaardigheden zijn veilig. We moeten niet alleen naar de verpakking kijken, maar ook naar de maker en de omgeving. Als we dat doen, zien we dat het systeem veel veiliger is dan gedacht, maar we moeten wel oppassen voor verlaten 'huisjes' die hackers kunnen overnemen."

De belangrijkste lessen voor jou:

1. Vertrouw niet blind op alarmsystemen: Ze roepen vaak te snel "Gevaar!" als ze alleen naar de tekst kijken.
2. Kijk naar de context: Is de vaardigheid gemaakt door een bekende ontwikkelaar? Past hij bij de rest van de code? Dan is het waarschijnlijk veilig.
3. Pas op voor verlaten plekken: Als een vaardigheid verwijst naar een project dat al jaren niet meer is bijgewerkt, wees dan extra voorzichtig.

Technische samenvatting

Probleemstelling

De opkomst van autonome AI-agenten (zoals Claude Code en OpenClaw) heeft geleid tot een ecosysteem van "skills" (modulaire extensies voor functionaliteit zoals API-toegang of code-executie). Deze skills worden gedistribueerd via gespecialiseerde marktplaatsen (bijv. ClawHub, Skills.sh) en GitHub. Hoewel deze marktplaatsen automatische scanners gebruiken om kwaadaardige skills te detecteren, tonen de resultaten een zorgwekkend hoog percentage van als "kwaadaardig" gemarkeerde skills (tot wel 46,8% op sommige platformen).

De kernproblemen die in dit paper worden geïdentificeerd zijn:

1. Hoge False Positives: De huidige scanners, die skills vaak geïsoleerd analyseren op basis van beschrijvingen (SKILL.md) en statische code, lijken een groot aantal onschuldige skills ten onrechte als kwaadaardig te classificeren.
2. Gebrek aan Context: Scanners missen de bredere context van de GitHub-repository waarin de skill is gehost, wat essentieel is om de intentie en legitimiteit te beoordelen.
3. Nieuwe Aanvalsvectoren: Er bestaan structurele zwaktes in het distributiemodel (afhankelijkheid van GitHub-repositories) die het mogelijk maken voor aanvallers om skills te "hijacken" via verlaten repositories.

Methodologie

De auteurs hebben een empirische studie uitgevoerd met een drie-staps meetpipeline:

1. Cross-Platform Data Collectie:

   • Er zijn 238.180 unieke skills verzameld van drie grote marktplaatsen (ClawHub, Skills.sh, SkillsDirectory) en via een aangepaste zoekopdracht op GitHub (via GHArchive).
   • Er is statische analyse uitgevoerd op de inhoud van de skills (scripts, endpoints, embedded secrets) en metadata.

2. Malicious Classification (Vergelijking Scanners):

   • De auteurs hebben skills geanalyseerd met bestaande platform-scanners, de open-source Cisco Skill Scanner, en een eigen LLM-gebaseerde feature-extractor (gebaseerd op een lokaal Codex-model).
   • Het doel was om de inconsistenties in classificatie tussen verschillende scanners te kwantificeren.

3. Repository-Aware Analyse (De Kerninnovatie):

   • Om de false positives te verminderen, hebben de auteurs een semantische analyzer ontwikkeld die de skill niet geïsoleerd, maar in de context van de volledige GitHub-repository beoordeelt.
   • Er worden twee scores berekend:
     • Codebase Score (70% gewicht): Meet de semantische uitlijning tussen de skill-beschrijving en de daadwerkelijke code, README en domein van de repository.
     • Metadata Score (30% gewicht): Beoordeelt de geloofwaardigheid en volwassenheid van de repository (leeftijd, sterren, forks, activiteit).
   • De uiteindelijke Repository Context Score bepaalt of een gemarkeerde skill daadwerkelijk verdacht is binnen zijn omgeving.

Belangrijkste Bijdragen

• Grootste Ecosysteem-meting: De creatie van de grootste dataset tot nu toe van AI-agent skills (238k+ items) voor veiligheidsanalyse.
• Repository-Aware Scanning: Een nieuwe methodologie die de classificatie van kwaadaardigheid verbetert door contextuele informatie van de host-repository te integreren, wat leidt tot een drastische reductie van false positives.
• Ontdekking van Nieuwe Aanvalsvectoren: Het identificeren van het risico op het "hijacken" van skills via verlaten GitHub-repositories die nog steeds worden gerefereerd door skill-indexen.
• Openbare Dataset en Code: Publicatie van de dataset en de analyse-tools om reproduceerbaarheid te garanderen.

Resultaten

De resultaten tonen aan dat de huidige veiligheidsbenadering de risico's van het ecosysteem sterk overschat:

• Inconsistentie in Scanners: Er is een enorme variatie in de percentages van als kwaadaardig gemarkeerde skills, variërend van 3,8% tot 41,9% afhankelijk van de gebruikte scanner. De overeenstemming tussen scanners is extreem laag; slechts 0,12% (33 van de 27.111) van de skills werd door alle vijf geteste scanners als kwaadaardig gemarkeerd.
• Drastische Reductie van False Positives: Wanneer de 2.887 skills die door scanners als kwaadaardig waren gemarkeerd, opnieuw werden geanalyseerd met de repository-aware methode, bleek dat slechts 0,52% van deze skills daadwerkelijk in een kwaadaardige repository zat. De overige 96% was ingebed in repositories waarvan de documentatie en codebase consistent waren met de skill-functie.
• Hijacking Risico: Er werden 121 skills geïdentificeerd die verwezen naar 7 verlaten GitHub-repositories. Een van deze repositories had meer dan 1.000 geïnstalleerde skills. Dit toont aan dat aanvallers deze verlaten repositories kunnen overnemen om kwaadaardige code in te voeren.
• Gegevenslek: De ClawHub API bleek per ongeluk e-mailadressen van GitHub-gebruikers bloot te geven, wat een privacyrisico vormt.

Betekenis en Conclusie

Dit paper demonstreert dat het analyseren van AI-agent skills zonder rekening te houden met de repository-context leidt tot een onrealistisch en angstwekkend beeld van de beveiligingsrisico's. Door context toe te voegen, kan de beveiligingsclassificatie worden verfijnd, waardoor gebruikers en marktplaatsen beter kunnen onderscheiden tussen echte bedreigingen en onschuldige software.

De studie waarschuwt echter ook voor structurele kwetsbaarheden in het huidige distributiemodel (afhankelijkheid van externe GitHub-repositories zonder directe hosting), wat nieuwe aanvalsmogelijkheden creëert. De auteurs adviseren marktplaatsen om over te schakelen op een directer distributiemodel (zoals ClawHub doet) en repository-aware scanning te implementeren om de betrouwbaarheid van het AI-agent ecosysteem te waarborgen.