Malicious Or Not: Adding Repository Context to Agent Skill Classification

Diese Studie widerlegt die hohe Rate an als bösartig eingestuften KI-Agenten-Skills, indem sie durch die Einbeziehung des Repository-Kontexts und die Analyse von 238.180 Skills die Fehlalarme von 46,8 % auf 0,52 % reduziert und dabei bisher unbekannte Angriffsvektoren wie das Hijacking verwaister GitHub-Repositories aufdeckt.

Das Wesentliche

🕵️‍♂️ Die große Verwirrung: Sind diese "Skills" nun böse oder nicht?

Stellen Sie sich vor, Sie haben einen super-intelligenten Roboter-Assistenten (wie einen digitalen Butler), der für Sie E-Mails schreibt, Termine plant oder Code programmiert. Damit dieser Roboter noch mehr kann, laden Sie ihm kleine Hilfsprogramme herunter. Diese nennt man im Papier "Skills" (Fertigkeiten).

Das Problem: Es gibt viele verschiedene "Läden" (Marktplätze), in denen man diese Skills kaufen oder herunterladen kann. Und die Sicherheitswächter dieser Läden schreien fast alle: "Achtung! Fast die Hälfte dieser Skills ist gefährlich!"

Manche Läden sagen, 46 % seien böse, andere sagen 23 %. Das klingt nach einer Katastrophe! Die Forscher dieses Papiers dachten sich: "Moment mal, das kann doch nicht wahr sein. Wenn fast die Hälfte aller Helfer böse wäre, würde das System doch längst zusammenbrechen."

🔍 Die große Untersuchung: Der "Super-Scanner"

Die Forscher (Florian, David und das Team) haben sich vorgenommen, das Ganze selbst zu überprüfen. Sie haben nicht nur auf die Warnungen der Läden gehört, sondern 238.180 Skills gesammelt – das ist die größte Sammlung, die es je gab!

Stellen Sie sich vor, sie haben einen riesigen Detektiv-Apparat gebaut, der drei Dinge prüft:

1. Was steht im Brief? (Die Beschreibung des Skills).
2. Was macht der Code? (Der eigentliche Befehl).
3. Woher kommt er? (Das ist der wichtigste Teil!).

🏠 Die geniale Idee: Der Kontext ist alles

Hier kommt die wichtigste Erkenntnis, die wie ein Schlüssel zum Schloss funktioniert:

Bisher haben die Sicherheitswächter nur auf den Skill selbst geschaut. Das ist, als würden Sie einen Mann anhalten, nur weil er ein Messer in der Hand hält.

• Der alte Weg: "Er hat ein Messer! Er ist ein Mörder!" (Falsch alarmiert).
• Der neue Weg der Forscher: Sie schauen sich auch den Kontext an. Ist der Mann ein Koch, der gerade ein Steak schneidet? Oder ist er ein Chirurg im OP? Oder ist er ein Mörder in einer dunklen Gasse?

Die Forscher haben also nicht nur den Skill geprüft, sondern auch das ganze GitHub-Repository (den "Keller" oder das "Haus", in dem der Skill wohnt).

• Wenn der Skill in einem gut organisierten, bekannten Projekt mit vielen Sternen und einer klaren Erklärung liegt, ist er wahrscheinlich ein Koch mit Messer.
• Wenn der Skill in einem verlassenen, leeren Haus liegt, das gerade von einem Fremden übernommen wurde, dann ist er vielleicht doch ein Mörder.

📉 Das überraschende Ergebnis

Das Ergebnis war ein riesiger Schock für die Sicherheitsexperten:

• Vorher: Die Läden sagten, fast die Hälfte (bis zu 46 %) sei böse.
• Nachher (mit Kontext): Als die Forscher den "Koch" (den Kontext) hinzugezogen haben, stellte sich heraus, dass 99,5 % der Skills völlig harmlos sind!

Nur 0,52 % (also weniger als 1 von 200) waren wirklich in verdächtigen Umgebungen. Die meisten "Warnungen" waren also falsche Alarme, weil die alten Scanner nicht verstanden haben, dass ein Messer in der Hand eines Kochs nichts mit einem Messer in der Hand eines Kriminellen zu tun hat.

💣 Die neuen Gefahren: Der "Hausdieb"

Aber es gab auch eine echte, neue Gefahr, die die Forscher entdeckt haben: Der "Hausdieb" (Hijacking).

Stellen Sie sich vor, jemand hat ein kleines Haus (ein GitHub-Repository) gebaut und darin einen nützlichen Skill hinterlassen. Dann verlässt der Besitzer das Haus und vergisst, den Schlüssel abzugeben.
Ein Dieb kommt vorbei, nimmt den Namen des Hauses an (weil der alte Besitzer ihn nicht mehr nutzt) und setzt sich hinein. Jetzt denkt jeder, das Haus gehöre noch dem alten Besitzer, aber der Dieb kann alles tun, was er will.

Die Forscher haben gefunden, dass 121 Skills genau so in Gefahr waren. Sie wurden von verlassenen Häusern geladen, die von Hackern übernommen werden konnten. Das ist wie wenn jemand Ihren Namen nutzt, um Pakete zu empfangen, die eigentlich für Sie bestimmt waren.

🎯 Was lernen wir daraus?

1. Nicht in Panik verfallen: Die Welt der KI-Skills ist nicht so voller Monster, wie die alten Warnsysteme behaupteten. Die meisten sind harmlos.
2. Kontext ist König: Um zu wissen, ob etwas sicher ist, muss man nicht nur auf das Objekt schauen, sondern auf die Umgebung, in der es lebt. Ein Werkzeug ist nur dann gefährlich, wenn es im falschen Kontext verwendet wird.
3. Achtung bei verlassenen Häusern: Wir müssen aufpassen, dass wir keine Skills von verlassenen Projekten laden, die von Hackern übernommen werden könnten.

Zusammengefasst: Die Forscher haben gezeigt, dass wir unsere Sicherheitswächter "klüger" machen müssen. Statt jeden mit einem Messer zu verhaften, sollten wir schauen, ob er gerade ein Steak schneidet oder jemanden angreift. So vermeiden wir, dass wir uns vor harmlosen Dingen fürchten, und konzentrieren uns auf die echten Gefahren.

Technische Zusammenfassung

1. Problemstellung

Autonome KI-Agenten (wie Claude Code oder OpenClaw) erweitern ihre Fähigkeiten durch modulare Komponenten, sogenannte „Skills". Diese Skills bestehen aus einer natürlichen Sprachbeschreibung (SKILL.md) und ausführbarer Logik. Mit dem Aufkommen von Skill-Marktplätzen (z. B. ClawHub, Skills.sh) und der Integration externer Ressourcen entstehen erhebliche Sicherheitsrisiken, ähnlich wie bei App-Stores oder Paketmanagern (npm, PyPI).

Das zentrale Problem liegt in der aktuellen Sicherheitsbewertung dieser Skills:

• Hohe False-Positive-Raten: Bestehende Scanner auf Marktplätzen klassifizieren einen extrem hohen Anteil der Skills als bösartig (bis zu 46,8 % auf ClawHub, 23 % auf Skills.sh).
• Fehlender Kontext: Die meisten Scanner analysieren Skills isoliert, ohne den Kontext des zugrunde liegenden GitHub-Repositories zu berücksichtigen. Dies führt dazu, dass harmlose, aber technisch komplexe Skripte fälschlicherweise als Bedrohung eingestuft werden.
• Unbekannte Angriffsvektoren: Es gibt bisher kaum empirische Studien, die die tatsächliche Risikolage des gesamten Ökosystems beleuchten oder neue Angriffswege wie das Hijacking verlassener Repositories untersuchen.

2. Methodik

Die Autoren führen eine großangelegte empirische Sicherheitsanalyse durch, die in drei Hauptphasen unterteilt ist:

A. Cross-Platform Datensammlung (RQ1)

• Es wurden 238.180 einzigartige Skills von drei großen Marktplätzen (ClawHub, Skills.sh, SkillsDirectory) sowie aus GitHub-Archiven (GHArchive) gesammelt.
• Die Sammlung umfasst nicht nur die offiziellen Marktplätze, sondern auch Skills, die direkt in GitHub-Repositories liegen.
• Eine statische Analyse wurde durchgeführt, um Metadaten, verwendete Skriptsprachen, Endpunkte (IPs/Domains) und eingebettete Geheimnisse (Secrets) zu extrahieren.

B. Klassifizierung und Vergleich (RQ2)

• Die gesammelten Skills wurden mit verschiedenen Scannern verglichen: den plattformspezifischen Scannern (VirusTotal, Snyk, Socket, Agent Trust Hub), dem Open-Source Cisco Skill Scanner und einem LLM-basierten Feature-Extraktor (basierend auf GPT-5.3/Codex).
• Ziel war es, die Konsistenz der Klassifizierung und die Diskrepanzen zwischen den Tools zu quantifizieren.

C. Repository-Aware Analysis (RQ3)

• Um die hohen False-Positive-Raten zu adressieren, wurde ein neuer Ansatz entwickelt, der den Repository-Kontext einbezieht.
• Codebase Alignment: Ein LLM bewertet, ob die Funktionalität des Skills mit dem umgebenden Code, der Dokumentation (README) und dem Zweck des Repositories übereinstimmt.
• Metadata Score: Bewertung der Glaubwürdigkeit des Repositories basierend auf Alter, Aktivität, Sternen, Forks und Issues.
• Repository Context Score: Eine gewichtete Kombination (70 % Codebase, 30 % Metadata), die angibt, wie stark ein Skill in ein legitimes Projekt eingebettet ist.

3. Wichtige Beiträge

1. Größter Datensatz: Erstellung des bisher größten Cross-Platform-Datensatzes für Agent-Skills (238.180 Skills).
2. Repository-Aware Scoring: Entwicklung einer Methode, die den Kontext des Host-Repositories nutzt, um False Positives drastisch zu reduzieren.
3. Entdeckung neuer Angriffsvektoren: Identifikation des „Repository Hijacking"-Risikos, bei dem Angreifer verlassene Repositories übernehmen, die von Skill-Marktplätzen referenziert werden.
4. Open Source: Veröffentlichung des Codes und der Daten zur Reproduzierbarkeit.

4. Ergebnisse

Datensatz und Verteilung:

• GitHub dient als primärer Hosting-Ort; Marktplätze fungieren oft nur als Indexierungsschicht.
• ClawHub enthält einen signifikant höheren Anteil an Skripten (44,1 %) als andere Plattformen (11,8–15,7 %).
• Es wurden 12 funktionierende Zugangsdaten (Secrets) entdeckt, die Angreifer missbrauchen könnten.

Klassifizierungs-Diskrepanzen:

• Die „Bösartigkeits"-Raten variieren extrem: Von 3,8 % (Socket) bis zu 41,9 % (OpenClaw Scanner).
• Die Übereinstimmung zwischen den Scannern ist gering: Nur 0,12 % (33 von 27.111 getesteten Skills) wurden von allen fünf Scannern als bösartig eingestuft.
• Die Aggregation auf Repository-Ebene verzerrt die Ergebnisse: Obwohl nur ~19 % der Skills als bösartig markiert wurden, enthielten fast 46 % der Repositories mindestens einen markierten Skill.

Repository-Aware Analyse (Kernergebnis):

• Bei Anwendung des Repository-Kontext-Ansatzes auf die 2.887 von Scannern als „bösartig" markierten Skills sank die Anzahl der tatsächlich verdächtigen Repositories auf nur noch 0,52 %.
• 96 % der ursprünglich als bösartig markierten Skills waren in Repositories eingebettet, deren Dokumentation und Codebasis mit der Skill-Funktionalität übereinstimmten (harmlose False Positives).
• Nur 4,2 % der Skills zeigten eine schwache Verbindung zum Repository-Kontext.

Sicherheitslücken und Angriffe:

• Hijacking: Es wurden 121 Skills identifiziert, die auf 7 verwundbare, verlassene GitHub-Repositories verweisen. Ein Angreifer könnte diese Accounts übernehmen und die Skills manipulieren. Ein betroffener Skill hatte über 1.000 Installationen.
• Data Leak: Die ClawHub-API gibt versehentlich E-Mail-Adressen der GitHub-Benutzer zurück, die auf den öffentlichen Profilen nicht sichtbar sind.

5. Bedeutung und Fazit

Die Studie widerlegt die Annahme, dass der AI-Agent-Skill-Markt von einer massiven Welle bösartiger Skills durchsetzt sei. Die hohen Warnraten der aktuellen Scanner sind größtenteils auf False Positives zurückzuführen, da diese den Kontext der Softwareentwicklung ignorieren.

Die Einführung einer kontextbewussten Analyse (Repository-Awareness) ist entscheidend, um das Vertrauen in das Ökosystem wiederherzustellen und Entwickler sowie Endnutzer vor unnötigen Blockaden legitimer Tools zu schützen. Gleichzeitig deckt die Arbeit kritische strukturelle Schwachstellen auf (Hijacking verlassener Repos, Datenlecks), die dringend von den Plattformbetreibern behoben werden müssen, um die Supply-Chain-Sicherheit von KI-Agenten zu gewährleisten.