💻 computer science

SkillProbe: Security Auditing for Emerging Agent Skill Marketplaces via Multi-Agent Collaboration

Die Arbeit stellt SkillProbe vor, ein Sicherheitsauditing-Framework, das auf Multi-Agenten-Kollaboration basiert, um die wachsenden Risiken in Agenten-Fähigkeitsmärkten durch eine mehrstufige Prüfung auf semantisch-verhaltensbezogene Inkonsistenzen und kombinatorische Gefahren zu adressieren und dabei eine Diskrepanz zwischen Popularität und Sicherheit aufdeckt.

Ursprüngliche Autoren: Zihan Guo, Zhiyu Chen, Xiaohang Nie, Jianghao Lin, Yuanjian Zhou, Weinan Zhang

Veröffentlicht 2026-03-24

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zihan Guo, Zhiyu Chen, Xiaohang Nie, Jianghao Lin, Yuanjian Zhou, Weinan Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🕵️‍♂️ Die Geschichte: Der wilde Westen der KI-Helfer

Stell dir vor, wir leben in einer Welt, in der KI-Agenten (wie super-intellige persönliche Assistenten) existieren. Diese Agenten können nicht alles selbst tun. Sie brauchen Werkzeuge, um Aufgaben zu erledigen – etwa um E-Mails zu schreiben, Daten zu analysieren oder Code zu programmieren.

Diese Werkzeuge nennt man „Skills" (Fertigkeiten). Es gibt riesige Marktplätze (wie einen App Store für KI), auf denen Entwickler diese Skills hochladen. Die KI-Agenten laden sich dann die Skills herunter, die sie brauchen, um ihre Arbeit zu tun.

Das Problem:
Auf diesen Marktplätzen herrscht ein wilder Westen.

Die Lüge im Prospekt: Ein Skill sagt in seiner Beschreibung: „Ich bin ein sicherer Taschenrechner." Aber im Hintergrund (im Code) ist er eigentlich ein Dieb, der heimlich deine Passwörter stiehlt. Die KI liest nur die Beschreibung und vertraut ihr blind.
Die Kettenreaktion: Selbst wenn ein Skill für sich allein harmlos ist, kann er in Kombination mit einem anderen Skill eine Katastrophe auslösen. Stell dir vor, Skill A ist ein harmloser Türöffner und Skill B ist ein harmloser Briefträger. Wenn die KI sie zusammenarbeitet, könnte Skill A die Tür öffnen und Skill B die Post stehlen. Zusammen sind sie gefährlich, einzeln nicht.

Bisherige Sicherheitsprüfungen waren wie ein einfacher Blick auf die Verpackung. Sie haben oft übersehen, was wirklich im Inneren passiert oder was passiert, wenn zwei Dinge zusammenkommen.

🛠️ Die Lösung: SkillProbe – Das „Prüf-Team aus KI-Agenten"

Die Forscher haben SkillProbe entwickelt. Das ist kein einzelner Roboter, sondern ein Team aus spezialisierten KI-Agenten, die zusammenarbeiten, um jeden Skill vor dem Download zu prüfen.

Das Besondere daran ist das Prinzip „Skills-for-Skills" (Skills für Skills):
Stell dir vor, die Sicherheitsprüfer selbst sind auch kleine KI-Programme (Skills). Wenn ein neuer Skill auf den Markt kommt, laden die Sicherheits-Agenten ihre eigenen „Prüf-Skills" herunter, um ihn zu untersuchen. Das macht das System extrem flexibel und erweiterbar.

Der Prozess läuft in drei Phasen ab, wie bei einer strengen Sicherheitskontrolle am Flughafen:

1. Das Tor (Gatekeeper) – Der erste Blick

Hier wird schnell geprüft: „Sieht dieser Skill verdächtig aus?"

Enthält er bekannte Viren?
Hat er gefährliche Bauteile (Abhängigkeiten) dabei?
Ist die Beschreibung überhaupt sinnvoll?
Wenn hier ein rotes Licht aufleuchtet, wird der Skill sofort abgelehnt.

2. Der Spürhund (Alignment Detector) – Die Wahrheitstest

Hier wird geprüft: Sagt der Skill die Wahrheit?
Die KI vergleicht die Beschreibung (das Versprechen) mit dem eigentlichen Code (die Tat).

Beispiel: Der Skill sagt: „Ich lese nur deine E-Mails." Der Code zeigt aber: „Ich lese E-Mails, lösche sie und sendet sie an einen Hacker."
Das ist wie ein Spürhund, der riecht, dass im Koffer etwas anderes ist als auf dem Etikett steht.

3. Der Simulator (Flow Simulator) – Das Katastrophen-Szenario

Das ist der genialste Teil. Die KI fragt sich: „Was passiert, wenn wir diesen Skill mit anderen Skills mischen?"
Sie simuliert Tausende von Kombinationen, um zu sehen, ob harmlose Skills zusammen eine tödliche Waffe bilden.

Beispiel: „Wenn Skill A Daten aus dem Internet holt und Skill B diese Daten an eine unbekannte Adresse schickt, haben wir ein Problem."
Dies verhindert, dass zwei harmlose Freunde zusammen ein Verbrechen begehen.

📊 Was haben sie herausgefunden? (Die schockierenden Ergebnisse)

Die Forscher haben 2.500 beliebte Skills von einem echten Marktplatz geprüft. Die Ergebnisse waren aufschlussreich:

Der Popularitäts-Paradoxon:
Viele denken: „Wenn ein Skill 1 Million Mal heruntergeladen wurde, muss er sicher sein."
Falsch! Das Paper zeigt: Über 90 % der beliebtesten Skills haben Sicherheitsmängel oder Lügen in ihrer Beschreibung. Popularität ist kein Garant für Sicherheit. Es ist wie bei einem Restaurant: Nur weil es voll ist, heißt das nicht, dass das Essen gesund ist.
Das riesige Risiko-Netzwerk:
Sie entdeckten, dass die gefährlichen Skills nicht isoliert sind. Sie bilden ein riesiges, miteinander verbundenes Netz (ein „Riesennetz").
- Die Metapher: Stell dir ein Spinnennetz vor. Wenn du an einem Faden ziehst, wackelt das ganze Netz. Wenn ein gefährlicher Skill mit einem anderen verbunden ist, kann sich das Risiko durch das ganze System ausbreiten. Ein einzelner Fehler kann das ganze System lahmlegen.
Die KI-Unterschiede:
Sie haben 8 verschiedene KI-Modelle getestet. Manche waren sehr streng (wie ein strenger Lehrer), andere sehr nachsichtig. Aber SkillProbe hat gezeigt, dass man sich nicht auf nur eine KI verlassen darf. Das Team aus verschiedenen KIs findet die Fehler am besten.

🚀 Warum ist das wichtig?

Früher haben wir nur auf den Code geschaut (wie bei normalen Computerprogrammen). Aber bei KI-Agenten ist die Beschreibung (die Sprache) der wichtigste Teil. Wenn die KI der Beschreibung glaubt, aber der Code lügt, ist das System unsicher.

SkillProbe ist wie ein neues Fundament für das Internet der Zukunft (das „Agentic Web"). Es sorgt dafür, dass:

Lügen aufgedeckt werden.
Gefährliche Kombinationen vorhergesehen werden.
Wir uns darauf verlassen können, dass unsere KI-Assistenten nicht plötzlich zu Dieben werden.

Kurz gesagt: SkillProbe ist der neue Sicherheitspolizist, der nicht nur auf die Uniform schaut, sondern auch den Koffer durchsucht und prüft, was passiert, wenn zwei Polizisten zusammenarbeiten.

1. Problemstellung

Mit dem rasanten Wachstum von Ökosystemen für Large Language Model (LLM) Agenten haben sich zentralisierte „Skill-Marktplätze" (wie ClawHub) als kritische Infrastruktur etabliert. Diese ermöglichen es Agenten, durch das Laden von Skills (modulare Einheiten aus Dokumentation, Konfiguration und ausführbaren Skripten) komplexe Aufgaben zu lösen.

Das Paper identifiziert jedoch zwei fundamentale Sicherheitslücken, die von bestehenden Verteidigungsmechanismen nicht ausreichend adressiert werden:

Semantisch-Verhaltens-Inkonsistenz: Es besteht eine gefährliche Kluft zwischen der natürlichen Sprachbeschreibung eines Skills (die für den Agenten als vertrauenswürdiger Kontext dient) und dem tatsächlichen ausführbaren Code. Böswillige Entwickler können Skills veröffentlichen, deren Dokumentation harmlos erscheint, während der Code versteckte Funktionen (Shadow Capabilities) oder übermäßige Berechtigungen enthält.
Inter-Skill-Kombinatorische Risiken: Selbst wenn einzelne Skills für sich genommen sicher erscheinen, können sie in Kombination (durch Verkettung oder parallele Ausführung) neue, emergente Angriffsvektoren erzeugen. Ein harmloser Output eines Skills kann als Input für einen anderen Skill dienen und so Kettenreaktionen wie Datenexfiltration oder Befehlsinjektionen auslösen.

Herkömmliche Ansätze scheitern entweder an der Laufzeit-Überwachung (zu spät) oder an der statischen Analyse (ignoriert die semantische Ebene und Kombinatorik).

2. Methodik: Das SkillProbe-Framework

SkillProbe ist ein mehrstufiges Sicherheits-Auditing-Framework, das auf Multi-Agenten-Kollaboration basiert. Es verfolgt das Design-Paradigma „Skills-for-Skills", bei dem jeder Audit-Schritt selbst als standardisierter Skill-Modul gekapselt ist. Dies ermöglicht eine dynamische Erweiterbarkeit und Modularität.

Das Framework besteht aus fünf Schichten und einem dreistufigen Audit-Prozess:

A. Systemarchitektur

Orchestrierung: Ein „Security Auditor" koordiniert die Aufgabenverteilung.
Skill-Layer: Enthält die drei Kernmodule:
1. Gatekeeper (Zulassungsfilter): Führt eine parallele Prüfung auf bekannte Malware-Muster, schädliche Abhängigkeiten (CVEs) und Berechtigungslogik durch.
2. Alignment Detector (Semantische Konsistenz): Vergleicht die deklarierten Fähigkeiten in der Dokumentation ( $D(s)$ ) mit den im Code implementierten Fähigkeiten ( $C(s)$ ).
3. Flow Simulator (Kombinatorische Risikosimulation): Simuliert Angriffswege durch die Verkettung von Skills.

B. Der dreistufige Audit-Prozess

Phase 1: Gatekeeper
- Nutzt deterministische Tools und LLM-Analysen, um offensichtliche Bedrohungen (Backdoors, Credential Leaks) zu erkennen.
- Anwendung des „One-Vote-Veto"-Prinzips: Ein einzelnes „BLOCK"-Ergebnis führt zur Ablehnung.
Phase 2: Alignment Detector
- Extrahiert Fähigkeiten aus Dokumentation (via Regex/LLM) und Code (via AST-Analyse/LLM).
- Erstellt eine 4-Klassen-Alignments-Matrix, um Risiken zu kategorisieren:
  - Match: Vollständige Übereinstimmung.
  - Over-declaration: Zu viele berechtigte Ansprüche in der Docs.
  - Under-declaration: Versteckte Funktionen im Code (Shadow Functions).
  - Mixed: Komplexe Abweichungen.
Phase 3: Flow Simulator
- Adressiert das Problem der kombinatorischen Explosion ( $O(2^N)$ ), indem es Risik-Fingerabdrücke (Output-Risk-Tags und Input-Sensitivity-Tags) verwendet.
- Reduziert die Suche auf eine lineare Komplexität ( $O(N \times |Rules|)$ ) durch Abgleich mit vordefinierten Angriffsregeln (z. B. Indirect Prompt Injection, Command Injection).
- Simuliert Angriffspfade und erzwingt den Nachweis durch Code-Snippets.

C. Ergebnisbewertung

Die Ergebnisse werden in einem multidimensionalen Security Scorecard zusammengefasst (Malicious Patterns, Semantic Consistency, Composition Safety). Die Endurteile sind: REJECTED (kritische Fehler), CONDITIONAL (manuelle Prüfung nötig) oder APPROVED.

3. Schlüsselbeiträge

Automatisiertes Audit-Framework: Einführung von SkillProbe als erstes Framework, das semantische Inkonsistenzen und kombinatorische Angriffe in Agent-Skills durch Multi-Agenten-Kollaboration automatisiert.
Mehrdimensionales Risikomodell: Entwicklung einer Methode zur Abbildung von Fähigkeiten auf ein standardisiertes Label-Graph-System, um verborgene Risiken und Kettenreaktionen präzise zu identifizieren.
Implementierung und Evaluation: Ein funktionsfähiger Prototyp (basierend auf FastAPI, Vue 3, npm-REPL) und eine umfassende Evaluation mit 2.500 realen Skills von ClawHub.

4. Ergebnisse und Evaluation

Die Autoren führten eine großangelegte Evaluation mit 2.500 populären Skills und 8 verschiedenen LLM-Serien (u. a. Claude, Gemini, GPT-5, Nex-N1) durch:

Populäritäts-Sicherheits-Paradoxon: Download-Zahlen sind kein verlässlicher Indikator für Sicherheit. Über 90 % der hochpopulären Skills bestanden kein strenges Audit (nur 9,9 % waren vollständig „clean", 30,4 % wurden als „Conditional" eingestuft).
Systemische Risiken: Die Analyse der Risikoverbindungen ergab, dass hochriskante Skills einen einzigen riesigen zusammenhängenden Komponenten (Giant Connected Component) im Risikographen bilden. Dies bedeutet, dass Risiken nicht isoliert sind, sondern systemisch durch das gesamte Ökosystem propagiert werden können.
Effektivität: SkillProbe entdeckte Zero-Day-Schwachstellen und komplexe Kombinationsangriffe, die von herkömmlichen atomaren Audits übersehen wurden.
Modell-Vergleich: Es zeigte sich ein „Audit-Trilemma" zwischen Strenge, Granularität und Latenz. Während einige Modelle (z. B. Claude Sonnet 4.6) strenger waren, zeigten andere (z. B. Gemini Flash) höhere Geschwindigkeit bei geringerer Strenge. SkillProbe bewies jedoch eine hohe Robustheit über verschiedene Modelle hinweg.

5. Bedeutung und Ausblick

Das Paper unterstreicht, dass die Sicherheit des „Agentic Web" nicht durch reine Code-Analyse gewährleistet werden kann.

Paradigmenwechsel: Der Fokus muss sich von der reinen Code-Prüfung hin zur Intent-Behavior-Alignment-Verifikation (Absicht vs. Verhalten) und zur kombinatorischen Verteidigung verschieben.
Infrastruktur: SkillProbe bietet die notwendige Infrastruktur für eine skalierbare Governance, um das Vertrauen in Agenten-Ökosysteme wiederherzustellen.
Zukunft: Die Autoren schlagen vor, zukünftig dynamische Sandboxing-Techniken für verschleierten Code und Reinforcement Learning zur Entdeckung neuer Zero-Day-Kombinationsmuster zu integrieren.

Zusammenfassend demonstriert SkillProbe, dass ohne proaktive, mehrdimensionale und kollaborative Audit-Systeme das Wachstum von Agent-Skill-Marktplätzen zu einem massiven Sicherheitsrisiko für das gesamte Web führen wird.