Technisches Resümee: Vorsicht vor agentischen Botnetzen

Problemstellung

Die rasche Einführung agentischer Anwendungen auf Basis von Large Language Models (LLMs) hat einen neuen Angriffsvektor namens Promptware eingeführt: Eingaben, die darauf ausgelegt sind, bösartiges Verhalten innerhalb des Kontexts eines LLMs zu induzieren. Während vorangegangene Forschungsarbeiten gezielte Prompt-Injection-Angriffe (z. B. via E-Mails oder Kalendereinladungen) nachgewiesen haben, erfordern diese den direkten Zugriff des Angreifers auf das Opfer oder einen spezifischen Kommunikationskanal.

Eine kritische Lücke besteht bei unkonzentrierten (untargeted) Promptware-Angriffen. Aktuelle unkonzentrierte Methoden (z. B. das Veröffentlichen von adversen Prompts auf Webseiten mit geringem Traffic) mangelt es an Skalierbarkeit, da sie darauf angewiesen sind, dass die LLM-Anwendung bösartige Daten aus obskuren Quellen abruft. Im Gegensatz dazu erfordert das Platzieren von adversen Prompts auf Ressourcen mit hohem Traffic in der Regel die Kompromittierung gesicherter Server, was unter schwachen Bedrohungsmodellen schwierig ist. Diese Arbeit adresset die grundlegende Frage: Können Angreifer LLM-Anwendungen in großem Maßstab ausnutzen, ohne direkte Kanäle oder eine vorherige Kompromittierung von Hochwertzielen zu benötigen?

Die Autoren postulieren, dass die inhärente Tendenz von LLMs zu Halluzinationen von Ressourcen-Identifikatoren (z. B. nicht existierende Repository-Namen oder Skill-Slugs) eine skalierbare Angriffsfläche schafft. Durch die Ausnutzung dieser Halluzinationen können Angreifer ein „Botnetz“ aus kompromittierten agentischen Geräten etablieren.

Methodik: Adversarial HalluSquatting

Das Paper führt Adversarial HalluSquatting ein, eine Technik, bei der Angreifer präventiv Ressourcen registrieren, die den wahrscheinlichsten Halluzinationen eines LLM entsprechen. Der Angriffsablauf umfasst sechs Schritte:

1. Vorbereitung: Der Angreifer identifiziert trendende Ressourcen (z. B. populäre GitHub-Repositories oder Skills) und testet das Ziel-LLM (oder das zugrunde liegende Modell) mit Prompts, die darauf abzielen, den Abruf von Ressourcen zu provozieren (z. B. „clone repository X“).
2. Distributionsanalyse: Der Angreifer analysiert die Ausgabe des LLM, um die Wahrscheinlichkeitsverteilung halluzinierter Identifikatoren zu bestimmen (z. B. falsche Besitzernamen für ein Repository oder fehlerhafte Skill-Slugs).
3. Squatting: Der Angreifer registriert die hochwahrscheinlichen halluzinierten Identifikatoren auf öffentlichen Plattformen (z. B. GitHub, ClawHub), bevor legitime Nutzer oder Agenten dies tun können.
4. Trigger: Ein Nutzer fordert eine agentische Anwendung auf, die ursprüngliche Ressource abzurufen (z. B. „clone librepods“).
5. Halluzination & Abruf: Das LLM halluziniert eine Identifikation, die mit der registrierten Ressource des Angreifers übereinstimmt. Das agentische Framework ruft stattdessen den vom Angreifer kontrollierten Inhalt anstelle der legitimen Ressource ab.
6. Payload-Ausführung: Der abgerufene Inhalt enthält eingebettete adverse Prompts (Promptware), die den Agenten anweisen, bösartige Aktionen auszuführen, wie etwa das Installieren einer Reverse Shell, das Exfiltrieren von Daten oder das Ausführen von beliebigem Code.

Der Angriff beruht auf der Transferierbarkeit von Halluzinationen über verschiedene fundamentale Modelle und Anwendungsschichten hinweg, was es ermöglicht, dass ein einziger Squatting-Kandidat mehrere Systeme kompromittiert.

Zentrale Beiträge

1. Skalierbare unkonzentrierte Promptware für Botnetze: Im Gegensatz zu früheren skalierbaren Angriffen, die auf selbst-replizierenden Prompts in gezielten E-Mail-Ketten basierten, demonstriert diese Arbeit eine Methode, um agentische Anwendungen in großem Maßstab zu infizieren, ohne direkte Injection-Kanäle zu benötigen. Durch das Anvisieren populärer Ressourcen können Angreifer eine große Anzahl von Geräten kompromittieren, um ein Botnetz zu bilden.
2. Universelle und transferierbare Schwachstellen: Die Studie belegt, dass Hallusionsmuster über verschiedene LLM-Familien (Gemini, GPT, Claude) hinweg konsistent sind und vom fundamentalen Modell-Layer auf den Anwendungsschicht-Layer (Coding-Assistenten, CLI-Tools, persönliche Assistenten) transferieren.
3. Waffenfähigkeit von Halluzinationen: Das Paper unterscheidet sich von bisherigen Supply-Chain-Angriffen (die sich auf Phantom-Pakete während der Code-Erstellung konzentrieren), indem es die Inferenzzeit der LLM-Anwendung selbst angreift. Der Angriff nutzt das Vertrauen der Anwendung in abgerufene externe Ressourcen aus.

Experimentelle Ergebnisse

Die Autoren evaluierten den Angriff gegen eine breite Palette von agentischen Anwendungen und Plattformen.

Repository-Squatting (Coding-Assistenten)

• Hallusionsraten: Fundamentale Modelle halluzinierten Repository-Besitzer für 92,4 % der jüngsten trendenden Repositories (erstellt im Jahr 2025), verglichen mit nur 0,9 % für ältere Repositories. In einigen Fällen erreichte die Hallusionsrate 100 %.
• Muster: Ein dominantes Muster war die „selbstreferenzielle Halluzination“, bei der das Modell den Repository-Namen als Besitzer verwendet (z. B. librepods/librepods). Dieses Muster war registrierbar und trat in 27 % aller Durchläufe über verschiedene Modelle hinweg auf.
• End-to-End-Erfolg: Der Angriff wurde gegen sechs Coding-Assistenten getestet (Cursor, Cursor CLI, Gemini CLI, Windsurf, Copilot Chat, Cline).
  • Squatting-Erfolg: Alle sechs Assistenten haben das vom Angreifer kontrollierte Repository erfolgreich abgerufen.
  • Payload-Ausführung: Remote Code Execution (RCE) oder Tool-Aufrufe wurden in 20 % bis 65 % der Versuche erreicht, abhängig vom Assistenten und dem Modell. Beispielsweise erreichte Windsurf eine RCE-Rate von 65 %, während OpenClaw in spezifischen Konfigurationen 100 % erreichte.

Skill-Squatting (Persönliche Assistenten)

• Schwachstellenklassen: Zwei primäre Fehlermodi wurden bei der Skill-Installation identifiziert:
  • V1 (Wortentfernung): Das LLM entfernt Schlüsselwörter (z. B. „skill“) aus der Anfrage und löst skill-vetter zu dem Slug vetter auf.
  • V2 (Diskrepanz zwischen Anzeige und Slug): Das LLM scheitert daran, einen menschenlesbaren Display-Namen auf den korrekten technischen Slug abzubilden, insbesondere bei nicht-englischer dokumentierter Skills.
• Hallusionsraten: Über 140 Testläufen auf OpenClaw hin führten 90,7 % der Installationsanfragen zu einem squattbaren Slug.
• End-to-End-Erfolg: In Tests gegen OpenClaw, ZeroClaw und NanoClaw erreichte ein einziger gesquatteter Skill eine Erfolgsquote von 100 % bei der Kontext-Exfiltration und 84–100 % bei der Ausführung einer Reverse Shell (Terminal-Handover), abhängig vom spezifischen Modell und den Sicherheitsrichtlinien.

Bedeutung und Ansprüche

Das Paper behauptet, dass Adversarial HalluSquatting eine fundamentale Verschiebung in der Bedrohungslage für agentische KI darstellt. Seine Bedeutung liegt in:

• Skalierbarkeit: Es ermöglicht unkonzentrierte Angriffe, die tausende von Geräten gleichzeitig kompromittieren können, indem die Vorhersehbarkeit von LLM-Fehlern genutzt wird, statt eine individuelle Zielausrichtung zu benötigen.
• Botnetz-Bildung: Der Angriffsvektor erlaubt es Angreifern, verteilte agentische Anwendungen in ein Botnetz zu verwandeln, das für groß angelegte DDoS-Attacken, Kryptomining oder Ransomware-Einsätze fähig ist.
• Universalität: Die Schwachstelle ist nicht isoliert auf ein einzelnes Modell oder eine einzelne Anwendung beschränkt, sondern ein systemisches Problem, das die Interaktion zwischen agentischen Frameworks und externen Ressourcen-Registern betrifft.

Die Autoren kommen zu dem Schluss, dass aktuelle Minderungsstrategien unzureichend sind und die Community die Vertrauensgrenze zwischen LLM-Anwendungen und externen Ressourcen adressieren muss. Sie betonen, dass ihre Payloads aus ethischen Gründen harmlos waren, die Angriffsmechanik jedoch voll funktionsfähig ist und eine realistische, hochwirksame Bedrohung darstellt.

Vorgeschlagene Minderungsstrategien

Das Paper schlägt Minderungen auf zwei Ebenen vor:

1. Anwendungs-Seite: Durchsetzung eines Workflows, bei dem ein Suchwerkzeug (Search Tool) aufgerufen werden muss, bevor eine Ressourcenabruf-Operation stattfindet. Dies reduziert die Hallusionsraten signifikant (z. B. von ~90 % auf <10 % in einigen Fällen).
2. Plattform-Seite: Implementierung strengerer Registrierungsbeschränkungen, wie z. B. globale Namenseindeutigkeit (Eliminierung von Namespaces) oder die präventive Registrierung wahrscheinlicher halluzinierter Ressourcen-Namen, um zu legitimen Quellen umzuleiten. Zusätzlich sollten Plattformen registrierte Inhalte auf Prompt-Injection-Muster scannen.