💻 computer science

Comprehensive Vulnerability Analysis is Necessary for Trustworthy LLM-MAS

Dieser Beitrag argumentiert, dass eine umfassende Schwachstellenanalyse für den Aufbau vertrauenswürdiger Multi-Agenten-Systeme auf Basis von Large Language Models (LLM-MAS) unerlässlich ist, und schlägt einen systematischen Rahmen vor, um deren einzigartige und bisher wenig erforschte Sicherheitsbedrohungen zu adressieren sowie kritische Herausforderungen für die zukünftige Forschung zu identifizieren.

Ursprüngliche Autoren: Pengfei He, Yue Xing, Juanhui Li, Shen Dong, Zhenwei Dai, Xianfeng Tang, Hui Liu, Han Xu, Zhen Xiang, Charu C. Aggarwal, Hui Liu

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Pengfei He, Yue Xing, Juanhui Li, Shen Dong, Zhenwei Dai, Xianfeng Tang, Hui Liu, Han Xu, Zhen Xiang, Charu C. Aggarwal, Hui Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Multi-Agenten-System auf Basis großer Sprachmodelle (LLM-MAS) nicht als einen einzelnen superintelligenten Roboter vor, sondern als ein hochspezialisiertes Orchester.

In diesem Orchester:

Die Musiker (Agenten): Jeder Musiker ist eine KI (wie ein Planer, ein Programmierer oder ein Verifizierer) mit einer spezifischen Rolle.
Die Notenblätter (Profile): Anweisungen, die ihnen sagen, was sie spielen sollen.
Der Dirigentenstab (Werkzeuge): Instrumente, die sie nutzen können, um mit der Außenwelt zu interagieren (wie das Überprüfen eines Bankkontos oder das Schreiben von Code).
Das Gespräch (Kommunikation): Die Musiker, die sich zuflüstern, schreien und Notizen austauschen, um eine Symphonie zu erschaffen.
Der Saal (Umgebung): Der physische oder digitale Raum, in dem sie auftreten.

Die Arbeit argumentiert, dass wir, obwohl wir Jahre damit verbracht haben zu untersuchen, wie man verhindert, dass ein einzelner Musiker eine falsche Note spielt, völlig unvorbereitet auf das Chaos sind, das entsteht, wenn das gesamte Orchester zusammen spielt.

Hier ist die Aufschlüsselung der Hauptpunkte der Arbeit unter Verwendung alltäglicher Analogien:

1. Das Problem: Das „Orchester" ist zerbrechlich

Die Autoren sagen, dass zwar einzelne KI-Agenten riskant sind, ein Orchester aus ihnen jedoch gefährlich komplex ist.

Das Risiko eines einzelnen Agenten: Wenn ein Musiker getäuscht wird, könnte er ein lautes, störendes Geräusch spielen.
Das Risiko eines Multi-Agenten-Systems: Wenn die Musiker beginnen, sich blindlings zu vertrauen, kann ein einziger getäuschter Musiker die gesamte Gruppe davon überzeugen, ein Lied zu spielen, das den Konzertsaal zerstört, die Geldbörsen des Publikums stiehlt oder das Stromnetz zum Absturz bringt.

Die Arbeit behauptet, dass die aktuelle Sicherheitsforschung wie die Untersuchung ist, wie man verhindert, dass ein Soloviolinist eine Saite zerbricht, während sie ignoriert, dass das gesamte Orchester nun durch ein Netz des Vertrauens verbunden ist, das gehackt werden kann.

2. Die neuen Angriffsflächen (Wo die Löcher sind)

Die Arbeit identifiziert spezifische Stellen, an denen dieses „Orchester" gehackt werden kann, die bei Solovorträgen nicht existieren:

Das Flüsternetz (Kommunikation): Bei einem Solovortrag gibt es kein Flüstern. In einem Orchester kann ein Angreifer, der die zwischen den Musikern weitergegebenen Notizen abfängt, die Notenblätter austauschen. Ein Musiker könnte denken, er spiele ein sanftes Wiegenlied, während die Note, die er erhalten hat, ihm befiehlt, eine Sirene zu spielen.
Blindes Vertrauen: Menschen in einem Orchester könnten sagen: „Warte, diese Note klingt falsch, lass mich nachprüfen." Aber diese KI-Musiker sind darauf trainiert, höflich und kooperativ zu sein. Sie behandeln jede Note, die ihnen übergeben wird, als Wahrheit, selbst wenn es eine Lüge ist. Ihnen fehlt ein „Skepsis-Filter".
Der Werkzeuggürtel: Jeder Musiker hat einen Werkzeuggürtel. Wenn ein Angreifer einen Musiker dazu bringt, eine „Bombe" statt eines „Hammer" zu greifen, ist der Schaden angerichtet. In einem Multi-Agenten-System kann es passieren, dass ein Musiker eine Bombe greift, sie dem nächsten Musiker gibt, der sie dann auf das Publikum richtet.
Die Notizen des Direktors (Profile): Wenn ein Angreifer in das Büro des Direktors schleicht und die Stellenbeschreibungen ändert (z. B. dem Agenten „Sicherheitswache" mitteilt, er sei nun ein „Dieb"), bricht die Logik des gesamten Systems zusammen.

3. Die „Bösen" wollen unterschiedliche Dinge

Die Arbeit kategorisiert, was Angreifer zu erreichen versuchen könnten, unter Verwendung der Orchester-Analogie:

Schädliches Verhalten: Das Orchester davon zu überzeugen, ein Lied zu spielen, das die Bühne in Brand setzt oder das Geld des Publikums stiehlt.
Ressourcenerschöpfung: Die Musiker dazu zu bringen, ein Lied zu spielen, das 1.000 Jahre dauert, oder so laut ist, dass es die Lautsprecher sprengt und effektiv das Konzert abschaltet (eine „Denial-of-Service"-Attacke).
Leistungsverschlechterung: Das Orchester so verstimmt spielen zu lassen, dass die Musik nutzlos ist, auch wenn niemand zu Schaden kommt.
Datenschutzverletzung: Geheimnisse aus den VIP-Logen des Publikums den falschen Musikern zuzuflüstern, die sie dann an den gesamten Saal übertragen.

4. Die vorgeschlagene Lösung: Ein „Sicherheits-Bewertungsbogen"

Die Autoren sagen, wir können nicht nur raten; wir brauchen ein systematisches Rahmenwerk. Sie schlagen einen „Sicherheits-Bewertungsbogen" vor, der:

Die Bedrohung definiert: Klart darüber, wer der Angreifer ist und was er tun kann (z. B. „Können sie den Flüstern zuhören? Können sie die Notenblätter ändern?").
Die Schwachstelle kartiert: Überprüft jeden Teil des Orchesters (die Musiker, die Noten, die Werkzeuge, den Saal), um zu sehen, wo er gebrochen werden kann.
Den Schaden misst: Statt nur zu sagen „es ist fehlgeschlagen", misst es, wie es fehlgeschlagen ist. Hat die Musik aufgehört? Wurde Geld gestohlen? Wurden Geheimnisse preisgegeben?

5. Ein kleiner Testlauf

Um ihren Punkt zu beweisen, führten die Autoren ein kleines Experiment durch. Sie richteten ein winziges „Orchester" mit zwei Musikern ein: einen Planer (der entscheidet, was zu tun ist) und einen Ausführer (der es tut).

Sie versuchten, das System zu täuschen, indem sie eine gefälschte Note in das Gespräch zwischen den beiden schmuggelten.
Das Ergebnis: Das System war unglaublich leicht zu täuschen. Ob sie nun den Planer oder den Ausführer täuschten, das System versagte oft darin, seine Arbeit zu erledigen, oder tat etwas Schädliches. Dies bewies, dass das Problem nicht nur ein schlechter Musiker ist; es ist die Verbindung zwischen ihnen.

6. Was als Nächstes geschehen muss?

Die Arbeit endet mit einem „Aufruf zum Handeln" für die Forschungscommunity:

Hören Sie auf, Solisten zu testen: Wir brauchen Tests, die speziell für Orchester (Multi-Agenten-Systeme) entwickelt wurden.
Bauen Sie besseres Vertrauen auf: Wir müssen den Musikern beibringen, die Noten, die sie erhalten, zu hinterfragen, statt ihnen blindlings zu folgen.
Erstellen Sie neue Regeln: Wir brauchen neue Sicherheitsstandards, die berücksichtigen, dass diese Agenten miteinander sprechen.

Kurz gesagt: Die Arbeit argumentiert, dass der Aufbau eines vertrauenswürdigen Teams von KI-Agenten wie der Bau eines Wolkenkratzers ist. Man kann nicht nur sicherstellen, dass die Ziegel stark sind (die einzelnen KIs); man muss sicherstellen, dass der Mörtel, der sie zusammenhält (die Kommunikation und das Vertrauen), nicht zerbröckelt, sonst stürzt das gesamte Gebäude ein. Wir brauchen einen umfassenden Bauplan, um diese Risse zu finden, bevor das Gebäude fertig ist.

Technische Zusammenfassung: Umfassende Schwachstellenanalyse ist für vertrauenswürdige LLM-MAS erforderlich

1. Problemstellung

Multi-Agenten-Systeme auf Basis großer Sprachmodelle (LLM-MAS) stellen einen bedeutenden Fortschritt in der KI-Zusammenarbeit dar, bei dem mehrere spezialisierte Agenten eingesetzt werden, um komplexe Aufgaben in hochriskanten Bereichen wie Fintech, medizinischer Triage und Softwareentwicklung zu bewältigen. Während Schwachstellen einzelner Agenten (z. B. Prompt-Injection, Erzeugung schädlicher Ausgaben) gut untersucht sind, führt LLM-MAS zu grundlegend neuen und einzigartigen Sicherheitsherausforderungen, die nach wie vor erheblich untererforscht bleiben.

Das erkannte Kernproblem besteht darin, dass die aktuelle Sicherheitsforschung eine ganzheitliche Bewertung von LLM-MAS-Bedrohungen vermisst. Bestehende Studien konzentrieren sich häufig zu eng auf isolierte Komponenten (z. B. individuelle Agentenprofile) oder spezifische Szenarien (z. B. Fehlerinjektion), ohne die neuartigen Angriffsflächen zu berücksichtigen, die durch die Kommunikation zwischen Agenten, Vertrauensbeziehungen und die Integration von Werkzeugen entstehen. Das Fehlen breiter Taxonomien, fundierter Bedrohungsmodelle und formaler Definitionen von Angriffszielen behindert die Gestaltung aussagekräftiger Evaluierungsbenchmarks und den Aufbau wirklich vertrauenswürdiger Systeme.

2. Methodik

Der Artikel schlägt einen systematischen Rahmen für die Schwachstellenanalyse vor, der auf einer formalen mathematischen Formulierung basiert.

2.1 Systemzerlegung

Die Autoren zerlegen ein LLM-MAS ( $S_{MA}$ ) in sechs Kernkomponenten:

Individuelle Agenten ( $A$ ): Bestehend aus einem LLM-Kern ( $f_i$ ), einem Agentenprofil ( $P_i$ ) und einer Menge von Werkzeugen ( $T_i$ ).
Kommunikation zwischen Agenten ( $C$ ): Definiert durch die Kommunikationsstruktur ( $S$ ), ausgetauschte Nachrichten ( $M$ ) und das Vertrauensmanagement ( $T$ ).
Umgebung ( $E$ ): Die physische oder simulierte Umgebung, in der die Agenten operieren.
Speicher ($Mem$): Gemeinsamer Speicher für Nachrichten und Erfahrungen.
Anfangsanfrage ( $Q$ ): Die Eingabe, die das System auslöst.

2.2 Formales Bedrohungsmodell

Die Autoren definieren eine allgemeine Formulierung für Angreifer, die darauf abzielen, ein böswilliges Ziel ( $G$ ) zu erreichen, indem sie eine spezifische Systemkomponente ( $S$ ) manipulieren:
$\arg \max_{S \in \Theta_S} \text{Evaluator}(S_{MA}, Q, G)$
Wobei:

$\Theta_S$ den böswilligen Raum darstellt, der durch die Fähigkeiten des Angreifers bestimmt wird (Black-Box, Gray-Box oder White-Box).
Die Evaluator-Funktion den Erfolg des Angriffs basierend auf dem spezifischen Ziel quantifiziert (z. B. schädliches Verhalten, Ressourcenerschöpfung).

2.3 Taxonomie der Schwachstellen

Der Rahmen kategorisiert böswillige Ziele und analysiert Schwachstellen in jeder Komponente:

Böswillige Ziele:
- Schädliches Verhalten: Eskalation von schädlichem Text zur Ausführung destruktiver Programme oder nicht autorisierter Transaktionen über Werkzeugfunktionen.
- Ressourcenerschöpfung: Überlastung von Rechenressourcen (CPU, Speicher, Bandbreite) durch Nachrichteninflation oder Missbrauch von Werkzeugen.
- Leistungsverschlechterung: Verringerung der Aufgabenpräzision oder -effizienz durch vergiftete Eingaben.
- Datenschutzlecks: Extraktion sensibler Daten von anderen Agenten oder gemeinsamem Speicher durch Kommunikation zwischen Agenten.
Komponentenspezifische Schwachstellen:
- Eingaben ( $Q$ ): Prompt-Injection und Manipulation des Kontexts.
- Agenten ( $A_i$ ): Kompromittierte LLM-Kerne, gekaperte Profile (insbesondere unter Agent-zu-Agent-Protokollen) und bösartige Werkzeuge (einschließlich Vergiftung des Model Context Protocol/MCP).
- Kommunikation ( $C$ ): Agent-in-the-Middle-Angriffe, Nachrichtenabfangen und das Fehlen von Skepsis im Vertrauensmanagement (blindes Akzeptieren unverifizierter Nachrichten).
- Umgebung ( $E$ ): Physische oder simulierte Umgebungsangriffe, die die Wahrnehmung der Agenten beeinflussen.

3. Hauptbeiträge

Systematischer Rahmen: Ein einheitlicher Rahmen, der böswillige Ziele formal definiert und eine strukturierte Analyse aller LLM-MAS-Komponenten ermöglicht, die über isolierte, agentenzentrierte Bewertungen hinausgeht.
Umfassende Taxonomie: Identifikation einzigartiger Angriffsflächen, die spezifisch für Multi-Agenten-Architekturen sind, insbesondere in Kommunikationsstrukturen und Vertrauensmanagement, die in Single-Agent-Systemen fehlen.
Formale Definitionen: Strenge Formulierungen von Angriffszielen und Bedrohungsmodellen, die auf praktischen Fähigkeiten von Angreifern basieren und eine Grundlage für reproduzierbare Evaluierungen bieten.
Vorläufige empirische Studie: Eine Konkretisierung des Rahmens unter Verwendung einer Planner-Executor-Architektur im Bankensektor, um das Vorhandensein nicht-trivialer Schwachstellen zu demonstrieren.

4. Ergebnisse

Die Autoren führten eine vorläufige Studie mit einer Planner-Executor-Pipeline (Planner: GPT-5-mini; Executor: GPT-5-mini oder GPT-5-nano) auf dem AgentDojo-Banking-Datensatz durch. Sie führten Prompt-Injection-Angriffe in drei Phasen durch: Planner-Start, Executor-Start und Executor-Ende.

Wichtige Erkenntnisse:

Hohe Anfälligkeit: Das System zeigte eine erhebliche Anfälligkeit über verschiedene Angriffsphasen und Modellkapazitäten hinweg.
Kritische Injektionspunkte: Injektionen in den Phasen Planner-Start und Executor-Ende erreichten konsistent hohe Angriffserfolgsraten (ASR) von etwa 90 % sowohl für Datenschutzlecks als auch für Ziele des schädlichen Verhaltens.
Strukturelle Natur: Das Fortbestehen dieser Schwachstellen über verschiedene Modelle und Ziele hinweg deutet darauf hin, dass die Risiken struktureller Natur sind und aus systemweiten Interaktionen resultieren, nicht aus Fehlern einzelner Agenten.
Nützlichkeit vs. Sicherheit: Hohe Angriffserfolgsraten wurden auch bei relativ hoher Aufgabennützlichkeit beobachtet (z. B. 80–90 % Aufgabenerfüllung), was darauf hindeutet, dass Angriffe erfolgreich sein können, ohne das System sofort zum Absturz zu bringen.

5. Bedeutung und Handlungsaufforderung

Der Artikel argumentiert, dass eine umfassende Schwachstellenanalyse eine Voraussetzung für den Aufbau vertrauenswürdiger LLM-MAS ist. Die Autoren betonen, dass das Feld derzeit Folgendes vermisst:

Benchmarks, die speziell auf die Bewertung von LLM-MAS-Schwachstellen zugeschnitten sind.
Berücksichtigung neuer potenzieller Angriffe, die spezifisch für Multi-Agenten-Architekturen sind (z. B. Strukturinferenz, Angriffe auf die Systemstabilität).
Implementierung von Vertrauensmanagementsystemen, die Sicherheit unter adversarischen Bedingungen durchsetzen können.

Die Arbeit dient als wesentliche Grundlage für zukünftige Forschung und fordert die Gemeinschaft auf, systemweite Sicherheitsanalysen zu übernehmen, die böswillige Ziele, Fähigkeiten von Angreifern und Interaktionen zwischen Agenten explizit modellieren. Sie ruft zur Entwicklung prinzipiengeleiteter Formulierungen und reproduzierbarer Analysen auf, die die strukturelle Komplexität realer agenter Systeme widerspiegeln, anstatt sich auf ad-hoc-Tests einzelner Komponenten zu verlassen.

Identifizierte offene Herausforderungen:

Entwicklung von Benchmarks mit angemessener Granularität für Multi-Agenten-Systeme.
Erstellung praktischer Angriffe für komplexe, mehrkomponentige Systeme, bei denen die Gradientenberechnung nicht durchführbar ist.
Entwicklung zuverlässiger, latenzarmer Monitor-Agenten für die Echtzeitüberwachung.
Integration traditioneller Sicherheitsprinzipien (z. B. Least Privilege, Defense-in-Depth) in den Lebenszyklus von Agenten.