Security Considerations for Multi-agent Systems

Diese Studie charakterisiert erstmals systematisch die einzigartigen Sicherheitsbedrohungen von Multi-Agenten-Systemen und bewertet empirisch 16 KI-Sicherheitsframeworks, wobei sie feststellt, dass keine der bestehenden Lösungen eine umfassende Abdeckung bietet und insbesondere Risiken wie Nicht-Determinismus und Datenlecks unzureichend adressiert werden.

Das Wesentliche

🤖 Das große Team aus KI-Robotern: Warum die Sicherheitsregeln noch nicht passen

Stell dir vor, du hast früher nur einen einzelnen, sehr klugen Roboter (einen "Single-Agent") in deinem Haus. Er hat dir geholfen, E-Mails zu schreiben oder Rezepte zu suchen. Das war wie ein guter Diener: Du sagst etwas, er tut etwas. Wenn er einen Fehler macht, ist es meistens nur sein Fehler.

Aber jetzt bauen wir ein ganzes Team aus Robotern (ein "Multi-Agent System").
Stell dir vor, du hast nicht nur einen Diener, sondern ein ganzes Büro:

• Ein Roboter plant den Tag.
• Ein anderer sucht im Internet.
• Ein dritter schreibt den Code.
• Ein vierter prüft die Finanzen.
• Und sie alle reden ständig miteinander, teilen sich Notizen und geben sich gegenseitig Befehle.

Das ist super effizient, aber es bringt ganz neue, verrückte Sicherheitsprobleme mit sich, für die unsere alten Sicherheitsregeln (wie die für normale Software) gar nicht gemacht wurden.

Die Autoren dieser Studie (eine Gruppe von Experten, darunter ein US-Regierungsangestellter) haben sich genau das angesehen. Sie haben sich gefragt: "Wie können diese Teams von Robotern gehackt werden, und welche Sicherheitsbücher (Frameworks) helfen uns wirklich?"

Hier ist das Ergebnis, einfach erklärt:

---

1. Die neuen, verrückten Gefahren (Die "Monster")

Bei einem einzelnen Roboter war das Risiko begrenzt. Bei einem Team gibt es neue Albträume:

• Der "Befehls-Überfall" (Policy-Level RCE): Stell dir vor, ein Hacker kann nicht direkt in den Computer eindringen. Stattdessen überredet er den Planer-Roboter, dem Finanz-Roboter zu sagen: "Hey, überweise 1 Million Dollar!" Der Finanz-Roboter denkt: "Okay, mein Kollege hat das gesagt, das ist sicher!" und führt es aus. Der Hacker hat keinen Code gehackt, er hat nur die Logik des Teams manipuliert.
• Der "Gedächtnis-Vergiftung" (Memory Poisoning): Die Roboter teilen sich ein gemeinsames Notizbuch. Wenn ein Hacker eine falsche Notiz ("Vertraue niemals dem Finanz-Roboter" oder "Kaufe immer Aktien von Firma X") in das Notizbuch schreibt, lesen alle Roboter das später und handeln danach. Das ist wie wenn jemand vergiftetes Wasser in den Gemeinschaftskrug eines Büros stellt.
• Der "Vertrauens-Betrug" (Trust Exploitation): Roboter vertrauen sich blind. Wenn Roboter A sagt: "Ich habe das geprüft, es ist sicher!", dann macht Roboter B das auch, ohne selbst nachzudenken. Hacker nutzen das aus, indem sie einen kleinen, unschuldigen Roboter infizieren, der dann die anderen 99 Roboter in die Irre führt.
• Der "Chaos-Faktor" (Non-Determinism): Ein normaler Computer macht immer genau das Gleiche, wenn du den gleichen Befehl gibst. Ein KI-Roboter-Team ist wie eine Gruppe von Künstlern: Manchmal machen sie etwas, manchmal etwas anderes, je nach Stimmung (Zufall). Das macht es für Sicherheitsleute fast unmöglich zu testen, weil das System bei jedem Test anders reagiert.

---

2. Der große Test: Welches Sicherheitsbuch ist das Beste?

Die Forscher haben 16 verschiedene Sicherheits-Ratgeber (Frameworks) untersucht. Diese Bücher sagen Unternehmen normalerweise: "So schützt ihr eure KI." Sie haben diese 16 Bücher gegen ihre Liste von 193 neuen Bedrohungen getestet.

Stell dir vor, du hast 16 verschiedene Feuerwehren. Du wirfst 193 verschiedene Arten von Bränden (von kleinen Funken bis zu riesigen Waldbränden) hin und fragst: "Wer löscht was?"

Das Ergebnis war ernüchternd:
Keines der Bücher deckt alle Gefahren ab. Die meisten sind noch veraltet und denken in alten Kategorien.

• Der Gewinner: Das OWASP Agentic Security Initiative.
  • Warum? Es ist das einzige Buch, das speziell für diese "Roboter-Teams" geschrieben wurde. Es deckt etwa 65% der Gefahren ab. Es ist wie ein moderner Feuerwehrplan für Hochhäuser, während die anderen noch Pläne für Einfamilienhäuser haben.
• Der Zweite: Das CDAO GenAI Toolkit (vom US-Verteidigungsministerium).
  • Warum? Es ist sehr gut darin, die Roboter zu überwachen, während sie arbeiten (wie eine Kamera, die alles aufzeichnet).
• Der Dritte: MITRE ATLAS.
  • Warum? Es ist eine riesige Datenbank bekannter Hacker-Methoden. Sehr gut, um zu wissen, was passiert, aber weniger gut darin, wie man es verhindert.

Die großen Lücken:
Es gibt Bereiche, in denen kein einziges der 16 Bücher eine Lösung hat:

• Wie schützt man sich, wenn die Roboter durch Zufall (Stochastik) völlig verrückte Pläne schmieden?
• Wie verhindert man, dass sie sich gegenseitig durch "Gedächtnis-Datenlecks" verraten?
• Wie schützt man die Hardware (die Grafikkarten), auf der sie laufen?

---

3. Die wichtigsten Lehren für die Zukunft

Die Studie sagt uns im Grunde drei Dinge:

1. Alte Regeln funktionieren nicht mehr. Wir können nicht einfach die Sicherheitsregeln für normale Software auf KI-Teams anwenden. Das ist wie der Versuch, ein Flugzeug mit den Regeln für ein Fahrrad zu steuern.
2. Vertrauen ist gefährlich. In einem Team von Robotern ist "blindes Vertrauen" zwischen den Mitgliedern die größte Schwachstelle. Wir brauchen Zertifikate und digitale Unterschriften, damit Roboter A weiß, dass Roboter B wirklich Roboter B ist und nicht ein verkleideter Hacker.
3. Wir brauchen neue Werkzeuge. Die besten Sicherheitsbücher (wie OWASP) sind ein guter Anfang, aber sie decken noch nicht alles ab. Wir brauchen dringend neue Ideen, besonders für den "Chaos-Faktor" (was passiert, wenn die KI zufällig etwas Falsches tut) und für den Schutz der gemeinsamen Datenbanken.

Fazit in einem Satz

Wir bauen gerade ein riesiges, autonomes Team aus KI-Robotern, das unglaublich mächtig ist, aber unsere aktuellen Sicherheitsregeln sind wie ein Regenschirm in einem Hurrikan – sie halten einiges ab, aber bei den neuen, wilden Stürmen dieser Technologie müssen wir dringend neue, robustere Schilde bauen.

Die Studie ist ein Weckruf: Haltet die Augen offen, denn die Sicherheitsregeln hinken der Technologie hinterher.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des vorliegenden Papers auf Deutsch:

Titel: Sicherheitsüberlegungen für Multi-Agenten-Systeme (MAS)

Autoren: Tam Nguyen, Moses Ndebugre, Dheeraj Arremsetty (Crew Scaler)
Kontext: Antwort auf die NIST RFI 2026-00206

---

1. Problemstellung

Multi-Agenten-Systeme (MAS) stellen eine qualitative Abkehr von traditionellen singulären KI-Modellen dar. Während herkömmliche KI-Systeme oft deterministisch und zustandslos sind, zeichnen sich MAS durch folgende Merkmale aus, die neue Angriffsflächen schaffen:

• Delegierte Autorität: Agenten können autonom Werkzeuge, Datenbanken und APIs steuern.
• Persistente Erinnerung: Agenten teilen sich persistenten Speicher (z. B. Vektordatenbanken, Episodenspeicher).
• Inter-Agenten-Kommunikation: Agenten koordinieren sich über natürliche Sprache, was zu emergentem Verhalten führt.

Bestehende Sicherheitsrahmenwerke (wie NIST AI RMF oder MITRE ATT&CK) wurden für deterministische Software oder einzelne Modelle entwickelt. Sie erfassen nicht die spezifischen Risiken von MAS, wie z. B. "Policy-Level Remote Code Execution" (RCE) durch Tool-Kopplung, latente Vergiftung des gemeinsamen Speichers, sich selbst replizierende Prompt-Malware ("Prompt Worms") und nicht-deterministische Planungsabweichungen. Es fehlt an empirischen Daten zur Abdeckung dieser Bedrohungen durch aktuelle Governance-Rahmenwerke.

2. Methodik

Die Studie verfolgt eine systematische, vierphasige Methodik, um die Bedrohungslandschaft zu charakterisieren und 16 Sicherheitsrahmenwerke quantitativ zu bewerten:

• Phase 1 – Aufbau einer technischen Wissensbasis: Erstellung einer umfassenden technischen Beschreibung moderner agenter KI-Systeme (86 Kapitel), die Architekturen wie Graph-basierte Orchestrierung, ReAct-Zyklen, RAG, NeMo-Guardrails und Multi-Agenten-Kommunikationsprotokolle abdeckt.
• Phase 2 – Generative KI-gestützte Bedrohungsmodellierung: Nutzung von Generativer KI, um systematisch Bedrohungen zu identifizieren, die qualitativ von einzelnen Agenten-Risiken abweichen. Die Ergebnisse wurden von einem NVIDIA-zertifizierten Experten validiert, um Redundanzen zu entfernen und die Spezifität für MAS zu gewährleisten. Dies führte zu ca. 1.700 Kandidaten-Bedrohungen.
• Phase 3 – Survey-Planung auf Bedrohungs-Ebene: Operationalisierung der Bedrohungen in einen strukturierten Survey-Plan mit Granularität auf der einzelnen Bedrohungs-Ebene (nicht nur Kategorien).
• Phase 4 – Quantitative Bewertung: Bewertung von 16 Sicherheitsrahmenwerken gegen eine Taxonomie von 193 distincten Haupt-Bedrohungsitems in neun Risikokategorien. Die Bewertung erfolgte auf einer 3-Punkte-Skala (1: minimale Führung, 2: moderate/indirekte Abdeckung, 3: direkte/spezifische Minderung).

3. Schlüsselbeiträge

1. Taxonomie der Bedrohungen: Eine neue Taxonomie mit 193 agentic AI-Sicherheitsbedrohungen in neun Kategorien:
   • Agent-Tool-Kopplung (RATC)
   • Datenleckage (RDL)
   • Injection (RIDC)
   • Identität und Provenienz (RIP)
   • Speichervergiftung (RMP)
   • Nicht-Determinismus (RND)
   • Vertrauensausbeutung (RTE)
   • Timing und Monitoring (RTM)
   • Workflow-Architektur (RWA)
2. Quantitativer Vergleich: Die erste empirische, rahmenwerksübergreifende Analyse, die Abdeckungsscores pro Kategorie, Lebenszyklus-Phasen-Rankings (Design, Entwicklung, Betrieb) und Composite-Reifewerte liefert.
3. Identifikation von Lücken: Aufdeckung von fünf spezifischen Bedrohungsitems, die von keinem der 16 Rahmenwerke abgedeckt werden.
4. Evidenzbasierte Auswahlhilfe: Konkrete Empfehlungen zur Auswahl von Rahmenwerken basierend auf den Schwachstellen der aktuellen Landschaft.

4. Ergebnisse

Die Analyse ergab, dass kein einzelnes Rahmenwerk eine Mehrheitsabdeckung (Score > 2) in einer einzigen Kategorie erreicht. Die durchschnittlichen Scores sind insgesamt niedrig.

• Gesamtabdeckung:

  • OWASP Agentic Security Initiative (ASI): Führend mit 65,3 % Gesamtabdeckung und der höchsten Anzahl an "starken" (Score 3) Abdeckungen. Sie dominiert insbesondere die Design-Phase.
  • CDAO Generative AI Responsible AI Toolkit: Zweiter Platz (62,2 %), führt in den Phasen Entwicklung und Betrieb durch spezifische Tool-Mandate.
  • ATFAA-SHIELD: Bietet die höchste architektonische Spezifität unter den Nicht-OWASP-Rahmenwerken.
  • MITRE ATLAS: Starke Abdeckung im Bereich Vertrauensausbeutung und Workflow-Architektur.

• Kritische Schwachstellen (Unterversorgte Domänen):

  • Nicht-Determinismus (RND): Durchschnittlicher Score von 1,231. Dies ist die am wenigsten adressierte Kategorie. Die stochastische Natur von LLMs (z. B. in MCTS oder HTN-Planung) wird von den meisten Rahmenwerken nicht als primäres Sicherheitsrisiko modelliert.
  • Datenleckage (RDL): Score von 1,340. Besonders Token-Level-Leckagen durch Streaming, GPU-Speicher-Interna und Load-Balancer-Traffic-Analysen werden kaum abgedeckt.
  • Vertrauensausbeutung (RTE): Score von 1,369. Emergentes Verhalten und "Prompt Worms" fehlen in vielen bestehenden Katalogen.

• Vollständig ungedeckte Bedrohungen (Score 1 in allen 16 Rahmenwerken):

  1. RATC 10: Ausnutzung von Effizienz-Optimierung und Ressourcenbeschränkungen.
  2. RDL 29: Datenleckage durch MCTS-Planungszustände.
  3. RND 25: Nicht-Determinismus in HTN-Planung.
  4. RND 26: Nicht-Determinismus in MCTS-Planung.
  5. RTE 33: Sonstige Risiken der Vertrauensausbeutung in Multi-Agenten-Systemen.

5. Bedeutung und Fazit

Diese Studie liefert den ersten empirischen Beweis dafür, dass die aktuelle Sicherheitslandschaft für KI-Agenten unzureichend ist, insbesondere für die komplexen, emergenten Risiken von Multi-Agenten-Systemen.

• Paradigmenwechsel: Die Sicherheit von MAS erfordert einen Wechsel von strukturellen, deterministischen Kontrollen hin zu verhaltensbasierten, probabilistischen und vertrauensbasierten Sicherheitsmechanismen.
• Rahmenwerksempfehlung: Für eine umfassende Abdeckung wird eine Kombination aus OWASP ASI (für Design und Architektur) und CDAO GenAI Toolkit (für Entwicklung und Betrieb) empfohlen.
• Zukünftige Forschung: Es besteht ein dringender Bedarf an neuen Rahmenwerken, die sich speziell mit Nicht-Determinismus, Hardware-Ressourcen-Interaktionen (GPU/Quantisierung) und der Sicherheit von Planungsarchitekturen (MCTS, HTN) befassen.

Das Paper dient als kritische Grundlage für die Weiterentwicklung von Sicherheitsstandards (wie NIST oder OWASP), um mit der rasanten Evolution autonomer KI-Systeme Schritt zu halten.