🤖 AI

INFA-Guard: Mitigating Malicious Propagation via Infection-Aware Safeguarding in LLM-Based Multi-Agent Systems

Dieses Paper stellt INFA-Guard vor, ein neuartiges Verteidigungsframework für LLM-basierte Multi-Agenten-Systeme, das die bösartige Ausbreitung mildert, indem es infizierte Agenten differenziert und rehabilitiert, anstatt sich auf binäre Klassifizierungen zu verlassen, wodurch die Erfolgsrate von Angriffen signifikant reduziert wird, während die topologische Integrität bewahrt bleibt.

Ursprüngliche Autoren: Yijin Zhou, Xiaoya Lu, Dongrui Liu, Junchi Yan, Jing Shao

Veröffentlicht 2026-01-22

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yijin Zhou, Xiaoya Lu, Dongrui Liu, Junchi Yan, Jing Shao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein großes Team aus Experten-Robotern vor (genannt Multi-Agenten-Systeme), die zusammenarbeiten, um ein komplexes Problem zu lösen, wie etwa die Planung des Stadtverkehrs oder die Diagnose eines Patienten. Sie unterhalten sich miteinander, tauschen Ideen aus und stimmen über die beste Lösung ab.

Die Arbeit stellt ein neues Sicherheitssystem namens INFA-GUARD vor, um diese Roboter-Teams vor einer bestimmten Art von Sabotage zu schützen.

Das Problem: Das „Zombie“-Virus

In der Vergangenheit suchten Sicherheitswachen für diese Roboter-Teams nur nach zwei Arten von Akteuren:

Den Bösen: Roboter, die von Anfang an gehackt wurden und versuchen, den Plan zu ruinieren.
Den Guten: Roboter, die unschuldig sind und korrekt arbeiten.

Die Arbeit argumentiert, dass dies zu einfach ist. Es übersieht eine dritte, gefährliche Gruppe: Die Infizierten.

Stellen Sie sich das wie einen Grippeausbruch in einem Büro vor:

Der Angreifer: Eine Person, die mit der Grippe hereinkommt und anfängt, alle anzuhusten.
Die Infizierten: Ein Kollege, der gesund war, aber krank wurde, weil er neben dem Angreifer saß. Er ist nicht die ursprüngliche Quelle, aber er ist nun krank und verbreitet das Virus an andere weiter.
Die alte Wache: Das Sicherheitsteam wirft nur die Person raus, die mit der Grippe hereingekommen ist. Sie lässt den „infizierten“ Kollegen jedoch unbeachtet. Der infizierte Kollege verbreitet die Grippe also weiter, und das ganze Büro wird trotzdem krank.

Die Arbeit sagt, dass in KI-Roboter-Teams „Angreifer“ überzeugende Argumente nutzen, um unschuldige Roboter dazu zu bringen, falsche Informationen zu glauben. Sobald sie getäuscht wurden, werden diese unschuldigen Roboter „infiziert“. Sie sind nicht von Natur aus böse, aber sie verbreiten nun die schlechten Ideen. Wenn man nur den ursprünglichen Angreifer entfernt, aber die infizierten Roboter zurücklässt, setzt sich der Schaden fort.

Die Lösung: INFA-GUARD

INFA-GUARD ist ein neues Sicherheits-Framework, das diesen „Infektionsprozess“ versteht. Es fungiert wie ein intelligenter Gesundheitsinspektor, der nicht nur nach der Person sucht, die das Virus mitgebracht hat, sondern auch identifiziert, wer es aufgeschnappt hat und es nun weiterverbreitet.

So funktioniert es in drei einfachen Schritten:

Erkennung der Infektion (Das Radar):
Anstatt nur zu prüfen, ob ein Roboter „gut“ oder „schlecht“ ist, beobachtet INFA-GUARD, wie die Roboter über die Zeit miteinander kommunizieren. Es achtet auf den Moment, in dem ein gesunder Roboter beginnt, sich seltsam zu verhalten, nachdem er mit einem verdächtigen Roboter gesprochen hat. Es nutzt eine spezielle Karte der Verbindungen des Teams, um zu sehen, wer mit wem spricht. Wenn ein Roboter seltsam agiert, aber isoliert ist, könnte dies ein Fehlalarm sein. Aber wenn ein Roboter seltsam agiert und neben einem bekannten bösen Akteur sitzt, markiert das System ihn als „infiziert“.
Reparatur des Teams (Die Triage):
Sobald das System weiß, wer wer ist, ergreift es unterschiedliche Maßnahmen:
- Für die Angreifer: Es wirft sie vollständig aus dem Team heraus und ersetzt sie durch einen frischen, gesunden Roboter. Dies stoppt die Quelle des Giftes.
- Für die Infizierten: Es wirft sie nicht raus! Stattdessen „heilt“ es sie. Es nimmt ihre schlechte Antwort, schreibt sie um, um das Gift zu entfernen, und lässt sie im Team bleiben. Dies bewahrt die Struktur des Teams und stellt sicher, dass das Team keine wertvollen Mitglieder verliert.
Aufrechterhaltung der Karte:
Das System achtet darauf, das Kommunikationsnetzwerk des Teams nicht zu beschädigen. Indem es die infizierten Roboter repariert, anstatt sie einfach zu löschen, bleibt das Team verbunden und kann weiterhin Probleme effektiv lösen.

Die Ergebnisse

Die Autoren testeten dieses System gegen verschiedene Arten von „Angriffen“ (wie das Täuschen von Robotern mit gefälschten Daten oder schlechten Werkzeugen). Sie fanden heraus:

Es arbeitet besser: Es stoppte die Verbreitung schlechter Ideen wesentlich effektiver als bisherige Sicherheitsmethoden (Reduzierung der Erfolgsrate von Angriffen um durchschnittlich etwa 33 %).
Es ist effizient: Es benötigt keine enorme zusätzliche Rechenleistung, was es praktikabel macht.
Es ist flexibel: Es funktioniert gut, egal ob die Roboter in einem Kreis, einer Linie oder einer zufälligen Gruppe angeordnet sind, und es funktioniert mit verschiedenen Arten von KI-Gehirnen.

Kurz gesagt: INFA-GUARD erkennt, dass das „Infiziertsein“ durch eine schlechte Idee ein anderes Problem ist als ein „böser Akteur“ von vornherein zu sein. Indem es sie unterschiedlich behandelt, bewahrt es das gesamte Team vor dem Zusammenbruch.

Technisches Resümee: INFA-GUARD

Problemstellung

Die rasante Entwicklung von auf Large Language Models (LLM) basierenden Multi-Agenten-Systemen (MAS) hat signifikante Sicherheitslücken geschaffen, bei denen bösartiger Einfluss viral durch die Inter-Agenten-Kommunikation propagieren kann. Bestehende Schutzmaßnahmen für MAS operieren typischerweise unter einem Binärparadigma – einer strikten Unterscheidung zwischen „benignen“ (gutartigen) Agenten und „Angriffs“-Agenten – und versäumnen es, eine kritische dritte Kategorie zu berücksichtigen: infizierte Agenten.

Infizierte Agenten sind gutartige Entitäten, die durch Angriffs-Agenten überzeugt oder irregeführt wurden, was dazu führt, dass ihre interne Logik kompromittiert wird. In der Folge geben sie fehlerhafte Schlussfolgerungen aus und verbreiten weiterhin schädliche Informationen, selbst wenn die ursprünglichen Angriffs-Agenten entfernt wurden. Aktuelle Abwehrmethoden übersehen diese infizierten Agenten oft, was zu zwei primären Fehlern führt:

Fortgesetzte Propagation: Infizierte Agenten fungieren als sekundäre Propagatoren, die den Angriff aufrechterhalten, selbst nachdem die Quelle gekappt wurde.
Verlust topologischer Informationen: Bestehende Methoden versäumnen es, die strukturelle Beziehung zu nutzen, wonach infizierte Agenten mit hoher Wahrscheinlichkeit benachbart zu Angriffsquellen sind, wodurch ein entscheidender Indikator für die Lokalisierung ungenutzt bleibt.

Methodik: INFA-GUARD

Das Paper schlägt INFA-GUARD (Infection-Aware Guard) vor, ein Verteidigungsframework, das explizit zwischen originären Angriffs-Agenten und persuadierten infizierten Agenten unterscheidet. Das Framework operiert durch drei Kernmechanismen:

1. Infektionsbewusste Detektion (Infection-Aware Detection)

Das System modelliert das MAS als Graphen $G=(V, E)$ und behandelt die Detektion als Graph-Anomalie-Erkennung.

Temporale Dynamik: Es erfasst den dynamischen Übergang von Agenten vom benignen zum infizierten Zustand, indem es die temporalen Embeddings der Agenten-Äußerungen modelliert. Eine spezialisierte Funktion $\Psi$ destilliert diese Dynamiken durch die Analyse von Selbst-Antworten und Nachrichten-Austauschen über Iterationen hinweg.
Turn-Adaptive GNN: Um der evolvierenden Natur von Infektionen gerecht zu werden, setzt der Detektor ein Graph Neural Network (GNN) mit turn-adaptiven parallelen Zweigen ein. Dies ermöglicht es dem Modell, Parameter spezifisch für verschiedene Stadien des Multi-Agenten-Dialogs zu optimieren.
Dual-Head-Klassifizierung: Das Modell nutzt eine Dual-Head-Architektur, um gleichzeitig die Wahrscheinlichkeit vorherzusagen, ob ein Agent ein Angreifer ( $V_{atk}$ ) oder ein infizierter Agent ( $V_{inf}$ ) ist, wobei sie als unterschiedliche Bedrohungskategorien behandelt werden.

2. Räumliche Anpassung via Topologie-Constraints

Das Framework integriert topologische Constraints, die aus der Beobachtung abgeleitet sind, dass Infektion ein strukturell beschränkter Prozess und kein Zufallsprozess ist.

Guilt-by-Association (Schuld durch Assoziation): Das System erzwingt eine Constraint, bei der die Präsenz eines infizierten Agenten die Wahrscheinlichkeit einer Angriffsquelle in seiner unmittelbaren Nachbarschaft signifikant erhöht.
Loss-Funktion: Ein topologiebewusster Loss-Term ( $L_{topo}$ ) wird während des Trainings hinzugefügt, um die Identifizierung „isolierter“ infizierter Agenten zu bestrafen, denen angrenzende Angriffs- oder infizierte Agenten fehlen, wodurch Fehlalarme reduziert werden.
Post-Adaption: Während der Remediation verfeinert das System die Vorhersagen durch die Analyse von temporalen Trends und Nachbarschaftsbeziehungen. Wenn ein Agent als infiziert vorhergesagt wird, aber isoliert ist, inferiert das System die Existenz unentdeckter Nachbarn und passt die Klassifizierung der Nachbarn entsprechend an.

3. Gezielte Remediation (Targeted Remediation)

INFA-GUARD verwendet unterschiedliche Strategien für die beiden Bedrohungskategorien, um die topologische Integrität des Systems zu bewahren:

Angriffs-Agenten: Diese werden durch benigne Agenten ersetzt (ausgewählt basierend auf der niedrigsten Angriffs-Wahrscheinlichkeit), um die Generierung bösartiger Antworten zu stoppen, während die Graphstruktur erhalten bleibt.
Infizierte Agenten: Diese werden rehabilitiert statt entfernt. Das System nutzt eine Antwort-Ebene-Remediation-Funktion ( $R_F$ ), die ein LLM nutzt, um die Antwort des Agenten zu prüfen und umzuschreiben, wobei der bösartige Kontext entfernt wird, während die hilfreiche Semantik erhalten bleibt. Dies ermöglicht es dem Agenten, als benigner Informationslieferant in nachfolgenden Iterationen zu fungieren.

Kernbeiträge

Neuartige Bedrohungskategorisierung: Das Paper definiert und adressiert als erstes explizit infizierte Agenten als eine eigenständige Bedrohungskategorie in der MAS-Sicherheit und bewegt sich damit über das binäre Benign/Attack-Paradigma hinaus.
Infektionsbewusstes Framework: Es führt einen Verteidigungsmechanismus ein, der sowohl Angriffsquellen als auch infizierte Agenten unter Nutzung temporaler Dynamiken und topologischer Constraints gemeinsam detektiert und lokalisiert.
Bewahrung der Topologie: Im Gegensatz zu Methoden, die Knoten entfernen (was die Konnektivität des Systems stört), ersetzt INFA-GUARD Angreifer und rehabilitiert infizierte Agenten, wodurch die strukturelle Integrität und die Diversität der Antworten des MAS gewahrt bleiben.
Empirische Validierung: Das Framework wird über diverse Angriffsszenarien (Prompt Injection, Tool Attacks, Memory Attacks), verschiedene LLM-Backbones (GPT-4o-mini, Qwen3) und verschiedene Topologien (Chain, Tree, Star, Random) hinweg validiert.

Experimentelle Ergebnisse

Umfangreiche Experimente zeigen, dass INFA-GUARD eine State-of-the-Art-Performance erreicht:

Attack Success Rate (ASR): Das Framework reduziert die ASR im Durchschnitt um 33 % im Vergleich zu Baselines. In spezifischen Szenarien übertrifft es die beste bestehende Baseline (Inspector) um Margen von über 3 % bis 12,9 %. Beispielsweise erreichte es bei Tool Attacks (TA) einen ASR@3 von 2,1 % auf GPT-4o-mini, was signifikant niedriger ist als bei der Konkurrenz.
Defense Success Rate (MDSR): Es erreicht konsistent die höchste MDSR über alle Aufgaben hinweg und erholt sich auf 98,3 % bei Tool Attacks und 96,7 % bei Memory Attacks.
Skalierbarkeit: Die Methode demonstriert eine robuste Generalisierung auf größere Systeme (bis zu 50 Agenten) ohne Retraining und zeigt „Self-Healing“-Fähigkeiten, bei denen die ASR über die Kommunikationsrunden hinweg sinkt.
Effizienz: INFA-GUARD erreicht einen überlegenen Trade-off zwischen Kosten und Leistung. Es verursacht lediglich einen Anstieg von 7,2 % bei den Prompt-Tokens und 9,3 % bei den Completion-Tokens, was signifikant niedriger ist als bei Baselines wie AgentXposed (welches über 200 % Overhead erreichen kann).

Signifikanz und Ansprüche

Das Paper behauptet, dass INFA-GUARD eine methodische Lösung bietet, um die Ausbreitung von Angriffen von der Wurzel aus einzudämmen, indem es die „Infektions-Dynamik** adressiert, die bisherige binäre Abwehrmethoden ignoriert. Durch die explizite Modellierung des Übergangs vom benignen zum infizierten Zustand und die Nutzung topologischer Constraints sichert das Framework MAS effektiv ab, ohne deren kollaborative Konnektivität zu beeinträchtigen.

Die Autoren positionieren diese Arbeit als einen notwendigen Schritt zur Entwicklung vertrauenswürdiger kollaborativer KI-Ökosysteme und argumentieren, dass das Überschreiten binärer Detektionsparadigmen entscheidend ist, um unethischen und bösartigen Aktivitäten in fortgeschrittenen Multi-Agenten-Umgebungen entgegenzuwirken. Die Arbeit hebt hervor, dass das Ignorieren infizierter Agenten Systeme anfällig für residuelle Sicherheitsrisiken macht, während INFA-GUARD einen umfassenden Ansatz für sowohl Detektion als auch Rehabilitation bietet.