🔢 mathematics

Securing Multi-Agent Systems Against Corruptions via Node Contribution Backpropagation

Dieser Artikel schlägt ein dynamisches Verteidigungsparadigma namens Node Contribution Backpropagation vor, das die Kommunikation in Multi-Agenten-Systemen als gerichteten azyklischen Graphen mit Vorzeichen modelliert, um individuelle Agentenbeiträge durch Rückwärtspropagierung zu berechnen und dadurch die genaue Identifizierung und Isolierung bösartiger Agenten zu ermöglichen, um kollaborative Aufgaben gegen adversariale Korruptionen zu schützen.

Ursprüngliche Autoren: Chengcan Wu, Zhixin Zhang, Mingqian Xu, Zeming Wei, Meng Sun

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chengcan Wu, Zhixin Zhang, Mingqian Xu, Zeming Wei, Meng Sun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „schlechte Apfel" im Gruppenchat

Stellen Sie sich ein Team von Expert-KI-Assistenten vor, die gemeinsam ein schwieriges Rätsel lösen, wie eine Gruppe von Detektiven, die einen Verbrechen aufklären wollen. Dies wird als Multi-Agent-System (MAS) bezeichnet. Sie sprechen miteinander, teilen Hinweise und stimmen über die endgültige Antwort ab.

Das Problem besteht darin, dass einer der Detektive ein „böser Akteur" (ein bösartiger Agent) sein könnte. Anstatt zu helfen, flüstert dieser böse Akteur den anderen falsche Informationen zu. Da das Team einander vertraut, verbreitet sich die Lüge wie ein Virus. Ein Detektive glaubt der Lüge, erzählt sie einem anderen, und bald ist das gesamte Team von einer falschen Schlussfolgerung überzeugt. Dies wird als Korruptionsangriff bezeichnet.

Bestehende Verteidigungsmaßnahmen sind wie Sicherheitsbeamte, die nur den Inhalt dessen prüfen, was die Leute sagen. Wenn ein böser Akteur etwas sagt, das vernünftig klingt, aber tatsächlich eine Lüge ist, übersehen die Wachen dies. Andere Verteidigungsmechanismen betrachten die Struktur des Teams, gehen jedoch davon aus, dass sich die Mitglieder oder Rollen des Teams niemals ändern, was in der realen Welt nicht zutrifft.

Die Lösung: Die „Rückwärts-Bewertungskarte"-Methode

Die Autoren schlagen eine neue Methode namens BPD (Backward Propagation Detection) vor. Stellen Sie sich einen cleveren Detektiv vor, der nicht nur zuhört, was die Leute sagen, sondern den Einfluss jedes einzelnen Wortes bis zum endgültigen Urteil zurückverfolgt.

So funktioniert es, Schritt für Schritt:

1. Die Karte zeichnen (Der DAG)

Zunächst zeichnet das System eine Karte des Gesprächs. Stellen Sie sich eine Zeitachse vor, auf der jedes Mal, wenn ein Agent spricht, ein neuer Halt auf einer Bahnlinie ist.

Knoten: Die Haltestellen (Agenten zu bestimmten Zeitpunkten).
Kanten: Die Gleise, die sie verbinden (wer mit wem sprach).
Schilder: Jede Spur hat ein Schild: Grün (+1), wenn der Zuhörer zustimmte, Rot (-1), wenn er widersprach, oder Grau (0), wenn er es ignorierte.

Dies erzeugt einen „signierten gerichteten azyklischen Graphen" (eine ausgefallene Bezeichnung für eine Einweg-Karte mit farbigen Spuren).

2. Die „Rückwärtspropagierung" (Das Zurückverfolgen der Welle)

Normalerweise denken wir vorwärts: „Ich habe X gesagt, also hast du Y gesagt."
BPD arbeitet rückwärts. Es beginnt am Ende, mit der endgültigen Antwort, zu der sich das Team entschieden hat.

Die Frage: „Wer hat uns tatsächlich zu dieser endgültigen Antwort gedrängt?"
Die Mathematik: Das System führt eine Berechnung durch (ähnlich wie Googles PageRank Webseiten bewertet) rückwärts von der endgültigen Antwort bis zum Anfang.
Die Logik:
- Wenn die endgültige Antwort korrekt ist, erhalten Agenten, die dem richtigen Weg zugestimmt haben, eine hohe Punktzahl.
- Wenn ein Agent das Team zu einer falschen Antwort gedrängt hat, erhält er eine niedrige (oder negative) Punktzahl.
- Entscheidend ist: Wenn ein böser Akteur einen guten Agenten täuscht, wird der „Einfluss-Score" des bösen Akteurs die Kette hinunter weitergegeben. Das System berechnet genau, wie viel Guthaben oder Schuld jeder Agent für das Endergebnis verdient.

3. Die Ausreißer identifizieren

Sobald jeder eine Punktzahl hat, sucht das System nach den Außenseitern.

Stellen Sie sich ein Klassenzimmer vor, in dem jeder eine Punktzahl von 80 erhält, außer einem Schüler, der -50 erhält. Dieser Schüler ist wahrscheinlich der Unruhestifter.
BPD markiert Agenten, deren Punktzahlen stark vom Gruppenmittelwert abweichen. Dies sind die bösartigen Agenten.

4. Die „Operation" (Reparatur des Graphen)

Sobald der böse Agent identifiziert ist, führt das System eine „Operation" durch. Es schneidet die Kommunikationslinien, die von diesem bösen Agenten kommen, durch. Es sagt im Grunde: „Ignorieren Sie alles, was diese Person gesagt hat." Das Team führt das Gespräch dann ohne diesen bösen Einfluss erneut durch, um die korrekte Antwort zu erhalten.

Warum dies besser ist (Die Ergebnisse)

Das Papier testete diese Methode gegen verschiedene „Angriffe", bei denen böse Akteure versuchten, das Team auf unterschiedliche Weise zu täuschen:

Die „subtile Lüge": Nur wenige Wörter ändern, um eine falsche Antwort richtig aussehen zu lassen.
Die „Sicherheitsfalle": Vorgeben, eine normale Frage sei gefährlich, um das Team davon abzuhalten, zu antworten.
Das „sich bewegende Ziel": Die Teamstruktur oder die Identität des bösen Akteurs mitten im Gespräch ändern.

Die Erkenntnisse:

Genauigkeit: BPD fing bösartige Agenten in über 90 % der Fälle auf und schlug alle anderen bestehenden Methoden.
Widerstandsfähigkeit: Selbst wenn sich die Teamstruktur änderte (dynamische Graphen), funktionierte BPD weiterhin perfekt, während andere Methoden versagten.
Geschwindigkeit: Die Methode ist sehr schnell. Sie fügt dem Gespräch nur etwa 10 % zusätzliche Zeit hinzu, was ein kleiner Preis für Sicherheit ist.
Kein Training erforderlich: Im Gegensatz zu anderen Methoden, die „gelernt" werden müssen, wie ein böser Agent aussieht (was Zeit und Daten erfordert), erkennt BPD dies sofort, indem es einfach den Gesprächsverlauf betrachtet.

Zusammenfassende Analogie

Stellen Sie sich eine Gruppe von Freunden vor, die entscheiden, wo sie zum Abendessen gehen sollen.

Alte Verteidigung: Ein Freund prüft, ob die Menüauswahl aller „sicher" aussieht. Ein hinterhältiger Freund könnte ein schreckliches Restaurant vorschlagen, das sicher aussieht, und die Gruppe geht dorthin.
BPD: Ein Freund betrachtet die endgültige Entscheidung („Wir gehen zur Pizza-Stelle"). Er verfolgt zurück: „Wer hat Pizza vorgeschlagen? Wer hat zugestimmt? Wer hat widersprochen?" Er erkennt, dass ein Freund trotz der Aussagen aller anderen, dass sie Pizza hassen, weiterhin Pizza gedrängt hat, und dass die Vorschläge dieses Freundes zu einem schlechten Ergebnis führten. Die Gruppe ignoriert dann die Vorschläge dieses Freundes für die nächste Entscheidung.

Dieses Papier beweist, dass wir durch das mathematische Zurückverfolgen dessen, wer die endgültige Entscheidung beeinflusst hat, die „schlechten Äpfel" in KI-Teams aufspüren und entfernen können, wodurch das gesamte System sicher und genau bleibt.

Technische Zusammenfassung: Sicherung von Multi-Agenten-Systemen gegen Korruptionen durch Rückwärtspropagierung des Node-Beitrags

Problemstellung

Multi-Agenten-Systeme (MAS), die Large Language Models (LLMs) nutzen, haben sich zu einem vorherrschenden Paradigma für komplexe Aufgaben wie Softwareentwicklung und Marktanalyse entwickelt. Die strukturelle Komplexität von MAS führt jedoch zu einzigartigen Sicherheitsanfälligkeiten, die sich von Angriffen auf einzelne Agenten unterscheiden. Insbesondere sind MAS anfällig für Korruptionsangriffe, bei denen adversarische Agenten irreführende Informationen injizieren, die sich kontagiös durch das System ausbreiten. Im Gegensatz zu Angriffen, die einzelne LLMs gezielt angreifen, nutzen diese Angriffe die kollaborative Natur von MAS aus und verursachen kaskadierende Ausfälle, bei denen harmlose Agenten durch den schädlichen Einfluss eines einzigen kompromittierten Knotens korrumpiert werden.

Bestehende Verteidigungsmechanismen weisen erhebliche Einschränkungen auf:

Ausgangsbasierte Verteidigungen (z. B. Mehr-Runden-Debatten, Prüfungen der Ähnlichkeit von Ausgaben) sind anfällig für subtile textuelle Perturbationen und können umgangen werden, wenn Angreifer den Bewerter ins Visier nehmen.
Graphenbasierte Verteidigungen verlassen sich häufig auf statische Topologien oder lokale Signale (z. B. das Trainieren von Klassifikatoren auf lokalen Zuständen). Diese erfassen die globale Ausbreitung korrupter Informationen bis zur endgültigen Entscheidung nicht und können sich nicht an dynamische Umgebungen oder sich entwickelnde Angriffsstrategien anpassen.

Methodik: Rückwärtspropagierungs-Erkennung (Backward Propagation Detection, BPD)

Die Autoren schlagen Backward Propagation Detection (BPD) vor, ein dynamisches Verteidigungsparadigma, das die Kommunikation in MAS als gerichteten azyklischen Graphen (DAG) mit Vorzeichen modelliert, um den Einfluss der Agenten global zu analysieren. Die Methodik besteht aus vier Schlüsselphasen:

1. Graph-Rekonstruktion (DAG mit Vorzeichen)

Die MAS-Interaktion wird als zeitlicher DAG modelliert, wobei:

Knoten Agenten zu spezifischen Kommunikationsrunden ( $A_t^{(i)}$ ) repräsentieren.
Kanten Nachrichten darstellen, die zwischen Agenten gesendet werden.
Kantengewichte vorzeichenbehaftete Scores ( $g_{ij} \in \{-1, 0, 1\}$ ) sind, die von einem externen, unabhängigen LLM-Bewerter bestimmt werden. Diese Scores geben an, ob der Empfänger der Nachricht des Senders zustimmt ($1$), widerspricht ($-1$) oder einen geringen Beitrag feststellt ($0$).

2. Vorzeichenbehafteter Einflussoperator

Ein vorzeichenbehafteter Propagierungsoperator $B = D^{-1}G$ wird definiert, wobei $G$ die Matrix der vorzeichenbehafteten Kantengewichte und $D$ die Diagonalmatrix der Ausgangsgrade ist. Dieser Operator quantifiziert den vorzeichenbehafteten Einfluss eines Agenten auf einen anderen, normalisiert durch den Ausgangsgrad des Empfängers.

3. Rückwärtspropagierung des Scores

Die Kerninnovation ist ein Rückwärtspropagierungsmechanismus, der den Beitrag jedes Agenten zur endgültigen Entscheidung berechnet:

Initialisierung: Die Endschicht (endgültige Antwort) wird mit $+1$ initialisiert, wenn die Ausgabe eines Agenten mit der endgültigen Entscheidung übereinstimmt, und mit $-1$, falls nicht.
Propagierung: Scores werden unter Verwendung der Kettenregel-Struktur des DAGs von der letzten Runde ( $T$ ) rückwärts zur ersten Runde ($1$) propagiert. Der Beitragsscore $S(C_i)$ für einen Knoten ist die gewichtete Summe der Scores seiner Nachfolger.
Mechanismus: Dieser Prozess fasst sowohl lokale Übereinstimmung als auch nachgelagerte Auswirkungen in einem einzigen effizienten Durchlauf zusammen, analog zu einem vorzeichenbehafteten, schichtweisen PageRank auf einem DAG.

4. Ausreißererkennung und Abhilfe

Aggregation: Die pro-Agenten-Beitragsscores werden über alle Runden gemittelt.
Erkennung: Agenten mit Beitragsscores, die signifikant von der Mehrheit abweichen (gemessen durch die paarweise Abweichung $\Delta(i)$ , die einen Schwellenwert $\epsilon$ überschreitet), werden als böswillig markiert.
Reparatur: Das System wird repariert, indem alle ausgehenden Kommunikationskanten von den erkannten böswilligen Agenten entfernt (geschnitten) werden, wodurch die Korruptionsquelle effektiv isoliert wird.

Hauptbeiträge

Formulierung als DAG mit Vorzeichen: Der Artikel führt eine prinzipielle, globale Modellierung der MAS-Kommunikation als DAG mit Vorzeichen ein und adressiert damit die Einschränkung bestehender Verteidigungen, die sich ausschließlich auf lokale Signale verlassen.
Methode der Rückwärtspropagierung: Ein neuartiger Algorithmus wird vorgeschlagen, um die Beiträge von Agenten zuverlässig zu bewerten, indem die vorzeichenbehaftete kumulative Einflussnahme von der endgültigen Entscheidung zurück zur Quelle verfolgt wird. Dies ermöglicht die Identifizierung latenter böswilliger Agenten ohne Offline-Training.
Empirische Validierung: Umfassende Experimente zeigen, dass BPD bestehende Baselines (z. B. G-Safeguard, AgentXposed) über diverse MAS-Architekturen (flach und hierarchisch), Backbone-Modelle (GPT-4o, DeepSeek-V3) und Angriffstypen hinweg übertrifft.

Experimentelle Ergebnisse

Die Autoren evaluierten BPD bei Wissensfragen-Antwort-Aufgaben (MMLU) und Aufgaben zur offenen Generierung (Alpaca, Samsum, ChatDoctor) unter fünf repräsentativen Korruptionsangriffen (Harmful, Suboptimal, Reframing, Trigger, Modification).

Verbesserung der Genauigkeit: BPD verbesserte die Aufgabengenauigkeit um 3 % bis 7 % über die Benchmarks hinweg im Vergleich zu den stärksten Baselines. In flachen und hierarchischen Strukturen verbesserte es die Genauigkeit unter Angriff um 10 % bzw. 8 %.
Erkennungsleistung: BPD erreichte eine durchschnittliche Erkennungsgenauigkeit von über 90 % für böswillige Agenten und übertraf Baselines signifikant. Bemerkenswert ist, dass BPD bei „Modification"-Angriffen (subtile semantische Änderungen) Gewinne von 16 % bzw. 10 % gegenüber Baselines erzielte, die Schwierigkeiten hatten, diese schleichenden Perturbationen zu erkennen.
Dynamische Anpassungsfähigkeit: In dynamischen Szenarien, in denen sich Graphstrukturen und Identitäten der Angreifer im Laufe der Zeit ändern, verschlechterten sich konkurrierende Verteidigungen im Durchschnitt um 3 %, während BPD seine Leistung beibehielt, was seine Anpassungsfähigkeit bestätigt.
Effizienz: Die Methode verursacht einen zusätzlichen Zeitaufwand von weniger als 10 % (ca. 9–10,6 %) im Vergleich zu Standard-MAS, da sie auf leichtgewichtige externe Bewertung statt auf iterative Konvergenz oder Neutraining angewiesen ist.
Robustheit: BPD blieb gegenüber System-bewussten (SA) adaptiven Angriffen, bei denen Angreifer über Kenntnisse des Verteidigungsmechanismus verfügen, robust und hielt eine durchschnittliche Genauigkeit zwischen 83 % und 85 % aufrecht.

Bedeutung und Behauptungen

Der Artikel behauptet, dass BPD einen effektiven „Sicherheitsgurt" für den vertrauenswürdigen Einsatz von MAS bietet, indem es das Verteidigungsparadigma von einer statischen, lokalen Analyse hin zu einer dynamischen, globalen Reasoning verschiebt.

Anpassungsfähigkeit: Im Gegensatz zu statischen Verteidigungen erfordert BPD kein Neutraining bei Änderungen der Topologie und ist somit für sich entwickelnde MAS-Umgebungen geeignet.
Interpretierbarkeit: Der vorzeichenbehaftete Propagierungsoperator bietet einen transparenten Mechanismus zur Verfolgung des Einflusses, der den kumulativen Einfluss eines Agenten auf die endgültige Entscheidung direkt widerspiegelt.
Praktikabilität: Die Methode erreicht hohe Sicherheit bei minimalen Rechenkosten, was sie für den Einsatz in der realen Welt geeignet macht.

Die Autoren schließen daraus, dass strukturelle und dynamische Analysen für die Sicherung kollaborativer KI-Systeme entscheidend sind und dass ihr Ansatz den Weg für robustere, topologiebewusste Schutzstrategien ebnet. Als zukünftige Arbeit wird vorgeschlagen, adaptive Schwellenwertmechanismen und die Echtzeiterkennung in größeren Skalierungen zu erforschen.