💻 computer science

Adversarial Attack on Black-Box Multi-Agent by Adaptive Perturbation

Dieser Beitrag stellt AdapAM vor, ein neuartiges Black-Box-Adversarial-Attack-Framework für Multi-Agenten-Systeme, das eine adaptive Selektionsstrategie und proxy-basierte Perturbation durch generatives adversariales Imitationslernen kombiniert, um in Zielagenten effektiv und unauffällig bösartige Aktionen hervorzurufen.

Ursprüngliche Autoren: Jianming Chen, Yawen Wang, Junjie Wang, Xiaofei Xie, Yuanzhe Hu, Qing Wang, Fanjiang Xu

Veröffentlicht 2026-04-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jianming Chen, Yawen Wang, Junjie Wang, Xiaofei Xie, Yuanzhe Hu, Qing Wang, Fanjiang Xu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Team von Robotern vor, die gemeinsam ein komplexes Puzzle lösen, ähnlich wie eine Fußballmannschaft, die versucht, ein Spiel zu gewinnen, oder eine Gruppe von Drohnen, die eine Rettungsmission koordiniert. In der Welt der künstlichen Intelligenz nennt man dies ein Multi-Agenten-System (MAS). Diese Teams werden intelligenter und häufiger, doch das bedeutet auch, dass sie zu Zielen für „Hacker" werden, die herausfinden wollen, wie leicht sie getäuscht werden können.

Dieser Beitrag stellt ein neues „Hack"-Werkzeug namens AdapAM vor. Denken Sie daran wie an einen hochqualifizierten, unsichtbaren Saboteur, der entwickelt wurde, um zu testen, wie sicher diese Roboterteams wirklich sind.

Hier ist die Funktionsweise von AdapAM, aufgeschlüsselt in einfache Konzepte:

Das Problem: Das „Alles-oder-Nichts"-Dilemma

Bestehende Methoden zum Testen dieser Roboterteams weisen zwei große Mängel auf:

Sie benötigen eine „White-Box"-Sicht: Die meisten Methoden verlangen, dass der Hacker das innere Gehirn des Roboters (Code und Gewichte) sieht, um zu wissen, wie er ihn brechen kann. In der realen Welt sehen Angreifer jedoch meist nur, was der Roboter sieht (eine „Black Box"), was diese Methoden unbrauchbar macht.
Sie sind zu laut: Einige Methoden versuchen, jeden Roboter im Team gleichzeitig zu stören. Es ist, als würde man versuchen, ein Fußballspiel zu stoppen, indem man jeden einzelnen Spieler zu Fall bringt. Es funktioniert, ist aber offensichtlich, leicht zu erkennen und unrealistisch.

Die Lösung: AdapAM (Der „Scharfschützen"-Ansatz)

AdapAM ist dafür ausgelegt, in einem strengen Black-Box-Setting zu arbeiten (wo der Angreifer den Code nicht sehen kann) und zielt darauf ab, unauffällig (schwer zu erkennen) zu sein. Dies erreicht es mit zwei Haupttricks:

1. Die adaptive Selektionsstrategie (Der „intelligente Scharfschütze")

Anstatt alle zu Fall zu bringen, agiert AdapAM wie ein Scharfschütze.

Funktionsweise: In jedem Moment betrachtet es die Spielsituation und fragt: „Wer ist gerade der wichtigste Spieler? Wenn ich nur eine Person störe, wer wird dann dazu führen, dass das ganze Team verliert?"
Die Analogie: Stellen Sie sich eine Fußballmannschaft vor. Wenn Sie den Torwart zu Fall bringen, könnte das Team verlieren. Wenn Sie einen zufälligen Spieler auf der Bank zu Fall bringen, passiert nichts. AdapAM lernt, den „Torwart" des Moments zu identifizieren und zielt nur auf ihn.
Das Ziel: Es entscheidet auch, was dieser spezifische Roboter dazu gebracht werden soll, zu tun (z. B. „Laufe links statt rechts"). Dies maximiert den Schaden, während die geringstmögliche Anzahl an Agenten berührt wird.

2. Proxy-basierte Perturbation (Der „Doppelagent")

Hier kommt der knifflige Teil: Wie täuscht man einen Roboter, wenn man sein Gehirn nicht sehen kann (Black Box)?

Das Problem: Um einen perfekten Trick (eine „Perturbation") zu erstellen, benötigt man normalerweise die interne Mathematik des Roboters.
Die Lösung: AdapAM erstellt einen Proxy-Agenten. Denken Sie daran wie an einen „Doppelagenten" oder einen „Übungspuppen".
- Zuerst trainiert das System diesen Doppelagenten, sich exakt wie das echte Roboterteam zu verhalten. Es lernt, deren Bewegungen perfekt nachzuahmen.
- Da der Doppelagent unter der Kontrolle des Angreifers steht, kann dieser sein Gehirn sehen (White Box).
- Der Angreifer nutzt den Doppelagenten, um genau herauszufinden, welche winzige, fast unsichtbare Veränderung an der Vision des Roboters dazu führt, dass er einen Fehler macht.
- Sobald der Trick am Doppelagenten entwickelt wurde, wird er auf den echten Roboter angewendet. Da der Doppelagent den echten so gut nachahmt, funktioniert der Trick auch am echten Roboter.

Die Ergebnisse: Unauffällig und effektiv

Die Autoren testeten AdapAM in acht verschiedenen Szenarien, von virtuellen Fußballspielen (Google Football) über Strategiegefechte (StarCraft) bis hin zu Navigationsaufgaben. Sie verglichen es mit vier anderen führenden Methoden.

Effektivität: AdapAM war am besten darin, Roboterteams zum Scheitern zu bringen. Selbst wenn die Roboterteams speziell darauf trainiert waren, widerstandsfähig gegen Angriffe zu sein, gelang es AdapAM dennoch, sie zu zersetzen.
Unauffälligkeit: Hier glänzt AdapAM wirklich.
- Geringste Störung: Die „Tricks", die es einsetzte, waren die kleinstmöglichen Veränderungen. Es ist, als würde man einem Spieler ein Geheimnis zuflüstern, anstatt zu schreien.
- Schwerst zu erkennen: Da es nur einen Agenten stört und winzige Veränderungen nutzt, hatten Sicherheitssysteme, die den Angriff aufspüren wollten, die größte Schwierigkeit, ihn zu finden. Tatsächlich war es viel schwerer zu erkennen als die Methoden, die versuchten, alle zu stören.

Zusammenfassung

Kurz gesagt ist AdapAM eine neue Art, die Sicherheit von Roboterteams zu testen. Anstatt einen Angriff auf alle mit roher Gewalt zu erzwingen, verwendet es eine kluge Strategie, um das einzelne verwundbarste Ziel auszuwählen, und einen Nachahmer, um den perfekten, unsichtbaren Weg zu finden, um sie zu täuschen. Dies macht den Angriff sowohl hochwirksam als auch unglaublich schwer zu bemerken.

Der Beitrag kommt zu dem Schluss, dass diese Methode ein mächtiges Werkzeug ist, um die Schwachstellen von Multi-Agenten-Systemen zu verstehen, damit wir in Zukunft bessere Verteidigungen aufbauen können.

1. Problemstellung

Das Papier adressiert die kritischen Sicherheits- und Zuverlässigkeitsprobleme in Multi-Agent-Systemen (MAS), die in strengen Black-Box-Umgebungen operieren.

Kontext: MAS werden zunehmend in UAVs, Industrierobotik und autonomem Fahren eingesetzt. Sie sind jedoch anfällig für adversarielle Angriffe, bei denen Eingaben manipuliert werden, um die Entscheidungsfindung zu täuschen.
Einschränkungen bestehender Arbeiten:
- White-Box-Annahmen: Viele bestehende Methoden erfordern Zugriff auf interne Modellparameter oder Netzwerkausgaben, was in realen Einsatzszenarien unrealistisch ist.
- Hohe Kontrollbefugnis: Einige Methoden gehen davon aus, dass der Angreifer direkt die Aktionen der Agenten steuern kann, was selten möglich ist.
- Fehlender Trade-off zwischen Tarnung und Wirksamkeit: Aktuelle Black-Box-Methoden manipulieren oft alle Agenten (schlechte Tarnung) oder zielen unabhängig vom Umgebungszustand auf feste Agenten ab (schlechte Wirksamkeit). Ihnen fehlt eine Strategie, um dynamisch das kritischste Opfer und die schädlichste Aktion auszuwählen.
Ziel: Entwicklung eines Angriffsframeworks, das in einer strengen Black-Box-Umgebung operiert (nur Beobachtung von Eingaben/Ausgaben), nur die Beobachtungen der Agenten manipuliert (nicht deren Aktionen) und hohe Wirksamkeit bei gleichzeitig hoher Tarnung erzielt, indem nur ein einziger, adaptiv ausgewählter Agent angegriffen wird.

2. Methodik: AdapAM-Framework

Die Autoren schlagen AdapAM (Adaptive adversarial Attacks on Multi-Agent systems) vor, das aus zwei Kernmodulen besteht:

A. Adaptive Selektionspolitik ( $\pi_\phi$ )

Dieses Modul bestimmt, welcher Agent angegriffen wird und welche bösartige Aktion zu jedem Zeitpunkt ausgelöst werden soll.

Ziel: Maximierung der Verschlechterung der globalen Belohnung des MAS durch Auswahl des kritischsten Agenten (Adversary) und der Aktion, die den schlimmsten Effekt verursacht.
Architektur:
- Modelliert als Reinforcement-Learning (RL)-Prozess unter Verwendung von Soft Actor-Critic (SAC).
- Hierarchisches Design: Um den Suchraum zu reduzieren, verwendet die Politik zwei Klassifikatoren:
  1. $C_{\phi_1}$ : Wählt den Index des Adversary-Agenten ( $i_t$ ) basierend auf dem globalen Zustand $s_t$ .
  2. $C_{\phi_2}$ : Wählt die bösartige Aktion ( $\tilde{a}_t$ ) basierend auf $s_t$ und dem ausgewählten Agenten $i_t$ .
- Belohnungssignal: Die Belohnung für die Selektionspolitik ist das Negative der globalen Belohnung des Opfer-MAS ( $R^\alpha_t = -R(s_t, a_t, s_{t+1})$ ).
Operation: In jedem Schritt sampelt die Politik einen Agenten und eine Zielaktion. Das System versucht dann, die Beobachtung des ausgewählten Agenten so zu manipulieren, dass er diese spezifische Aktion ausführt.

B. Proxy-basierte Manipulation zur Auslösung bösartiger Aktionen

Da das Opfer-MAS eine Black Box ist, kann der Angreifer keine Gradienten direkt berechnen, um Manipulationen zu erzeugen.

Proxy-Agenten: Der Angreifer trainiert eine Reihe von Proxy-Agenten ( $\pi_{\psi}$ ) mittels Multi-Agent Generative Adversarial Imitation Learning (MAGAIL). Diese Proxies approximieren die Politiken der Opfer-Agenten ( $\pi_{\psi} \approx \pi_{victim}$ ), indem sie lernen, deren Abbildungen von Beobachtung zu Aktion nachzuahmen.
Generierung der Manipulation:
- Sobald die Proxy-Agenten trainiert sind, erhält der Angreifer „White-Box"-Zugriff auf das Proxy-Modell.
- Unter Verwendung der C&W (Carlini & Wagner)-Angriffstechnik auf dem Proxy-Modell generiert das System eine manipulierte Beobachtung $\tilde{o}_{t,i}$ , die den Proxy (und durch Transferierbarkeit das Opfer) dazu zwingt, die gewünschte bösartige Aktion $\tilde{a}_t$ auszugeben.
- Die Manipulation wird minimiert (euklidische Distanz), um die Tarnung zu gewährleisten, während die Bedingung erfüllt wird, dass die Politik die Zielaktion ausgibt.
Injektion: Die generierte manipulierte Beobachtung wird in den Eingabestrom des ausgewählten Opfer-Agenten in der realen Black-Box-Umgebung injiziert.

3. Hauptbeiträge

Neuartiges Black-Box-Framework: Einführung von AdapAM, dem ersten Framework, das in einer strengen Black-Box-MAS-Umgebung ohne Anforderung an Aktionskontrolle sowohl das Opfer-Agent als auch die erwartete bösartige Aktion adaptiv auswählt.
Proxy-basierte Manipulation: Einführung einer Methode unter Verwendung von Generative Adversarial Imitation Learning (MAGAIL) zum Training von Proxy-Agenten. Dies schließt die Lücke zwischen Black-Box-Beschränkungen und der Notwendigkeit von White-Box-Gradienteninformationen zur Erzeugung effektiver Manipulationen.
Ausgewogenes Leistungsverhältnis: Erzielung eines überlegenen Trade-offs zwischen Wirksamkeit (Verschlechterung der Systemleistung) und Tarnung (minimale Manipulationsstärke und niedrige Erkennungsraten) durch den Angriff auf nur einen kritischen Agenten statt auf alle Agenten.

4. Experimentelle Ergebnisse

Die Autoren bewerteten AdapAM in 8 Multi-Agent-Umgebungen über drei Benchmarks hinweg: SMAC (StarCraft), GF (Google Research Football) und MPE (Multi-Agent Particle). Sie verglichen es mit vier Baselines: MASafe, AMCA, AMI und Lin.

Angriffsleistung:
- Wirksamkeit: AdapAM reduzierte die Belohnung und die Gewinnrate sowohl von „Normalen" als auch von „Robusten" (mit ROMANCE trainierten) Ziel-MAS signifikant.
- Vergleich: In Umgebungen mit weniger Agenten (<10) reduzierte AdapAM die Gewinnrate auf 0% und übertraf dabei alle Baselines. Selbst in großskaligen Umgebungen (z. B. 27m vs. 30m) blieb es hoch kompetitiv und übertraf oft Methoden, die alle Agenten manipulieren.
- Robustheit: AdapAM behielt auch gegenüber MAS, die speziell für Robustheit gegen Angriffe trainiert wurden, eine überlegene Leistung bei.
- Manipulationsraten: AdapAM übertraf die Baselines konsistent über verschiedene Manipulationsraten (15% bis 100%).
Tarnungsbewertung:
- Manipulationsstärke: Gemessen durch die $L_\infty$ -Norm. AdapAM fügte im Vergleich zu allen Baselines die kleinsten Manipulationen hinzu (z. B. 0,12 vs. 0,33 in SMAC-8m), was Angriffe unmerklich macht.
- Widerstandsfähigkeit gegen Erkennung: Gemessen durch den F1-Score eines bestehenden Angriffs-Erkennungsmechanismus. AdapAM erzielte die niedrigsten F1-Scores (z. B. 0,57 vs. 0,82), was darauf hindeutet, dass es am schwersten zu erkennen ist.
- Begründung: Im Gegensatz zu MASafe (das alle Agenten manipuliert und leicht erkannt wird) gewährleistet der selektive, Einzel-Agent-Ansatz von AdapAM in Kombination mit optimierter Manipulationsgenerierung eine hohe Tarnung.

5. Bedeutung

Sicherheitsbewertung: AdapAM bietet ein rigoroses Werkzeug zur Bewertung der wahren Robustheit von MAS in realistischen Black-Box-Szenarien und deckt Schwachstellen auf, die White-Box- oder nicht-adaptive Methoden übersehen könnten.
Praktikabilität: Durch den Betrieb unter strengen Black-Box-Beschränkungen (nur Manipulation von Beobachtungen) und mit minimalem Angriffsbudget (ein einzelner Agent) spiegelt die Methode realistische Bedrohungsmodelle für kritische Infrastrukturen wie autonomes Fahren und Drohnenschwärme wider.
Implikationen für die Verteidigung: Der Erfolg von AdapAM unterstreicht die Unzulänglichkeit aktueller robuster Trainingsmethoden gegen adaptive, gezielte Angriffe und deutet auf die Notwendigkeit von Verteidigungsmechanismen hin, die sich spezifisch mit der Agentenauswahl und der Integrität von Beobachtungen befassen.

Zusammenfassend zeigt AdapAM, dass adaptive Zielwahl in Kombination mit proxy-basierter White-Box-Generierung eine hochwirksame und getarnte Strategie zur Kompromittierung von Multi-Agent-Systemen darstellt, die sowohl bei Angriffserfolg als auch bei Verschleierung state-of-the-art-Methoden übertrifft.