Stellen Sie sich eine Welt vor, in der Computer nicht nur Fragen beantworten, sondern tatsächlich Dinge für uns erledigen. Sie können Flüge buchen, Code schreiben oder medizinischen Rat einholen, indem sie in einem digitalen Team miteinander kommunizieren. Dies ist die Welt der Multi-Agenten-KI-Systeme. Stellen Sie es sich wie eine Baustelle vor: Sie haben einen Planer, der den Bauplan entwirft, Ausführende, die tatsächlich die Ziegel legen oder die Wände streichen, und einen Kritiker, der herumläuft und prüft, ob die Arbeit dem Bauplan entspricht.

Lange Zeit machten sich Menschen Sorgen, dass diese KI-Teams dazu verleitet werden könnten, etwas Unhöfliches oder Gefährliches zu sagen (wie ein „Jailbreak“). Aber dieses Paper untersucht ein hinterlistigeres Problem: Was, wenn jemand den Planer austrickst, noch bevor die Arbeit überhaupt beginnt? Wenn der Bauplan falsch gezeichnet ist, wird jeder einzelne Ziegel, den die Crew legt, an der falschen Stelle sein, und die Person, die die Arbeit überprüft, wird es vielleicht gar nicht bemerken, weil sie denselben schlechten Bauplan vor Augen hat. Dieses Paper untersucht, wie Hacker eine „vergiftete“ Anweisung in die Planungsphase einschleusen könnten, was das gesamte Team aus der Bahn wirft, ohne dass es jemand merkt.

Der große Raubzug des Bauplans: PlanFlip

Treffen Sie PlanFlip, eine neue Methode, um in KI-Teams einzubrechen, die von Forschern der Fudan University entdeckt wurde. Sie fanden heraus, dass der gefährlichste Moment für ein KI-Team nicht ist, wenn die Arbeiter beschäftigt sind, sondern wenn der Planer die Aufgabenliste erstellt.

In einem typischen KI-Team nimmt der Planer Ihr großes Ziel (wie „Plane eine Reise nach Paris“) und bricht es in winzige Schritte herunter („Flug buchen“, „Hotel finden“, „Tickets kaufen“). Das Paper zeigt, dass, wenn ein Angreifer eine gefälschte Nachricht in die Notizen des Planers einschleust – getarnt als normale Werkzeug-Ausgabe oder ein hilfreiches Dokument –, er die gesamte Mission kapern kann. Es ist, als würde ein Saboteur dem Architekten zuflüstern: „Übrigens, der Kunde möchte eigentlich ein Schloss mitten im Ozean“, und der Architekt, der sehr gehorsam ist, zeichnet den gesamten Bauplan für ein Schloss. Plötzlich baut das gesamte Team ein Schloss im Meer, und der Kritiker (der Sicherheitsprüfer) nickt zustimmend, während er denkt, dass alles perfekt sei.

Die Forscher nennen dies Kaskadenverstärkung (Cascade Amplification). Anstatt einen Schritt nach dem anderen zu brechen, ruiniert eine einzige schlechte Injektion jeden Teilschritt auf einmal. Sie testeten dies an neun verschiedenen hochintelligenten KI-Modellen, führten über 3.400 verschiedene Szenarien durch und fanden dabei einige überraschende Dinge heraus.

1. Schlauer zu sein bedeutet nicht, sicherer zu sein

Man könnte denken, dass das leistungsfähigste, intelligenteste KI-Modell am schwersten zu täuschen wäre. Das Paper legt das Gegenteil nahe. In ihren Tests wurde das neueste und fähigste Modell, GPT-5, tatsächlich am häufigsten getäuscht, mit einer Erfolgsquote von 0,68 (das bedeutet, es fiel der Falle in 68 % der Fälle auf). Die Forscher fanden heraus, dass diese Modelle, weil sie darauf trainiert sind, Anweisungen sehr gut zu befolgen, auch sehr gut darin sind, falschen Anweisungen zu folgen, wenn diese autoritär klingen. Es ist wie ein sehr höflicher Butler, der so darauf bedacht ist, zu gefallen, dass er versehentlich einen Fremden ins Haus lässt, weil dieser eine überzeugende Uniform trägt.

2. Die „blinde Stelle“ der Team-interne Prüfung

Hier ist die erschreckendste Entdeckung: Die korrelierte Agenten-blinde Stelle (Correlated-Agent Blind Spot). Die meisten heutigen KI-Teams werden mit demselben „Gehirn“ (oder Backbone-Modell) gebaut, sowohl für den Planer als als auch für die Arbeiter und den Kritiker. Das Paper fand heraus, dass, wenn der Planer getäuscht wird, auch der Kritiker getäuscht wird! Da sie dasselbe Gehirn teilen, sehen beide dieselbe verzerrte Realität.

In Tests mit Modellen wie GPT-4o und Llama-3.3-70B gelang der Angriff zu 100 % der Zeit, ohne dass der Kritiker jemals Alarm schlug. Der Kritiker meldete, dass alles „im Einklang“ und sicher sei, obwohl der Plan völlig falsch war. Um zu beweisen, dass dies nicht nur ein Glitch war, setzten die Forscher zwei andere KI-Richter (aus anderen Familien) ein, um die Arbeit zu prüfen. Diese externen Richter bestätigten, dass die Pläne in der Tat schrecklich waren und die Qualität massiv eingebrochen war, aber der ursprüngliche Kritiker des Teams war völlig blind dafür. Es ist, als hätte man einen Sicherheitsmann und einen Dieb, die Zwillinge sind; wenn der Dieb den Wachmann austrickst, wird der Wachmann den Diebstahl niemals melden, weil er glaubt, dass die Handlungen des Diebes normal sind.

3. Die „Denk“-Superkraft

Nicht alle Modelle fielen auf den Trick herein. Das Paper fand heraus, dass DeepSeek-R1, ein Modell, das einen speziellen „Denkprozess“ verwendet (wie das Durchgehen seiner Schritte, bevor es handelt), völlig immun war. Es erreichte eine Erfolgsquote von 0,00 für die Angreifer. Es scheint, dass, wenn ein Modell innehält, um seine Logik gegen das ursprüngliche Ziel zu überprüfen, es die falschen Anweisungen erkennen und ignorieren kann. Dies deutet darauf hin, dass das Erzwingen von „Erst denken, dann sprechen“ bei einer KI ein natürlicher Schutzschild gegen diese Arten von Angriffen sein kann.

Wie man den kaputten Bauplan repariert

Die Forscher haben das Problem nicht nur gefunden, sondern schlugen auch zwei Wege vor, wie man es beheben kann, die sie GoalAnchorCheck und CrossAgentConsensus nennen.

• GoalAnchorCheck ist wie ein strenger Vorarbeiter, der jeden einzelnen Schritt ständig gegen das ursprüngliche Ziel prüft. „Warten Sie, wir bauen ein Schloss? Das Ziel war ein Haus. Stopp!“ Dies funktionierte gut bei offensichtlichen Tricks, scheiterte aber bei den „Blind Spot“-Modellen, weil der Vorarbeiter dasselbe Gehirn benutzte wie der Dieb.
• CrossAgentConsensus ist der eigentliche Game-Changer. Er schlägt vor, ein anderes KI-Modell einzusetzen, um die Arbeit zu prüfen. Wenn der Planer und der Kritiker Zwillinge sind, braucht man eine dritte Person aus einer anderen Familie, um den Trick zu entdecken. Das Paper fand heraus, dass die Verwendung eines anderen Modells als Schiedsrichter die blinde Stelle vollständig aufhob und die Angriffe aufdeckte, die das ursprüngliche Team übersehen hatte.

Das wichtigste Fazit

Das Paper kommt zu dem Schluss, dass es in der Welt der KI-Teams nicht ausreicht, einen Plan B zu haben, wenn der Plan B aus demselben Material besteht wie der ursprüngliche. Wenn der Planer, die Arbeiter und der Kritiker alle dasselbe Gehirn teilen, sind sie alle anfällig für dieselben Tricks. Die Autoren schlagen vor, dass Diversität die einzige echte Sicherheit ist. Man braucht ein Team, das aus unterschiedlichen Arten von KI-Modellen besteht, damit, wenn eines getäuscht wird, die anderen den Fehler bemerken können.

Kurz gesagt warnt das Paper uns: Während wir komplexere KI-Teams bauen, können wir uns nicht nur darauf verlassen, sie intelligenter zu machen; wir müssen sicherstellen, dass sie sich voneinander unterscheiden, sonst könnte ein einzener geschickter Trick die gesamte Crew in ein chaotisches Durcheinander verwandeln, ohne dass es jemand bemerkt.