⚡ electrical engineering

Resilient Consensus in Agentic AI

Diese Arbeit zeigt auf, dass promptgesteuerte LLM-Agenten in adversariellen Multi-Agenten-Szenarien, in denen die klassische Theorie Erfolg garantiert, oft keine resiliente Konsensbildung erreichen, das Einbetten dieser Agenten in klassische resiliente Konsensfilter jedoch die Übereinstimmung effektiv wiederherstellen kann, insbesondere in Topologien mit begrenzter inhärenter Robustheit.

Ursprüngliche Autoren: Sribalaji C. Anand, George J. Pappas

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sribalaji C. Anand, George J. Pappas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Gruppe intelligenter, autonomer Roboter vor (angetrieben durch Large Language Models, oder LLMs), die gemeinsam eine einzige Entscheidung treffen wollen, wie zum Beispiel die Einigung auf eine Zahl zwischen 0 und 50. Dies ist eine häufige Aufgabe für KI-Teams. Einige dieser Roboter könnten jedoch „böse Akteure“ (Byzantine Agents) sein, die versuchen, die Gruppe zu verwirren und sie daran hindern, sich zu einigen.

Diese Arbeit stellt eine einfache Frage: Funktionieren die alten, bewährten Regeln für die Einigung von Robotern noch, wenn die Roboter fortgeschrittene KIs verwenden, die unvorhersehbar sein können?

Hier ist die Aufschlüsselung dessen, was die Forscher herausgefunden haben, unter Verwendung alltäglicher Analogien:

1. Die „alten Regeln“ vs. die „KI-Realität“

In der Welt der traditionellen Informatik gibt es strenge mathematische Regeln dafür, wann eine Gruppe sich einigen kann.

Die Regel: Wenn man eine Gruppe von $N$ Robotern hat und bis zu $B$ von ihnen böse sind, kann sich die Gruppe immer einigen, wenn die Gesamtzahl der Roboter mindestens dreimal so groß wie die Anzahl der Bösen plus 1 ist ( $N \ge 3B + 1$ ). Denken Sie an ein Wahlsystem: Wenn die guten Wähler eine starke Mehrheit bilden, können sie die Saboteure überstimmen.
Das KI-Problem: Die Forscher testeten dies mit KI-Agenten. Selbst wenn sie genug gute Agenten hatten, um die alten mathematischen Regeln zu erfüllen (die „sichere Zone“), konnten sich die KI-Agenten trotzdem nicht einigen.
Die Analogie: Stellen Sie sich eine Jury aus 10 Personen vor, bei der die Mathematik besagt, dass 4 böse Akteure ein Urteil nicht verhindern könnten. In einem normalen Gerichtssaal können sie das nicht. Aber bei diesen KI-Jurors wurden selbst die guten Jurors verwirrt, stritten aneinander vorbei und konnten sich nicht auf eine einzige Zahl einigen, obwohl nur 2 böse Akteure vorhanden waren. Das „Gehirn“ der KI (der Prompt) folgte nicht den logischen Schritten, die nötig wären, um zu einem Schluss zu kommen, obwohl die Zahlen sagten, dass es möglich sein sollte.

2. Die „Filter“-Lösung

Da die KI-Agenten alleine scheiterten, versuchten die Forscher, sie in einen „Sicherheitsfilter“ einzuhüllen. Dieser Filter ist ein klassisches Werkzeug aus der Informatik, das als MSR-Filter bezeichnet wird.

Wie es funktioniert: Stellen Sie sich eine Gruppe von Menschen vor, die Zahlen herausrufen. Bevor jemand eine endgültige Entscheidung trifft, schaut sich ein Moderator (der Filter) alle Zahlen an, wirft die höchsten und die niedrigsten Zahlen weg (welche wahrscheinlich die bösen Akteure sind, die die Gruppe in die Extreme treiben wollen) und berechnet dann den Durchschnitt der verbleibenden „mittleren“ Zahlen.
Das Ergebnis: Als sie diesen Filter hinzufügten, einigten sich die KI-Agenten plötzlich perfekt, selbst in Situationen, in denen sie zuvor gescheitert waren.
Die Nuance: Der Filter funktioniert am besten, wenn die Gruppe bereits etwas vernetzt und robust ist.
- In einer voll vernetzten Gruppe (jeder spricht mit jedem): Der Filter war ein Superheld und behob fast jedes Scheitern.
- In einer ungeordneten Gruppe (einige sprechen mit einigen, aber nicht mit allen): Der Filter half, aber nicht so dramatisch. Warum? In einer ungeordneten Gruppe haben die bösen Akteure bereits einen schwereren Stand, Chaos zu verbreiten, einfach durch die Natur des Netzwerks. Der Filter bietet zusätzliche Sicherheit, aber die Netzwerkstruktur leistete bereits einen Teil der schweren Arbeit.

3. Die Grenzen testen

Die Forscher führten viele Tests durch, um sicherzustellen, dass dies kein Zufall war:

Unterschiedliche „Temperaturen“: Sie änderten, wie „zufällig“ oder „kreativ“ die KI sein durfte. Das Scheitern trat auf allen Ebenen der Zufälligkeit auf, und der Filter behob es auf allen Ebenen.
Unterschiedliche Zeitlimits: Sie gaben der KI mehr oder weniger Zeit zum Sprechen. Denen mehr Zeit zu geben, half der ungefilterten KI nicht, sich zu einigen; sie stritten sich nur länger. Der Filter hingegen half ihnen, sich schnell zu einigen.
Den Feind erraten: In der realen Welt weiß man vielleicht nicht genau, wie viele böse Akteure im Raum sind. Die Forscher testeten einen Filter, der annahm, dass „es mindestens 6 Bösewichte gibt“, selbst wenn es nur 2 oder 4 waren. Er funktionierte immer noch perfekt und bewies, dass der Filter robust ist, selbst wenn man die Gefahr überschätzt.

Das Fazament

Die Arbeit kommt zu dem Schluss, dass klassische mathematische Regeln für Sicherheit immer noch nützlich für KI sind, aber man kann sich nicht einfach darauf verlassen, dass die KI ihnen natürlich folgt.

Die Lücke: Es gibt eine Lücke zwischen dem, was eine KI kann (mathematisch möglich) und dem, was ein Standard-KI-Prompt tatsächlich tut (oft scheitert).
Die Lösung: Indem man einen einfachen, klassischen „Filter“ hinzufügt, der extreme Ausreißer ignoriert, kann man die KI-Agenten dazu bringen, sich wie die zuverlässigen Roboter zu verhalten, die die Mathematik vorhersagt.

Kurz gesagt: KI-Agenten sind intelligent, aber sie sind schlecht darin, die „Spielregeln“ zu befolgen, wenn es darum geht, sich zu einigen. Wenn man einen strengen Schiedsrichter (den Filter) beauftragt, den Lärm zu bereinigen, können sie endlich einen Konsens erreichen.

Technische Zusammenfassung: Resiliente Konsensbildung in der Agentischen KI

Problemstellung
Large Language Model (LLM)-Agenten werden zunehmend in Multi-Agenten-Systemen eingesetzt, die eine Koordination und gemeinsame Entscheidungsfindung erfordern. Eine kritische Herausforderung entsteht, wenn diese Agenten einen Konsens in Gegenwart von adversären oder fehlerhaften Akteuren (Byzantine Agents) erreichen müssen. Während die klassische Theorie verteilter Systeme strenge Garantien für den Konsens unter deterministischen Agenten bietet, bleibt unklar, ob sich diese theoretischen Grenzen und Algorithmen auf LLM-Agenten übertragen lassen, die mittels probabilistischem Prompting statt deterministischer Update-Regeln operieren. Die vorliegende Arbeit untersucht, ob durch Prompting gesteuerte LLM-Policies den Konsens erreichen können, der durch klassische resiliente Konsensbedingungen garantiert wird, und ob klassische Filtermechanismen Ausfälle in der agentischen KI abmildern können.

Methodik
Die Autoren rahmen das Problem der Übereinstimmung unter LLM-Agenten als ein Byzantine-Consensus-Spiel. Der Versuchsaufbau umfasst ein synchrones Netzwerk von $N$ Agenten, bestehend aus $H$ ehrlichen Agenten und $B$ Byzantine-Agenten, die über vollständige und allgemeine gerichtete Graphen kommunizieren.

Agenten: Ehrliche Agenten werden durch das LLM meta-Llama-3.2-3B-Instruct modelliert, deren Aufgabe es ist, sich auf eine ganze Zahl zwischen 0 und 50 zu einigen. Sie erhalten Vorschläge von Nachbarn und generieren neue Vorschläge mittels Prompt Engineering.
Adversäre: Byzantine-Agenten sind ebenfalls LLMs, die darauf programmiert sind, strategisch Werte (entweder hoch oder niedrig) vorzuschlagen, um die ehrlichen Agenten an der Konvergenz zu hindern.
Protokoll: Das System läuft über einen festen Zeithorizont ( $T_{max}$ ). In jeder Runde senden Agenten Vorschläge aus, und ehrliche Agenten aktualisieren ihren Zustand basierend auf den empfangenen Werten.
Intervention: Die Studie evaluiert die Wirksamkeit der Einbettung von LLM-Policies in klassische resiliente Konsensfilter, spezifisch den Global MSR-Typ Filter (für vollständige Graphen) und den Local MSR-Typ Filter (für allgemeine Graphen). Diese Filter funktionieren, indem sie die $f$ kleinsten und die $f$ größten Werte aus dem empfangenen Satz entfernen, bevor ein Agent seinen nächsten Vorschlag berechnet.

Wesentliche Beiträge

Formalisierung des LLM-Konsensversagens: Die Autoren formalisieren das Byzantine-Consensus-Spiel für LLMs und zeigen auf, dass durch Prompting gesteuerte LLM-Policies selbst in Regimen scheitern, in denen die klassische Theorie eine konvergente Algorithmusgarantie bietet (speziell wenn $N \ge 3B + 1$ ). Dieses Versagen bleibt über variierende Temperaturen und Zeithorizonte hinweg bestehen, was auf eine Lücke zwischen beliebigen Prompting-Policies und den für theoretische Garantien erforderlichen resilienten Update-Regeln hindeutet.
Wiederherstellung durch klassische Filter: Die Studie zeigt, dass die Einbettung von LLM-Agenten in klassische resiliente Konsensfilter die erzielbare Übereinstimmung wiederherstellt.
- Auf vollständigen Graphen stellt der globale MSR-Typ Filter die Konsenswahrscheinlichkeit auf etwa 100 % wieder her, selbst in Szenarien, in denen das Baseline-Modell versagt.
- Auf allgemeinen Graphen, die spezifische topologische Bedingungen erfüllen, verbessert der lokale MSR-Typ Filter die Übereinstimmung, wobei das Ausmaß der Verbesserung von der inhärenten Robustheit der Netzwerktopologie abhängt.
Robustheitsanalyse: Durch Ablationsstudien bestätigen die Autoren, dass diese Effekte über verschiedene Sampling-Temperaturen und Konsenshorizonte hinweg robust sind. Sie demonstrieren ferner, dass die Filter auch dann effektiv bleiben, wenn die Anzahl der Byzantine-Agenten ( $B$ ) fehl spezifiziert wurde (überschätzt wurde), vorausgesetzt, der Filterparameter $f$ ist als obere Schranke gesetzt.

Experimentelle Ergebnisse

Baseline-Performance: In vollständigen Graphen sinkt die Konsenswahrscheinlichkeit signifikant mit steigendem $B$ und versagt weit vor dem theoretischen Schwellenwert von $N < 3B + 1$ . Beispielsweise lag die Konsenswahrscheinlichkeit der Baseline bei $H=15$ und $B=4$ bei einer Temperatur von 0,5 nur bei 30 %, obwohl die Theorie eine Übereinstimmung nahelegt.
Filter-Effektivität: Die Anwendung des globalen MSR-Typ Filters ( $f=B$ ) auf vollständigen Graphen führte zu nahezu perfektem Konsens (≈100 %) über alle getesteten Werte von $B$ und Temperaturen hinweg.
Allgemeine Graphen: Auf einer spezifischen Topologie eines allgemeinen Graphen erreichte die Baseline eine hohe Übereinstimmung innerhalb des theoretisch garantierten Regimes ( $B \le 4$ ), verschlechterte sich jedoch darüber hinaus. Der lokale MSR-Typ Filter performte mindestens so gut wie die Baseline im garantierten Regime, bot jedoch nur begrenzte zusätzliche Verbesserungen, was darauf hindeutet, dass in dicht vernetzten Graphen die Topologie selbst eine erhebliche Robustheit bietet.
Fehspezifikation: Wenn der Filterparameter auf $f=6$ fixiert wurde, während das wahre $B$ 0, 2 oder 4 betrug, behielt das gefilterte Protokoll einen 100%igen Konsens bei und übertraf damit das Baseline-Modell selbst in Abwesenheit von Adversären.

Bedeutung und Behauptungen
Das Paper postuliert, dass die klassische resiliente Konsenstheorie als nützliche Linse für die Sicherheit der agentischen KI dient. Die primäre Erkenntnis ist nicht ein Widerspruch zur klassischen Theorie, sondern vielmehr die Demonstration, dass die Implementierung von LLM-Agenten über Standard-Prompting die Bedingungen, die für einen Konsens erforderlich sind, nicht inhärent erfüllt. Die Lücke liegt zwischen dem Verhalten einer durch Prompting gesteuerten Policy und einer mathematisch resilienten Update-Regel.

Die Autoren behaupten, dass die Integration klassischer Kontrolltheorie-Werkzeuge, wie etwa resilienter Konsensfilter, als Sicherheitsebene fungiert, die kollektives Verhalten garantieren kann, selbst wenn einzelne LLM-Agenten unzuverlässig oder adversär sind. Sie kommen zu dem Schluss, dass sich die aktuelle Arbeit auf die skalare Übereinstimmung konzentriert und die natürliche Richtung für zukünftige Arbeiten darin besteht, diese Konzepte der Resilienz auf komplexere agentische Aufgaben auszuweiten, wie etwa die Einigung auf Pläne, Antworten oder strukturierte Entscheidungen.

1. Die „alten Regeln“ vs. die „KI-Realität“

2. Die „Filter“-Lösung

3. Die Grenzen testen

Das Fazament

Mehr davon