🤖 AI

Robust Multi-Agent LLMs under Byzantine Faults

Dieser Beitrag stellt Self-Anchored Consensus (SAC) vor, ein vollständig dezentralisiertes iteratives Filter-und-Verfeinerungsprotokoll, das es Multi-Agenten-Systemen mit großen Sprachmodellen ermöglicht, robust gegen byzantinische Fehler zu widerstehen und eine zuverlässige Leistung über diverse Kommunikationstopologien hinweg aufrechtzuerhalten, ohne sich auf anfällige führerbasierte Koordination oder selbstberichtete Konfidenz zu verlassen.

Ursprüngliche Autoren: Haejoon Lee, Vincent-Daniel Yun, Hyeonho Oh, Dimitra Panagou, Sai Praneeth Karimireddy

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC0 1.0

Ursprüngliche Autoren: Haejoon Lee, Vincent-Daniel Yun, Hyeonho Oh, Dimitra Panagou, Sai Praneeth Karimireddy

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Gruppe von Freunden vor, die versucht, gemeinsam ein schwieriges Rätsel zu lösen. Alle sind intelligent, doch einige sind müde, einige verwirrt, und leider sind ein oder zwei „Unruhestifter" dabei, die die Gruppe absichtlich in die falsche Richtung lenken wollen. Genau dieses Problem behandelt die Arbeit: Wie kann ein Team von KI-Agenten (digitale „Freunde") zusammenarbeiten, um die richtige Antwort zu finden, wenn einige von ihnen unzuverlässig oder bösartig sind?

Hier ist eine einfache Zusammenfassung der Geschichte der Arbeit, unter Verwendung alltäglicher Analogien.

Das Problem: Die „Vertrauenswürdigkeit"-Falle

In der Vergangenheit versuchten Forscher, dieses Problem zu lösen, indem sie jeden KI-Agenten fragten: „Wie sicher bin ich bei meiner Antwort?"

Der Fehler: Stellen Sie sich einen Unruhestifter in Ihrer Freundesgruppe vor, der zwar beim Rätsel falsch liegt, aber laut ruft: „Ich bin zu 100 % sicher, dass ich recht habe!" Die anderen Freunde, die diesem lauten Selbstvertrauen vertrauen, könnten ihre Meinung ändern und dem falschen Weg folgen.
Die Erkenntnis der Arbeit: Die Autoren zeigen, dass es sich um ein riesiges Sicherheitsleck handelt, wenn man sich auf den eigenen Bericht eines Agenten über sein Vertrauen verlässt. Ein bösartiger Agent kann leicht über sein Vertrauen lügen, um die gesamte Gruppe zu täuschen.

Die Lösung: „Selbstverankerte Konsensbildung" (SAC)

Die Autoren schlagen eine neue Arbeitsweise vor, die Self-Anchored Consensus (SAC) genannt wird. Anstatt zu fragen: „Wie sicher sind Sie?", fragt das System: „Wie sicher bin ich, dass Ihre Antwort richtig ist?"

Stellen Sie sich das wie eine Peer-Review-Party vor:

Die Übertragung: Jeder schreibt seine Antwort auf das Rätsel auf und teilt sie mit seinen Nachbarn.
Der lokale Richter: Anstatt dem Selbstvertrauen des Schreibers zu vertrauen, agiert jeder Agent als Richter für seine Nachbarn. Er betrachtet die Antwort des Nachbarn und fragt seine eigene interne Logik: „Macht das Sinn? Ist es korrekt?" Er gibt dem Nachbarn eine Bewertung basierend auf seinem eigenen Urteil.
Der Filter (Die „Bottom F"-Regel): Dies ist der wichtigste Teil. Wenn ein Agent 5 Nachbarn hat und weiß, dass es bis zu 3 Unruhestifter geben könnte (ein Konzept namens „byzantinisches" Limit), ignoriert er einfach die 3 Antworten mit den niedrigsten Bewertungen. Es spielt keine Rolle, ob der Unruhestifter schrie: „Ich bin zu 100 % sicher!" – wenn der lokale Richter die Antwort für schlecht hält, wird sie verworfen.
Die Verfeinerung: Der Agent nimmt dann seine eigene Antwort und die verbleibenden „guten" Antworten seiner Nachbarn, um eine neue, bessere Antwort zu erstellen.

Das Sicherheitsnetz: Das „Robuste" Netzwerk

Damit dieses System funktioniert, müssen die Freunde auf eine bestimmte Weise verbunden sein. Die Arbeit verwendet ein mathematisches Konzept namens $(F+1)$ -Robustheit.

Die Analogie: Stellen Sie sich vor, Sie befinden sich in einem Raum mit einer Gruppe von Menschen. Wenn Sie sicher sein wollen, nicht von Lügner umgeben zu sein, müssen Sie sicherstellen, dass Sie, selbst wenn Sie Ihre Verbindungen zu den 3 schlechtesten Personen unterbrechen, immer noch mindestens eine ehrliche Person haben, mit der Sie sprechen können.
Die Arbeit beweist, dass, wenn das Netzwerk mit diesem spezifischen „Sicherheitsabstand" gestaltet ist, die ehrlichen Agenten immer in der Lage sein werden, mindestens eine gute Antwort zu finden, an der sie festhalten können, wodurch verhindert wird, dass die Unruhestifter die gesamte Gruppe in den Abgrund ziehen.

Was geschah in den Experimenten?

Die Forscher testeten dies an zwei Arten von Rätseln: Matheproblemen (wie das Lösen von Gleichungen) und Alltagsfragen (wie „Ist eine Tomate eine Frucht oder ein Gemüse?").

Der alte Weg (CP-WBFT): Wenn ein Unruhestifter über sein Vertrauen log, kollabierte die gesamte Gruppe. Die intelligenten Agenten wurden verwirrt und begannen, falsche Antworten zu geben. Die Leistung der Gruppe wurde tatsächlich schlechter, als wenn sie allein gearbeitet hätten.
Der neue Weg (SAC): Die Unruhestifter wurden erfolgreich herausgefiltert.
- Die starken Agenten: Die intelligentesten Agenten blieben intelligent. Sie ließen sich nicht vom Lärm mitreißen.
- Die schwachen Agenten: Die weniger selbstbewussten Agenten wurden tatsächlich besser, weil sie von den gefilterten, hochwertigen Antworten ihrer Nachbarn lernten.
- Das Ergebnis: Die Gruppe erreichte viel häufiger die richtige Antwort, selbst wenn Unruhestifter anwesend waren.

Das Fazit

Diese Arbeit stellt eine Methode vor, bei der KI-Agenten nicht dem „Geprahle" (dem selbstberichteten Vertrauen) anderer vertrauen. Stattdessen vertrauen sie ihrer eigenen Fähigkeit, die Arbeit ihrer Nachbarn zu beurteilen. Durch das Herausfiltern der schlechtesten Antworten und die Aufrechterhaltung einer spezifisch robusten Vernetzung kann die Gruppe auf Kurs bleiben und Probleme korrekt lösen, selbst wenn einige Mitglieder versuchen, sie zu sabotieren.

Kurz gesagt: Hören Sie nicht auf den, der am lautesten schreit; hören Sie auf den, der die besten Beweise hat, und stellen Sie sicher, dass Sie genug gute Freunde um sich haben, um die schlechten zu ignorieren.

Technisches Fazit: Robuste Multi-Agenten-LLMs unter byzantinischen Fehlern

Problemstellung
Large Language Model (LLM)-Agenten werden zunehmend in Peer-to-Peer-Multi-Agenten-Systemen (LLM-MAS) eingesetzt, um Aufgaben durch kollaborativen Konsens zu lösen. Diese Systeme weisen jedoch eine kritische Verwundbarkeit auf: unzuverlässige oder byzantinische Agenten (die aufgrund von Halluzinationen fehlerhaft sind oder aufgrund vorsätzlicher Manipulation feindselig handeln) können ehrliche Agenten zu falschen Schlussfolgerungen verleiten. Bestehende Ansätze, wie CP-WBFT, verlassen sich darauf, dass Agenten ihre eigenen Konfidenzwerte selbst melden, um die Antworten von Nachbarn zu gewichten. Dieser Ansatz ist grundlegend fehlerhaft, da byzantinische Agenten ihre Konfidenzwerte fälschen können, um den Aggregationsprozess zu dominieren. Darüber hinaus fehlt es früheren Methoden oft an prinzipiengeleiteten Kommunikationstopologien, was zu einer Leistungsverschlechterung führt, die schlimmer sein kann als der Betrieb ohne Zusammenarbeit. Die Kernherausforderung besteht darin, ein dezentrales Protokoll zu entwerfen, bei dem ehrliche Agenten ihre Antworten iterativ verfeinern und trotz der Anwesenheit byzantinischer Agenten, die willkürliche oder irreführende Informationen injizieren mögen, einen korrekten Konsens erreichen können.

Methodik: Selbst-verankerte Konsensbildung (Self-Anchored Consensus, SAC)
Die Autoren schlagen Self-Anchored Consensus (SAC) vor, ein vollständig dezentrales, iteratives Filter-und-Verfeinerungs-Protokoll. Im Gegensatz zu früheren Methoden, die dem vom Absender gemeldeten Konfidenzwert vertrauen, verlagert SAC die Evaluierungslast auf den Empfänger. Das Protokoll arbeitet pro Runde in vier Phasen:

Broadcast: Jeder Agent sendet seine aktuelle Antwort an seine Nachbarn.
Empfängerseitige Bewertung: Beim Empfang von Nachbarantworten berechnet jeder Agent $i$ unabhängig für jeden Nachbarn $j$ einen Bewertungswert $s_{i \to j}$ unter Verwendung seines eigenen LLM. Dieser Wert wird aus einem Verifizierungs-Prompt abgeleitet, der die Richtigkeit der Antwort des Nachbarn im Verhältnis zur Anfrage bewertet und den Wert vollständig von jedem vom Absender selbst gemeldeten Konfidenzwert entkoppelt.
Filterung: Agent $i$ identifiziert Nachbarn, deren Werte strikt niedriger sind als sein eigener Selbstwert. Er verwirft dann die $F$ am schlechtesten bewerteten Nachbarn aus dieser Menge (wobei $F$ die Obergrenze für die Anzahl byzantinischer Nachbarn ist). Dieser Schritt stellt sicher, dass potenziell bösartige oder qualitativ minderwertige Eingaben vor der Verfeinerung entfernt werden.
Verfeinerung: Agent $i$ verfeinert seine Antwort, indem er sein LLM mit der ursprünglichen Anfrage, seiner aktuellen Antwort und der beibehaltenen Menge der Nachbarantworten, gewichtet nach ihren empfängerseitigen Werten, erneut promptet.

Theoretischer Rahmen und topologische Bedingungen
Um zu garantieren, dass ehrliche Agenten verlässliche Informationen bewahren, nutzen die Autoren klassische Theorien zur byzantinischen Fehlertoleranz im Konsens, insbesondere die Familie der Mean-Subsequence-Reduced (MSR)-Algorithmen und $r$ -Robustheit.

$(F+1)$ -Robustheit: Die Autoren zeigen, dass, wenn der Kommunikationsgraph $G$ $G$ $(F+1)$ $(F + 1)$ -robust ist, der Filtermechanismus zwei kritische Eigenschaften sicherstellt:
1. Lokale Resilienz: Nach dem Filtern behält jeder ehrliche Agent mindestens einen Nachbarn, dessen Antwort mindestens so verlässlich ist wie der Mindestwert unter allen verlässlichen Agenten. Dies verhindert, dass byzantinische Agenten den Verfeinerungsprozess korrumpieren.
2. Globale Konnektivität: Der von den ehrlichen Agenten induzierte Teilgraph bleibt auch nach dem Filtern verbunden (insbesondere enthält er eine wurzelbasierte ausgehende Verzweigung), was sicherstellt, dass Informationen korrekt über das Netzwerk propagieren, ohne fragmentiert zu werden.
Der Artikel beweist, dass $(F+1)$ -Robustheit eine notwendige Bedingung ist, um den Einfluss von $F$ lokalen byzantinischen Agenten in diesem Setting einzudämmen, und bietet eine mathematisch fundierte Alternative zur ad-hoc-Auswahl von Topologien.

Hauptbeiträge

Self-Anchored Consensus (SAC): Die Einführung eines vollständig dezentralen Algorithmus, der den anfälligen vom Absender gemeldeten Konfidenzwert durch eine empfängerseitige Bewertung und einen an MSR angelehnten Filtermechanismus ersetzt, der auf natürliche Sprachinteraktionen zugeschnitten ist.
Graphtheoretische Garantien: Die Etablierung von $(F+1)$ -Robustheitsbedingungen als theoretische Grundlage dafür, dass nicht-byzantinische Agenten byzantinischen Einfluss eindämmen und zu korrekten Antworten konvergieren können.
Empirische Validierung: Der Nachweis, dass SAC byzantinischen Einfluss über diverse Kommunikationstopologien (MERG, Complete, Erdős–Rényi) und Reasoning-Benchmarks effektiv unterdrückt, wohingegen frühere Methoden unter adversarischen Bedingungen kollabieren.

Experimentelle Ergebnisse
Die Autoren bewerteten SAC an zwei herausfordernden Benchmarks: MATH500 (symbolisches Reasoning der Stufe 4) und Commonsense170k (heterogenes commonsense Reasoning). Das Setup umfasste $n=7$ Agenten (4 starke ehrliche, 2 schwache ehrliche/fehlerhafte, 1 adversarischer byzantinischer Agent) mit $F=3$ .

Leistungsverschlechterung der Baselines: Die Baseline-Methode CP-WBFT erlitt unter byzantinischem Einfluss einen katastrophalen Ausfall. Auf MATH500 zeigte sie eine negative Verbesserung der byzantinischen Fehlertoleranz (BFTI) im Bereich von $-10,4\%$ bis $-24,8\%$ , was bedeutet, dass die Zusammenarbeit die Leistung unter die Fähigkeiten der Agenten im Alleingang verschlechterte. Starke Agenten wurden erheblich nach unten gezogen (z. B. sank die Genauigkeit von $84\%$ auf $49\%$ ).
Wirksamkeit von SAC: Im Gegensatz dazu erzielte SAC eine positive BFTI ( $+3,8\%$ bis $+7,6\%$ auf MATH500) über alle Topologien hinweg. Es gelang ihm, die Leistung starker Agenten zu bewahren und gleichzeitig die Leistung schwacher Agenten zu steigern.
Robustheitsmetriken: SAC behielt eine hohe „Ehrliche-Mehrheit" (der Anteil der Anfragen, bei denen die Mehrheit der ehrlichen Agenten mit der Ground Truth übereinstimmt) bei und erreichte auf MATH500 Werte zwischen $83,3\%$ und $96,7\%$ , verglichen mit $36,7\%$ bis $46,7\%$ für CP-WBFT.
Stabilität: Eine Analyse pro Runde zeigte, dass eine Kontamination durch CP-WBFT sofort in der ersten Runde eintrat und persistierte, wohingegen SAC über die Iterationen hinweg eine stabile oder sich verbessernde Genauigkeit ohne progressive Verschlechterung aufwies.

Bedeutung und Behauptungen
Der Artikel behauptet, dass die primäre Verwundbarkeit in der aktuellen dezentralen LLM-Zusammenarbeit die Abhängigkeit von vom Absender gemeldeten Konfidenzwerten ist, was eine Angriffsfläche für adversarische Manipulation schafft. Durch den Wechsel zur empfängerseitigen Bewertung entfernt SAC die Fähigkeit byzantinischer Agenten, Vertrauenssignale zu manipulieren. Darüber hinaus hebt die Arbeit hervor, dass Topologie-Design nicht nur ein Heuristik ist, sondern eine mathematische Notwendigkeit; die Erfüllung von $(F+1)$ -Robustheit ist entscheidend, um byzantinischen Einfluss einzudämmen. Die Autoren schließen, dass dezentrale LLM-Zusammenarbeit zuverlässig sein muss, wenn Systeme empfängerseitige Vertrauensbewertung mit robustheitsbewussten Netzwerktopologien integrieren. Der Artikel erkennt Einschränkungen an und stellt fest, dass die aktuelle Bewertung auf statische Netzwerke kleiner Größe ( $n=7, 9$ ) und Antworten in einem einzigen Durchgang beschränkt ist und dass die Robustheit von der Qualität der Bewertungsfunktion des Empfängers abhängt.