🤖 machine learning

Can AI Agents Agree?

Het onderzoek toont aan dat LLM-agenten in een Byzantijnse consensusgame zelfs in vreedzame situaties geen betrouwbare overeenstemming bereiken, waarbij de prestaties verslechteren naarmate de groep groter wordt en de aanwezigheid van Byzantijnse agenten het succes verder ondermijnt.

Oorspronkelijke auteurs: Frédéric Berdoz, Leonardo Rugli, Roger Wattenhofer

Gepubliceerd 2026-03-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Frédéric Berdoz, Leonardo Rugli, Roger Wattenhofer

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Kunnen AI's het wel eens worden? (Of: Waarom een groep slimme robots soms in de war raakt)

Stel je voor dat je een groep zeer slimme, digitale assistenten (AI-agenten) bij elkaar zet. Hun taak? Samen een beslissing nemen. Misschien moeten ze beslissen op welk tijdstip een vergadering begint, of welke route ze moeten nemen. In de wereld van de computerwetenschap noemen we dit "consensus" (het eens worden).

De auteurs van dit onderzoek, wetenschappers van de ETH Zürich, wilden weten: Kunnen deze AI-agenten het echt met elkaar eens worden, zelfs als er een paar "boeven" in de groep zitten die proberen het te verstoren?

Hier is wat ze hebben ontdekt, vertaald in een simpel verhaal:

1. Het Experiment: Een spelletje "Gokken"

Stel je een ronde tafel voor met een aantal stoelen.

De spelers: Een groep AI's (zoals Qwen3-8B en Qwen3-14B).
De taak: Iedere AI krijgt een willekeurig getal (bijvoorbeeld tussen 0 en 50). Ze moeten via een chatgroep proberen om één en hetzelfde getal te kiezen.
De regel: Als ze het eens zijn, winnen ze. Het maakt niet uit welk getal ze kiezen, zolang ze maar allemaal hetzelfde zeggen.
De boeven (Byzantijnen): Een paar AI's in de groep zijn "boeven". Zij hebben geen eigen getal en proberen de anderen te dwarsbomen. Ze kunnen liegen, verwarring stichten of gewoon niets doen.

2. Het Grote Verdict: Het gaat vaak mis!

De wetenschappers lieten honderden keren dit spelletje spelen. Het resultaat was verrassend en een beetje zorgwekkend:

Zelfs zonder boeven lukt het vaak niet: Zelfs als iedereen eerlijk is en gewoon wil samenwerken, lukt het in veel gevallen niet om binnen de tijdslimiet tot een overeenstemming te komen. De AI's blijven maar heen en weer praten zonder tot een besluit te komen.
Hoe groter de groep, hoe slechter: Als je meer AI's toevoegt aan de groep, wordt het moeilijker. Het is alsof je in een klein caféje makkelijker een gesprek voert dan in een drukke voetbalstadion. Bij 16 AI's was de kans op succes veel kleiner dan bij 4 AI's.
Eén boef is al genoeg: Als er maar één "boef" in de groep zit, stort de kans op succes vaak volledig in. De boef hoeft niet eens heel slim te zijn; het feit dat hij er is, zorgt ervoor dat de eerlijke AI's in de war raken en stoppen met proberen het eens te worden.

3. Waarom lukt het niet? (De "Levenskracht" is weg)

Je zou denken dat de AI's misschien een verkeerd getal kiezen (bijvoorbeeld dat ze allemaal 42 kiezen in plaats van 10). Dat is niet het grootste probleem.

Het echte probleem is dat ze opgeven.

Analogie: Stel je voor dat je met een groep vrienden probeert een restaurant te kiezen. Iedereen zegt iets anders, en niemand luistert goed. Uiteindelijk zeggen ze: "Oké, we zijn het niet eens, laten we maar naar huis gaan." Ze komen niet tot een keuze (geen consensus), maar ze kiezen ook niet bewust voor een slechte keuze. Ze raken gewoon vastgelopen.
In de studie noemen ze dit het verlies van "levenskracht" (liveness). De AI's haken af, wachten te lang, of raken in een eindeloze discussie zonder ooit te stoppen.

4. De "Boeven" in de Prompt

Interessant detail: De wetenschappers gaven de eerlijke AI's soms een waarschuwing: "Pas op, er kunnen boeven in de groep zitten!"

Het tegenovergestelde effect: Toen ze deze waarschuwing gaven, ging het nog slechter. De AI's werden wantrouwig, twijfelden aan elkaar en stopten sneller met proberen het eens te worden.
Conclusie: Zelfs als er geen boeven zijn, maakt het idee dat er misschien boeven zijn, de groep onbetrouwbaarder.

Wat betekent dit voor de toekomst?

Deze studie is een koude douche voor de hype rondom "AI-agenten die samenwerken".

Nog niet klaar voor de echte wereld: Als we AI's willen inzetten voor belangrijke dingen (zoals het regelen van elektriciteitsnetten, financiële transacties of veiligheidscontroles), kunnen we er momenteel niet op vertrouwen dat ze het onderling eens worden.
Geen magische oplossing: Het is niet zo dat AI's van nature slim genoeg zijn om automatisch samen te werken. Ze hebben nog veel hulp nodig om betrouwbare beslissingen te nemen in een groep.

Kort samengevat:
Huidige AI's zijn als slimme kinderen die nog niet goed kunnen samenwerken. Als je ze in een groep zet, raken ze snel in de war, vooral als er een beetje chaos is of als de groep te groot wordt. Ze kunnen het niet altijd eens worden, en dat is een groot risico als we ze willen gebruiken voor belangrijke taken.

Titel: Can AI Agents Agree?

Auteurs: Frédéric Berdoz, Leonardo Rugli, Roger Wattenhofer (ETH Zurich)

1. Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker ingezet als samenwerkende agenten voor taken zoals planning, coderen en redeneren. In veel scenario's moet een groep agenten echter tot één gezamenlijke beslissing komen in plaats van onafhankelijke antwoorden te genereren.

Het paper onderzoekt de robuustheid van deze agenten in een Byzantijnse consensus-situatie. In klassieke gedistribueerde systemen bieden Byzantijnse fouttolerantie-algoritmen sterke garanties voor deterministische algoritmen. Het is echter onduidelijk hoe deze garanties vertalen naar stochastische, prompt-gedreven LLM-agenten. De centrale vraag is: Kunnen groepen LLM-agenten betrouwbaar tot overeenstemming komen, zelfs als sommige agenten defect zijn of strategisch (Byzantijns) gedrag vertonen?

De studie focust op een "no-stake" scenario: agenten hebben geen voorkeur voor een specifieke eindwaarde; het doel is puur het bereiken van overeenstemming (agreement), niet het optimaliseren van de waarde zelf.

2. Methodologie

De auteurs hebben een simulatieomgeving ontwikkeld genaamd A2A-Sim (All-to-All Simulator) om dit probleem te testen.

Opzet: Een groep van $N$ agenten communiceert via een synchroon all-to-all netwerk over meerdere rondes ( $t = 1, \dots, T_{max}$ ).
Totaal aantal agenten ( $N$ ): Gevarieerd tussen 4, 8 en 16.
Byzantijnse fractie ( $f$ ): Een deel van de agenten ( $B = f \cdot N$ ) is Byzantijns (kwaadaardig). De fractie loopt van 0 tot $1/3$ (de theoretische limiet voor Byzantijnse consensus).
Taak: Agenten moeten een scalar waarde (een geheel getal tussen 0 en 50) overeenkomen.
- Eerlijke (Honest) agenten: Starten met een initiële waarde en proberen tot overeenstemming te komen.
- Byzantijnse agenten: Hebben geen initiële voorkeur en kunnen willekeurige waarden en redeneringen voorstellen om de consensus te verstoren. Ze mogen echter niet equivocerend zijn (ze moeten hetzelfde bericht naar iedereen sturen) en kunnen geen berichten onderdrukken.
Implementatie: Agenten worden aangedreven door LLM's (specifiek de Qwen3-8B en Qwen3-14B modellen). Ze ontvangen een samenvatting van de geschiedenis, hun huidige voorstel en een privé-strategie, en moeten een JSON-uitvoer genereren met een nieuw voorstel, een rechtvaardiging en een beslissing om te stoppen of door te gaan.
Eindresultaat: De simulatie eindigt als 2/3 van alle agenten stemt voor "stop".
- Valid Consensus: Alle eerlijke agenten hebben dezelfde waarde (die afkomstig is van een initiële eerlijke voorstel).
- Invalid Consensus: De simulatie stopt, maar de waarden komen niet overeen of zijn ongeldig.
- Geen Consensus: Time-out ( $T_{max} = 50$ rondes) zonder overeenstemming.

3. Belangrijkste Bijdragen

Capaciteitsstudie: Een evaluatie van LLM-agent consensus in gunstige omstandigheden (zonder Byzantijnse agenten) over verschillende modelgroottes en groepsgroottes.
Robuustheidsstudie: Het aantonen dat zelfs één enkele Byzantijnse agent de kans op succesvolle consensus drastisch verlaagt.
Foutanalyse: Een analyse die laat zien dat mislukkingen voornamelijk worden veroorzaakt door verlies van "liveness" (time-outs, gebrek aan convergentie) en niet door subtiel corruptie van de waarden (d.w.z. ze komen zelden tot een verkeerde overeenstemming, maar vaak tot geen overeenstemming).

4. Resultaten

A. Consensus zonder Byzantijnse agenten (Benigne setting)

Zelfs zonder kwaadaardige agenten is betrouwbare overeenstemming verre van gegarandeerd:

Alleen 41,6% van de runs resulteerde in een geldige consensus.
Modelgrootte: Qwen3-14B presteerde aanzienlijk beter dan Qwen3-8B (67,4% vs 15,8% geldige consensus).
Groepsgrootte: Naarmate de groep groter werd, verslechterde de prestatie. Geldige consensus daalde van 46,6% bij $N=4$ naar 33,3% bij $N=16$ .
Prompt-gevoeligheid: Het expliciet vermelden van de mogelijkheid van Byzantijnse agenten in de prompt had een negatief effect. Bij Qwen3-14B verbeterde het verwijderen van deze waarschuwing de geldige consensus van 59,1% naar 75,4% en halveerde het de tijd tot convergentie. Dit suggereert dat het "denken" aan vijanden de samenwerking hindert, zelfs als er geen vijanden zijn.

B. Consensus met Byzantijnse agenten

Impact: Het toevoegen van zelfs maar één Byzantijnse agent (bij een groep van 8 eerlijke agenten) zorgde voor een instorting in het succespercentage.
Type fouten: Byzantijnse agenten veroorzaakten zelden "Invalid Consensus" (waarbij ze de groep naar een verkeerde waarde sturen). In plaats daarvan verhinderden ze de consensus volledig, wat leidde tot time-outs.
Conclusie: De aanwezigheid van Byzantijnse agenten tast de liveness (de capaciteit om tot een beslissing te komen) aan, niet de safety (de juistheid van de beslissing).

5. Betekenis en Conclusie

De resultaten tonen aan dat betrouwbare overeenstemming nog geen betrouwbare emergente eigenschap is van huidige LLM-agentgroepen, zelfs niet in eenvoudige, niet-stake scenario's.

Kwetsbaarheid: De systemen zijn kwetsbaar voor schaalvergroting (grotere groepen werken slechter) en voor de aanwezigheid van zelfs één kwaadaardige actor.
Liveness vs. Safety: Het grootste probleem is dat agenten vaak "vastlopen" (time-out) in plaats van een verkeerde keuze te maken. Dit impliceert dat de agenten moeite hebben om de dynamiek van een groep te navigeren en tot een gezamenlijke beslissing te komen zonder externe dwang of deterministische protocollen.
Implicaties: Voor toepassingen die vertrouwen op robuuste coördinatie, delegatie of veiligheidskritieke samenwerking tussen AI-agenten, moet er grote voorzichtigheid worden betracht. Huidige LLM's zijn nog niet voldoende betrouwbaar als sociale besluitvormers in onvoorspelbare omgevingen.

De auteurs pleiten voor verder onderzoek naar diverse adversariele gedragingen, heterogene agentpopulaties en grootschalige implementaties om de fundamentele vraag te beantwoorden of AI-agenten ooit betrouwbaar tot overeenstemming kunnen komen.