Resilient Consensus in Agentic AI

Technische Samenvatting: Veerkrachtige Consensus in Agentic AI

Probleemstelling
Large Language Model (LLM) agents worden steeds vaker ingezet in multi-agent-systemen die coördinatie en gezamenlijke besluitvorming vereisen. Een kritieke uitdaging ontstaat wanneer deze agents een consensus moeten bereiken in de aanwezigheid van adversariële of defecte actoren (Byzantine agents). Hoewel de klassieke theorie van gedistribueerde systemen strikte garanties biedt voor consensus tussen deterministische agents, blijft het onduidelijk of deze theoretische grenzen en algoritmen overdraagbaar zijn naar LLM-agents, die opereren via probabilistische prompting in plaats van deterministische update-regels. Het artikel onderzoekt of geprompte LLM-policies de overeenstemming kunnen bereiken die theoretisch gegarandeerd wordt door klassieke veerkrachtige consensuscondities, en of klassieke filtermechanismen falen in agentic AI kunnen mitigeren.

Methodologie
De auteurs kaderen het consensusprobleem tussen LLM-agents als een Byzantine consensus-spel. De experimentele opzet betreft een synchroon netwerk van $N$ agents, bestaande uit $H$ eerlijke agents en $B$ Byzantine agents, die communiceren over volledige (complete) en algemene gerichte grafen.

• Agents: Eerlijke agents worden gemodelleerd met behulp van het meta-Llama-3.2-3B-Instruct LLM, die de taak hebben om te komen tot overeenstemming over een geheel getal tussen 0 en 50. Zij ontvangen voorstellen van buren en genereren nieuwe voorstellen via prompt engineering.
• Adversaries: Byzantine agents zijn evene possibility LLM's, die geprompt zijn om strategische waarden voor te stellen (ofwel hoog of laag) om de eerlijke agents te verhinderen te convergeren.
• Protocol: Het systeem draait voor een vaste horizon ($T_{max}$). In elke ronde broadcasten agents hun voorstellen, en updaten eerlijke agents hun status op basis van de ontvangen waarden.
• Interventie: De studie evalueert de effectiviteit van het inkapselen van LLM-policies met klassieke veerkrachtige consensusfilters, specifiek de Global MSR-type filter (voor volledige grafen) en de Local MMSR-type filter (voor algemene grafen). Deze filters functioneren door de $f$ kleinste en de $f$ grootste waarden uit de ontvangen verzameling te verwijderen voordat een agent zijn volgende voorstel berekent.

Kernbijdragen

1. Formalisering van LLM Consensus-falen: De auteurs formaliseren het Byzantine consensus-spel voor LLM's en demonstreren dat geprompte LLM-policies er niet in slagen overeenstemming te bereiken, zelfs niet in regimes waar de klassieke theorie een convergerend algoritme garandeert (specifiek wanneer $N \ge 3B + 1$). Dit falen houdt stand bij variërende temperaturen en tijdshorizons, wat wijst op een kloof tussen willekeurige geprompte policies en de veerkrachtige update-regels die vereist zijn voor theoretische garanties.
2. Herstel via Klassieke Filters: De studie toont aan dat het inkapselen van LLM-agents met klassieke veerkrachtige consensusfilters de haalbare overeenstemming herstelt.
   • Op volledige grafen herstelt de globale MSR-type filter de consensuswaarschijnlijkheid tot ongeveer 100%, zelfs in scenario's waar de baseline faalt.
   • Op algemene grafen die voldoen aan specifieke topologische condities, verbetert de lokale MSR-type filter de overeenstemming, hoewel de omvang van de verbetering afhankelijk is van de inherente robuustheid van de netwerktopologie.
3. Robuustheidsanalyse: Door middel van ablatie-studies bevestigen de auteurs dat deze effecten robuust zijn over verschillende sampling-temperaturen en consensushorizons. Ze demonstreren verder dat de filters effectief blijven, zelfs wanneer het aantal Byzantine agents ($B$) verkeerd gespecificeerd is (overschat), mits de filterparameter $f$ als een bovengrens wordt ingesteld.

Experimentele Resultaten

• Baseline Prestaties: In volledige grafen daalt de consensuswaarschijnlijkheid aanzienlijk naarmate $B$ toeneemt, waarbij het faalt ruim vóór de theoretische drempel van $N < 3B + 1$. Bijvoorbeeld, met $H=15$ en $B=4$, was de baseline consensuswaarschijnlijkheid slechts 30% bij temperatuur 0.5, ondanks het feit dat de theorie suggereert dat overeenstemming mogelijk zou moeten zijn.
• Filter Effectiviteit: Het toepassen van de globale MSR-type filter ($f=B$) op volledige grafen resulteerde in bijna perfecte consensus (≈100%) over alle geteste waarden van $B$ en temperaturen.
• Algemene Grafen: Op een specifieke algemene grafentopologie bereikte de baseline een hoge consensus binnen het theoretisch gegarandeerde regime ($B \le 4$), maar degradeerde daarbuiten. De lokale MSR-type filter presteerde minstens even goed als de baseline in het gegarandeerde regime, maar bood beperkte extra verbetering, wat suggereert dat in dicht verbonden grafen de topologie zelf substantiële robuustheid biedt.
• Misspecificatie: Wanneer de filterparameter werd vastgezet op $f=6$ terwijl de werkelijke $B$ 0, 2 of 4 was, behield het gefilterde protocol 100% consensus, waarmee het de baseline overtrof, zelfs in de afwezigheid van adversaries.

Betekenis en Claims
Het artikel stelt dat de klassieke veerkrachtige consensus-theorie een nuttig kader vormt voor de veiligheid van agentic AI. De primaire bevinding is niet een contradictie van de klassieke theorie, maar een demonstratie dat de implementatie van LLM-agents via standaard prompting niet inherent voldoet aan de condities die vereist zijn voor consensus. De kloof ligt tussen het gedrag van een geprompte policy en een wiskundig veerkrachtige update-regel.

De auteurs beweren dat het integreren van klassieke regeltechnische instrumenten, zoals veerkrachtige consensusfilters, fungeert als een veiligheidslaag die collectief gedrag kan garanderen, zelfs wanneer individuele LLM-agents onbetrouwbaar of adversarieel zijn. Ze concluderen dat hoewel het huidige werk zich richt op scalaire overeenstemming, de natuurlijke richting voor toekomstig werk is om deze notions van veerkracht uit te breiden naar complexere agentische taken, zoals het overeenkomen over plannen, antwoorden of gestructureerde beslissingen.