Resilient Consensus in Agentic AI

Sintesi Tecnica: Consenso Resiliente nell'IA Agente

Definizione del Problema
Gli agenti basati su Large Language Models (LLM) sono sempre più impiegati in sistemi multi-agente che richiedono coordinamento e processi decisionali condivisi. Una sfida critica sorge quando questi agenti devono raggiungere un consenso in presenza di attori avversari o malfunzionanti (agenti bizantini). Mentre la teoria classica dei sistemi distribuiti fornisce garanzie rigorose per il consenso tra agenti deterministici, rimane poco chiaro se tali limiti teorici e algoritmi siano trasferibili agli agenti LLM, i quali operano tramite prompting probabilistico piuttosto che attraverso regole di aggiornamento deterministiche. Il presente articolo investiga se le policy basate su prompt di LLM possano raggiungere l'accordo garantito teoricamente dalle condizioni di consenso resiliente classico e se i meccanismi di filtraggio classici possano mitigare i fallimenti nell'IA agente.

Metodologia
Gli autori inquadrano il problema dell'accordo tra agenti LLM come un gioco di consenso bizantino. L'impostazione sperimentale prevede una rete sincrona di $N$ agenti, composti da $H$ agenti onesti e $B$ agenti bizantini, che comunicano su grafi completi e diretti generali.

• Agenti: Gli agenti onesti sono modellati utilizzando l'LLM meta-Llama-3.2-3B-Instruct, con il compito di concordare su un intero compreso tra 0 e 50. Essi ricevono proposte dai vicini e generano nuove proposte tramite prompt engineering.
• Avversari: Gli agenti bizantini sono anch'essi LLM, istruiti tramite prompt a proporre strategicamente valori (alti o bassi) per impedire agli agenti onesti di convergere.
• Protocollo: Il sistema opera per un orizzonte temporale fisso ($T_{max}$). In ogni round, gli agenti trasmettono le proposte e gli agenti onesti aggiornano il proprio stato in base ai valori ricevuti.
• Intervento: Lo studio valuta l'efficacia dell'avvolgere le policy degli LLM con filtri di consenso resiliente classici, specificamente il filtro di tipo MSR globale (per grafi completi) e il filtro di tipo MSR locale (per grafi generali). Questi filtri funzionano rimuovendo i $f$ valori più piccoli e i $f$ valori più grandi dall'insieme dei valori ricevuti prima che un agente calcoli la sua successiva proposta.

Contributi Chiave

1. Formalizzazione del Fallimento del Consenso degli LLM: Gli autori formalizzano il gioco del consenso bizantino per gli LLM e dimostrano che le policy degli LLM basate su prompt falliscono nel raggiungere l'accordo anche in regimi in cui la teoria classica garantisce l'esistenza di un algoritmo convergente (specificamente quando $N \ge 3B + 1$). Questo fallimento persiste al variare delle temperature e degli orizzonti temporali, indicando un divario tra le policy arbitrarie basate su prompt e le regole di aggiornamento resilienti richieste dalle garanzie teoriche.
2. Ripristino tramite Filtri Classici: Lo studio mostra che l'integrazione di filtri di consenso resiliente classici attorno agli agenti LLM recupera l'accordo raggiungibile.
   • Sui grafi completi, il filtro di tipo MSR globale ripristina la probabilità di consenso a circa il 100%, anche in scenari in cui il baseline fallisce.
   • Sui grafi generali che soddisfano specifiche condizioni topologiche, il filtro di tipo MSR locale migliora l'accordo, sebbene l'entità del miglioramento dipenda dalla robustezza intrinseca della topologia della rete.
3. Analisi della Robustezza: Attraverso studi di ablazione, gli autori confermano che questi effetti sono robusti rispetto alle diverse temperature di campionamento e agli orizzonti di consenso. Dimostrano inoltre che i filtri rimangono efficaci anche quando il numero di agenti bizantini ($B$) è errato (sovrastimato), a condizione che il parametro del filtro $f$ sia impostato come un limite superiore.

Risultati Sperimentali

• Prestazioni del Baseline: Nei grafi completi, la probabilità di consenso diminuisce significativamente all'aumentare di $B$, fallendo ben prima della soglia teorica di $N < 3B + 1$. Ad esempio, con $H=15$ e $B=4$, la probabilità di consenso del baseline era solo del 30% con temperatura 0.5, nonostante la teoria suggerisca che l'accordo dovrebbe essere possibile.
• Efficacia del Filtro: L'applicazione del filtro di tipo MSR globale ($f=B$) sui grafi completi ha portato a un consenso quasi perfetto (≈100%) attraverso tutti i valori di $B$ e le temperature testate.
• Grafi Generali: Su una specifica topologia di grafo generale, il baseline ha raggiunto un alto consenso entro il regime teoricamente garantito ($B \le 4$), ma è degradato oltre tale soglia. Il filtro di tipo MSR locale si è comportato almeno quanto il baseline nel regime garantito, ma ha offerto un miglioramento limitato, suggerendo che in grafi densamente connessi, la topologia stessa fornisce una robustezza sostanziale.
• Errata Specificazione: Quando il parametro del filtro era fissato a $f=6$ mentre il vero $B$ era 0, 2 o 4, il protocollo filtrato ha mantenuto il 100% di consenso, superando il baseline anche in assenza di avversari.

Significatività e Rivendicazioni
Il documento sostiene che la teoria del consenso resiliente classico serva come utile lente per la sicurezza dell'IA agente. La scoperta principale non è una contraddizione della teoria classica, ma piuttosto la dimostrazione che l'implementazione degli agenti LLM tramite lo standard prompting non soddisfa intrinsecamente le condizioni necessarie per il consenso. Il divario risiede tra il comportamento di una policy basata su prompt e una regola di aggiornamento matematicamente resiliente.

Gli autori affermano che l'integrazione di strumenti classici della teoria del controllo, come i filtri di consenso resiliente, agisce come uno strato di sicurezza che può garantire comportamenti collettivi anche quando i singoli agenti LLM sono inaffidabili o avversari. Concludono che, sebbene il presente lavoro si concentri sull'accordo scalare, la naturale direzione per il lavoro futuro sia quella di estendere queste nozioni di resilienza ad attività agentiche più complesse, come l'accordo su piani, risposte o decisioni strutturate.