Can AI Agents Agree?

1. Il Problema

Con l'aumento del dispiegamento di modelli linguistici di grandi dimensioni (LLM) come agenti autonomi collaborativi, emerge la necessità di far prendere decisioni comuni a gruppi di agenti. Tuttavia, il comportamento di questi agenti in scenari di consenso avversario (dove alcuni agenti potrebbero malfunzionare o agire in modo malevolo) non è stato studiato sistematicamente.

Il paper si concentra sul problema del consenso bizantino in un contesto di agenti basati su LLM. A differenza degli algoritmi deterministici classici (che offrono garanzie forti), gli LLM sono stocastici e guidati da prompt. La domanda centrale è: un gruppo di agenti LLM può raggiungere un accordo affidabile su un valore scalare, anche in presenza di agenti "bizantini" (maliziosi) che tentano di sabotare il processo?

2. Metodologia

Gli autori hanno progettato un esperimento controllato basato su un gioco di consenso scalare:

• Ambiente di Simulazione: Una rete sincrona "tutti-a-tutti" (all-to-all) dove $N$ agenti comunicano per un massimo di $T_{max}$ round.
• Task: Gli agenti devono accordarsi su un singolo valore intero in un intervallo $[0, 50]$. È un gioco "no-stake": non c'è ricompensa esterna legata al valore specifico raggiunto; l'obiettivo è puramente raggiungere l'accordo (validità e vivacità).
• Agenti:
  • Onesti (Honest): Iniziano con un valore casuale e tentano di convergere verso un valore comune condiviso da tutti gli agenti onesti.
  • Bizantini (Byzantine): Una frazione $f$ degli agenti ($B = f \cdot N$) agisce in modo malevolo. Possono proporre valori arbitrari e giustificazioni ingannevoli per impedire l'accordo o distorcere il risultato.
  • Limitazioni del modello di minaccia: Gli agenti bizantini non possono equivocare (inviare messaggi diversi a destinatari diversi), falsificare identità o sopprimere messaggi; devono inviare lo stesso messaggio a tutti.
• Modelli Testati: Sono stati utilizzati i modelli Qwen3-8B e Qwen3-14B.
• Variabili Sperimentali:
  • Dimensione del gruppo ($N \in \{4, 8, 16\}$).
  • Frazione di agenti bizantini ($B \in \{0, 1, 2, 3, 4\}$).
  • Varianti del prompt: una che avvisa della possibile presenza di agenti bizantini e una che non ne fa menzione.
• Metriche di Valutazione:
  • Consenso Valido: Tutti gli agenti onesti concordano su un valore che era una proposta iniziale di un agente onesto.
  • Consenso Invalido: L'accordo viene raggiunto ma su un valore non valido (es. un valore imposto da un agente bizantino).
  • Nessun Consenso (Timeout): Il sistema non raggiunge l'accordo entro il limite di round (perdita di liveness).

3. Risultati Chiave

A. Scenari Benigni (Senza Agenti Bizantini, $B=0$)

Anche in assenza di avversari, il consenso affidabile non è garantito:

• Solo il 41,6% delle simulazioni ha portato a un consenso valido.
• Qwen3-14B ha prestazioni significativamente migliori rispetto a Qwen3-8B (67,4% vs 15,8% di consenso valido), ma entrambi mostrano alti tassi di timeout.
• Effetto del Prompt: Menzionare la possibile presenza di agenti bizantini nei prompt, anche quando non esistono, peggiora le prestazioni. Rimuovere tale menzione ha aumentato il consenso valido per Qwen3-14B dal 59,1% al 75,4% e ha dimezzato il tempo di convergenza.
• Scalabilità: All'aumentare della dimensione del gruppo ($N$), le prestazioni peggiorano drasticamente. Il consenso valido scende dal 46,6% per $N=4$ al 33,3% per $N=16$.

B. Scenari Avversari (Con Agenti Bizantini, $B > 0$)

• Crollo della Liveness: L'introduzione di anche un solo agente bizantino riduce drasticamente la probabilità di successo.
• Natura dei Fallimenti: I fallimenti sono dominati dalla perdita di liveness (timeout, convergenza bloccata) piuttosto che dalla corruzione del valore (consenso invalido). Gli agenti bizantini riescono a impedire che il gruppo raggiunga mai un accordo, ma raramente riescono a forzare un accordo su un valore sbagliato.
• Traiettorie: La presenza di agenti bizantini e di prompt "consapevoli della minaccia" tende a far oscillare le proposte degli agenti onesti, impedendo la stabilizzazione necessaria per votare "stop".

4. Contributi Principali

1. Studio di Capacità: Una valutazione sistematica della capacità di consenso di gruppi di agenti LLM in condizioni benigne, mostrando che l'accordo non è una capacità emergente affidabile nemmeno senza avversari.
2. Studio di Robustezza: Dimostrazione che anche una singola entità bizantina è sufficiente a far collassare il successo del consenso, rendendo i sistemi attuali fragili.
3. Analisi dei Fallimenti: Identificazione che il problema principale non è la corruzione dei dati (valore sbagliato), ma la mancanza di vivacità (il sistema non finisce mai o si blocca).

5. Significato e Conclusioni

Il paper conclude che l'accordo affidabile non è ancora una capacità emergente affidabile per i gruppi di agenti LLM attuali, nemmeno in ambienti controllati e senza stake.

• Implicazioni per la Sicurezza: Questo solleva preoccupazioni per i deployment che richiedono un coordinamento robusto (es. sistemi critici, delega di compiti, sicurezza). Se gli agenti non possono accordarsi in un ambiente di test semplice, la loro affidabilità in scenari reali complessi è dubbia.
• Sfide Future: La ricerca futura dovrà esplorare strategie di difesa più sofisticate, popolazioni di agenti eterogenee e modelli di minaccia più complessi.
• Osservazione sul Prompting: Il fatto che menzionare la presenza di avversari (anche inesistenti) peggiori le prestazioni suggerisce che gli LLM potrebbero avere difficoltà a gestire l'incertezza o a mantenere la coerenza quando si presume un contesto ostile.

In sintesi, mentre gli LLM mostrano potenziale per la collaborazione, la loro capacità di raggiungere un consenso formale e robusto in presenza di fallimenti o attacchi è attualmente insufficiente per applicazioni critiche.