Riepilogo Tecnico: Attacchi Interni nei Sistemi di Consenso Multi-Agente con LLM

Definizione del Problema

Il documento affronta una vulnerabilità critica nei sistemi multi-agente basati su Modelli Linguistici di Grande Dimensione (LLM): gli attacchi interni all'interno dei processi di formazione del consenso. Mentre i framework esistenti spesso presuppongono che tutti gli agenti partecipanti siano allineati con l'obiettivo del sistema, questo lavoro ipotizza che un agente malintenzionato possa infiltrarsi in un gruppo come membro legittimo. A differenza degli attacchi esterni che perturbano prompt o infrastrutture, un attaccante interno opera all'interno del processo di deliberazione. L'obiettivo dell'attaccante è interrompere strategicamente, ritardare o impedire agli agenti benigni di raggiungere una decisione condivisa (consenso), mantenendo al contempo una demeanor superficialmente cooperativa. La sfida risiede nel fatto che, nei sistemi basati sul linguaggio, l'influenza è esercitata attraverso sottili strategie di linguaggio naturale—come persuasione, inquadramento, accordo selettivo o ambiguità—piuttosto che tramite compromissione diretta del sistema.

Gli autori formalizzano questo aspetto come un problema di decisione sequenziale in cui un agente malintenzionato cerca di massimizzare una funzione di ricompensa che penalizza il consenso benigno e premia il disaccordo prolungato.

Metodologia

Per risolvere il problema di ottimizzazione volto a trovare una politica di attacco efficace, gli autori propongono un framework basato su modello del mondo che combina la modellazione delle dinamiche latenti con l'Apprendimento per Rinforzo (RL). Questo approccio è progettato per superare l'inefficienza campionaria dell'ottimizzazione diretta contro LLM interagenti, che richiederebbe costose simulazioni multi-agente.

1. Modello del Mondo ad Agente Latente

Invece di interrogare l'intero sistema multi-agente LLM ad ogni passo, gli autori addestrano un modello surrogato per prevedere l'evoluzione degli stati degli agenti benigni.

• Rappresentazione dello Stato: Il modello prende in input le posizioni decisionali correnti dei vicini visibili ($y^t_{N_k}$) e i loro attributi comportamentali ($\psi_{N_k}$), insieme all'azione dell'attaccante (messaggio e decisione).
• Gestione dell'Eterogeneità: Riconoscendo che agenti con personalità diverse reagiscono diversamente allo stesso input, il modello è una rete neurale feed-forward multi-testa. Codifica le posizioni degli agenti e gli attributi comportamentali, quindi utilizza teste specifiche per la personalità per prevedere la prossima posizione decisionale per ciascun tipo di agente benigno.
• Addestramento: Il modello è addestrato tramite regressione supervisionata su dati di traiettoria raccolti da interazioni che coinvolgono agenti benigni con diversi tipi di personalità (ostinati, suggestibili, neutrali) e un agente malintenzionato casuale.

2. Inferenza degli Attributi Comportamentali

In scenari realistici, un attaccante potrebbe non conoscere i tipi di personalità specifici degli agenti benigni. Per affrontare ciò, gli autori introducono un classificatore di attributi comportamentali.

• Questo classificatore inferisce il tipo comportamentale di un agente (es. ostinato, suggestibile) dalle sue traiettorie decisionali storiche e dai messaggi trasmessi.
• Utilizza un encoder di traiettoria ricorrente per la storia delle posizioni e un encoder basato su BERT per la semantica dei messaggi.
• Gli attributi inferiti vengono quindi immessi nel modello del mondo e nella politica dell'attaccante, consentendo all'attacco di adattarsi al comportamento osservato del gruppo.

3. Ottimizzazione dell'Attaccante Basata su RL

L'attacco interno è formulato come un Processo Decisionale di Markov (MDP) risolto utilizzando Deep Q-Networks (DQN).

• Politica: L'attaccante impara una politica $\pi_{adv}$ che mappa lo stato del vicinato visibile a una coppia di messaggio-decisione avversaria.
• Funzione di Ricompensa: La ricompensa è progettata per incoraggiare il disaccordo (es. $r_t = 1$ se il consenso non è raggiunto, $0$ altrimenti).
• Efficienza: Utilizzando il modello del mondo appreso per le simulazioni invece dei veri LLM, il processo di addestramento diventa significativamente più efficiente dal punto di vista del campionamento, permettendo all'attaccante di ragionare sugli effetti cumulativi a lungo termine.

Contributi Chiave

1. Formalizzazione della Manipolazione Interna: Il documento presenta la manipolazione interna nel consenso multi-agente LLM come un problema di decisione sequenziale, andando oltre i semplici esempi avversari basati su prompt verso un framework di attacco dinamico e adattivo.
2. Framework di Attacco Basato su Modello: Gli autori sviluppano un approccio basato su modello del mondo che apprende le dinamiche surrogate di agenti benigni eterogenei. Ciò consente un'ottimizzazione efficiente dell'attaccante senza il costo computazionale di ripetute simulazioni dell'intero sistema.
3. Validazione Empirica: Il framework è istanziato in un ambiente di consenso discreto 1D. Lo studio fornisce prove preliminari che un attaccante basato su modello appreso è più efficace nel perturbare il consenso rispetto a un attaccante di base che si affida esclusivamente a un prompt malintenzionato statico.

Risultati Sperimentali

Gli autori hanno valutato il framework in un contesto con $N$ agenti su una linea 1D (posizioni 0–20), utilizzando GPT-4o come modello sottostante. Hanno confrontato quattro configurazioni:

1. Nessun Attaccante: Una baseline pulita con un agente neutrale aggiuntivo.
2. Attaccante Basato su LLM: Una baseline che utilizza un prompt malintenzionato statico senza modellazione dinamica esplicita.
3. Attaccante Basato su RL (Attributi Noti): Utilizza la politica DQN con conoscenza reale delle personalità degli agenti benigni.
4. Attaccante RL Indovinato: Utilizza la stessa politica DQN ma inferisce i tipi di personalità dal primo round di interazione.

Risultati Chiave:

• Riduzione del Tasso di Consenso: Sia l'attaccante basato su LLM che quello basato su RL hanno ridotto il tasso di consenso rispetto alla baseline senza attaccante.
• Superiorità del RL: L'attaccante basato su RL ha ottenuto la perturbazione più forte in media, risultando nel tasso di consenso più basso (ad esempio, scendendo da 0,95 nella baseline a 0,83 complessivamente) e nella durata media dell'episodio più lunga (aumentando da 4,32 a 4,91 round).
• Efficacia dell'Inferenza: L'"Attaccante RL Indovinato" ha performato quasi quanto la variante "Attributi Noti", dimostrando che l'inferenza degli attributi comportamentali da un singolo round iniziale è sufficiente per adattare efficacemente la strategia di attacco.
• Accuratezza del Modello del Mondo: Il modello del mondo latente ha raggiunto un Errore Assoluto Medio (MAE) di 0,927 nella previsione delle posizioni successive, indicando che cattura tendenze significative nel movimento degli agenti benigni nonostante la difficoltà della previsione esatta di interi.

Significato e Limitazioni

Significato:
Il documento sostiene che combinare modelli del mondo latenti con l'apprendimento per rinforzo è una direzione promettente per gli attacchi interni adattivi. Dimostra che la modellazione esplicita delle dinamiche di interazione degli agenti benigni permette a un attaccante di essere più efficace rispetto all'affidarsi esclusivamente alle capacità strategiche intrinseche di un LLM promptato. Ciò evidenzia una vulnerabilità specifica nei sistemi di consenso multi-agente dove l'assunzione di allineamento del "umano nel ciclo" o dell'"agente nel ciclo" è fragile.

Limitazioni:
Gli autori notano esplicitamente diversi vincoli:

• Ambiente Semplificato: Gli esperimenti sono condotti in un contesto di consenso 1D semplificato con un piccolo numero di agenti.
• Tipi Predefiniti: Lo studio si basa su tipi comportamentali predefiniti (ostinati, suggestibili, neutrali) piuttosto che su spettri di personalità aperti.
• Protocollo Restretto: Il protocollo di comunicazione è strutturato e limitato rispetto alle conversazioni multi-agente aperte.
• Lavori Futuri: Gli autori affermano che la ricerca futura dovrà affrontare protocolli più aperti, popolazioni di agenti più ampie e lo sviluppo di meccanismi di difesa contro tale manipolazione interna.