Latent Agents: A Post-Training Procedure for Internalized Multi-Agent Debate

1. Enunciato del Problema

Il dibattito multi-agente (MAD) ha dimostrato di essere efficace nel migliorare il ragionamento, l'accuratezza fattuale e la resistenza alle allucinazioni dei Large Language Models (LLM). Tuttavia, il MAD tradizionale è computazionalmente costoso e inefficiente perché richiede:

• Multiple Chiamate di Inferenza: Esecuzione di diverse istanze distinte di LLM.
• Trascrizioni Verbose: Generazione di lunghe storie conversazionali attraverso più round prima di raggiungere un consenso.
• Elevato Consumo di Token: Ciò comporta latenza significativa e costi, rendendolo poco pratico per applicazioni in tempo reale o con risorse limitate.

La sfida principale è distillare i benefici del ragionamento collaborativo del dibattito multi-agente in un singolo LLM che possa eseguire il ragionamento internamente (nel suo spazio latente) senza generare la trascrizione esterna verbosa del dibattito, mantenendo così le prestazioni mentre riduce drasticamente i costi di inferenza.

2. Metodologia: Dibattito Multi-Agente Internalizzato (IMAD)

Gli autori propongono IMAD, una pipeline di fine-tuning in due fasi progettata per internalizzare il processo di dibattito. Il framework è composto da tre fasi principali:

A. Costruzione del Dataset

• Fonte: Un dataset di 944 tracce di dibattito è stato generato utilizzando GPT-3.5-turbo.
• Compito: Sono stati scelti problemi aritmetici (sei numeri a due cifre generati casualmente) per focalizzarsi sull'apprendimento strutturale piuttosto che su conoscenze di dominio complesse.
• Struttura: Il dataset include $n=3$ agenti e $m=2$ round. Crucialmente, vengono aggiunti tag strutturali (ad es. <|Agent 1|>, <|Round 1|>, <|Consensus|>) ai log per insegnare esplicitamente al modello il formato del dibattito.
• Filtraggio: I dibattiti senza un consenso di maggioranza finale vengono scartati.

B. Fase 1: Fine-Tuning Supervisionato (SFT) - Apprendimento Strutturale

• Obiettivo: Insegnare al singolo LLM a replicare il formato e la struttura di un dibattito multi-agente.
• Processo: Il modello viene addestrato tramite la previsione standard autoregressiva del token successivo su tutte le tracce complete del dibattito (inclusi tutti i turni degli agenti e il consenso finale).
• Risultato: Il modello impara a generare una sequenza strutturata di "agenti virtuali" che criticano e affinano gli argomenti, mimando efficacemente la dinamica del dibattito esterno all'interno di un singolo flusso di generazione.

C. Fase 2: Apprendimento per Rinforzo (RL) - Internalizzazione

• Obiettivo: Trasformare il modello dalla generazione di dibattiti espliciti e verbosi all'esecuzione del ragionamento internamente e all'output della sola risposta finale.
• Algoritmo: Group Relative Policy Optimization (GRPO).
• Pianificazione Dinamica delle Ricompense: La funzione di ricompensa $r(x, y)$ combina due componenti con pesi dinamici:
  1. Ricompensa per il Formato ($R_{fmt}$): Inizialmente positiva se l'output contiene tag strutturali. Il peso $w_{fmt}$ decresce durante l'addestramento, rimuovendo l'incentivo a outputtare strutture verbose.
  2. Correttezza con Taglio della Lunghezza ($R(y; l)$): Viene assegnata una ricompensa di 1 solo se la risposta corretta appare all'interno di un prefisso troncato di lunghezza $l$. Il limite di lunghezza $l$ subisce un annealing, iniziando in modo permissivo ($l_0$) e restringendosi fino a un limite target ($l^*$) che si adatta solo a una risposta concisa.
• Meccanismo: Man mano che la ricompensa per il formato svanisce e il limite di lunghezza si restringe, il modello è costretto a eseguire l'analisi multi-prospettica appresa durante l'SFT internamente (nel suo spazio latente) per soddisfare il vincolo di correttezza senza violare il vincolo di lunghezza.

3. Contributi Chiave

1. Framework IMAD: Una pipeline innovativa in due fasi che distilla il dibattito multi-agente in un singolo LLM, raggiungendo prestazioni competitive con fino al 93% in meno di token rispetto al dibattito multi-agente esplicito.
2. Scoperta Meccanicistica (Sottospazi degli Agenti): Attraverso l'analisi dello steering delle attivazioni, gli autori dimostrano che i modelli IMAD non collassano in un singolo modo di ragionamento. Invece, sviluppano sottospazi distinti e linearmente separabili degli agenti nello spazio delle attivazioni. Questi sottospazi corrispondono a prospettive specifiche degli agenti (ad es. Chain-of-Thought, Self-Critique, Program-of-Thought).
3. Sicurezza Controllabile tramite Steering: Il paper dimostra che questi sottospazi degli agenti internalizzati sono controllabili. Iniettando un agente "malvagio" durante l'addestramento e applicando poi uno steering negativo (sottraendo il vettore di steering dell'agente malvagio), il modello può sopprimere tratti dannosi (ad es. intenti malvagi, allucinazioni) più efficacemente rispetto allo steering di un modello base, con una minore degradazione delle prestazioni generali nei compiti.

4. Risultati Sperimentali

Gli autori hanno valutato IMAD su tre benchmark: GSM8K (matematica), MMLU-Pro (conoscenza multi-dominio) e Big-Bench Hard (ragionamento logico), utilizzando LLaMA-3.1 8B, Qwen 2.5 7B e Mistral Nemo 12B.

• Prestazioni vs. Efficienza:
  • IMAD eguaglia o supera l'accuratezza del dibattito multi-agente esplicito (Debate) su tutti i modelli e benchmark.
  • Riduzione dei Token: IMAD utilizza solo dal 6,3% al 21,1% dei token richiesti dal dibattito esplicito (un guadagno di efficienza di 5–16 volte).
  • Generalizzazione: Nonostante sia addestrato solo su aritmetica, IMAD generalizza bene a compiti di ragionamento complesso (MMLU-Pro, BBH) e a compiti di riassunto open-ended.
• Analisi dei Sottospazi degli Agenti:
  • Utilizzando l'Aggiunta Contrastiva delle Attivazioni (CAA), gli autori hanno estratto vettori di steering per specifiche personalità di agenti.
  • Fedeltà: I modelli IMAD steerati hanno mostrato un allineamento significativamente più alto (punteggi ROUGE) con le personalità degli agenti target rispetto ai modelli base steerati (miglioramento medio del 15,41% nell'AUC).
  • Ciò conferma che la struttura collaborativa è preservata come rappresentazioni latenti identificabili.
• Controllo dell'Agente Malvagio:
  • Quando addestrati con un agente malvagio, i modelli IMAD hanno permesso una soppressione quasi completa dei tratti "malvagi" tramite steering negativo (punteggi che scendono a ~0), mentre i modelli base hanno mantenuto comportamenti malvagi residui.
  • Stabilità: I modelli IMAD hanno mantenuto elevate prestazioni nei compiti (accuratezza GSM8K) e bassa perplessità sotto coefficienti di steering estremi, mentre i modelli base hanno subito un collasso delle prestazioni e incoerenza.

5. Significato e Implicazioni

• Efficienza: IMAD offre una soluzione pratica all'alto costo dei sistemi multi-agente, consentendo il dispiegamento di ragionamenti simili a dibattiti in ambienti di produzione con la latenza di un singolo modello.
• Interpretabilità: La scoperta dei sottospazi degli agenti fornisce una nuova comprensione meccanicistica di come gli LLM internalizzino il ragionamento complesso. Suggerisce che il "dibattito interno" non è solo un'ottimizzazione a scatola nera, ma comporta la preservazione di prospettive di ragionamento distinte e steerabili.
• Sicurezza e Controllo: La capacità di isolare e sopprimere tratti comportamentali specifici (come allucinazioni o intenti malvagi) tramite steering delle attivazioni offre una nuova e promettente via per la sicurezza degli LLM. Suggerisce che l'addestramento strutturato multi-agente crea rappresentazioni più modulari e controllabili rispetto all'addestramento standard, permettendo la rimozione "chirurgica" di comportamenti dannosi senza compromettere le capacità generali del modello.

In conclusione, il paper stabilisce che le capacità di ragionamento multi-agente possono essere distillate con successo nello spazio latente di un singolo modello, preservando i benefici della collaborazione mentre si abilita un'inferenza efficiente e un controllo comportamentale granulare.