Recursive Multi-Agent Systems

1. Enunciato del Problema

I moderni Large Language Models (LLM) spesso faticano con compiti complessi a causa di capacità limitate, generazione miope o esplorazione inefficiente dello spazio delle soluzioni. Sebbene i Sistemi Multi-Agente (MAS) siano emersi per affrontare questo problema organizzando agenti specializzati in flussi di lavoro collaborativi, gli approcci esistenti presentano limitazioni significative:

• Latenza Mediata dal Testo: I MAS standard si basano sulla generazione e sullo scambio esplicito di testo tra gli agenti. Ciò introduce una latenza sostanziale e un sovraccarico di token, specialmente in contesti ricorsivi o iterativi dove gli agenti devono attendere che gli altri terminino la generazione del testo prima di procedere.
• Inefficienza nell'Addestramento: Ottimizzare un intero MAS è difficile. Aggiornare tutti i parametri del modello è computazionalmente costoso e le dipendenze sequenziali del testo spesso portano alla scomparsa del gradiente durante la retropropagazione, ostacolando l'apprendimento di dinamiche collaborative complesse.
• Adattamento Statico: Molti metodi esistenti si basano sull'ingegneria dei prompt o sulla raffinazione iterativa del contesto, che migliorano l'allineamento ma non evolvono fondamentalmente le capacità di ragionamento interno degli agenti o la struttura collaborativa del sistema.

Gli autori chiedono: È possibile scalare la collaborazione tra agenti attraverso la ricorsione e può questo essere raggiunto in modo più efficiente operando nello spazio latente piuttosto che nello spazio del testo?

2. Metodologia: RecursiveMAS

Il paper introduce RecursiveMAS, un framework che rappresenta l'intero sistema multi-agente come un calcolo ricorsivo unificato nello spazio latente. Invece di trattare gli agenti come entità separate che scambiano testo, RecursiveMAS li tratta come livelli in un ciclo ricorsivo, passando e affinando rappresentazioni latenti (stati nascosti) anziché token.

Componenti Architettonici Principali

1. Generazione di Pensieri Latenti (Ciclo Interno):

   • Ogni agente esegue una generazione auto-regressiva non di token, ma di pensieri latenti (embedding continui dello stato nascosto).
   • Un Inner RecursiveLink ($R_{in}$) collega l'output dell'ultimo strato di un agente al suo spazio di embedding di input per il passo successivo. Ciò permette a un agente di affinare iterativamente il suo stato di ragionamento interno senza decodificare in testo.
   • $R_{in}$ è un modulo di proiezione residua leggero a 2 strati: $R_{in}(h) = h + W_2 \sigma(W_1 h)$.

2. Collaborazione Cross-Agent (Ciclo Esterno):

   • Agenti eterogenei (diverse dimensioni/architetture di modello) sono connessi tramite un Outer RecursiveLink ($R_{out}$).
   • $R_{out}$ trasforma lo stato latente di un agente nello spazio di embedding del successivo agente, consentendo un trasferimento di informazioni senza soluzione di continuità tra diversi tipi di modello.
   • Il sistema forma un ciclo chiuso: Agente $A_1 \to A_2 \to \dots \to A_N \to A_1$. Solo l'agente finale nell'ultimo round di ricorsione decodifica lo stato latente nell'output testuale finale.

3. Paradigma di Addestramento Ciclo Interno-Esterno:

   • Addestramento del Ciclo Interno: Ogni agente viene "warm-up" individualmente. L'$R_{in}$ interno viene addestrato per allineare i pensieri latenti generati dall'agente con la distribuzione semantica della risposta ground-truth (utilizzando la regressione della similarità del coseno). Ciò garantisce che gli agenti possano generare stati latenti significativi.
   • Addestramento del Ciclo Esterno: L'intero sistema viene co-ottimizzato. I moduli $R_{out}$ esterni sono addestrati utilizzando un meccanismo condiviso di assegnazione del credito basato sul gradiente. I gradienti vengono retropropagati attraverso l'intero grafo di calcolo ricorsivo (attraverso tutti gli agenti e i round di ricorsione) utilizzando una standard Cross-Entropy loss sull'output finale. Ciò permette al sistema di imparare a collaborare in modo iterativo.

Vantaggi Teorici

Il paper fornisce due giustificazioni teoriche chiave per la ricorsione nello spazio latente:

• Complessità di Runtime: RecursiveMAS sostituisce la costosa decodifica nello spazio del vocabolario ($O(|V|)$) con una proiezione nello spazio latente ($O(d_h^2)$). Poiché la dimensione nascosta $d_h$ è molto più piccola della dimensione del vocabolario $|V|$, la complessità è significativamente ridotta.
• Stabilità del Gradiente: L'analisi teorica mostra che la ricorsione basata sul testo soffre di scomparsa del gradiente (norma del gradiente $\approx 0$) a causa dell'operazione softmax e dei vincoli di entropia. Al contrario, RecursiveMAS mantiene gradienti stabili e quasi costanti (norma $\approx 1$) attraverso le connessioni residue nello spazio latente, facilitando un efficace addestramento per ricorsioni profonde.

3. Contributi Chiave

1. Ricorsione a Livello di Sistema: Il primo framework che estende il principio di scalabilità ricorsiva dai singoli modelli a sistemi multi-agente eterogenei, trattando l'intero MAS come un ciclo unificato nello spazio latente.
2. Lightweight RecursiveLink: Un modulo innovativo ed efficiente in termini di parametri ($R_{in}$ e $R_{out}$) che abilita la generazione di pensieri latenti e il trasferimento di stato cross-agente senza aggiornare i massicci parametri dei LLM di base.
3. Ottimizzazione Ciclo Interno-Esterno: Un algoritmo di addestramento a due stadi che disaccoppia la capacità dell'agente (interno) dalla collaborazione del sistema (esterno), abilitando una co-ottimizzazione stabile dell'intero sistema.
4. Generalizzabilità: Il framework è agnostico rispetto all'architettura e supporta modelli di collaborazione diversificati, inclusi Sequenziale, Mixture-of-Experts, Distillazione e Deliberazione Integrata con Strumenti.

4. Risultati Empirici

Gli autori hanno valutato RecursiveMAS su 9 benchmark (Matematica, Scienza, Medicina, Ricerca, Codice) utilizzando 4 diversi modelli di collaborazione e diverse famiglie di modelli (Qwen, Llama, Gemma, Mistral).

• Accuratezza: RecursiveMAS ha ottenuto un miglioramento medio dell'accuratezza dell'8,3% rispetto a baselines avanzate di singoli agenti e multi-agente (inclusi sistemi ricorsivi basati sul testo).
  • Guadagni notevoli su compiti intensivi di ragionamento: +18,1% su AIME2025, +13,0% su AIME2026.
• Efficienza (Velocità):
  • Accelerazione nell'Inferenza: Ha raggiunto un'accelerazione end-to-end nell'inferenza da 1,2× a 2,4× rispetto a MAS ricorsivi basati sul testo. L'accelerazione aumenta all'aumentare della profondità di ricorsione perché i sistemi basati sul testo soffrono di costi di generazione di token cumulativi.
  • Riduzione dei Token: Ha ridotto l'uso di token dal 34,6% al 75,6% rispetto alle baselines basate sul testo, poiché la maggior parte delle interazioni avviene nello spazio latente compresso.
• Leggi di Scalabilità:
  • Profondità di Ricorsione: Le prestazioni migliorano costantemente all'aumentare del numero di round di ricorsione ($r=1, 2, 3$).
  • Addestramento vs Inferenza: Una ricorsione di addestramento più profonda spinge il fronte delle prestazioni verso l'alto, e una ricorsione di inferenza più profonda sfrutta ulteriormente la struttura latente appresa.
• Costo: Addestrare RecursiveMAS è significativamente più economico rispetto al fine-tuning completo o persino al fine-tuning LoRA di singoli agenti, poiché vengono aggiornati solo i moduli leggeri RecursiveLink (circa lo 0,31% dei parametri totali).

5. Significato

RecursiveMAS rappresenta un cambiamento di paradigma nel modo in cui i sistemi multi-agente sono progettati e addestrati:

• Efficienza: Risolve la "tassa sui token" della collaborazione multi-agente, rendendo il ragionamento iterativo fattibile per compiti complessi senza latenza o costi proibitivi.
• Scalabilità: Dimostra che le prestazioni a livello di sistema possono essere scalate approfondendo il ciclo di ricorsione, in modo simile a come i singoli modelli scalano con la profondità, ma applicato a un ecosistema collaborativo.
• Stabilità: Spostando la collaborazione nello spazio latente, supera i problemi di instabilità del gradiente che hanno storicamente afflitto l'addestramento ricorsivo profondo nei sistemi basati sul testo.
• Generalizzazione: La capacità del framework di generalizzare attraverso diverse topologie di agenti (sequenziale, parallelo, distillazione) suggerisce un approccio robusto e universale alla scalabilità della collaborazione tra agenti.

In conclusione, RecursiveMAS dimostra che la ricorsione nello spazio latente è un asse di scalabilità vitale e superiore per i sistemi multi-agente, offrendo una strada verso un'IA collaborativa più capace, efficiente e addestrabile.