Riepilogo Tecnico: Multi2 – Processo Decisionale Multi-Agente Gerarchico con Agenti Basati su LLM

1. Definizione del Problema

La sfida centrale affrontata da questo lavoro è la fragilità degli agenti basati su Large Language Model (LLM) in ambienti interattivi a lungo orizzonte. Sebbene i recenti agenti basati su LLM dimostrino un forte ragionamento contestuale, essi faticano con l'interazione sostenuta, soffrendo principalmente di deriva dell'obiettivo (objective drift). Man mano che le interazioni si estendono su più turni, gli agenti spesso deviano dai loro obiettivi originali a causa dell'accumulo di piccoli errori di esecuzione e del disallineamento del loro stato interno rispetto all'intento iniziale.

Inoltre, gli approcci esistenti spesso si affidano a cronologie di interazione in continua crescita per mantenere il contesto, portando a una inefficienza dei token. Sebbene la decomposizione gerarchica (suddivisione dei compiti in sotto-obiettivi) sia stata proposta per mitigare i fallimenti della pianificazione, i metodi attuali spesso non riescono a garantire un'esecuzione stabile. Nello specifico, la componente "esecutore" in molti sistemi gerarchici non è esplicitamente addestrata per correggere gli errori cumulativi durante l'interazione, lasciando il sistema vulnerabile a loop, violazioni di vincoli e degradazione delle prestazioni all'aumentare dell'orizzonte del compito.

2. Metodologia: Il Framework Multi2

Gli autori propongono Multi2, un framework decisionale multi-agente gerarchico che separa esplicitamente la decomposizione del compito (pianificazione) dall'esecuzione dell'azione attraverso la specializzazione dei ruoli. Il framework opera su due sistemi distinti:

• Sistema 1 (Agente di alto livello): Si concentra sulla generazione di sotto-obiettivi consapevoli del contesto. Prende come input una descrizione del compito e l'osservazione corrente e restituisce un sotto-obiettivo. Questo sistema è addestrato tramite Supervised Fine-Tuning (SFT) per garantire una pianificazione semantica coerente e strutturata.
• Sistema 2 (Agente di basso livello): È responsabile dell'esecuzione di azioni atomiche nell'ambiente dinamico per raggiungere il sotto-obiettivo fornito dal Sistema 1. Questo sistema è addestrato tramite una pipeline di Reinforcement Learning (RL) Offline-to-Online.

Pipeline di Addestramento

Il processo di addestramento è diviso in tre fasi per garantire stabilità e miglioramento continuo:

1. Addestramento Offline (Sistema 1): Il Sistema 1 è sottoposto a fine-tuning tramite apprendimento comportamentale (SFT) su un dataset di alto livello ($D_{sys1}$) contenente descrizioni di compiti e sequenze di coppie osservazione-sotto-obiettivo. L'obiettivo è minimizzare la perdita di cross-entropy per imitare gli esperti nei sotto-obiettivi.
2. Addestramento Offline (Sistema 2): Il Sistema 2 viene inizializzato tramite RL offline su un dataset di basso livello ($D_{sys2}$) contenente transizioni (osservazione, azione, ricompensa, successiva osservazione) condizionate dai sotto-obiettivi. Gli autori impiegano una struttura actor-critic con un nuovo design della perdita:
   • Addestramento del Critic: Minimizza l'errore di Temporal-Difference (TD) utilizzando l'apprendimento del valore in-distribution (ID) per stabilizzare l'addestramento.
   • Addestramento dell'Actor: Utilizza un termine di vantaggio ancorato alla policy (policy-anchored advantage term). Questo combina l'imitazione delle azioni offline con un termine di vantaggio pesato che incoraggia le azioni stimate per produrre rendimenti più elevati, mitigando l'over-imitation e i comportamenti preimpostati (templated).
3. Addestramento Online (Auto-miglioramento del Sistema 2): Per consentire l'adattamento continuo, il Sistema 2 subisce un raffinamento tramite RL online. Una nuova policy ($\pi_{on}$) viene aggiornata utilizzando un replay buffer che mescola i dati offline e le nuove traiettorie online. La funzione di perdita include:
   • Un termine di log-likelihood pesato che rinforza le azioni ad alto vantaggio.
   • Un termine di regolarizzazione di Kullback-Leibler (KL) che vincola la policy online a rimanere vicina alla policy addestrata offline ($\pi_{off}$). Ciò previene il collasso del modo (mode collapse) e i cambiamenti bruschi della policy, garantendo un auto-miglioramento stabile.

Architettura

Multi2 utilizza un backbone LLM pre-addestrato condiviso (ad es., Qwen-2.5, Mistral, Llama-3.1) con Low-Rank Adaptation (LoRA). Fondamentalmente, il Sistema 1 e il Sistema 2 utilizzano adapter LoRA separati, permettendo una parametrizzazione specifica per ruolo senza aggiornare l'intero backbone.

3. Contributi Chiave

1. Framework Multi2: Un framework gerarchico specializzato per ruolo che separa la pianificazione dei sotto-obiettivi (Sistema 1) ed l'esecuzione delle azioni (Sistema 2) come problemi di ottimizzazione distinti, affrontando l'instabilità dell'interazione a lungo orizzonte.
2. Obiettivo RL Offline-to-Online Principiato: Una nuova pipeline di addestramento per l'esecutore (Sistema 2) che combina l'apprendimento offline ancorato alla policy con il raffinamento online regolarizzato tramite KL. Questo design si allinea esplicitamente con il ruolo dell'esecutore per consentire un auto-miglioramento stabile e campionamento efficiente.
3. Dataset Benchmark Gerarchici: Il rilascio di tre dataset gerarchici ben strutturati per l'addestramento e la valutazione di agenti LLM interattivi in molteplici ambienti (ScienceWorld, ALFWorld, TextCraft), colmando la lacuna nella disponibilità di dati gerarchici coerenti.
4. Validazione Empirica: Dimostrazione che Multi2 supera costantemente le forti baseline in termini di prestazioni, efficienza dei token e robustezza alla deriva dell'obiettivo.

4. Risultati Sperimentali

Il framework è stato valutato su ScienceWorld, ALFWorld e TextCraft utilizzando vari modelli backbone (Qwen-2.5 3B, Mistral 7B, Llama-3.1 8B).

• Prestazioni: Multi2 ha ottenuto i tassi di successo più elevati su quasi tutte le backbone e le suddivisioni di valutazione (In-Distribution e Out-of-Distribution). Ad esempio, sulla suddivisione ID di ScienceWorld con Llama-3.1 8B, Multi2 ha raggiunto un tasso di successo del 67,61% rispetto al 60,48% della baseline gerarchica Glider e al 23,23% di ReAct basato su prompt.
• Robustezza alla Deriva dell'Obiettivo: Multi2 ha dimostrato prestazioni superiori su compiti più difficili che richiedono orizzonti più lunghi. Mentre gli agenti basati su prompt degradavano rapidamente con la difficoltà del compito, e altre baseline fine-tuned mostravano cali dai compiti medi a quelli difficili, Multi2 ha mantenuto prestazioni costanti, indicando un'efficace mitigazione della deriva dell'obiettivo.
• Efficienza dei Token: Multi2 è stato significativamente più efficiente nei token rispetto alle baseline. Utilizzando l'invocazione gerarchica su richiesta e la generazione di azioni ottimizzata tramite RL, ha raggiunto prestazioni superiori con meno token di inferenza rispetto ai metodi basati su prompt che si affidano a finestre di contesto lunghe e dimostrazioni in-context.
• Studi di Ablazione:
  • Specializzazione del Ruolo: Scambiare i paradigmi di addestramento (addestrare il Sistema 1 con RL e il Sistema 2 con SFT) ha portato alle peggiori prestazioni, confermando la necessità di SFT per la pianificazione e di RL per l'esecuzione.
  • Architettura: La struttura gerarchica con adapter specifici per ruolo ha superato le baseline a modello singolo o con adapter condiviso.
  • Design della Perdita: Il proposto loss offline ancorato alla policy e il loss online regolarizzato tramite KL sono stati critici per ridurre la varianza e prevenire fallimenti di bassa prestazione rispetto alle varianti vanilla di IQL o AWAC.

5. Significato e Rivendicazioni

L'articolo sostiene che Multi2 fornisca una soluzione affidabile ed efficiente per costruire agenti basati su LLM interattivi capaci di risolvere compiti a lungo orizzonte. Il suo significato risiede in:

• Affrontare Limitazioni Fondamentali: Va oltre la semplice decomposizione gerarchica addestrando esplicitamente lo strato di esecuzione per correggere gli errori cumulativi, un vuoto identificato in lavori precedenti come Glider.
• Stabilità nell'Interazione: La combinazione di SFT per la preservazione dell'intento e RL regolarizzato tramite KL per il raffinamento dell'esecuzione offre un meccanismo principato per una coordinazione stabile durante interazioni estese.
• Efficienza delle Risorse: Il framework raggiunge prestazioni allo stato dell'arte riducendo al contempo il consumo di token, rendendolo più pratico per l'implementazione nel mondo reale.
• Risorsa per la Comunità: Rilasciando i dataset gerarchici e il codice, gli autori mirano a facilitare un'adozione più ampia e un confronto equo nello sviluppo del decision-making gerarchico per gli agenti LLM.

Gli autori posizionano questo lavoro come un passo verso un'IA agentica capace di mantenere l'intento e adattarsi efficacementamente in ambienti dinamici, contribuendo ad algoritmi di apprendimento più efficaci per i sistemi interattivi.