🤖 AI

A Subgoal-driven Framework for Improving Long-Horizon LLM Agents

Il paper propone un framework che combina la decomposizione in sottobiettivi per la pianificazione online e il framework MiRA per l'addestramento con ricompense basate su traguardi intermedi, migliorando significativamente le capacità di pianificazione a lungo termine degli agenti LLM e permettendo al modello open-source Gemma3-12B di superare le prestazioni dei sistemi proprietari come GPT-4.

Autori originali: Taiyi Wang, Sian Gooding, Florian Hartmann, Oriana Riva, Edward Grefenstette

Pubblicato 2026-03-23

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Taiyi Wang, Sian Gooding, Florian Hartmann, Oriana Riva, Edward Grefenstette

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🚗 Il Viaggio dell'Autista Digitale: Come non perdersi in un labirinto

Immagina di dover guidare un'auto attraverso un labirinto gigantesco e in continua evoluzione, dove le strade cambiano mentre guidi e i cartelli stradali appaiono e scompaiono. Questo è esattamente quello che devono fare gli Agenti LLM (intelligenze artificiali che controllano browser, telefoni o computer) quando cercano di completare un compito complesso su internet, come "Trova il ristorante più vicino a Pittsburgh con un menu vegetariano e prenota un tavolo".

Il problema? Spesso queste intelligenze artificiali si perdono. Iniziano bene, ma dopo pochi passi si bloccano, girano in tondo o finiscono per fare cose senza senso, dimenticando l'obiettivo finale. È come se un autista, dopo aver girato tre volte in un incrocio, decidesse di fermarsi e dormire, o peggio, di guidare in direzione opposta.

I ricercatori di Google DeepMind hanno scritto un paper per risolvere proprio questo: come insegnare a queste intelligenze a non perdersi in compiti lunghi e complessi.

La loro soluzione si chiama MiRA (Milestoning your Reinforcement Learning Enhanced Agent), e si basa su due idee semplici ma potenti: i sottobiettivi e i punti di controllo.

1. Il Problema: "Il Buco Nero della Ricompensa" 🕳️

Immagina di insegnare a un bambino a cucinare una torta. Se gli dici solo: "Fammi una torta perfetta", e lui impasta, cuoce e brucia tutto, gli dai un "Bravo" o un "Peccato" solo alla fine.

Se la torta è bruciata, il bambino non sa dove ha sbagliato: è stato il forno troppo caldo? Ha messo troppo zucchero? Ha dimenticato le uova?
Questo è il problema degli agenti attuali: ricevono una ricompensa solo alla fine (Successo o Fallimento). In un compito lungo con 20 passaggi, è impossibile capire quale dei 20 passaggi ha causato il fallimento.

2. La Soluzione: La Mappa dei Punti di Controllo 🗺️

I ricercatori hanno detto: "Non aspettiamo la fine del viaggio per dare un premio. Creiamo dei punti di controllo (milestones) lungo la strada".

A. Scomporre il viaggio (Subgoals)

Invece di dire "Fai la torta", l'agente riceve una lista di piccoli obiettivi:

Accendi il forno.
Mescola le uova.
Aggiungi la farina.
Inforna.

Ogni volta che l'agente completa un punto, riceve un piccolo "bravo" (una ricompensa). Questo trasforma un compito enorme e spaventoso in una serie di piccoli passi gestibili.

B. Due modi per usare questa mappa

Il paper propone due strategie che lavorano insieme:

1. La Mappa in Tempo Reale (Durante l'esecuzione) 🧭
Immagina che l'agente sia un viaggiatore con una bussola intelligente. Prima di fare ogni mossa, si chiede: "Dove sono arrivato? Ho completato il punto di controllo 'Mescola le uova'? Se sì, posso passare al prossimo. Se no, devo riprovare."

Come funziona: Usano un modello molto potente (come un "capo" esperto) che controlla in tempo reale se l'agente sta seguendo la strada giusta. Se l'agente inizia a girare in tondo, il "capo" lo ferma e gli dice: "Ehi, sei tornato indietro! Riparti dal punto X".
Risultato: L'agente non si perde più nel labirinto perché ha sempre gli occhi puntati sul prossimo traguardo.

2. L'Allenamento con i Punti di Controllo (Durante l'apprendimento) 🏋️‍♂️
Qui entra in gioco MiRA. Invece di addestrare l'agente aspettando la fine della torta per vedere se è buona, gli danno un premio ogni volta che riesce a mescolare le uova correttamente.

La magia: Creano un "sistema di ricompensa fittizia" che dice all'agente: "Stai facendo progressi! Sei al 30% del traguardo". Questo aiuta l'agente a capire che sta andando nella direzione giusta anche se non ha ancora finito la torta.
Risultato: L'agente impara molto più velocemente e diventa molto più bravo a pianificare, anche se è un modello "piccolo" e open-source (come Gemma).

3. I Risultati: Piccoli Giganti 🦸‍♂️

Cosa è successo quando hanno provato questo metodo?

I modelli "piccoli" sono diventati mostri: Hanno preso un modello open-source (Gemma-3, che è "gratis" e accessibile) e lo hanno allenato con MiRA. Risultato? È diventato più bravo di modelli proprietari costosissimi e chiusi (come GPT-4o o Gemini avanzato) nel navigare su internet.
- Prima: Gemma aveva successo nel 6% dei casi.
- Dopo: Gemma ha successo nel 43% dei casi.
- Confronto: GPT-4o si ferma al 13,9%.
Meno "bloccati in mezzo": Il problema principale degli agenti era il "Get Stuck Midway" (bloccarsi a metà strada). Con questo nuovo metodo, gli errori di blocco sono crollati drasticamente. L'agente non si arrende più a metà del compito.

4. L'Analogia Finale: Il Treno vs. L'Automobile 🚂

Prima (Senza MiRA): L'agente era come un'automobile senza GPS che entra in una città sconosciuta. Se sbaglia un incrocio, continua a guidare finché non si esaurisce la benzina o si blocca in un vicolo cieco.
Ora (Con MiRA): L'agente è come un treno su binari. I "sottobiettivi" sono le stazioni intermedie. Il sistema controlla che il treno sia arrivato alla stazione A prima di lasciarlo partire verso la stazione B. Se il treno prova a saltare una stazione, il sistema lo ferma e lo rimette in carreggiata.

In Sintesi 🌟

Questo paper ci dice che per rendere le intelligenze artificiali davvero autonome e capaci di lavorare per ore senza stancarsi, non serve necessariamente un "cervello" più grande e costoso. Serve invece un metodo migliore per pianificare.

Dividere i compiti enormi in piccoli passi verificabili (i "milestones") e dare feedback costosi durante il viaggio (non solo alla fine) trasforma un agente confuso in un professionista affidabile. È come passare dal dare un bambino in mezzo a un bosco a dargli una mappa dettagliata con dei punti di controllo: il viaggio diventa sicuro, e il bambino (l'agente) arriva a destinazione.

1. Il Problema: Fallimenti nella Pianificazione a Lungo Termine

Gli agenti basati su Large Language Models (LLM) stanno emergendo come controller autonomi potenti per ambienti digitali (browser web, sistemi operativi, interfacce mobili). Tuttavia, affrontano sfide critiche nei compiti a lungo orizzonte (long-horizon), come la navigazione web complessa.

L'analisi empirica condotta dagli autori rivela che i fallimenti attuali non sono dovuti principalmente all'esecuzione di singoli passi, ma a due problemi fondamentali:

Perdita di traccia durante l'esecuzione: Gli agenti spesso si "bloccano" in cicli di azioni non produttivi o perdono di vista il percorso verso l'obiettivo finale man mano che arrivano nuove informazioni.
Ricompense sparse e ritardate: Durante l'addestramento con Reinforcement Learning (RL), la ricompensa è spesso binaria (successo/fallimento) solo alla fine dell'episodio. Questo rende difficile l'assegnazione del credito (credit assignment) per le azioni intermedie che hanno portato al successo, impedendo un ragionamento coerente su compiti estesi.

Su benchmark come WebArena-Lite, gli agenti (sia proprietari che open-source) mostrano tassi di fallimento elevati dovuti a comportamenti di "blocco a metà strada" (Get Stuck Midway), dove l'agente entra in loop o non riesce a identificare il prossimo passo logico.

2. Metodologia: Il Framework MiRA

Per affrontare queste sfide, gli autori propongono un framework unificato che combina la pianificazione online (inferenza) con l'addestramento offline (RL), basato su sottobiettivi espliciti (milestones). Il framework si chiama MiRA (Milestoning your Reinforcement Learning Enhanced Agent).

La metodologia si articola in tre componenti principali:

A. Analisi Automatica dei Fallimenti

Prima di proporre la soluzione, gli autori hanno sviluppato un analizzatore automatico che esamina le traiettorie di fallimento. Questo strumento:

Classifica i fallimenti in categorie (es. "Bloccato a metà strada", "Terminazione errata").
Identifica il passo decisionale critico esatto in cui l'agente si è discostato dal percorso ottimale, confrontando le traiettorie fallite con percorsi di successo (demonstrations).
Questa analisi ha confermato che la mancanza di pianificazione dinamica è la causa principale dei fallimenti.

B. Pianificazione Online con Sottobiettivi (Inference-Time Planning)

Per migliorare l'esecuzione in tempo reale, il framework introduce un meccanismo di Milestoning Dinamico:

Un modello "insegnante" (es. Gemini-2.5-pro) genera una lista strutturata di sottobiettivi (milestones) per un compito ad alto livello.
Durante l'esecuzione, l'agente esegue un ciclo di auto-riflessione:
1. Analizza la storia delle interazioni per verificare quali sottobiettivi sono stati completati.
2. Verifica se il sottobiettivo corrente è stato raggiunto.
3. Pianifica il prossimo passo basandosi sui milestones rimanenti.
Questo processo trasforma l'esecuzione da una sequenza cieca a un processo guidato da stati verificati, permettendo all'agente di correggere le deviazioni in tempo reale.

C. Addestramento RL con Ricompense Basate su Milestones (MiRA)

Per l'addestramento offline, gli autori introducono una tecnica di Reward Shaping basata su potenziali:

Critic Doppio: Il sistema utilizza due valutatori (critics):
1. Un Value Critic standard che valuta il successo finale (ricompensa sparsa).
2. Un Potential Critic ( $P_\psi$ ) che stima il progresso verso i sottobiettivi intermedi.
Formazione di Ricompense Dense: Invece di attendere la fine del compito, il Potential Critic genera segnali di ricompensa densi e continui basati sul completamento progressivo dei sottobiettivi. Questo risolve il problema della sparsità delle ricompense.
Ottimizzazione della Policy: L'agente viene addestrato utilizzando una regressione supervisionata (MSE) sui log-rapporti di probabilità, guidati da vantaggi calcolati in modo "doppio-robusto" (misto tra errori TD a 1 passo e ritorni Monte Carlo). Questo permette un apprendimento off-policy stabile ed efficiente.
Curriculum Iterativo: Il framework adotta un ciclo di raffinamento iterativo: l'agente viene addestrato, i suoi fallimenti vengono analizzati, e vengono generati nuovi compiti più difficili basati su quelle debolezze, espandendo progressivamente le capacità dell'agente.

3. Risultati Chiave

Gli esperimenti sono stati condotti su WebArena-Lite, un benchmark rigoroso di navigazione web.

Prestazioni del Modello Open-Source: Applicando MiRA al modello open-source Gemma-3-12B, il tasso di successo (Success Rate - SR) è passato dal 6.4% (base) al 43.0%.
- Questo risultato supera significativamente i sistemi proprietari come GPT-4-Turbo (17.6%) e GPT-4o (13.9%).
- Supera anche lo stato dell'arte precedente dei modelli open (WebRL su Llama3-8B: 38.4%).
Miglioramento dei Modelli Proprietari: L'aggiunta della pianificazione basata su sottobiettivi (SGO) al modello Gemini-2.5-Pro ha aumentato il tasso di successo dal 23.0% al 32.1% (un miglioramento assoluto di ~10 punti percentuali).
Riduzione dei Fallimenti: Il framework ha ridotto drasticamente la categoria di errore "Get Stuck Midway" (bloccato a metà strada), che era dominante in tutti i modelli di base.
Efficienza: L'uso di un budget di calcolo dinamico (attivare la riflessione solo quando necessario) ha permesso di mantenere bassa la latenza di inferenza pur ottenendo prestazioni elevate.

4. Contributi Principali

Analisi dei Fallimenti Automatizzata: Un metodo sistematico per diagnosticare le modalità di fallimento degli agenti web, identificando la pianificazione debole come il collo di bottiglia principale.
Framework di Pianificazione Dinamica: Un approccio che integra sottobiettivi espliciti nel ciclo di inferenza, permettendo agli agenti di monitorare e correggere il proprio progresso in tempo reale.
MiRA (RL con Milestones): Un nuovo framework di addestramento RL che utilizza segnali di ricompensa densi basati su sottobiettivi verificabili, superando i limiti della ricompensa sparsa e migliorando l'assegnazione del credito.
Nuovo Stato dell'Arte: Dimostrazione che un modello open-source di dimensioni medie (12B), se opportunamente addestrato con questo framework, può superare modelli proprietari molto più grandi e complessi in compiti di navigazione web complessi.

5. Significato e Implicazioni

Questo lavoro è significativo perché:

Supera il limite della ricompensa sparsa: Dimostra che l'uso di supervisione di processo (process supervision) tramite sottobiettivi espliciti è più efficace e stabile rispetto ai Process Reward Models (PRM) appresi o alle ricompense sparse tradizionali.
Democratizza le capacità avanzate: Mostra che non è necessario un modello proprietario massiccio per ottenere prestazioni di alto livello; un modello open-source ben addestrato con un framework strutturato può competere e superare i giganti del settore.
Verso l'Autonomia Recursiva: Il framework suggerisce la fattibilità di agenti auto-evolutivi, dove un modello capace può pianificare, eseguire, giudicare i propri fallimenti e generare curricula di addestramento per se stesso o per le sue versioni successive, riducendo la dipendenza dall'intervento umano.

In sintesi, il paper stabilisce che la combinazione di pianificazione esplicita a inferenza e ricompense dense basate su milestone a addestramento è la chiave per sbloccare le vere capacità di ragionamento a lungo termine degli agenti LLM.