🤖 AI

Agent-G $^2$ : Gaussian Guidance for Agentic Reinforcement Learning

Agent-G $^2$ è un nuovo framework di apprendimento per rinforzo che ottimizza la profondità della guida basata su suggerimenti campionando da una distribuzione gaussiana stimata online, superando così i metodi deterministici e basati sul probing esistenti nei compiti agentici e riducendo significativamente i costi computazionali.

Autori originali: Zixuan Wang, Yanrui Miao, Zhengxi Lu, Teng Pan, Yiwen Qiu, Hongxing Li, Peng Qiu, Ruiqing Zhang, Yongliang Shen

Pubblicato 2026-08-25

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zixuan Wang, Yanrui Miao, Zhengxi Lu, Teng Pan, Yiwen Qiu, Hongxing Li, Peng Qiu, Ruiqing Zhang, Yongliang Shen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un programma informatico che cerca di imparare a navigare in un mondo complesso, come un robot che si muove in una casa o un agente virtuale che fa acquisti su un sito web. Questi compiti richiedono spesso una lunga catena di decisioni, dove il programma deve compiere molti passi prima di riuscire finalmente o fallire. Il problema fondamentale è che il programma riceve un segnale solo alla fine, che gli dice se ha vinto o perso. Questo rende l'apprendimento incredibilmente difficile, come cercare di imparare ad andare in bicicletta ricevendo solo un "bel lavoro" o "sei caduto" dopo aver già percorso un miglio, senza alcun feedback sul fatto che si stesse sterzando correttamente nel mezzo. Per aiutare il programma a imparare, i ricercatori hanno cercato di fornirgli un "indizio" all'inizio di ogni tentativo: un breve frammento di un percorso perfetto compiuto da un esperto. Questo dà al programma una marcia in più, posizionandolo più vicino al traguardo affinché possa apprendere i passaggi rimanenti. Tuttavia, una domanda critica rimane: quanto del percorso dell'esperto dovrebbe essere mostrato? Se se ne mostra troppo poco, il programma rimane smarrito; se se ne mostra troppo, esso si limita a copiare l'esperto senza imparare nulla di nuovo.

Per molto tempo, i ricercatori hanno affrontato questa questione come se esistesse un unico livello perfetto di aiuto applicabile a ogni singolo compito, oppure hanno cercato di indovinare la quantità giusta per ogni specifico compito eseguendo molti cicli di pratica extra, costosi, solo per testare diversi livelli di aiuto. Un nuovo studio condotto da un team della Zhejiang University e di Baidu suggerisce che entrambi questi approcci sbagliano il bersaglio. I ricercatori hanno scoperto che il "punto ideale" di aiuto non è un singolo punto preciso, ma piuttosto un intervallo. Per ogni dato compito, esiste una fascia di diverse quantità di aiuto che funzionano bene, e questa fascia si sposta a seconda della difficoltà del compito. Invece di cercare di individuare un numero esatto, il team ha sviluppato un metodo che tratta la giusta quantità di aiuto come un intervallo flessibile che cambia man mano che il computer apprende. Chiamano il loro sistema Agent-G2.

I ricercatori hanno testato la loro idea in due ambienti impegnativi: un mondo basato sul testo in cui un agente deve completare faccende domestiche come raccogliere oggetti o pulire, e un negozio online simulato dove l'agente deve cercare e acquistare articoli specifici. Hanno utilizzato un modello linguistico come "cervello" per questi agenti. Nelle loro esperimenti, hanno scoperto che la quantità più efficace di aiuto forma una curva a campana attorno al punto ideale. Ciò significa che per un compito difficile, un ampio intervallo di livelli di aiuto potrebbe funzionare, mentre per uno più facile, l'intervallo potrebbe essere più stretto. Fondamentalmente, hanno scoperto che la difficoltà di un compito è strettamente legata alla lunghezza del percorso dell'esperto. Un compito che richiede venti passi è generalmente più difficile di uno che ne richiede solo due.

Per risolvere il problema di trovare il giusto livello di aiuto senza sprecare tempo, Agent-G2 raggruppa i compiti in base alla loro lunghezza e poi utilizza i risultati dei cicli di pratica attuali per regolare l'aiuto per il round successivo. Se il gruppo di compiti brevi ha troppo successo, il sistema riduce automaticamente la quantità di aiuto fornito a essi. Se i compiti lunghi stanno fallendo, il sistema aumenta l'aiuto. Il sistema lo fa calcolando un punto centrale e una diffusione per ogni gruppo di compiti, creando essenzialmente una mappa dinamica di dove dovrebbe avvenire l'apprendimento. Successivamente, sceglie casualmente una specifica quantità di aiuto da quella mappa per ogni nuovo tentativo. Questo approccio consente al sistema di esplorare una varietà di punti di partenza utili simultaneamente, garantendo che sia i compiti facili che quelli difficili ricevano la giusta spinta senza la necessità di eseguire test extra solo per determinare le impostazioni.

I risultati sono stati sorprendenti. Nell'ambiente dei compiti domestici, il nuovo metodo ha raggiunto un tasso di successo del 95,3 percento con un modello più piccolo e del 98,4 percento con uno più grande. Questo ha superato i metodi esistenti più forti che utilizzavano indizi, così come quelli che cercavano di apprendere senza alcun indizio. Forse, cosa più importante, il nuovo metodo ha ottenuto questi risultati utilizzando molte meno risorse informatiche rispetto ai precedenti migliori metodi che cercavano di indovinare il giusto livello di aiuto per ogni compito individualmente. Quei vecchi metodi richiedevano l'esecuzione di molti cicli di pratica extra per trovare la risposta, il che è lento e costoso. Il nuovo sistema ha appreso le impostazioni giuste "al volo", utilizzando gli stessi dati che stava già raccogliendo per migliorare l'agente.

Lo studio ha anche dimostrato che il sistema funziona bene attraverso diverse dimensioni di modelli informatici, provando che il modo in cui l'aiuto viene fornito è importante quanto la dimensione del cervello che sta apprendendo. Infatti, il modello più piccolo utilizzando questo sistema di guida intelligente è stato in grado di performare meglio di modelli molto più grandi che utilizzavano metodi più vecchi e meno sofisticati. I ricercatori hanno osservato che il loro metodo si basa sul fatto di avere un percorso di esempio perfetto disponibile per ogni compito per iniziare. Se tali percorsi perfetti non esistono, il sistema non può essere utilizzato direttamente. Tuttavia, per i molti problemi del mondo reale in cui gli esperti possono dimostrare il percorso corretto, questo approccio offre un modo potente per insegnare all'intelligenza artificiale come imparare dai propri errori, invece di limitarsi a copiare ciò che vede. Trattando il giusto livello di guida come un intervallo flessibile piuttosto che come un numero fisso, i ricercatori hanno trovato un modo più efficiente e robusto per aiutare le macchine a padroneggiare obiettivi complessi a lungo termine.

Riepilogo Tecnico: Agent-G2: Guida Gaussiana per l'Apprendimento per Rinforzo Agente-centrico

1. Definizione del Problema

L'apprendimento per rinforzo (RL) per gli agenti LLM (Large Language Model) affronta una sfida critica nei compiti di processo decisionale a lungo orizzonte: la scarsità di ricompensa (reward sparsity). In ambienti come la navigazione web o il controllo incarnato (embodied control), gli agenti ricevono spesso solo un segnale di successo binario allo stato terminale dopo decine di decisioni sequenziali. Di conseguenza, l'esplorazione on-policy dallo stato iniziale raramente raggiunge uno stato terminale di successo, portando al "collasso del vantaggio" (advantage collapse) in algoritmi di addestramento come il Group Relative Policy Optimization (GRPO).

Il RL basato su suggerimenti (Hint-based RL) tenta di mitigare questo problema mantenendo un prefisso di una traiettoria esperta prima di ogni rollout, permettendo alla policy di esplorare da uno stato più vicino al successo. Tuttavia, l'efficacia di questo approccio dipende dalla profondità del suggerimento ( $d$ ): la proporzione della traiettoria esperta da mantenere.

Troppo poco suggerimento: La policy parte troppo presto, risultando in pochi rollout di successo.
Troppo tanto suggerimento: La ricompensa diventa saturata, eliminando il contrasto necessario per una stima efficace del vantaggio.

I metodi esistenti trattano questa profondità come uno scalare deterministico, portando a due paradigmi subottimali:

Metodi basati su programmazione (Schedule-based): Condividono un singolo valore di profondità per tutti i campioni in un batch (ad esempio, in base ai passi di addestramento). Ciò ignora l'eterogeneità per task, poiché i task all'interno dello stesso batch possono variare significativamente in termini di difficoltà (ad esempio, un task di 2 step rispetto a uno di 20 step).
Metodi di sondaggio per campione (Per-sample probing): Stimano una profondità ottimale per ogni campione tramite ricerca binaria o enumerazione. Sebbene più accurati, questi comportano un elevato costo computazionale ( $O(\log n)$ o $N \times$ extra rollout per campione) e introducono rumore sotto budget limitati di rollout.

Gli autori identificano un disallineamento strutturale fondamentale in questi approcci: essi assumono che esista un singolo valore di profondità ottimale per task. L'analisi empirica rivela che l'utile profondità di guida occupa una "banda" di profondità attorno a un punto ottimale, con un profilo di informatività che è approssimativamente gaussiano.

2. Metodologia: Agent-G2

Gli autori propongono Agent-G2, un framework di guida gaussiana che modella la profondità del suggerimento come una distribuzione gaussiana per task ( $N(\mu_i, \sigma_i^2)$ ) piuttosto che come uno scalare. Questa distribuzione è stimata online dalle statistiche dei rollout raccolte durante l'ottimizzazione della policy, senza richiedere extra rollout di sondaggio o reti predittive della profondità apprese.

Componenti Core

Clustering Offline:
I task sono partizionati in $K$ cluster basati sulla lunghezza della traiettoria esperta (un proxy per la difficoltà). Ciò consente al sistema di gestire l'eterogeneità mantenendo statistiche separate per diversi livelli di difficoltà.
Programmazione Gaussiana Adattiva (Adaptive Gaussian Schedule):
Per ogni task $i$ nel cluster $k$ , i parametri $\mu_i$ (centro) e $\sigma_i$ (dispersione) sono calcolati dinamicamente:
- Baseline Globale ( $\mu_{global}$ ): Monitora il progresso complessivo della policy. Viene regolata in base al tasso di successo del batch ( $acc_B$ ) rispetto a un tasso di successo target ( $p_{target} = 0.5$ ), il regime "apprendibile appena".
- Statistiche del Cluster: Per ogni cluster $k$ , il sistema mantiene medie mobili esponenziali (EMA) del tasso di successo empirico ( $A_k$ ) e della varianza ( $V_k$ ).
- Calcolo dei Parametri:
  - $\mu_i = \text{clip}(\mu_{global} + \lambda(p_{target} - A_k), 0, 1)$ : Regola il centro in base alla difficoltà del cluster rispetto alla baseline globale.
  - $\sigma_i = \max(\gamma V_k, \sigma_{min})$ : Imposta la dispersione in base alla varianza all'interno del cluster, garantendo una copertura più ampia per i task eterogenei.
Campionamento e Rollout:
Per ogni task, un rapporto di guida $r_i$ viene campionato da $N(\mu_i, \sigma_i^2)$ e tagliato (clipped) a $[0, 1]$ . Questo determina la lunghezza del prefisso $n_i$ . L'agente esegue il prefisso esperto per raggiungere uno stato $s_i$ , quindi esegue $R$ rollout indipendenti da $s_i$ .
Ciclo di Addestramento:
- Aggiornamento della Policy: La policy viene aggiornata utilizzando una combinazione della perdita GRPO (sui $R$ rollout) e una perdita ausiliaria ( $L_{aux}$ ) sui prefissi esperti campionati (imitation learning).
- Aggiornamento della Programmazione (Schedule Update): Gli stessi rollout utilizzati per gli aggiornamenti della policy aggiornano la baseline globale e le statistiche del cluster ( $A_k, V_k$ ) per il batch successivo. Questo crea un sistema a ciclo chiuso in cui la distribuzione della guida evolve con le capacità della policy.

3. Contributi Chiave

Insight Strutturale: Il paper rivela che le profondità di guida informative formano una banda piuttosto che un singolo punto. Il profilo del segnale di addestramento all'interno di questa banda è unimodale, simmetrico e ben descritto da una distribuzione gaussiana. Ciò spiega i fallimenti sia degli scheduler a profondità condivisa (disallineamento strutturale) che del sondaggio per campione (compromesso tra rumore e costo).
Framework Agent-G2: Un nuovo framework che stima le distribuzioni di profondità per task online utilizzando una decomposizione globale-locale. Raggiunge la variazione di profondità per task senza extra rollout di sondaggio o reti ausiliarie.
Superiorità Empirica: Una valutazione estesa su ALFWorld e WebShop utilizzando modelli Qwen2.5-1.5B e 7B dimostra che Agent-G2 supera i baseline allo stato dell'arte (inclusi metodi con e senza suggerimenti, e metodi RL ausiliari) operando con meno di un terzo del costo di rollout dei metodi di sondaggio per campione.

4. Risultati Sperimentali

ALFWorld: Agent-G2 ha raggiunto il 95.3% di successo (modello 1.5B) e il 98.4% (modello 7B). Ciò rappresenta miglioramenti di +2.3 e +3.9 punti rispetto ai più forti baseline con e senza suggerimenti, rispettivamente.
WebShop: Agent-G2 ha ottenuto un punteggio di ricompensa di 92.3 e un successo d'acquisto dell'84.4% (modello 7B), superando tutti i baseline non basati su sondaggio.
Efficienza: Sebbene Agent-G2 abbia un modesto overhead per step rispetto ai semplici metodi basati su programmazione, è significativamente più economico (da 3.24x a 4.83x più veloce) dei metodi basati su sondaggio (Ricerca Binaria, Enumerazione) perché evita extra rollout.
Studi di Ablazione:
- Rimuovere il campionamento stocastico (usando solo la media $\mu_i$ ) ha ridotto le prestazioni di 5.5 punti, confermando la necessità di coprire la banda informativa.
- Rimuovere l'adattamento specifico del cluster ( $K=1$ ) ha ridotto le prestazioni di 6.2 punti, evidenziando l'importanza di gestire l'eterogeneità dei task.
- La perdita ausiliaria ( $L_{aux}$ ) ha fornito stabilità (+8.6 punti) ma non è stata il driver principale delle prestazioni; l'apprendimento GRPO sui post-stati del prefisso è stato critico.

5. Significato e Rivendicazioni

Il paper afferma che Agent-G2 rappresenta un passaggio dal trattare la profondità del suggerimento come un iperparametro statico e deterministico a una variabile dinamica e probabilistica. Modellando il "vicinato" della guida utile piuttosto che un singolo punto, il metodo bilancia efficacemente esplorazione e sfruttamento nei compiti a lungo orizzonte.

Gli autori sottolineano che la progettazione della programmazione (schedule design) può sostituire lo scaling del backbone. In particolare, il modello 1.5B con Agent-G2 ha superato il baseline BEACON da 7B, suggerendo che strategie di guida intelligente possono compensare la capacità limitata del modello.

Limitazioni Accettate:

Il metodo richiede una traiettoria esperta per task; non può essere applicato direttamente dove tali dati non sono disponibili.
La parametrizzazione gaussiana è motivata empiricamente; task con profili di profondità multimodali o fortemente asimmetrici potrebbero richiedere distribuzioni più ricche.
Il clustering della difficoltà si basa attualmente sulla lunghezza della traiettoria offline; la stima online della difficoltà è una potenziale direzione futura.

In sintesi, Agent-G2 fornisce una soluzione scalabile ed economica alla scarsità di ricompensa nell'RL agente-centrico, sfruttando la struttura statistica della profondità del suggerimento, eliminando la necessità di costosi sondaggi e adattandosi in tempo reale all'eterogeneità dei task.