SELAUR: Self Evolving LLM Agent via Uncertainty-aware Rewards

1. Il Problema

I Large Language Models (LLM) sono sempre più utilizzati come agenti capaci di prendere decisioni multi-step in ambienti interattivi (es. ALFWorld, WebShop). Sebbene l'apprendimento per rinforzo (RL) sia il paradigma dominante per ottimizzare questi agenti, esistono limitazioni critiche nelle approcci attuali:

• Ricompense Sparse: I metodi tradizionali assegnano ricompense basate solo sull'esito finale (successo/fallimento), ignorando il contributo dei passaggi intermedi.
• Ignorare l'Incertezza: La maggior parte dei lavori recenti, anche quelli che assegnano crediti a livello di singolo passo, trascura l'incertezza intrinseca del modello LLM.
• Perdita di Segnali di Apprendimento: Le traiettorie fallite vengono spesso scartate o trattate come segnali negativi puri, perdendo l'opportunità di estrarre informazioni preziose su dove e perché il modello ha esitato o commesso errori.

L'obiettivo è sviluppare un framework che utilizzi l'incertezza del modello non solo come misura di confidenza, ma come segnale attivo per guidare l'esplorazione e migliorare la stabilità dell'apprendimento, anche in caso di fallimento.

2. Metodologia: SELAUR

Il paper propone SELAUR (Self Evolving LLM Agent via Uncertainty-aware Rewards), un framework di RL che integra direttamente le stime di incertezza nella progettazione delle ricompense. L'architettura si compone di tre moduli principali:

A. Stima dell'Incertezza (Uncertainty Estimation)

A livello di token, SELAUR combina tre metriche complementari per quantificare l'incertezza in ogni passo di decodifica:

1. Entropia: Misura la dispersione della distribuzione di probabilità sul vocabolario (quanto è "diffusa" la credenza del modello).
2. Least Confidence (Meno Confidenza): Basata sulla probabilità del token selezionato; una probabilità bassa indica alta incertezza.
3. Margin (Margine): Misura il divario tra le probabilità dei due token più probabili; un margine piccolo indica ambiguità.
   Queste metriche vengono aggregate in una stima unificata dell'incertezza a livello di token ($u_{t,j}$) tramite pesi ottimizzabili.

B. Aggregazione Gerarchica

L'incertezza a livello di token viene aggregata per fornire segnali a livello di passo e di traiettoria:

• Livello Passo: Media delle incertezze dei token in un singolo passo ($u_{step}$).
• Livello Traiettoria: Aggregazione esponenzialmente scontata delle incertezze dei passi, dando un peso maggiore ai passi successivi (che spesso determinano il successo finale).

C. Rimodellamento delle Ricompense Consapevole del Fallimento (Failure-aware Reward Reshaping)

Questa è la componente innovativa centrale. Invece di usare ricompense binarie (0 o 1), SELAUR modifica le ricompense quando una traiettoria fallisce:

• Ricompense per Passo: Se la traiettoria fallisce, la ricompensa per ogni passo viene aumentata proporzionalmente alla sua incertezza normalizzata. Questo trasforma i passi incerti in segnali di apprendimento densi invece di penalizzarli ciecamente.
• Ricompensa per Traiettoria: Per le traiettorie fallite, la ricompensa finale viene sostituita o integrata con il segnale di incertezza aggregato ($U(\tau)$).
  L'obiettivo è incoraggiare l'agente a esplorare strategie alternative quando è incerto e a consolidare i comportamenti sicuri quando la confidenza è alta, trasformando il fallimento in un'opportunità di apprendimento strutturato.

3. Contributi Chiave

1. Framework Unificato di Incertezza: Integrazione di entropia, least confidence e margin in una misura unificata a livello di token, fornendo supervisione densa e informativa derivata direttamente dalla confidenza del modello.
2. Meccanismo di Rimodellamento delle Ricompense: Un approccio che integra i segnali di incertezza sia nelle ricompense a livello di passo che in quelle a livello di traiettoria, migliorando l'efficienza dell'esplorazione e la stabilità dell'apprendimento.
3. Valorizzazione delle Esperienze Fallite: Dimostrazione empirica che incorporare informazioni dalle traiettorie fallite (attraverso l'incertezza) fornisce segnali di addestramento preziosi, permettendo all'agente di recuperare da percorsi di ragionamento incerti senza dipendere da ricompense ambientali esterne o euristiche di riflessione.

4. Risultati Sperimentali

Il metodo è stato valutato su due benchmark interattivi standard: ALFWorld (ragionamento compositivo in ambienti domestici) e WebShop (decisioni orientate agli obiettivi in e-commerce).

• Confronto con Baseline: SELAUR ha superato costantemente le baseline RL più forti (PPO, RLOO, GRPO, GiGPO) su entrambi i dataset.
  • Su ALFWorld (modello Qwen2.5-7B), SELAUR ha raggiunto un tasso di successo medio del 96.87%, superando GiGPO (94.53%).
  • Su WebShop, ha ottenuto un punteggio di task di 0.8935 e un tasso di successo del 79.68%, superando tutte le altre metodologie.
• Studi di Ablazione:
  • L'uso combinato di tutte e tre le metriche di incertezza (Entropia, Least Confidence, Margin) ha prodotto le prestazioni migliori, dimostrando che queste metriche sono ortogonali e complementari.
  • L'analisi dell'entropia durante l'addestramento mostra che SELAUR mantiene livelli di entropia più elevati nelle fasi tardive rispetto ad altri metodi, indicando una capacità di esplorazione più robusta e meno propensa a convergere prematuramente su soluzioni subottimali.
  • Le varianti di ricompensa (es. penalità negative o sconti esponenziali) hanno performato peggio, confermando che la strategia di "rimodellamento" proposta è il modo ottimale per bilanciare esplorazione e sfruttamento.

5. Significato e Impatto

SELAUR rappresenta un passo avanti significativo nell'addestramento di agenti LLM. Il suo contributo principale risiede nel cambiare la prospettiva sul fallimento: invece di essere un segnale negativo da evitare, il fallimento diventa una fonte di dati ricca se analizzato attraverso la lente dell'incertezza del modello.

• Efficienza dell'Esplorazione: Permette agli agenti di identificare dinamicamente quando sono incerti e di esplorare attivamente, evitando di rimanere intrappolati in cicli di ragionamento locali (come osservato nei casi studio contro GiGPO).
• Stabilità: Fornisce segnali di supervisione densi anche in assenza di ricompense esterne, rendendo l'addestramento più stabile e meno dipendente da dati di successo etichettati.
• Generalizzazione: La capacità di estrarre valore dalle traiettorie fallite rende gli agenti più adattabili in ambienti complessi e dinamici dove il successo non è garantito a priori.

In sintesi, SELAUR dimostra che l'incertezza intrinseca dei LLM non è un difetto da minimizzare, ma una risorsa fondamentale per guidare agenti autonomi verso un apprendimento più profondo e robusto.