AgentHER: Hindsight Experience Replay for LLM Agent Trajectory Relabeling

1. Il Problema: Lo Spreco di Dati negli Agenti LLM

Gli agenti basati su Large Language Models (LLM) falliscono nella maggior parte dei compiti del mondo reale (es. meno del 15% di successo su WebArena per GPT-4o, sotto il 55% su ToolBench).

• Il problema dello spreco: Le pipeline di addestramento standard scartano sistematicamente le traiettorie fallite, conservando solo quelle di successo. Dato che il tasso di fallimento è spesso tra il 60% e il 75%, la maggior parte dei dati raccolti viene sprecata.
• La natura del fallimento: I fallimenti non sono rumore casuale. Spesso un agente esegue correttamente una serie di azioni e raggiunge stati intermedi corretti, ma fallisce rispetto all'obiettivo originale (es. trova un prodotto a un prezzo leggermente superiore al budget richiesto). Questi dati contengono segnali di addestramento preziosi che vengono ignorati.

2. Metodologia: AgentHER

Il paper introduce AgentHER, un framework che adatta il principio della Hindsight Experience Replay (HER) — originariamente sviluppato per il Reinforcement Learning — al contesto degli agenti LLM basati su linguaggio naturale. L'idea centrale è: una traiettoria che fallisce l'obiettivo A è spesso una dimostrazione corretta per un obiettivo alternativo B raggiungibile.

AgentHER trasforma le traiettorie fallite in dati di addestramento di alta qualità (SFT, DPO, ShareGPT) attraverso una pipeline automatizzata in quattro fasi:

Fase 1: Rilevamento del Fallimento (Failure Detector)

Classifica il tipo di fallimento (es. incompleto, violazione di vincoli, risultato errato, errore dello strumento, allucinazione) e determina la recuperabilità.

• Ponderazione della gravità: Assegna un peso di gravità ($w$). Le traiettorie con errori catastrofici (es. allucinazioni gravi) vengono scartate, mentre quelle con errori minori vengono mantenute ma con un peso ridotto nella funzione di perdita (loss) per ridurre il rumore.

Fase 2: Estrazione dell'Esito (Outcome Extractor)

Estrae gli obiettivi effettivamente raggiunti e le osservazioni chiave dalla traiettoria (dati numerici, nomi di entità, fatti). Questo passaggio è cruciale per ancorare la successiva generazione di prompt a fatti reali, prevenendo allucinazioni.

Fase 3: Rietichettatura del Prompt (Prompt Relabeler)

Un LLM sintetizza un nuovo obiettivo (prompt) che la traiettoria originale soddisfa effettivamente.

• Vincoli: Il nuovo prompt deve essere una richiesta utente naturale, basata solo su fatti osservati, non deve riferirsi al prompt fallito originale e deve avere una complessità simile.
• Verifica Multi-Giudice: Per garantire la qualità, un secondo LLM indipendente deve confermare che la nuova etichetta è valida. Questo riduce il rumore delle etichette dal 5,9% al 2,3%.

Fase 4: Aumento dei Dati (Data Augmenter)

Converte la coppia (nuovo obiettivo, traiettoria) in formati di addestramento:

• SFT (Supervised Fine-Tuning): Conversazioni a due turni.
• DPO (Direct Preference Optimization): Crea coppie di "scelto" (nuovo obiettivo) e "rifiutato" (obiettivo originale fallito) per insegnare all'agente a preferire l'obiettivo corretto per quella specifica esecuzione.
• ShareGPT: Formato multi-turno compatibile con framework come LLaMA-Factory.

3. Contributi Chiave

1. Nuova Formulazione Sistematica: È la prima pipeline che applica l'HER agli agenti LLM per la sintesi di dati offline, distinguendosi dai metodi precedenti che si limitano a riutilizzare fallimenti o a gestire la memoria durante l'inferenza.
2. Meccanismi di Robustezza:
   • Ponderazione della gravità del fallimento: Riduce l'impatto degli errori maggiori.
   • Verifica Multi-Giudice: Aumenta la precisione dell'etichettatura al 97,7%.
3. Efficienza e Scalabilità: Il metodo funziona coerentemente su modelli di diverse dimensioni (da 1.5B a 72B parametri) e su diversi benchmark.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su WebArena (navigazione web) e ToolBench (chiamate API) utilizzando modelli come GPT-4o, Qwen2.5 (7B/72B) e LLaMA-3.1-8B.

• Miglioramenti di Prestazione: AgentHER supera l'addestramento SFT basato solo su successi (SFT-Success) di +7.1–11.7 punti percentuali (pp) su tutti i modelli testati.
  • Su ToolBench, i guadagni sono stati fino a +11.7 pp per i modelli più piccoli (7B/8B).
• Efficienza dei Dati: AgentHER raggiunge le stesse prestazioni di un addestramento completo su successi utilizzando solo il 50% dei dati di successo, raddoppiando l'efficienza dei dati.
• Scalabilità: I benefici sono consistenti su tutte le dimensioni del modello, con un picco di miglioramento (+9.2 pp) sui modelli da 14B.
• Riduzione del Rumore: L'uso della verifica multi-giudice riduce il tasso di etichette errate dal 5,9% al 2,3%, traducendosi in un miglioramento misurabile delle prestazioni finali.
• Transfer Learning: Un modello addestrato su WebArena con AgentHER mostra un vantaggio di +9.5 pp quando valutato zero-shot su ToolBench, dimostrando che l'agente ha appreso comportamenti generalizzati e non ha solo memorizzato i task.

5. Significato e Implicazioni

Il lavoro di AgentHER rappresenta un cambio di paradigma fondamentale nell'addestramento degli agenti LLM:

• Dal "Successo" alla "Rilevanza": Dimostra che la distinzione tra successo e fallimento è relativa al compito, non assoluta per la traiettoria. Ogni fallimento può diventare un curriculum di apprendimento per un obiettivo diverso.
• Sostenibilità dei Dati: Risolve il problema della scarsità di dati di successo, permettendo di sfruttare l'intera gamma di interazioni (inclusi i fallimenti) per migliorare i modelli.
• Applicabilità Pratica: Offre una soluzione pratica e scalabile per migliorare le capacità degli agenti senza richiedere interazioni aggiuntive con l'ambiente o annotazione umana massiva, rendendo l'addestramento più economico ed efficiente.

In sintesi, AgentHER trasforma il "rifiuto" dei dati falliti in una risorsa strategica, migliorando significativamente le capacità di pianificazione e uso degli strumenti degli agenti LLM attraverso un meccanismo di rilettura intelligente degli obiettivi.