Self-Guided Plan Extraction for Instruction-Following Tasks with Goal-Conditional Reinforcement Learning

1. Il Problema

Il compito di "follow instructions" (esecuzione di istruzioni) per agenti AI richiede che un agente raggiunga un obiettivo specifico definito tramite un linguaggio naturale. Le approcci esistenti si dividono in due categorie principali:

• Apprendimento da dimostrazioni: Richiedono grandi quantità di dati etichettati da esperti, il che limita la scalabilità e aumenta i costi.
• Apprendimento da esperienza (RL): Scalabili ma soffrono della difficoltà di ancorare istruzioni linguistiche complesse a comportamenti a lungo termine in ambienti con ricompense sparse e ritardate (sparse and delayed rewards).

La maggior parte dei metodi basati sulla pianificazione esistenti assume l'esistenza di un set predefinito di sottogoaletti (subgoals) e competenze (skills) verificabili dall'ambiente. Questo limita la loro applicabilità in ambienti dinamici e aperti dove non esistono competenze di basso livello preesistenti. Il problema centrale è: come imparare una politica di basso livello per seguire istruzioni in ambienti senza competenze predefinite, riducendo al contempo la dipendenza da annotazioni manuali?

2. Metodologia: SuperIgor

SuperIgor è un framework di apprendimento automatico che integra la pianificazione di alto livello (tramite Large Language Models - LLM) con l'apprendimento per rinforzo (RL) in un ciclo di auto-apprendimento iterativo. Non richiede dataset annotati manualmente.

Il processo si articola in quattro fasi principali che si ripetono in cicli (Cycle 1, Cycle 2, ...):

A. Generazione e Raffinamento dei Piani (Plan Generation)

• Ciclo 1: L'LLM genera piani candidati partendo da zero (zero-shot) per un set di istruzioni. Viene costruita una "base di sottocompiti" (subtask bank) e un'ontologia che definisce le dipendenze tra i compiti (es. "raccogliere legno" prima di "costruire un tavolo").
• Cicli Successivi: I piani vengono filtrati e riprioritizzati. L'LLM viene affinato (fine-tuned) per generare solo i piani che l'agente RL è effettivamente capace di eseguire con successo.

B. Apprendimento della Politica (Policy Learning)

• L'agente RL (basato su PPO - Proximal Policy Optimization) impara a eseguire i piani generati.
• Sfida: Le ricompense sono sparse (arrivano solo al completamento dell'intero compito).
• Soluzione: Viene introdotto un Skill Curriculum Learning. L'agente inizia con compiti a sottocompito singolo. Man mano che la sua "Success Rate" (SR) supera una soglia (es. 70%), quel sottocompito viene considerato "padroneggiato" e il curriculum si espande per includere compiti più complessi che combinano sottocompiti già appresi con uno nuovo. Questo crea un gradiente di apprendimento continuo.

C. Validazione del Piano (Plan Validation)

• Ogni piano candidato viene valutato eseguendo l'agente RL più volte (con diversi semi di randomizzazione) per calcolare un tasso di successo medio affidabile, data la natura stocastica dell'ambiente.

D. Fine-Tuning dell'LLM (LLM Fine-Tuning)

• Ciclo 1: L'LLM viene inizialmente addestrato con Supervised Fine-Tuning (SFT) per imitare i piani generati inizialmente.
• Cicli Successivi: Vengono utilizzati i risultati della validazione per creare coppie di preferenze (piani ad alto successo vs. piani a basso successo). L'LLM viene poi affinato con Direct Preference Optimization (DPO). Questo permette all'LLM di imparare a "punteggiare" e generare piani che sono intrinsecamente più eseguibili dall'agente RL, creando un feedback loop positivo.

3. Contributi Chiave

1. Paradigma di Addestramento Auto-Supervisionato: Un nuovo approccio dove piani di alto livello sono generati e raffinati attraverso l'interazione tra LLM e agente RL, eliminando la necessità di dataset annotati manualmente.
2. Curriculum per Agenti RL: Introduzione di un curriculum dinamico basato sulla padronanza delle abilità (Skill Curriculum) per permettere all'agente di apprendere efficacemente in condizioni di ricompensa estremamente sparse.
3. Integrazione LLM-RL: Dimostrazione che un'architettura ibrida può operare efficacemente in ambienti dinamici, parzialmente osservabili e aperti (come CrafText), superando i limiti dei benchmark semplificati.
4. Pubblicazione: Il codice e il dataset (FOCUS) sono resi pubblici.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul benchmark CrafText (un ambiente open-ended simile a Minecraft) con un dataset specializzato chiamato FOCUS.

• Efficacia e Generalizzazione:

  • Gli agenti SuperIgor hanno superato significativamente le baseline basate solo su istruzioni (PPO-T, FiLM).
  • Su compiti "Atomic" (singoli obiettivi), SuperIgor ha raggiunto un successo del 34-44%, contro il 10-19% delle baseline.
  • Su compiti "Combo" (sequenze complesse), SuperIgor ha raggiunto il 21%, contro l'8% delle baseline.
  • Generalizzazione: Gli agenti addestrati con piani auto-generati hanno mostrato una migliore generalizzazione su istruzioni mai viste (New Objects) rispetto agli agenti addestrati con piani "Oracle" (generati da esperti umani). Questo perché l'esposizione a molteplici varianti di piani durante l'addestramento rende l'agente più robusto.
  • Robustezza Linguistica: Le prestazioni rimangono stabili anche quando le istruzioni vengono parafrasate (Paraphrases).

• Analisi dell'Iterazione:

  • Tra il Ciclo 1 e il Ciclo 2, le prestazioni sono migliorate notevolmente grazie al fine-tuning dell'LLM con DPO, che ha allineato meglio la generazione dei piani con le capacità reali dell'agente.
  • L'ablation study ha confermato che il curriculum è efficace solo se combinato con piani strutturati da un'ontologia e che il DPO è cruciale per migliorare la qualità dei piani nel tempo.

5. Significato e Implicazioni

Il lavoro di SuperIgor rappresenta un passo avanti significativo verso agenti AI capaci di operare in mondi virtuali complessi senza dipendere da costose annotazioni umane o da competenze predefinite.

• Scalabilità: Dimostra che è possibile scalare l'apprendimento di compiti complessi combinando la capacità generativa degli LLM con la capacità di adattamento dell'RL.
• Riduzione del Bias: Eliminando la necessità di sottogoaletti predefiniti, il sistema può adattarsi a nuovi domini e linguaggi in modo più flessibile.
• Efficienza Computazionale: Sebbene l'uso di LLM aggiunga un costo computazionale, il miglioramento nelle prestazioni (fino a 4-5 volte rispetto alle baseline) giustifica l'investimento, rendendo l'approccio praticabile per applicazioni reali.

In sintesi, SuperIgor risolve il problema dell'ancoraggio del linguaggio in ambienti complessi creando un ciclo virtuoso in cui l'agente impara a eseguire i compiti e, allo stesso tempo, insegna all'LLM a generare piani più realistici ed eseguibili.