Sintesi Tecnica: RENEW: Verso l'apprendimento di Modelli del Mondo e la riparazione dello Sfruttamento del Modello dalle Preferenze

Problema

L'apprendimento per rinforzo (RL) basato su modelli si affida a modelli del mondo appresi (modelli di dinamica) per migliorare l'efficienza campionaria attraverso la generazione di esperienza sintetica. Tuttavia, negli scenari offline in cui gli agenti apprendono da dataset fissi, questi modelli soffrono di sfruttamento del modello (model exploitation). Quando una politica ottimizza rispetto a un modello del mondo imperfetto, può scoprire e sfruttare transizioni inaccurate (ad esempio, teletrasportarsi attraverso i muri) per ottenere rendimenti artificialmente alti che non si trasferiscono all'ambiente reale.

Le soluzioni esistenti ricadono tipicamente in due categorie, entrambe con limitazioni significative:

1. Raccogliere più dati: La raccolta di ulteriori dimostrazioni esperte nelle regioni di fallimento del modello è spesso costosa, insicura o impossibile (ad esempio, modalità di fallimento rare nella robotica o nella guida autonoma).
2. Algoritmi conservativi: Penalizzare le visite a stati incerti o vincolare le politiche alla distribuzione comportamentale scambia l'esplorazione e la generalizzazione con la robustezza, limitando l'utilità dei metodi basati su modelli.

Gli autori pongono una nuova domanda: Possiamo correggere la dinamica di un modello del mondo senza raccogliere più dimostrazioni? Osservano che, sebbene dimostrare un comportamento corretto richieda competenza nel dominio, identificare le dinamiche errate (violazioni della fisica intuitiva come la solidità o la permanenza degli oggetti) è spesso banale per gli esseri umani.

Metodologia

Il documento introduce due componenti principali: un nuovo framework di apprendimento e un algoritmo per ottimizzarlo.

1. Apprendimento della Dinamica dal Feedback Umano (DLHF)

Gli autori formalizzano il DLHF, un framework che sostituisce il modello di ricompensa nello standard Reinforcement Learning from Human Feedback (RLHF) con un modello di dinamica.

• Idea Centrale: Invece di chiedere agli umani di confrontare traiettorie in base al successo del compito (il che potrebbe rinforzare lo sfruttamento, ad esempio preferendo una traiettoria che attraversa un muro perché è più veloce), agli umani viene chiesto di confrontare segmenti di traiettoria in base alla plausibilità fisica.
• Formulazione:
  • Sia $\hat{T}_\theta$ il modello di dinamica appreso.
  • La log-verosimiglianza di un segmento di traiettoria $\sigma$ sotto il modello è definita come $\ell_\theta(\sigma) = \sum \log \hat{T}_\theta(s_{t+1} | s_t, a_t)$.
  • Nel framework di preferenza di Bradley-Terry, la probabilità che il segmento $\sigma_0$ sia preferito rispetto a $\sigma_1$ è modellata come:
    $$P(\sigma_0 \succ \sigma_1) = \text{logistic}(\ell_\theta(\sigma_0) - \ell_\theta(\sigma_1))$$
  • I parametri del modello $\theta$ vengono aggiornati minimizzando la perdita di cross-entropy rispetto alle etichette di preferenza umana. Ciò consente al modello di dinamica di essere supervisionato direttamente da preferenze binarie senza necessità di etichette di ricompensa, dimostrazioni esperte o interazione con l'ambiente.

2. RENEW (Repairing ExploitatioN with Elicited World-model preferences)

Gli autori notano che il DLHF ingenuo è inefficiente dal punto di vista del campionamento perché il campionamento uniforme di coppie di traiettorie spreca budget su transizioni che il modello predice già bene. RENEW affronta questo problema utilizzando l'incertezza epistemica per dirigere le query di preferenza.

• Query Attiva: RENEW identifica coppie stato-azione dove il modello presenta un'alta incertezza epistemica (ad esempio, tramite il disaccordo tra un ensemble).
• Campionamento Mirato: Genera coppie di segmenti di traiettoria partendo da queste regioni ad alta incertezza.
• Fine-tuning Iterativo: Il processo itera:
  1. Calcola l'incertezza epistemica $u$ sotto l'attuale modello.
  2. Campiona coppie di segmenti proporzionalmente a $u$.
  3. Elicita le preferenze umane (o dell'oracolo) per queste coppie.
  4. Esegue il fine-tuning del modello usando la perdita DLHF.
  5. Ricalcola l'incertezza e ripete.
• Obiettivo: Questo concentra il budget di preferenza sulle specifiche regioni in cui il modello è più vulnerabile allo sfruttamento, migliorando l'efficienza del campionamento e prevenendo l'oblio catastrofico delle dinamiche corrette precedentemente apprese.

Contributi Chiave

1. Framework DLHF: Una nuova formulazione per apprendere le dinamiche di transizione direttamente dalle preferenze umane, spostando il segnale di supervisione dal successo del compito (ricompensa) alla realtà fisica (dinamica).
2. Algoritmo RENEW: Un algoritmo di apprendimento attivo che sfrutta l'incertezza epistemica per rendere l'apprendimento della dinamica basato su preferenze efficiente in termini di campionamento, mirando specificamente alle regioni soggette a sfruttamento del modello.
3. Validazione Empirica: Dimostrazione che le preferenze binarie possono apprendere modelli del mondo da zero e riparare modelli pre-addestrati senza ulteriori dimostrazioni o interazione con l'ambiente.

Risultati Sperimentali

Gli autori hanno valutato il loro approccio su ambienti Jumanji (mondi a griglia discreti come Maze, Sliding Tile, Sokoban) e Classic Control (MountainCar, Acrobot).

• Fattibilità del DLHF: Il DLHF ingenuo può apprendere modelli del mondo semplici da zero usando solo le preferenze, ma richiede un budget massiccio (circa 1M di etichette di preferenza) per eguagliare le prestazioni di 1K transizioni supervisionate.
• Efficienza del Campionamento di RENEW:
  • Sotto identici budget di preferenza, RENEW supera significativamente il DLHF ingenuo. Ad esempio, nell'ambiente Sliding Tile 3x3, RENEW ha circa dimezzato l'errore finale rispetto al campionamento uniforme.
  • Oblio Catastrofico: Nell'ambiente Sokoban, il DLHF ingenuo ha degradato le prestazioni di un modello pre-addestrato, mentre RENEW le ha migliorate. Ciò suggerisce che il campionamento attivo previene la sovrascrittura delle dinamiche corrette con aggiornamenti derivanti da transizioni immaginate imprecise.
• Riparazione dello Sfruttamento: Negli esperimenti di fine-tuning sugli ambienti Maze (da 5x5 a 20x20) con un budget fisso di 1.600 etichette, RENEW ha ridotto sia l'errore di predizione che l'incertezza epistemica in modo più efficace rispetto al fine-tuning ingenuo. Ha ottenuto una maggiore accuratezza di transizione (ad esempio, 97,2% vs 93,2% su Maze 10x10) e intervalli di confidenza più stretti.
• Controllo Continuo: Sebbene apprendere dinamiche continue dalle preferenze sia più difficile a causa di segnali di preferenza meno distinti, il DLHF ha comunque raggiunto una parità quasi totale con i baseline supervisionati su MountainCar e Acrobot. RENEW ha mostrato vantaggi nell'efficienza del campionamento quando i passi di gradiente erano limitati (ad esempio, con $K=8$ candidati).

Significato e Rivendicazioni

Il documento sostiene di fornire una prima evidenza che le preferenze possano supervisionare direttamente le dinamiche del modello del mondo. La significatività risiede nel:

• Supervisione Diretta della Dinamica: A differenza del lavoro precedente che usa le preferenze per apprendere funzioni di ricompensa o allineare le politiche, questo lavoro le usa per apprendere il modello di transizione stesso.
• Nessun Dato Esperto Richiesto: L'approccio non richiede dimostrazioni esperte, etichette di ricompensa o interazione con l'ambiente, affrontando un importante collo di bottiglia nell'RL basato su modelli offline.
• Meccanismo di Riparazione Pratico: RENEW offre un'alternativa pragmatica alla raccolta di più dati o alla restrizione dell'esplorazione, consentendo la riparazione dello sfruttamento del modello nei modelli pre-addestrati utilizzando un budget limitato di query di preferenza.

Gli autori rimangono modesti riguardo all'attuale portata, notando che gli esperimenti hanno utilizzato oracoli sintetici invece di veri annotatori umani e sono stati limitati a piccoli ambienti discreti e continui a bassa dimensionalità. Identificano la validazione con etichette umane rumorose e la scalabilità a spazi di osservazione ad alta dimensionalità come passi successivi critici.