Riepilogo Tecnico: Supervised Reward Inference (SRI)

Definizione del Problema

Gli approcci tradizionali all'inferenza della ricompensa, come l'Inverse Reinforcement Learning (IRL), si basano tipicamente sull'assunto che le dimostrazioni umane siano generate secondo un modello di comportamento specifico e noto (ad esempio, ottimalità rumorosa o razionalità limitata). Tuttavia, il comportamento umano nel mondo reale è spesso subottimale a causa di una pianificazione scadente, errori di esecuzione o gestualità intenzionalmente non ottimali utilizzate esclusivamente per comunicare obiettivi. I metodi esistenti faticano quando il modello di comportamento assunto è errato, portando a un'inferenza della ricompensa scorretta. Sebbene alcuni lavori precedenti tentino di apprendere i modelli di comportamento dai dati, tali approcci affrontano spesso limitazioni, come l'essere limitati ad ambiti tabulari o il fallire nel gestire efficacemente comportamenti arbitrariamente subottimali.

Il problema centrale affrontato è come inferire funzioni di ricompensa da una vasta gamma di comportamenti umani — inclusi quelli arbitrariamente subottimali o intesi come comunicazione piuttosto che come ottimizzazione — senza fare affidamento su forti assunti, potenzialmente errati, sul modello di comportamento sottostante.

Metodologia: Supervised Reward Inference (SRI)

Gli autori propongono la Supervised Reward Inference (SRI), un framework che inquadra l'inferenza della ricompensa come un problema di apprendimento supervisionato. Invece di apprendere un modello di comportamento che mappa le ricompense alle azioni e poi invertirlo, la SRI apprende direttamente una mappatura dalle traiettorie di comportamento alle funzioni di ricompensa utilizzando un dataset di comportamenti accoppiati a ricompense reali note.

Framework Centrale

Dato un dataset di task in cui ogni task $k$ consiste in:

1. Un set di traiettorie di comportamento $\{\tau_{k,i}\}$ (che possono essere arbitrariamente subottimali).
2. Un set di coppie stato-ricompensa $\{(s_{k,j}, r_{k,j})\}$ campionate dallo stesso task.

La SRI addestra una rete neurale per predire la ricompensa $r(s)$ per un dato stato $s$, condizionata dalle traiettorie di comportamento. L'architettura è composta da due componenti principali:

• Encoder del Task ($f_{\theta_f}$): Codifica un set di traiettorie di comportamento in un embedding del task a dimensione fissa $\psi$. Negli esperimenti, questo utilizza un Transformer per la codifica delle traiettorie e un Set Transformer per il pooling di più traiettorie.
• Modello di Ricompensa ($g_{\theta_g}$): Prende l'embedding del task $\psi$ e uno stato $s$ come input per predire il valore della ricompensa.

L'obiettivo di addestramento è minimizzare l'errore quadratico medio tra le ricompense predette e le ricompense reali sul dataset:
$$\arg \min_{\theta_f, \theta_g} \mathbb{E} \left[ L \left( g_{\theta_g}(S, f_{\theta_f}(\{\tau_n\})), R(S) \right) \right]$$

Garanzie Teoriche

Il documento fornisce una prova teorica che la SRI sia asintoticamente Bayes-ottimale. Sotto assunti standard (spazi stato/azione compatti, ritorni limitati e capacità del modello sufficiente), man mano che la dimensione del dataset si avvicina all'infinito, la funzione di ricompensa inferita converge uniformemente alla media a posteriori della ricompensa dato il comportamento. Di conseguenza, la politica ottimale derivata da questa ricompensa inferita converge alla politica che massimizza il ritorno atteso sotto la vera distribuzione a posteriori delle ricompense. Ciò è valido per qualsiasi classe fissa di comportamento, a condizione che la distribuzione del comportamento in fase di deployment corrisponda alla distribuzione di addestramento.

Estensioni

Gli autori dimostrano che questo template di inferenza supervisionata si generalizza ad altri compiti di inferenza dell'intento:

• Supervised Goal Inference (SGI): Predire rappresentazioni latenti degli obiettivi direttamente dal comportamento.
• Supervised Action Inference (SAI): Predire azioni ottimali direttamente dal comportamento e dallo stato.

Contributi Chiave

1. Framework Innovativo: Introduzione della SRI, che elimina la necessità di un esplicito modellazione del comportamento trattando l'inferenza della ricompensa come un compito diretto di apprendimento supervisionato.
2. Ottimalità Teorica: Prova che la SRI raggiunge l'ottimalità Bayes-asintotica per l'inferenza della ricompensa e l'apprendimento per imitazione sotto assunti standard, senza richiedere la conoscenza del modello di comportamento.
3. Robustezza alla Subottimalità: Dimostrazione che la SRI può inferire ricompense accurate da comportamenti altamente subottimali, rumorosi e persino comportamenti non di dimostrazione (ad esempio, gesti che non completano mai il task) dove i metodi tradizionali di IRL falliscono.
4. Generalizzazione: Estensione del framework a Supervised Goal Inference (SGI) e Supervised Action Inference (SAI), mostrando la versatilità dell'approccio di inferenza dell'intento supervisionato.

Risultati Sperimentali

Gli autori hanno valutato la SRI su due benchmark distinti:

1. Meta-World Robotics Tasks (Controllo Continuo)

• Setup: I task includevano "Reach" e "Pick-Place" con obiettivi distribuiti casualmente.
• Classi di Comportamento: Il sistema è stato testato su cinque classi di dimostrazioni, inclusi azioni rumorose, offset sistematicamente errati e dimostrazioni di tipo "Gesture" (gesto) in cui il robot punta verso l'obiettivo ma non raccoglie né posiziona mai l'oggetto.
• Risultati:
  • La SRI ha raggiunto prestazioni vicine al limite massimo (0.822 di prossimità al goal normalizzata) nei compiti di Pick-Place utilizzando solo dimostrazioni di tipo "Gesture", mentre tutti i baseline di imitation learning (BC, GAIL, AIRL) sono falliti (performance $\le 0$).
  • La SRI ha dimostrato robustezza a subottimalità arbitrarie, inferendo politiche quasi ottimali anche quando le dimostrazioni erano altamente rumorose o sistematicamente distorte.
  • Le prestazioni sono scalate fluidamente con la quantità di dati, mostrando un'elevata efficienza dei dati.

2. Benchmark Gridworld di Shah et al. (2019) (Tabulare)

• Setup: Un benchmark tabulare che confronta la SRI con metodi precedenti per comportamenti arbitrariamente subottimali, incluso l'algoritmo "Inverse Planning" (IP) di Shah et al. (2019).
• Risultati:
  • La SRI (adattata per accettare input di policy) ha raggiunto prestazioni vicine al limite massimo in tutte le classi di dimostratori (ottimali, ingenui, sofisticati, miopi, ecc.) e nelle loro varianti rumorose.
  • La SRI ha superato o pareggiato lo stato dell'arte dei metodi IP, suggerendo che apprendere direttamente la mappa inversa (policy-to-reward) sia più efficace che apprendere un pianificatore e poi invertirlo, anche in contesti tabulari.

Significato e Rivendicazioni

Il documento sostiene che la SRI rappresenti un cambio di paradigma dall'ingegneria del modello di comportamento all'apprendimento supervisionato guidato dai dati. Vedendo il comportamento come un'indicazione dell'intento piuttosto che come un tentativo di ottimizzazione, la SRI evita la fragilità associata alla misspecificazione del modello.

Gli autori sottolineano che:

• La SRI è una soluzione "parsimoniosa ma potente" che sfrutta tecniche standard di apprendimento supervisionato.
• Permette di utilizzare i progressi nel campo del representation learning e dei modelli pre-addestrati (ad esempio, i Transformer) senza dover progettare specifici bias induttivi di RL.
• Il metodo è universalmente applicabile a qualsiasi distribuzione di comportamento fissa, purché sia disponibile una supervisione della ricompensa indicizzata per task durante l'addestramento.
• Sebbene gli esperimenti attuali assumano l'accesso alle ricompense del simulatore per l'addestramento, il framework è progettato per essere compatibile con future estensioni in cui le ricompense vengono stimate da annotazioni sparse o preferenze.

Il documento conclude che algoritmi di apprendimento meno distorti (less-biased), se dotati di dati sufficienti, possono superare approcci basati su modelli più distorti (more-biased), supportando la "lezione amara" (bitter lesson) secondo cui la scalabilità di dati e computazione spesso produce risultati migliori rispetto agli assunti progettati a mano.