Reward Learning through Ranking Mean Squared Error

Sintesi Tecnica: Apprendimento della Ricompensa tramite l'Errore Quadratico Medio di Classifica (R4)

Definizione del Problema
L'applicazione dell'Apprendimento per Rinforzo (RL) a problemi del mondo reale è spesso limitata dalla difficoltà della progettazione della ricompensa (reward design). L'ingegneria manuale delle ricompense è spesso un processo soggetto a errori e basato su tentativi ed errori, che può portare alla specifica errata della ricompensa (reward misspecification), dove gli agenti apprendono comportamenti non intenzionali. Sebbene l'Apprendimento della Ricompensa (inferire le ricompense dal feedback umano) offra un'alternativa, i metodi esistenti presentano dei limiti. L'RL basato sulle preferenze (PbRL), che si basa su confronti binari, è inefficiente in termini di campionamento e fornisce solo informazioni relative senza una valutazione della qualità assoluta. Al contrario, i recenti approcci di RL basati sulle valutazioni (RbRL) consentono agli esseri umani di assegnare valutazioni discrete e multiclasse (ad esempio, "scarso", "neutro", "buono"), offrendo un feedback più ricco. Tuttavia, i metodi RbRL esistenti, come quelli che utilizzano perdite di entropia incrociata (cross-entropy), impongono vincoli rigidi alla modellazione della ricompensa, come la necessità di confini di classe espliciti e l'obbligo per le traiettorie all'interno della stessa classe di valutazione di avere rendimenti previsti identici, ignorando così la diversità intra-classe.

Metodologia: Ranked Return Regression for RL (R4)
Gli autori propongono R4, un nuovo algoritmo di RL basato su valutazioni che apprende funzioni di ricompensa da coppie traiettoria-valutazione utilizzando una perdita di Errore Quadratico Medio di Classifica (Ranking Mean Squared Error o rMSE).

• Meccanismo Centrale: R4 tratta le valutazioni discrete fornite dall'uomo come target ordinali. Durante l'addestramento, l'algoritmo campiona una traiettoria da ogni classe di valutazione. Calcola i rendimenti scontati previsti per queste traiettorie sotto il modello di ricompensa corrente ($\hat{r}_\theta$).
• Classifica Differenziabile: Invece di trattare le valutazioni come etichette di classificazione indipendenti, R4 utilizza un operatore di ordinamento differenziabile (specificamente, soft rank da Blondel et al., 2020) per classificare i rendimenti previsti. Questo produce un vettore di soft rank ($\hat{R}$) corrispondente alle traiettorie campionate.
• Funzione di Perdita: L'obiettivo è minimizzare l'Errore Quadratico Medio tra i soft rank dei rendimenti previsti e le classi di valutazione umane ($c$):
  $$L_{rMSE} = \frac{1}{n} \sum_{i=0}^{n-1} (\hat{R}(\tau_i) - c(\tau_i))^2$$
  Questo approccio consente ai gradienti di propagarsi attraverso l'operazione di classificazione, permettendo al modello di ricompensa di adattarsi affinché l'ordinamento relativo dei rendimenti previsti si allinei con le valutazioni ordinali umane.

Contributi Chiave

1. Innovazione Algoritmica: L'introduzione di R4, che utilizza la nuova perdita rMSE per addestrare funzioni di ricompensa da valutazioni ordinali senza richiedere confini di classe esplicitamente definiti.
2. Garanzie Teoriche: Gli autori stabiliscono che, sotto deboli assunzioni (ricompensa umana deterministica, copertura della classe di ipotesi e classificazione differenziabile che approssima le classifiche rigide), l'insieme delle soluzioni dell'obiettivo rMSE è sia minimo che completo. Ciò significa che l'insieme delle funzioni di ricompensa che soddisfano la perdita rMSE è equivalente all'insieme delle funzioni di ricompensa che soddisfano perfettamente i vincoli ordinali imposti dalle valutazioni umane. Al contrario, gli autori dimostrano che la vera funzione di ricompensa umana non è garantita di appartenere all'insieme delle soluzioni degli obiettivi RbRL precedenti.
3. Validazione Empirica: R4 è validato sia in contesti offline che online utilizzando valutazioni simulate e uno studio con utenti umani. Coerentemente, eguaglia o supera i metodi esistenti basati su valutazioni (RbRL) e sulle preferenze (PEBBLE, SURF, QPA) in benchmark robotici (OpenAI Gym e DeepMind Control Suite).
4. Studio Umano: Uno studio approvato dal comitato etico con 8 partecipanti ha dimostrato che R4 supera l'approccio RbRL nonostante la significativa variabilità inter-partecipante nel comportamento di valutazione. I partecipanti hanno riportato un basso carico cognitivo (punteggio medio NASA TLX di 2.05/7), a supporto della fattibilità del feedback basato sulle valutazioni.

Risultati

• Contesto Offline: Nei domini OpenAI Gym (Reacher, Inverted Double Pendulum, Half Cheetah), le funzioni di ricompensa addestrate con R4 hanno portato a un apprendimento statisticamente più veloce e a rendimenti finali più elevati rispetto a RbRL quando utilizzate per addestrare un agente Soft Actor-Critic (SAC).
• Contesto Online: In sei ambienti DeepMind Control Suite, gli agenti addestrati con R4 hanno appreso significativamente più velocemente di tutti i baseline in tre ambienti e hanno ottenuto rendimenti finali più elevati in quattro ambienti.
• Feedback Umano: Nello studio sugli utenti, R4 ha ottenuto un apprendimento significativamente più veloce e rendimenti più elevati rispetto a RbRL sia nei compiti Reacher che Hopper, anche quando i partecipanti utilizzavano un numero variabile di classi di valutazione ed esibivano squilibri di classe.
• Ablazione: Lo studio ha confermato che R4 rimane stabile attraverso diversi numeri di bin di valutazione, mentre le prestazioni di RbRL degradano man mano che il numero di bin devia da un intervallo ottimale.

Significato
Il documento sostiene che R4 rappresenti un passo avanti significativo nell'apprendimento della ricompensa fornendo un metodo che è sia teoricamente fondato che praticamente efficace. Sfruttando la natura ordinale delle valutazioni umane attraverso una perdita basata sulla classificazione, R4 evita le assunzioni restrittive dei precedenti metodi basati sulle valutazioni (come i confini fissi e l'omogeneità intra-classe). La prova teorica di minimità e completezza offre una rigorosa giustificazione per il design dell'algoritmo, mentre i risultati empirici, incluso lo studio umano, dimostrano la sua robustezza alla variabilità del feedback del mondo reale e la sua capacità di ridurre il carico cognitivo per i valutatori umani rispetto alle alternative basate sulle preferenze.