Hierarchical Reward Design from Language: Enhancing Alignment of Agent Behavior with Human Specifications

1. Il Problema: Allineamento e Specifiche Comportamentali Complesse

L'articolo affronta una sfida fondamentale nell'intelligenza artificiale (IA) e nella robotica: come allineare il comportamento degli agenti AI non solo al completamento di un compito, ma anche a come tale compito viene eseguito.

• Limitazioni delle ricompense piatte (Flat Rewards): I metodi esistenti di Reward Design (progettazione della funzione di ricompensa) utilizzano tipicamente funzioni "piatte" $r(s, a)$ che mappano stato e azione in un singolo valore. Queste sono insufficienti per compiti a lungo orizzonte (long-horizon tasks) che richiedono sequenze complesse di sottocompiti. Le ricompense piatte non possono esprimere efficacemente vincoli che dipendono dalla storia delle azioni (es. "esegui il sottocompito B solo dopo aver completato A") o strategie di esecuzione condizionate al sottocompito corrente.
• Il Gap nella Progettazione: Sebbene l'Apprendimento per Rinforzo Gerarchico (HRL) sia efficace per decomporre i compiti, la progettazione delle ricompense per questi agenti gerarchici è rimasta poco esplorata e priva di una formulazione teorica rigorosa.

2. Metodologia e Formulazione del Problema

Gli autori introducono due contributi principali: la formulazione del problema HRDL e la soluzione algoritmica L2HR.

A. Hierarchical Reward Design (HRD) e HRDL

Il paper definisce formalmente il problema della Progettazione Gerarchica delle Ricompense (HRD). A differenza della progettazione classica, HRD introduce due funzioni di ricompense distinte:

1. Ricompensa di Livello Basso ($r_L$): Guida l'esecuzione delle azioni primitive all'interno di un sottocompito (opzione). È definita come $r_L: S \times O \times A \to \mathbb{R}$, dove $S$ è lo stato, $O$ l'opzione (sottocompito) e $A$ l'azione.
2. Ricompensa di Livello Alto ($r_H$): Guida la selezione dei sottocompiti (opzioni) e la loro sequenza. È definita come $r_H: O \times S \times O \to \mathbb{R}$, considerando lo stato corrente, l'opzione precedente e l'opzione corrente.

Hierarchical Reward Design from Language (HRDL) è un'istanza specifica di HRD in cui le specifiche comportamentali sono fornite in linguaggio naturale. L'obiettivo è generare automaticamente le funzioni $r_L$ e $r_H$ partendo da descrizioni testuali, mantenendo la fattibilità del compito originale.

B. Language to Hierarchical Rewards (L2HR)

Per risolvere HRDL, gli autori propongono L2HR, un algoritmo che utilizza i Large Language Models (LLM) per sintetizzare codice Python che implementa le funzioni di ricompensa.

• Strategia di Prompting: L'LLM riceve un prompt strutturato contenente: descrizione del compito, contesto del codice dell'ambiente (spazi di stato e azione), spazi delle opzioni (per distinguere livelli alto e basso) e le specifiche comportamentali in linguaggio naturale.
• Procedura di Addestramento in Due Fasi:
  1. Fase 1 (Livello Basso): L'LLM genera candidati per $r_L$. Questi vengono usati per addestrare policy di livello basso. Vengono filtrati solo i candidati che permettono di completare i sottocompiti con successo.
  2. Fase 2 (Livello Alto): L'LLM genera candidati per $r_H$. Questi vengono combinati con le policy di livello basso valide della Fase 1 per addestrare la policy di livello alto.
• Vantaggio Strutturale: Utilizzando la struttura gerarchica, l'LLM può ragionare direttamente su "opzioni" (es. "raccogliere un uovo") invece che su azioni primitive, semplificando la generazione del codice e riducendo gli errori di sintassi.

3. Contributi Chiave

1. Formalizzazione Teorica: Il paper definisce HRD come un problema generale, dimostrando teoricamente che le ricompense gerarchiche sono più espressive di quelle piatte. In particolare, possono codificare dipendenze temporali tra sottocompiti (es. ordine di esecuzione) che le funzioni $r(s, a)$ non possono rappresentare senza informazioni nascoste.
2. Soluzione Automatizzata (L2HR): Introduzione di un metodo che traduce direttamente le specifiche umane in linguaggio in strutture di ricompensa gerarchiche, rendendo la progettazione accessibile senza bisogno di esperti di RL.
3. Validazione Empirica: Dimostrazione che gli agenti addestrati con L2HR non solo completano i compiti, ma aderiscono significativamente meglio alle specifiche comportamentali rispetto ai metodi basati su ricompense piatte.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre domini a lungo orizzonte: Rescue World, iTHOR e Kitchen.

• Correttezza Sintattica: La generazione gerarchica (L2HR) ha mostrato tassi di errore di sintassi significativamente inferiori rispetto alla generazione di ricompense piatte. Questo perché la struttura gerarchica semplifica il compito per l'LLM, permettendogli di ragionare su concetti di alto livello (opzioni) piuttosto che su dettagli di basso livello.
• Fattibilità del Compito: Le ricompense gerarchiche hanno preservato meglio la capacità dell'agente di completare il compito principale rispetto alle ricompense piatte, che spesso portavano a comportamenti spurii o fallimenti a causa di logiche di ricompensa complesse e fragili.
• Allineamento alle Specifiche:
  • In Rescue World (specifiche di persistenza: consegnare tutti gli oggetti di un tipo prima di cambiare) e iTHOR (diversità: alternare tipi di oggetti), le ricompense piatte hanno fallito nel catturare le dipendenze storiche, ottenendo un allineamento di livello esperto molto basso (es. 0-12%).
  • La metodologia Hier (L2HR) ha raggiunto tassi di allineamento di livello esperto molto superiori (fino al 76.92% in Rescue World e 87.50% in iTHOR).
  • In Kitchen, anche se le ricompense piatte erano teoricamente sufficienti, L2HR ha superato di gran lunga le baselines (92.86% vs 10% di allineamento perfetto), semplificando la logica necessaria.
• Valutazione Umana: Uno studio con partecipanti umani ha confermato che gli agenti addestrati con L2HR sono percepiti come molto più allineati alle specifiche comportamentali rispetto a quelli con ricompense piatte, specialmente per le preferenze di alto livello.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo fondamentale verso l'IA responsabile e allineata agli esseri umani:

• Superamento dei Limiti delle Ricompense Piatte: Dimostra che per compiti complessi e a lungo termine, la struttura della ricompensa deve riflettere la struttura gerarchica del compito umano.
• Accessibilità: L2HR democratizza la progettazione di reward, permettendo agli utenti di specificare comportamenti complessi tramite linguaggio naturale invece che tramite codice o ingegneria manuale delle ricompense.
• Fondamento per il Futuro: Fornisce una base teorica e pratica per futuri sistemi di allineamento che combinano HRL, LLM e input umano, aprendo la strada ad agenti robotici e software più sicuri, prevedibili e capaci di rispettare le intenzioni umane in scenari reali complessi.

In sintesi, il paper dimostra che decomporre la progettazione della ricompensa in livelli gerarchici, guidata dal linguaggio naturale, è la chiave per allineare efficacemente agenti AI complessi alle sfumate specifiche comportamentali umane.