Sintesi Tecnica: Freeform Preference Learning per la Manipolazione Robotica

Definizione del Problema

La progettazione delle ricompense (reward design) rimane un collo di bottiglia critico per il miglioramento delle policy autonome dei robot, in particolare per i compiti di manipolazione a lungo termine. Gli approcci esistenti presentano limitazioni significative:

• Ricompense Sparse: Le etichette binarie di successo/fallimento forniscono un segnale insufficiente per compiti complessi in cui il progresso intermedio è cruciale.
• Preferenze Binarie Ambigue: L'apprendimento delle preferenze tradizionale (ad esempio, i modelli di Bradley-Terry) richiede che gli annotatori collassino molteplici concetti contrastanti di qualità (ad esempio, velocità vs sicurezza) in un unico label binario "complessivo". Ciò crea ambiguità, specialmente quando si confrontano segmenti di traiettoria provenienti da diverse fasi del compito.
• Funzioni di Ricompensa Rigide: Le ricompense scalari progettate manualmente spesso non riescono a catturare l'intero spettro dell'intento umano, come l'igiene, la formalità o la cura, portando a comportamenti indesiderati durante l'ottimizzazione.

Il paper sostiene che preservare la natura multidimensionale del giudizio umano sia essenziale per apprendere policy robuste che catturino tutti gli aspetti dell'intento di un utente.

Metodologia: Freeform Preference Learning (FPL)

FPL introduce un framework per apprendere le policy dei robot da preferenze umane in forma libera (freeform), definite in linguaggio naturale, anziché collassare il feedback in uno scalare singolo. Il metodo si compone di tre componenti principali:

1. Raccolta delle Preferenze Freeform

Invece di chiedere "Quale traiettoria è migliore in generale?", agli annotatori vengono mostrate coppie di traiettorie e viene chiesto di:

• Definire specifici assi di preferenza in linguaggio naturale (ad esempio, "velocità", "sicurezza", "formalità della configurazione", "fluidità"). Questi assi possono essere predefiniti o specificati dall'annotatore durante il processo.
• Fornire preferenze a coppie ($y_k \in \{0, 1\}$) per ogni asse definito ($l_k$).
  Ciò produce un dataset $\mathcal{P}$ di coppie di traiettorie annotate con etichette in linguaggio naturale e preferenze binarie per ogni asse.

2. Apprendimento della Ricompensa Condizionato al Linguaggio

FPL apprende un modello di ricompensa unico $r_\phi$ condizionato dalla descrizione in linguaggio naturale dell'asse, sfruttando le rappresentazioni di modelli vision-language (VLM) pre-addestrati.

• Scoring Condizionato all'Asse: Per una coppia di traiettorie $(\tau_i, \tau_j)$ e un insieme di assi $\{(l_k, y_k)\}$, il modello viene addestrato a minimizzare una perdita Bradley-Terry modificata:
  $$L_{FPL-Reward}(\phi) = -\mathbb{E} \left[ \sum_{k=1}^{K_{ij}} \log \sigma \left( (2y_k - 1) [r_\phi(\tau_i | l_k) - r_\phi(\tau_j | l_k)] \right) \right]$$
• Modellazione Temporale: A differenza dei modelli standard che valutano singole osservazioni, FPL condiziona la ricompensa sulla cronologia delle osservazioni. La ricompensa a livello di traiettoria è definita come la somma dei punteggi per prefisso:
  $$r_\phi(\tau, l_k) = \sum_{i=1}^{T} g_\phi(o_{1:i}, l_k)$$
  dove $g_\phi$ è un transformer multimodale. Ciò consente al modello di catturare le dipendenze temporali necessarie per valutare le preferenze a livello di traiettoria.

3. Estrazione della Policy Multidimensionale

Invece di collassare le ricompense multidimensionali apprese in un singolo scalare pesato (il che rischia il reward hacking), FPL addestra una policy $\pi_\theta$ condizionata agli assi in linguaggio naturale e ai loro corrispondenti punteggi di ricompensa simultaneamente.

• La policy viene addestrata tramite behavior cloning (o offline RL) su un dataset in cui le azioni sono condizionate dall'insieme di assi $\mathcal{L} = \{l_1, \dots, l_{K_\pi}\}$ e dai relativi punteggi di ricompensa $r_\phi(\tau | l_k)$.
• Addestramento Iterativo: Il processo può essere iterativo. Man mano che la policy migliora, gli annotatori possono fornire un feedback più raffinato e l'insieme degli assi può espandersi, creando un curriculum naturale.
• Steerability al Tempo di Test: Durante l'inferenza, la policy può essere guidata verso comportamenti specifici variando i valori di ricompensa target condizionati a specifici assi, senza necessità di ri-addestramento.

Contributi Chiave

1. Freeform Preference Learning (FPL): Un metodo innovativo per elicitare e apprendere da preferenze umane multidimensionali in linguaggio naturale, evitando l'ambiguità delle etichette binarie "complessive".
2. Modello di Ricompensa Condizionato al Linguaggio: Una funzione di ricompensa che mappa una traiettoria e una descrizione di un asse in linguaggio naturale a un punteggio scalare, consentendo l'apprendimento di diversi attributi (qualità, velocità, sicurezza, igiene) da un singolo modello.
3. Componibilità e Steerability: Il framework permette alle policy di esibire comportamenti compositivi (combinando tratti non visti insieme nei dati) e consente di guidare il comportamento al tempo di test regolando il condizionamento della ricenza.
4. Supervisione Densa senza Segmentazione: FPL apprende segnali di progresso densi per compiti a lungo termine senza richiedere una segmentazione esplicita dei sottotesti o una manuale strutturazione della ricompensa (reward shaping).

Risultati Sperimentali

Gli autori hanno valutato FPL su quattro compiti nel mondo reale (mettere un cubo in una ciotola, piegare i pantaloncini, impiattare la toast, apparecchiare la tavola) e due compiti simulati (riposizionamento oggetti, bimodal square).

• Performance: FPL ha superato i baseline (inclusi sparse rewards, binary preference learning e weighted regression) con una media di 38 punti percentuali nei compiti del mondo reale.
• Simulazione: Nel compito "Bimodal Square", FPL ha composto con successo i comportamenti (posizionare un dado su un perno rapidamente) anche quando i dati di addestramento contenevano solo esempi veloci per l'altro perno. Ha inoltre ottenuto alte prestazioni sul compito "invertito" (perno sinisto) utilizzando la stessa policy cambiando il condizionamento della ricompensa, una capacità non presente nei metodi baseline.
• Densità della Ricompensa: L'analisi qualitativa ha mostrato che le ricompense di FPL condizionate all'asse erano temporalmente localizzate attorno a specifici eventi di sottotask (ad esempio, posizionare una tazza), mentre le ricompense di preferenza binaria producevano picchi ambigui nelle fasi finali.
• Efficienza di Annotazione: La raccolta delle preferenze freeform è stata circa il 50% più veloce per etichetta rispetto alla raccolta di singole preferenze binarie, poiché il costo di visione di un video è condiviso tra molteplici giudizi specifici per asse.

Significato e Rivendicazioni

Il paper afferma che FPL affronta la sfida fondamentale di catturare la natura "multidimensionale" dell'intento umano nella robotica. Preservando la struttura del feedback umano invece di collassarla, FPL:

• Fornisce una supervisione più densa e meno ambigua per l'ottimizzazione della policy.
• Permette la generalizzazione compositiva, consentendo ai robot di combinare comportamenti appresi (ad esempio, velocità + sicurezza) in modi non esplicitamente dimostrati.
• Offre la steerability al tempo di test, permettendo agli utenti di regolare il comportamento del robot (ad esempio, dare priorità alla velocità rispetto alla delicatezza) senza ri-addestramento.
• Dimostra che il linguaggio naturale è un'interfaccia valida ed efficace per definire assi di ricompensa, andando oltre le strutture di ricompensa rigide e predefinite.

Gli autori concludono che, sebbene l'apprendimento delle preferenze sia più costoso degli approcci non supervisionati, FPL migliora significativamente la qualità e la flessibilità delle policy apprese, rendendolo una direzione promettente per la robotica reale.