SERFN: Sample-Efficient Real-World Dexterous Policy Fine-Tuning via Action-Chunked Critics and Normalizing Flows

1. Il Problema

Il fine-tuning di politiche per la manipolazione destrezza (dexterous manipulation) nel mondo reale rimane una sfida significativa a causa di due fattori principali:

• Budget di interazione limitato: Il tempo di interazione con i robot reali è costoso e rischioso. Gli algoritmi devono essere estremamente efficienti nel campionamento (sample-efficient), massimizzando il miglioramento da ogni singolo rollout.
• Distribuzioni multimodali delle azioni: I compiti complessi (come afferrare oggetti o tagliare) spesso richiedono distribuzioni di azioni multimodali (più modi di successo possibili). Le politiche basate su Gaussiane standard falliscono in questi scenari, mentre le politiche basate su Diffusione, sebbene espressive, non permettono aggiornamenti conservativi basati sulla verosimiglianza (likelihood) perché la probabilità delle azioni è intrattabile.
• Disallineamento temporale: Le politiche moderne spesso eseguono "chunk" di azioni (sequenze temporali estese) per ridurre la frequenza di feedback. Tuttavia, i critici standard valutano solo azioni passo-passo, portando a una cattiva assegnazione del credito (credit assignment) su orizzonti lunghi.

2. Metodologia: SERNF

Gli autori propongono SERNF (Sample-Efficient Reinforcement learning with Normalizing Flows), un framework di fine-tuning off-policy che combina tre componenti chiave:

A. Politica basata su Normalizing Flows (NF)

Invece di usare Gaussiani o Diffusione, SERNF utilizza una Normalizing Flow condizionale per rappresentare la politica $\pi_\theta(a|o)$.

• Vantaggi: Le NF sono modelli generativi che mappano una distribuzione base (es. Gaussiana) a una distribuzione complessa delle azioni attraverso trasformazioni invertibili.
• Likelihood Esatta: A differenza delle Diffusion, le NF permettono il calcolo esatto della verosimiglianza ($\log \pi(a|o)$). Questo è cruciale per applicare una regolarizzazione conservativa durante il fine-tuning, mantenendo la politica vicina ai dati di dimostrazione iniziali ed evitando il "catastrophic forgetting" o l'esplorazione distruttiva.
• Espressività: Riescono a modellare distribuzioni multimodali complesse necessarie per compiti destri.

B. Critico a Chunk di Azioni (Action-Chunked Critic)

Per allineare la valutazione del valore con l'esecuzione della politica:

• Viene addestrato un critico $Q_\phi$ che valuta intere sequenze di azioni (chunk) di lunghezza $H$, anziché azioni singole.
• Questo migliora l'assegnazione del credito su orizzonti temporali lunghi e riduce la varianza, allineandosi con l'architettura di controllo "Real-Time Chunking" (RTC) utilizzata nell'esecuzione.
• Il critico è parametrizzato come una distribuzione (HL-Gauss) per migliorare la stabilità dell'apprendimento.

C. Pipeline di Addestramento in 4 Fasi

Il metodo segue un percorso strutturato per massimizzare l'efficienza:

1. Inizializzazione (Imitation Learning): Addestramento della politica NF su un dataset di dimostrazioni (teleoperazione o simulazione) tramite Behavior Cloning.
2. Warm-up del Critico (Offline): Il critico viene addestrato sui dati offline usando la politica iniziale come politica target per generare stime di valore.
3. RL Offline Completo: Addestramento congiunto attore-critico su dati offline, utilizzando una regolarizzazione basata sulla verosimiglianza (simile a TD3+BC) per limitare la deviazione dai dati disponibili.
4. Fine-tuning Online: Addestramento sul robot reale con un budget limitato di interazioni. I dati online vengono mescolati con quelli offline, e la regolarizzazione viene applicata selettivamente per stabilizzare l'apprendimento.

3. Contributi Chiave

• Prima dimostrazione hardware: È il primo lavoro che combina politiche generative basate su likelihood (NF) con l'apprendimento di valori a livello di chunk su hardware robotico reale.
• Stabilità e Conservatorismo: L'uso delle NF permette aggiornamenti conservativi basati sulla verosimiglianza, risolvendo il problema dell'intrattabilità della likelihood nelle politiche Diffusione durante il fine-tuning RL.
• Pipeline Pratica: Viene fornita una ricetta pratica per l'addestramento con dati limitati, dimostrando come combinare dati offline (teleoperazione/simulazione) e online in modo efficace.
• Validazione su Compiti Difficili: Il metodo è stato testato su due compiti di manipolazione destrezza a lungo orizzonte nel mondo reale, entrambi noti per essere difficili da controllare.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due task reali con un braccio robotico Franka Panda e una mano ORCA:

Task 1: Recupero delle forbici e taglio del nastro (Scissors Retrieval & Tape Cutting)

• Sfida: Richiede precisione estrema per inserire le dita nelle maniglie delle forbici e tagliare un nastro sospeso. Le azioni sono altamente multimodali.
• Risultati:
  • L'inizializzazione per imitazione ha ottenuto un tasso di successo del 50% nell'afferrare, ma 0% nel taglio.
  • Il fine-tuning Offline RL ha migliorato l'afferramento (fino all'80%), ma il robot ha sviluppato movimenti controproducenti durante il taglio.
  • Il Fine-tuning Online ha permesso al robot di correggere la postura e completare il taglio con successo, raggiungendo un tasso di successo complessivo del 70% per il taglio.
  • I metodi baselines (Imitation Learning puro, Flow-Matching, ACT) hanno fallito nel raggiungere il successo nel taglio o hanno peggiorato le prestazioni con l'aggiunta di dati online non filtrati.

Task 2: Rotazione del cubo in mano (In-hand Cube Rotation)

• Sfida: Ruotare un cubo tenendolo in mano (palm-down) senza supporto esterno. È un compito impossibile da teleoperare affidabilmente a causa della latenza e della mancanza di feedback aptico.
• Setup: La politica è stata inizializzata tramite distillazione da un agente addestrato in simulazione (Sim-to-Real).
• Risultati:
  • Dopo il fine-tuning online, la politica è passata da rotazioni fragili e brevi a rotazioni continue e stabili.
  • La velocità di rotazione è passata da valori modesti a un picco di 6.25 RPM (rotazioni per minuto).
  • Il metodo ha dimostrato una capacità di adattamento stabile dove i metodi standard faticano a gestire il divario sim-to-real e la multimodalità.

5. Significato e Impatto

SERNF rappresenta un passo avanti significativo verso il dispiegamento affidabile di robot destri nel mondo reale.

• Efficienza del Campionamento: Dimostra che è possibile ottenere prestazioni elevate con un budget di interazione reale molto limitato, un requisito fondamentale per l'adozione industriale.
• Superamento dei Limiti delle Politiche Espressive: Risolve il compromesso tra espressività (necessaria per compiti complessi) e tracciabilità della verosimiglianza (necessaria per l'aggiornamento RL stabile), rendendo le NF una scelta superiore alle Diffusion per il fine-tuning RL su hardware reale.
• Generalizzazione: La capacità di adattarsi sia a flussi di lavoro basati su teleoperazione (imitation learning) che su simulazione (sim-to-real) rende SERNF un framework versatile per diverse pipeline di sviluppo robotico.

In sintesi, SERNF fornisce una fondazione pratica per il fine-tuning scalabile e affidabile di politiche visuomotori ad alta capacità, affrontando direttamente le sfide della multimodalità, della scarsità di dati e della complessità temporale nella manipolazione robotica.