Where Should Action Generation Begin? A Learnable Source Prior for Generative Robot Policies

Sintesi Tecnica: LeaP - Un Prior di Sorgente Apprendibile per Politiche Robotiche Generative

Problema
Le politiche robotiche generative, inclusi gli approcci basati sulla diffusione (diffusion) e sul flow-matching, formulano tipicamente la generazione di azioni come campionamento condizionale. Nonostante la diversità architettonica, questi metodi condividono un limite comune: inizializzano la generazione di azioni partendo da una distribuzione Gaussiana standard, $N(0, I)$, indipendente dall'osservazione. Questa distribuzione di sorgente non contiene informazioni riguardanti lo stato attuale del robot o il contesto del compito. Di conseguenza, il modello generativo deve spendere una parte significativa del proprio "budget di integrazione" per trasportare i campioni da questa sorgente di rumore non informata verso azioni rilevanti per il compito. Sebbene lavori recenti abbiano tentato di sostituire la Gaussiana standard con sorgenti deterministiche derivate dalle osservazioni (ad esempio, stime puntuali dalla propriocezione o da latenti visivi), essi trascurano ampiamente l'incertezza inerente alla distribuzione di sorgente. La domanda centrale affrontata da questo lavoro è: Dove dovrebbe iniziare la generazione dell'azione? investigando specificamente se la sorgente debba essere deterministica o distributiva, e se, nel caso sia distributiva, la sua varianza debba essere fissa o adattiva allo stato.

Metodologia: LeaP
Gli autori propongono LeaP (Learnable source Prior), un framework che sostituisce la sorgente Gaussiana standard con una Gaussiana diagonale apprendibile e condizionata alla propriocezione sugli chunk di azione. I componenti chiave sono:

1. Rete Prior ($g_\phi$): Un MLP leggero a due strati che mappa le caratteristiche dello stato propriocezione ($z_s$) alla media ($\mu_\phi$) e alla varianza adattiva allo stato ($\sigma^2_\phi$) di una distribuzione Gaussiana diagonale. Fondamentalmente, il prior è condizionato solo dalla propriocezione, lasciando l'intero condizionamento (visivo + propriocezione) al generatore a valle.
2. Inizializzazione Stocastica: Durante l'inferenza, il campione di sorgente $z_0$ viene estratto da questa Gaussiana appresa $q_\phi(z_0 | z_s)$ anziché da $N(0, I)$. Ciò fornisce un'inizializzazione che è sia informata dall'osservazione (ancorata in un vicinato dipendente dallo stato) sia stocastica.
3. Design Plug-and-Play: LeaP modifica solo la distribuzione di sorgente. L'architettura del generatore a valle (ad esempio, flow-matching o diffusion-bridge), la dinamica generativa e il risolutore di inferenza rimangono invariati.
4. Obiettivo di Addestramento Congiunto: La rete prior e il generatore sono addestrati end-to-end utilizzando una funzione di perdita composita:
   • Loss di Flow Matching ($L_{flow}$): Supervisiona il campo di velocità $v_\theta$ per trasportare $z_0$ verso l'azione target.
   • Negative Log-Likelihood ($L_{NLL}$): Supervisiona la densità condizionata del prior, assicurando che la media e la varianza predette siano allineate con gli expert action chunk.
   • Loss di Allineamento Contrastivo ($L_{align}$): Una perdita simmetrica di tipo CLIP che impone la corrispondenza a livello di istanza tra i campioni di sorgente e le azioni in uno spazio di embedding appreso.

Contributi Chiave

• Riformulazione della Distribuzione di Sorgente: Il documento identifica la distribuzione di sorgente come un asse di design indipendente e riutilizzabile per le politiche robotiche generative, distinto dalla scelta delle dinamiche generative.
• Varianza Adattiva allo Stato: A differenza delle precedenti sorgenti deterministiche o delle euristiche a varianza fissa, LeaP apprende congiuntamente la media e una varianza adattiva allo stato, modellando esplicitamente l'incertezza della sorgente.
• Selezione della Modalità: Gli autori dimostrano che la sola propriocezione è sufficiente per parametrizzare il prior, e che l'integrazione di caratteristiche visive nel prior riduce effettivamente le prestazioni nel loro setting.
• Compatibilità Plug-and-Play: Il metodo migliora sia i generatori di flow-matching che quelli di diffusion-bridge senza alterare le loro architetture interne.

Risultati Sperimentali
Gli autori hanno valutato LeaP su 15 compiti di manipolazione bimanuale nell'ambiente di simulazione RoboTwin 2.0 e su tre compiti nel mondo reale con un robot Franka Research 3.

• Prestazioni in Simulazione: LeaP ha raggiunto un tasso di successo medio dell'81,6%, superando quattro baseline rappresentative (metodi a sorgente deterministica A2A, VITA, una controparte senza prior e una policy diffusion-bridge) di 6,5 - 25,5 punti percentuali. Il divario maggiore (25,5 pp) è stato osservato rispetto alla baseline "NoPrior", che condivideva la stessa identica architettura del generatore ma utilizzava $N(0, I)$, confermando che il guadagno deriva dal prior apprendibile stesso.
• Efficienza: LeaP utilizza significativamente meno parametri (13,22M totali, con la testa del prior che ne conta solo 0,21M) rispetto a baseline come ACT o BridgePolicy. Presenta inoltre una convergenza dell'addestramento più rapida e stabile.
• Deployment nel Mondo Reale: Negli esperimenti nel mondo reale, LeaP ha mantenuto la prestazione superiore con un tasso di successo medio dell'80,0%, superando la seconda migliore baseline (A2A) di 11,7 punti percentuali.
• Studi di Ablazione:
  • Modalità di Input: Condizionare il prior solo alla propriocezione ha prodotto i risultati migliori; fondere le caratteristiche visive nel prior ha ridotto le prestazioni.
  • Parametrizzazione: L'apprendimento congiunto di media e varianza adattiva allo stato è stato critico; le alternative deterministiche o a varianza fissa hanno performato peggio.
  • Generatori: Il prior ha costantemente migliorato le prestazioni attraverso diversi backbone generatori.

Significatività e Rivendicazioni
Il documento afferma che la distribuzione di sorgente è una dimensione di design critica, sebbene poco esplorata, nelle politiche robotiche generative. Passando da una Gaussiana standard non informata a un prior stocastico apprendibile e condizionato alla propriocezione, il generatore è liberato dall'onere di trasportare campioni da una sorgente di rumore distante. Inveve, il prior posiziona il campione iniziale in una "regione propriocezione-plausibile", permettendo al generatore di concentrarsi sulla raffinazione precisa e condizionata alle osservazioni. Gli autori sostengono che questo approccio offre una leva a basso costo per migliorare le prestazioni della policy, la velocità di convergenza e la robustezza, completando le scelte esistenti nelle dinamiche generative.