LAP: Language-Action Pre-Training Enables Zero-shot Cross-Embodiment Transfer

Titolo: LAP: Language-Action Pre-Training Enables Zero-shot Cross-Embodiment Transfer

Autori: Lihan Zha, Asher J. Hancock, Mingtong Zhang, et al. (Princeton University, Physical Intelligence)

1. Il Problema: Il Collo di Bottiglia del "Zero-Shot Cross-Embodiment"

L'obiettivo fondamentale della robotica moderna è sviluppare politiche generali (generalist policies) che possano essere distribuite su nuovi robot senza necessità di adattamento specifico per ogni corpo robotico (embodiment).
Nonostante i recenti progressi nei modelli Vision-Language-Action (VLA), che combinano modelli linguistici visivi (VLM) pre-addestrati con il controllo robotico, esiste un limite critico:

• I modelli VLA attuali sono strettamente accoppiati ai corpi robotici su cui sono stati addestrati.
• Anche con piccoli cambiamenti nell'hardware (es. un diverso gripper o la posizione della camera sul polso), le prestazioni crollano a zero quando si tenta l'uso "zero-shot" (senza ri-addestramento).
• Le soluzioni attuali richiedono un costoso fine-tuning specifico per ogni nuovo robot, vanificando l'idea di un unico modello fondazionale ampiamente distribuibile.
• La causa principale è il mismatch distribuzionale: i VLM sono pre-addestrati su dati linguistici e visivi, ma vengono addestrati a prevedere comandi di controllo a bassa frequenza (azioni continue o token discreti arbitrari) che non appartengono alla loro distribuzione originale, degradando le rappresentazioni semantiche apprese.

2. Metodologia: Language-Action Pre-training (LAP)

Gli autori introducono LAP, una ricetta di pre-addestramento semplice ma potente che risolve il problema rappresentando le azioni robotiche direttamente in linguaggio naturale.

Concetto Chiave: Language-Actions

Invece di prevedere coordinate continue o token arbitrari, il modello prevede descrizioni testuali strutturate dell'effetto netto dell'azione (es. "muovi avanti 3 cm", "inclinati a destra di 30 gradi").

• Generazione Automatica: Le "language-actions" non richiedono annotazione manuale. Vengono derivate deterministicamente dalle traiettorie degli effettori finali esistenti nei dataset robotici, utilizzando un insieme fisso di coordinate e template linguistici.
• Allineamento Distribuzionale: Poiché le azioni sono espresse nello stesso formato (linguaggio naturale) su cui il VLM è stato pre-addestrato, si mantiene la coerenza semantica e si evita il degrado delle rappresentazioni.
• Astrazione Temporale: Le azioni sono descritte come spostamenti cumulativi su un orizzonte temporale (chunk), riducendo la frequenza del segnale di supervisione e rendendo il compito più gestibile per il modello linguistico.

Architettura: LAP-3B

Per rendere il sistema efficiente per il controllo in tempo reale, gli autori propongono LAP-3B, che combina:

1. Backbone VLM: Un modello (basato su PaliGemma-3B) addestrato a prevedere i token delle "language-actions" tramite un obiettivo di cross-entropy.
2. Action Expert (Leggero): Un modulo basato su diffusion/flow-matching che prende le rappresentazioni del VLM e genera i comandi continui ad alta frequenza necessari per il controllo del robot.
3. Knowledge Insulation: I gradienti dall'Action Expert non retroagiscono sul backbone VLM. Questo preserva le rappresentazioni linguistiche e visive pre-addestrate, permettendo al VLM di focalizzarsi sulla comprensione semantica dell'azione descritta in linguaggio.

3. Contributi Chiave

1. LAP (Language-Action Pre-training): Una nuova metodologia di pre-addestramento che unifica la supervisione delle azioni al formato di input/output dei VLM, eliminando la necessità di tokenizer appresi o architetture specifiche per l'embodiment.
2. LAP-3B: Il primo VLA in grado di dimostrare un trasferimento zero-shot sostanziale su robot mai visti prima, senza alcun fine-tuning specifico per l'embodiment.
3. Efficienza di Adattamento: Dimostrazione che LAP permette un fine-tuning molto più efficiente (meno dati e meno step di gradiente) rispetto alle metodologie precedenti quando si adattano compiti complessi.
4. Co-training con VQA: La capacità di addestrare congiuntamente il modello su compiti di previsione del movimento (VQA), migliorando ulteriormente la generalizzazione spaziale.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro diversi robot (inclusi DROID, YAM, Kinova e Franka personalizzato) e su dieci task di manipolazione nel mondo reale.

• Trasferimento Zero-Shot:

  • Su robot mai visti (unseen embodiments), LAP-3B ha raggiunto un tasso di successo medio superiore al 50%.
  • Questo rappresenta un miglioramento di circa 2x rispetto ai migliori VLA esistenti (come $\pi0.5$ o OpenVLA), che hanno fallito completamente (0% di successo) su robot diversi da quelli di addestramento.
  • Su robot "visti" durante l'addestramento, LAP-3B ha prestazioni paragonabili ai modelli specializzati, ma senza aver bisogno di adattamento specifico.

• Efficienza del Fine-Tuning:

  • Su task complessi che richiedono adattamento, LAP-3B ha raggiunto prestazioni comparabili utilizzando 2.5 volte meno dimostrazioni rispetto alle baseline.
  • Nel benchmark simulato LIBERO, LAP-3B ha convergito verso prestazioni ottimali in una frazione degli step di addestramento richiesti dalle altre politiche.

• Scalabilità:

  • L'approccio scala favorevolmente con la dimensione del modello (testato fino a 27B parametri), mostrando una riduzione continua della perdita di validazione, a differenza delle baseline che tendono a saturare o degradare su modelli più grandi.

• Analisi delle Rappresentazioni:

  • Le visualizzazioni t-SNE mostrano che LAP-3B apprende rappresentazioni di controllo agnostico all'embodiment, con una forte sovrapposizione tra le feature dei robot di addestramento e quelli mai visti, a differenza delle baseline che formano cluster separati.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo fondamentale verso la robotica fondazionale:

• Superamento del Mismatch: Risolve il problema fondamentale del disallineamento tra la distribuzione dei dati dei VLM e i comandi di controllo robotico.
• Democratizzazione: Permette di utilizzare dataset robotici eterogenei (anche con hardware molto diverso) per addestrare un unico modello, riducendo drasticamente i costi di adattamento per nuovi robot.
• Futuro: Apre la strada all'uso di dati non robotici (come video di mani umane o video da internet) per l'addestramento di politiche robotiche, poiché le "language-actions" possono essere derivate anche da queste fonti senza bisogno di segnali di controllo precisi a basso livello.

In sintesi, LAP dimostra che rappresentare le azioni robotiche come linguaggio naturale non è solo un espediente semantico, ma una strategia fondamentale per abilitare la generalizzazione cross-embodiment e creare robot veramente versatili.