TeNet: Text-to-Network for Compact Policy Synthesis

Sintesi Tecnica: TeNet (Text-to-Network)

Problematica
Gli approcci attuali al controllo robotico condizionato dal linguaggio affrontano una dicotomia. Da un lato, i grandi sistemi end-to-end Vision-Language-Action (VLA) (ad es. RT-2, OpenVLA, OCTO) sfruttano l'espressività dei Large Language Models (LLM) ma sono computazionalmente costosi, rendendo difficile il loro dispiegamento in loop di controllo ad alta frequenza o su robot con risorse limitate. Dall'altro lato, modelli sequenziali compatti come i Decision Transformer (DT) sono efficienti e adatti al controllo in tempo reale, ma mancano di una condizionamento linguistico nativo; tipicamente si affidano a prompt di traiettoria o dimostrazioni specifiche per il compito per distinguere le attività, richiedendo spesso dimostrazioni anche al momento dell'inferenza. Ciò crea un divario tra sistemi espressivi guidati dal linguaggio e controller leggeri ed efficienti. Il paper si chiede se il linguaggio naturale possa servire come segnale di condizionamento diretto per l'instanziazione della policy senza richiedere l'esecuzione dell'LLM all'interno del loop di controllo.

Metodologia: Framework TeNet
Gli autori propongono TeNet (Text-to-Network), un framework che sintetizza policy robotiche compatte e specifiche per il compito direttamente da descrizioni in linguaggio naturale utilizzando una hypernetwork.

1. Architettura:

   • Text Encoder: Un LLM pre-addestrato (ad es. Llama-3 8B) codifica le descrizioni dei compiti in linguaggio naturale in embedding testuali.
   • Hypernetwork: Una rete neurale leggera prende come input gli embedding testuali (proiettati in uno spazio di condizionamento) e genera i parametri ($\theta_\pi$) per una rete di policy specifica per il compito.
   • Esecuzione della Policy: La policy risultante opera esclusivamente su input di stato a bassa dimensionalità ad alte frequenze di controllo. Fondamentalmente, l'LLM viene utilizzato solo al momento dell'instanziazione; il loop di esecuzione si affida interamente alla policy compatta generata.

2. Varianti di Addestramento:

   • Direct TeNet: La hypernetwork è condizionata unicamente dagli embedding testuali. La policy è addestrata tramite behavior cloning (imitation learning) su traiettorie esperte.
   • Grounded TeNet: Per migliorare la generalizzazione, questa variante introduce un meccanismo di grounding linguistico durante l'addestramento. Un encoder di traiettoria elabora le traiettorie esperte e gli embedding risultanti vengono allineati con gli embedding testuali. Gli autori esplorano due strategie di allineamento:
     • Allineamento Diretto (MSE): Minimizzazione della distanza al quadrato tra gli embedding testo-traiettoria accoppiati.
     • Allineamento Contrastivo: Utilizzo di una perdita InfoNCE per avvicinare le coppie testo-traiettoria corrispondenti e allontanare quelle non corrispondenti. Questo include termini contrastivi sia testo-traiettoria che testo-testo per prevenire il collasso degli embedding per descrizioni strutturalmente simili.
   • Inferenza: Al momento del test, non sono richieste dimostrazioni o prompt di traiettoria. Una nuova descrizione del compito viene codificata e fornita alla hypernetwork per istanziare la policy.

Contributi Chiave

1. Generazione di Policy Text-to-Network: L'introduzione di un framework che condiziona una hypernetwork su embedding testuali derivati da LLM per sintetizzare policy robotiche eseguibili e compatte, adatte al dispiegamento in tempo reale.
2. Grounding del Linguaggio nel Comportamento: Dimostrare che l'allineamento delle rappresentazioni linguistiche con le traiettorie esperte durante l'addestramento arricchisce le rappresentazioni linguistiche con semantica comportamentale, portando a una maggiore generalizzazione in contesti multi-task e di meta-learning.
3. Approfondimenti Empirici: Fornire uno studio completo sui benchmark MuJoCo e Meta-World che evidenzia i trade-off tra hypernetwork abilitate al linguaggio e baseline esistenti, isolando il ruolo del linguaggio nell'instanziazione della policy senza affrontare la percezione.

Risultati Sperimentali
Gli autori hanno valutato TeNet su compiti di locomozione MuJoCo (HalfCheetah-Dir, HalfCheetah-Vel, Ant-Dir) e compiti di manipolazione Meta-World (ML1 Pick-Place, MT10, MT50).

• Performance vs. Baseline:
  • Settings Multi-Task: TeNet (specificamente la variante contrastiva grounded) supera significativamente Prompt-DT nei complessi benchmark multi-task (MT10, MT50), raggiungendo tassi di successo vicini a 0.99 rispetto allo 0.61–0.73 di Prompt-DT.
  • Settings di Meta-Learning: Le varianti Grounded TeNet superano costantemente Direct TeNet e Prompt-DT nei compiti di meta-learning (HalfCheetah-Vel, Ant-Dir), indicando che il grounding è essenziale per estrapolare a compiti non visti.
  • Direct vs. Grounded: Sebbene Direct TeNet superi i normali Decision Transformer, rimane indietro rispetto a Prompt-DT in alcuni scenari di meta-learning, suggerendo che i prompt di traiettoria generalizzano meglio verso compiti non visti senza grounding. Tuttavia, Grounded TeNet colma questo divario.
• Efficienza e Scalabilità:
  • Dimensione del Modello: Le policy di TeNet sono ordini di grandezza più piccole (~40K parametri) rispetto alle varianti di Prompt-DT (1M–39M parametri).
  • Frequenza di Controllo: TeNet sostiene frequenze di controllo superiori a 9 kHz, mentre le baseline Prompt-DT sono limitate al regime sub-kHz (190–600 Hz).
  • Robustezza: TeNet dimostra robustezza rispetto alle descrizioni dei compiti parafrasate, con LLM più grandi (LLaMA) che mostrano maggiore stabilità rispetto a encoder più piccoli (BERT) sotto variazione linguistica.
• Scalabilità: Le performance migliorano significativamente all'aumentare del numero di compiti di addestramento (da 50 a 1600 compiti), suggerendo che TeNet beneficia della scala dei dati in modo simile ai foundation models.

Significatività e Claim
Il paper sostiene che TeNet offra una via pratica per costruire controller compatti e guidati dal linguaggio per robot con risorse limitate e requisiti di tempo reale. Utilizzando il linguaggio solo nella fase di instanziazione tramite una hypernetwork, TeNet eredita la conoscenza generale e la robustezza alla parafrasi dei pretrained LLM pur mantenendo l'efficienza di architetture leggere.

Gli autori posizionano questo lavoro come un "primo approccio" per utilizzare grandi modelli fondazionali per la robotica su robot vincolati. Riconoscono i limiti, notando che l'attuale lavoro isola il ruolo del linguaggio in domini a bassa dimensionalità basati sullo stato (MuJoCo/Meta-World) e non affronta ancora la percezione o le dimostrazioni rumorose del mondo reale. Il lavoro futuro è identificato come necessario per estendere questo paradigma a contesti basati sulla visione e al fine-tuning tramite reinforcement learning. I risultati suggeriscono che le hypernetwork abilitate al linguaggio possono colmare efficacemente il divario tra modelli sequenziali leggeri e sistemi condizionati dal linguaggio di grandi dimensioni in contesti di imitazione offline basati sullo stato.