Sintesi Tecnica: Think Proprioceptively: Ragionamento Visivo Incorporato per la Manipolazione VLA

Problema

I modelli Vision-Language-Action (VLA) sono emersi come un paradigma potente per il controllo robotico generalizzabile, traducendo osservazioni visive e istruzioni in linguaggio naturale in azioni eseguibili. Tuttavia, le attuali pipeline VLA introducono i segnali propriocettivi (lo stato del robot, come gli angoli articolari e la posa dell'end-effector) tardivamente nello stack di elaborazione, li accoppiano debolmente alla percezione o li ignorano del tutto.

Questa integrazione tardiva impedisce al corpo fisico del robot di plasmare la comprensione iniziale del compito o di influenzare quali token visivi debbano essere considerati durante la policy. Di conseguenza, il modello non riesce a sfruttare lo stato fisicamente fondato per determinare quali elementi della scena siano rilevanti per azioni spazialmente fondate. Sebbene lavori recenti come $\pi^0$ e $\pi^{0.5}$ abbiano iniziato a integrare la propriocezione più precocemente, il ruolo funzionale della propriocezione rimane difficile da isolare a causa delle scelte di design accoppiate riguardanti l'aggregazione visione-linguaggio e il condizionamento dell'action-head.

Metodologia: ThinkProprio

Gli autori propongono ThinkProprio, un'architettura progettata per "pensare proprioceptivamente", trattando la propriocezione come una modalità di primo livello che partecipa attivamente al ragionamento visivo precoce. I componenti principali sono:

1. Codifica dello Stato Propriocezione tramite Tokenizzazione Testuale

A differenza dei metodi che utilizzano Multi-Layer Perceptrons (MLP) appresi per proiettare vettori di stato continui nello spazio di embedding del VLM (il che può introdurre discrepanze di distribuzione), ThinkProprio discretizza i valori dello stato propriocezione continuo.

• Discretizzazione: I valori dello stato continuo vengono tagliati (clipping) e suddivisi in bin uniformi.
• Tokenizzazione: Questi indici di bin sono mappati su specifici ID di token del vocabolario dalla tabella di embedding del VLM pre-addestrato.
• Integrazione: I token propriocezione risultanti vengono concatenati con i token delle istruzioni linguistiche all'input del VLM. Ciò consente allo stato del robot di partecipare allo stesso spazio di embedding del linguaggio, consentendo un condizionamento visivo consapevole dello stato senza ulteriori strati di proiezione.

2. Selezione dei Token Fisicamente Fondati

ThinkProprio introduce un meccanismo per guidare la selezione dei token visivi basandosi sia sull'istruzione del compito che sullo stato propriocezione attuale del robot.

• Generazione della Query: I token dell'istruzione ($H_l$) e i token della propriocezione ($H_p$) vengono concatenati per formare i token di guida ($H_q$).
• Scoring: I token visivi attendono a questi token di guida per formare una "query fisicamente fondata". Viene calcolata una matrice di punteggio confrontando le query normalizzate con i token visivi normalizzati.
• Meccanismo di Selezione: Il sistema impiega una selezione discreta basata sul voto con un estimatore straight-through (STE). Viene aggiunto del rumore Gumbel ai punteggi per consentire un addestramento differenziabile. I token che ricevono voti vengono mantenuti, mentre gli altri vengono scartati.
• Contesto Globale: Per evitare la perdita di informazioni grossolane sulla scena, un token di contesto globale (mediato su tutti i token visivi) viene aggiunto al sottoinsieme selezionato.

3. Architettura e Addestramento

• Backbone: La sequenza compatta di token visivi selezionati, il contesto globale, i token della propriocezione e i token del linguaggio è elaborata da un backbone VLM pre-addestrato.
• Action Head: L'action head si condiziona sulle feature fuse dal VLM tramite cross-attention.
• Obiettivo: L'action head è addestrato utilizzando il flow matching (un approccio basato sulla diffusione) per predire chunk di azioni continue. L'obiettivo di addestramento minimizza l'errore tra il campo di velocità predetto e la velocità target.

Contributi Chiave

1. Ablazione Sistematica del Design VLA: Il documento fornisce il primo confronto sistematico degli assi di design nei modelli VLA, disaccoppiando l'aggregazione visione-linguaggio, i meccanismi di condizionamento e la codifica/punti di ingresso della propriocezione.
2. Tokenizzazione Testuale della Propriocezione: Gli autori dimostrano che discretizzare la propriocezione in token di testo e fornirli come input al VLM è più efficace rispetto all'uso di proiettori appresi o meccanismi di condizionamento tardivo. Ciò sfrutta l'interfaccia dei token pre-addestrati del VLM.
3. Selezione dei Token Fisicamente Fondati: Il metodo mostra che la guida congiunta di istruzione e propriocezione può effettivamente orientare il calcolo verso prove critiche per l'azione. Ciò consente di mantenere solo circa il 15% dei token visivi eguagliando o superando le prestazioni dei modelli che utilizzano set di token completi.
4. Efficienza: Riducendo il numero di token visivi elaborati dal VLM e dall'action head, l'approccio riduce significativamente i costi computazionali.

Risultati Sperimentali

Il metodo è stato valutato sui benchmark CALVIN (split ABC→D) e LIBERO, nonché su compiti di manipolazione nel mondo reale.

• Prestazioni del Compito:
  • CALVIN: ThinkProprio ha raggiunto una lunghezza media della catena completata di 4.55, superando solidi baseline come FLOWER (4.44) e $\pi^{0.5}$ (2.38). Ha mostrato guadagni particolarmente forti nei compiti a lungo orizzonte (LH-5), raggiungendo l'82.1% di successo rispetto al 77.8% di FLOWER.
  • LIBERO: ThinkProprio ha raggiunto un tasso di successo medio del 97.3%, competitivo con i migliori baseline (LightVLA al 97.4%) e ottenendo il punteggio più alto sulla suite LIBERO-Long (95.2%).
• Efficienza Computazionale:
  • Latenza: ThinkProprio ha ridotto la latenza di inferenza end-to-end del 58% (da 52 ms a 22 ms su CALVIN) rispetto al baseline FLOWER.
  • Riduzione dei Token: Il modello elabora in media solo 15 token visivi per timestep (rispetto ai 100 disponibili), riducendo significativamente la lunghezza della sequenza per il VLM e l'action head.
  • VRAM: L'uso di picco della VRAM è stato ridotto a circa 1.9 GB, una diminuzione sostanziale rispetto a OpenVLA (~14.5 GB).

Significato e Rivendicazioni

Il documento sostiene che ThinkProprio affronta con successo il limite dei modelli VLA attuali in cui la propriocezione è trattata come un segnale tardivo. Tokenizzando la propriocezione e fondendola precocemente con le istruzioni linguistiche, il modello può plasmare il proprio processo di ragionamento visivo per dare priorità alle prove rilevanti per l'embodiment.

Gli autori affermano che:

• La propriocezione dovrebbe essere fornita esplicitamente e coinvolta attivamente durante la comprensione del compito, non solo durante la fase di generazione dell'azione.
• La tokenizzazione testuale dello stato continuo è una strategia di codifica superiore rispetto ai proiettori appresi, poiché si allinea con gli embedding dei token pre-addestrati e consente allo stato di partecipare al processo di ragionamento del VLM.
• Una riduzione aggressiva dei token visivi è fattibile senza degradazione delle prestazioni se la selezione è guidata sia dall'istruzione che dallo stato del robot.
• L'approccio produce prestazioni solide nei compiti a lungo orizzonte riducendo al contempo significativamente la latenza di inferenza e l'impronta di memoria, rendendolo una via percorribile verso un controllo robotico efficiente ed embodied.

Il documento conclude che, sebbene le immagini forniscano molti indizi di stato impliciti, l'integrazione appropriata della propriocezione fornisce informazioni aggiuntive fondate che sono critiche per la manipolazione complessa, particolarmente in scenari a lungo orizzonte che richiedono estese correzioni e dinamiche di contatto.