Sintesi Tecnica: TEXEDO

Problema

La generazione di movimenti condizionata dal testo è emersa come un'interfaccia promettente per la programmazione di robot umanoidi, ma persiste un divario critico tra il generatore di movimento e il controllore whole-body. Gli attuali generatori sono tipicamente addestrati su dataset di movimento umano ri-targettizzati su morfologie robotiche. Sebbene questi modelli catturino ricchi prior semantici cinematici, mancano dell'esposizione ai vincoli specifici del controllore a valle, come i limiti di equilibrio, la tempistica dei contatti, la saturazione dell'attuazione e le modalità di fallimento specifiche del controllore. Di conseguenza, i movimenti generati possono essere semanticamente plausibili ma dinamicamente infattibili, portando a fallimenti nell'implementazione come cadute, contatti impropri o saturazione degli attuatori.

Gli approcci esistenti spesso trattano la generazione e il controllo come debolmente accoppiati. Mentre il modellamento del linguaggio ha adottato con successo lo "scaling al tempo di test" (campionamento di molteplici candidati e selezione del migliore tramite un verificatore) per migliorare la qualità della generazione, l'applicazione di questo approccio al movimento umanoide richiede una nozione di qualità "fondata". Un candidato non deve solo allinearsi al prompt testuale, ma deve anche essere eseguibile dal particolare tracker whole-body sulla specifica piattaforma hardware.

Metodologia: TEXEDO (Text-See-Do)

TEXEDO è un framework di test-time scaling progettato per convertire un generatore di movimento da testo a movimento pre-addestrato e congelato in un sistema di movimento consapevole del controllore senza modificare il generatore o il tracker. La pipeline opera in tre fasi:

1. TEXT: Campionamento dei Candidati

Dato un'istruzione in linguaggio naturale $\ell$, un generatore condizionato dal linguaggio $G$ (ad es., FSQ-GPT) campiona un insieme di $N$ traiettorie di riferimento whole-body candidate $\{m_i\}_{i=1}^N$. Il generatore è trattato come una black box; il framework si affida solo alle traiettorie decodificate.

2. SEE: Verifica Fondata

Ogni candidato è valutato da due verificatori complementari e fondati:

• Verificatore di Fattibilità Dinamica ($R_{dyn}$): Questo verificatore predice se un movimento può essere tracciato con successo dal controllore durante il deployment. È distillato da rollout offline dell'effettivo tracker (ad es., SONIC).
  • Segnale Oracle: I rollout offline generano tre segnali: successo binario ($y_s$), qualità del tracking ($q_d$) e rapporto di progresso ($q_g$). Questi vengono collassati in un singolo punteggio di qualità oracle $Q^*$.
  • Modello Surrogato: Un leggero Transformer temporale viene addestrato per predire questi segnali direttamente dal movimento $m$, restituendo $R_{dyn}(m)$. Ciò evita il costo proibitivo di eseguire rollout completi al momento della selezione.
• Verificatore di Allineamento Semantico ($R_{text}$): Questo verificatore misura l'allineamento tra il prompt testuale e il movimento.
  • Architettura: Encoder GRU bidirezionali per testo e movimento sono addestrati sullo scheletro robotico target utilizzando una perdita contrastiva.
  • Scoring: Il punteggio è definito come la distanza di embedding negativa esponenziata tra le codifiche di testo e movimento, $R_{text}(\ell, m) = \exp(-\|\phi_{text}(\ell) - \phi_{motion}(m)\|^2)$.

3. DO: Selezione Asimmetrica

TEXEDO impiega una strategia di filtro-e-riordinamento (filter-then-rerank) per selezionare il movimento finale $\hat{m}$:

1. Filtro: I candidati predetti come dinamicamente infattibili ($R_{dyn} < \theta$) vengono scartati. Questo tratta la fattibilità dinamica come un vincolo rigido per garantire sicurezza ed eseguibilità.
2. Riordinamento: Dal set di candidati rimanenti fattibili, viene selezionato il candidato con il più alto punteggio di allineamento semantico ($R_{text}$).
3. Fallback: Se nessun candidato supera il filtro dinamico, viene selezionato il candidato con il valore di $R_{dyn}$ più alto per massimizzare la probabilità di esecuzione.

Contributi Chiave

1. Formulazione del Problema: Il lavoro formula la generazione di movimento umanoide condizionata dal linguaggio e consapevole del controllore come un problema di test-time scaling, sfruttando campioni aggiuntivi durante l'inferenza per migliorare la singola traiettoria di riferimento comandata al robot.
2. Design del Doppio Verificatore: Introduce due verificatori fondati:
   • Un Verificatore di Fattibilità Dinamica distillato dai rollout del tracker per predire l'eseguibilità fisica.
   • Un Verificatore di Allineamento Semantico addestrato sui movimenti dello scheletro del robot per misurare l'allineamento testo-movimento.
3. Strategia di Selezione Asimmetrica: Il paper propone una regola di filtro-e-riordinamento che dà priorità alla fattibilità dinamica come vincolo rigido prima di ottimizzare l'allineamento semantico. Ciò risolve la tensione tra i due criteri competitivi, garantendo che il movimento selezionato sia sia sicuro che semanticamente fedele.

Risultati Sperimentali

Il framework è stato valutato su un umanoide Unitree G1 utilizzando il controllore whole-body SONIC, con esperimenti che spaziano dalla simulazione al deployment nel mondo reale.

• Efficacia del Test-Time Scaling:
  • L'aumento della dimensione del pool di candidati ($N$) migliora costantemente le prestazioni.
  • La selezione basata solo su $R_{dyn}$ raggiunge un alto successo di tracking (0.990) ma degrada l'allineamento semantico (il punteggio VLM-Judge scende a 4.924).
  • La selezione basata solo su $R_{text}$ raggiunge un alto allineamento semantico (6.110) ma offre un miglioramento minimo nel successo di esecuzione (0.885).
  • TEXEDO bilancia con successo entrambi, raggiungendo un successo di tracking di 0.984 e un punteggio VLM-Judge di 6.054 (con $N=32$), superando significativamente il baseline ($N=1$) che aveva 0.873 di successo e 5.722 di allineamento.
• Generalizzazione Zero-Shot:
  • Agnostico rispetto al Generatore: Quando applicato a un generatore non visto (Kimodo) senza riaddestrare i verificatori, TEXEDO ha migliorato sia la qualità di esecuzione che l'allineamento semantico, dimostrando che i criteri di selezione si trasferiscono tra le architetture dei generatori.
  • Fuori Distribuzione (OOD): Su prompt provenienti dal dataset non visto BONES-SEED, TEXEDO ha migliorato il successo di tracking da 0.860 a 0.980 e ha ridotto significativamente gli errori di tracking, mostrando una robusta generalizzazione a prompt OOD.
• Deployment nel Mondo Reale:
  • TEXEDO è stato implementato su un Unitree G1 fisico attraverso 30 prompt diversificati (locomozione, gesti, combinazioni).
  • Ha eseguito con successo tutti i 30 prompt, selezionando costantemente movimenti che erano stabili e corrispondevano alla semantica intesa, mentre i metodi baseline spesso fallivano o producevano comportamenti instabili.

Significato e Claim

Il paper sostiene che la verifica fondata sia una strada efficace verso la generazione di movimento umanoide guidata dal linguaggio e pronta per il deployment. Trattando la fattibilità dinamica come un vincolo rigido e l'allineamento semantico come l'obiettivo di selezione, TEXEDO consente l'uso di potenti generatori di testo-movimento pre-addestrati senza richiedere riaddestramenti o modifiche complesse al controllore.

Gli autori sottolineano che questo approccio permette di convertire il calcolo aggiuntivo durante l'inferenza (campionando più candidati) in una singola traiettoria di riferimento di alta qualità che è sia allineata al linguaggio che fisicamente fondata. Il metodo dimostra che è possibile colmare il divario tra generazione semantica e controllo fisico, ottenendo guadagni consistenti sia nella simulazione che nell'esecuzione su hardware reale. Il lavoro suggerisce che lo scaling al tempo di test, se accoppiato con verificatori consapevoli del controllore, sia una strategia valida per migliorare l'affidabilità dei robot umanoidi in compiti aperti.