Riassunto Tecnico: DIRECT – Quando e dove allocare la computazione al tempo di test nei pianificatori embodimentati?

Problema

I modelli visione-linguaggio (VLM) sono sempre più impiegati come pianificatori di alto livello per agenti embodimentati, scomponendo istruzioni astratte in sotto-abilità eseguibili. Una strategia prevalente per potenziarne le capacità è la scalabilità della computazione al tempo di test (test-time compute)—investendo più risorse durante l'inferenza tramite tecniche come il ragionamento Chain-of-Thought (CoT), dimensioni del modello maggiori o storie di memoria estese. Tuttavia, gli autori osservano che scalare ingenuamente la computazione su tutti i task crea una frizione significativa con l'implementazione nel mondo reale. Le latenze dei modelli VLM di frontiera possono raggiungere decine di secondi, e la scalabilità uniforme spesso produce rendimenti decrescenti o disomogenei; ad esempio, un modello "Thinking" può essere 3,8 volte più lento di un corrispondente non-thinking pur ottenendo tassi di successo identici su task triviali.

Il problema centrale è che la computazione al tempo di test non è una leva uniforme. Diversi assi di scalabilità (profondità di ragionamento, dimensione del modello, memoria) conferiscono capacità qualitativamente distinte che sono benefiche solo per specifiche richieste del task. Allocare costosa computazione in modo uniforme è uno spreco, mentre l'allocazione insufficiente porta al fallimento su task complessi. Il paper sostiene che determinare quando e dove spendere la computazione al tempo di test sia fondamentale per portare le prestazioni di frontiera nei sistemi robotici reali.

Metodologia: Il Framework DIRECT

Gli autori propongono DIRECT (Dynamic Inference Router for Embodied Compute Tradeoffs), un framework di routing progettato per allocare dinamicamente la computazione al tempo di test per ogni task basandosi sul contesto multimodale della scena.

Architettura Core

DIRECT opera come un router leggero che mappa un input di task $x = (I, \ell)$—composto da un'osservazione iniziale della scena $I$ (immagine RGB o stack multi-vista) e un'istruzione in linguaggio naturale $\ell$—verso un pianificatore specifico $m_k$ da un pool fisso di candidati $\mathcal{M} = \{m_1, \dots, m_K\}$.

• Codifica dell'Input: Il router codifica l'istruzione utilizzando un encoder testuale BGE-M3 congelato e la scena utilizzando un encoder visivo della famiglia SigLIP congelato. Questi embedding vengono concatenati per formare un vettore di caratteristiche del task $\phi(x)$.
• Modelli di Router: Il framework valuta varie architetture efficienti nei parametri, inclusi modelli lineari, Multi-Layer Perceptrons (MLP), k-Nearest Neighbors (KNN) e classificatori One-vs-Rest (OVR).
• Obiettivo Decisionale: Il router seleziona il pianificatore che massimizza una funzione di utilità $U(q, c)$, bilanciando qualità ($q$, successo del task) e costo ($c$, latenza o FLOPs). Il framework supporta varie istanze di utilità, inclusi head basati su regressione che predicono punteggi di qualità e costo per determinare il tradeoff ottimale.

Raccolta e Addestramento dei Dati

• Simulazione: Per benchmark come VLABench e RoboMME, gli autori misurano la qualità (tasso di successo) e il costo (latenza o FLOPs) per ogni coppia pianificatore-task per costruire matrici di qualità ($Q$) e costo ($C$).
• Hardware (Robot Fisici): Poiché l'esecuzione esaustiva su robot fisici è impraticabile, gli autori utilizzano una pipeline di dati sintetici. Campionano scene, generano istruzioni candidate e utilizzano un grande VLM per proporre scomposizioni di skill. Un giudice LLM valuta poi la "steerability" (capacità di guida) di questi piani rispetto alle skill di riferimento. Ciò consente di addestrare il router su task di stile fisico senza richiedere l'hardware robotico per ogni passaggio di addestramento. Il router addestrato viene poi implementato zero-shot su hardware fisico (braccio Franka in un setup DROID).

Assi di Scalabilità Investigati

Il framework è valutato attraverso tre assi di scalabilità dominanti:

1. Profondità di Chain-of-Thought (CoT): Routing tra modelli "Thinking" (ragionamento deliberato) e "Instruct" (non-thinking).
2. Dimensione del Modello: Routing tra varianti VLM con diversi conteggi di parametri (es. da 2B a 235B).
3. Storia della Memoria: Routing tra pianificatori con diverse architetture di memoria (es. campionamento leggero dei frame rispetto alla memoria basata su retrieval come MemER).

Risultati Chiave

Gli esperimenti sono stati condotti su VLABench, RoboMME e sull'hardware fisico Franka DROID, coinvolgendo oltre 270.000 decisioni di routing simulate e 245 traiettorie hardware.

1. Routing della Chain-of-Thought

• Risultato: Il ragionamento CoT migliora la performance media, ma non è necessario per il 44% dei task, dove i modelli non-thinking eguagliano o superano le prestazioni con una latenza di ordini di grandezza inferiore.
• Risultato: DIRECT raggiunge la massima efficienza di routing ($\eta$) tra coppie di modelli omogenee ed eterogenee. Su VLABench, recupera una qualità vicina a quella del modello più costoso riducendo la latenza di circa il 30% (es. $\eta \approx 75\%$). Su hardware fisico, DIRECT eguaglia il tasso di successo di un pianificatore "Thinking" con una latenza significativamente inferiore (es. 6,85s rispetto a 19,58s per un task multi-step di spesa).

2. Routing della Dimensione del Modello

• Risultato: Scalare la dimensione del modello non produce una curva di miglioramento monotona; i modelli più grandi espandono principalmente la ampiezza delle skill che un pianificatore può comandare piuttosto che migliorare uniformemente tutti i task. I modelli più piccoli sono spesso sufficienti per skill base.
• Risultato: DIRECT converte le curve di scalabilità erratiche in miglioramenti monotoni. Ruotando verso il modello più piccolo capace per un dato set di skill, recupera le prestazioni del modello più grande (es. 235B) riducendo significativamente la latenza media. Su hardware fisico, eguaglia il successo di un pianificatore da 27B con una latenza vicina a quella del modello economico (es. 0,21s rispetto a 0,36s) selezionando l'escalation al modello più grande solo per skill complesse come piegare o chiudere.

3. Routing della Memoria

• Risultato: La computazione orientata alla memoria è benefica solo per i task che richiedono una storia distante (es. obiettivi non osservabili). Per i task facili che richiedono una breve memoria, gli schemi di memoria leggera superano i modelli pesanti basati su retrieval a una frazione del costo.
• Risultato: DIRECT identifica i task che richiedono memoria a lungo termine e li instrada verso pianificatori aumentati dalla memoria, utilizzando invece pianificatori privi di memoria per i task osservabili. Su RoboMME e hardware fisico, DIRECT raggiunge tassi di successo vicini all'oracle (il miglior pianificatore possibile) elaborando significativamente meno frame rispetto a un pianificatore con memoria statica aumentata.

Significato e Rivendicazioni

Il paper sostiene che scalare ingenuamente la computazione al tempo di test è uno spreco e che i benefici della scalabilità sono dipendenti dal task piuttosto che uniformi. Il significato primario di DIRECT risiede nella sua capacità di:

1. Recuperare le Prestazioni di Frontiera a un Costo Inferiore: Accoppiando dinamicamente le richieste del task con il pianificatore appropriato, DIRECT raggiunge tassi di successo comparabili ai modelli più forti e costosi disponibili nel pool, ma a una frazione del costo (fino al 65% di latenza media inferiore negli esperimenti fisici).
2. Dimostrare la Non-Uniformità della Computazione: Il lavoro fornisce prove empiriche che diversi assi di scalabilità (ragionamento, dimensione, memoria) producono guadagni di capacità qualitativamente distinti, rendendo necessaria l'allocazione per task piuttosto che la selezione statica del modello.
3. Abilitare la Fattibilità nel Mondo Reale: Riducendo la latenza e l'uso di token senza sacrificare i tassi di successo, DIRECT affronta la crescente frizione tra le capacità dei VLM di frontiera e i vincoli in tempo reale degli agenti embodimentati.

Gli autori concludono che trattare il pianificatore di alto livello come una variabile dinamica, piuttosto che come una capacità fissa, è una via pratica per raggiungere una pianificazione embodimentata di livello frontiera nei sistemi robotici. Il framework si basa su caratteristiche leggere basate su embedding per inferire la difficoltà del task, suggerendo che un routing efficace può essere ottenuto senza meccanismi di inferenza complessi e pesanti.