🤖 machine learning

Efficient Vision-Language-Action Management and Serving for Robot Factories

Il documento presenta Robion, un nuovo sistema di serving e gestione per carichi di lavoro Vision-Language-Action (VLA) multi-robot e multi-modello su edge server che impiega la disaggregazione degli stadi intra-GPU e il controllo intelligente del traffico per massimizzare il carico dei robot rispettando rigorosamente gli SLO di sicurezza su scala millisecondo.

Autori originali: Dionysios Adamopoulos, Nattapol Chanpaisit, Basel Fakhri, Christina Giannoula

Pubblicato 2026-09-14

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Dionysios Adamopoulos, Nattapol Chanpaisit, Basel Fakhri, Christina Giannoula

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un pavimento di fabbrica dove le macchine non si limitano a seguire rigidi comandi pre-programmati, ma vedono il mondo, comprendono istruzioni date in linguaggio naturale e decidono come muovere le proprie braccia per raccogliere un pezzo o assemblare un componente. Questa è la promessa dell'intelligenza artificiale fisica, un campo in cui i robot sono dotati di modelli "visione-linguaggio-azione". Questi sistemi fungono da cervello del robot, ricevendo un'immagine della telecamera e un comando testuale come "prendi la scatola rossa", e poi calcolando i movimenti fisici precisi necessari per completare il compito. Affinché questi robot possano lavorare in modo sicuro ed efficace, devono reagire in un battito di ciglia. Se il cervello impiega troppo tempo a pensare, il robot potrebbe scuotere il braccio, far cadere un oggetto o addirittura arrestare un'intera linea di assemblaggio, causando costosi ritardi o rischi per la sicurezza.

La sfida risiede nel fatto che i computer abbastanza potenti da eseguire questi modelli di pensiero sono troppo pesanti, costosi e voraci di energia per essere agganciati direttamente al robot stesso. Invece, gli ingegneri hanno proposto di inviare i pensieri del robot a un server locale nelle vicinanze, una sorta di centro digitale per il cervello, che svolge il lavoro pesante e rimanda le risposte. Tuttavia, questa configurazione crea un nuovo problema: come gestire un singolo server che debba servire decine di robot contemporaneamente, garantendo che ogni singola richiesta riceva una risposta abbastanza velocemente da mantenere la fabbrica in funzione senza intoppi? Un nuovo sistema chiamato Robion è stato progettato per risolvere esattamente questo enigma, permettendo a un singolo server di gestire molti compiti di robot differenti simultaneamente senza perdere un colpo.

I ricercatori dietro Robion hanno scoperto che il modo in cui questi cervelli robotici funzionano è fondamentalmente diverso dai grandi modelli linguistici utilizzati per i chatbot o dai massicci generatori di immagini utilizzati per l'arte. Mentre quei sistemi spesso girano per centinaia di millisecondi o anche secondi, il processo di pensiero del robot avviene in pochi millisecondi. È un processo in due fasi: prima, il sistema guarda l'immagine e legge l'istruzione per comprendere la situazione; seconda, calcola i movimenti fisici specifici richiesti per agire. Poiché queste fasi sono così veloci e hanno esigenze diverse — una richiede calcoli pesanti mentre l'altra richiede un accesso rapido alla memoria — tentare di eseguire queste fasi come un unico pipeline continuo su un server è inefficiente. È come cercare di correre una maratona e uno sprint contemporaneamente; il corridore lento e pesante rallenta quello veloce e leggero.

Per risolvere il problema, il team ha costruito Robion per separare queste due fasi ed eseguirle fianco a fianco sullo stesso chip di un computer, ma in modo controllato. Hanno creato due corsie di traffico separate sul processore del server. Una corsia gestisce il pensiero pesante, mentre l'altra gestisce i calcoli rapidi del movimento. Fondamentalmente, hanno progettato un controllore di traffico che assicura che la corsia pesante non blocchi mai completamente la corsia leggera. Lo fanno riservando una quantità specifica di potenza di calcolo per la corsia veloce, garantendo che abbia sempre spazio per girare, anche mentre avviene il pensiero pesante. Ciò consente al server di elaborare più richieste di robot esattamente nello stesso momento, sovrapponendo il pensiero di un robot con il calcolo del movimento di un altro.

Inoltre, i ricercatori si sono resi conto che un singolo server può gestire molti tipi diversi di robot, ognuno con il proprio lavoro specifico e la propria versione del cervello. Alcuni robot potrebbero imballare scatole, mentre altri assemblano parti di auto. Robion permette a questi diversi cervelli robotici di vivere sullo stesso server, condividendo le stesse corsie di calcolo. Il sistema agerebbe come un dispacciatore intelligente, controllando costantemente quale robot è più vicino a mancare la sua scadenza di sicurezza. Se un robot sta per esaurire il tempo per finire il suo compito, il sistema dà immediatamente la priorità alla sua richiesta, assicurando che i lavori più urgenti vengano completati per primi. Questo evita che la fabbrica si fermi perché un robot è in attesa di una risposta troppo a lungo.

Il team ha testato questo sistema in un ambiente di fabbrica simulato con fino a quattro potenti schede grafiche, che sono i motori che guidano questi modelli di IA. Hanno confrontato Robion con i metodi esistenti che eseguono il cervello del robot come una catena di eventi singola e ininterrotta o che dividono le fasi tra computer diversi. I risultati hanno mostrato che Robion può supportare significativamente più robot rispetto agli altri metodi pur rispettando i rigorosi requiselli temporali. In un test su larga scala, un singolo server che esegue Robion ha gestito con successo otto diversi modelli di robot, servendo fino a 64 robot simultaneamente con un tasso di successo del 98 percento. Ciò significa che, per quasi ogni singola richiesta, il robot ha ricevuto la risposta in tempo per continuare a muoversi in sicurezza.

Lo studio ha anche esplorato se fosse meglio mettere le diverse parti del cervello del robot su computer separati o tenerle insieme. Hanno scoperto che dividere le fasi di pensiero e di movimento tra computer diversi rendeva le cose più lente e meno efficienti perché i dati dovevano viaggiare avanti e indietro, sprecando tempo prezioso. Mantenendo tutto su un unico server potente e gestendo attentamente il traffico interno, Robion ha ottenuto prestazioni molto migliori. I ricercatori hanno anche esaminato i costi, notando che l'uso di un singolo server potente per eseguire molti robot è molto più economico rispetto al tentativo di mettere computer ad alte prestazioni costosi su ogni singolo robot. Questo approccio potrebbe rendere le fabbriche autonome avanzate una realtà pratica per le grandi aziende, consentendo di distribuire flotte di robot intelligenti che lavorano insieme in modo efficiente senza sovraccaricare le loro risorse computazionali.

In definitiva, Robion dimostra che la chiave per gestire una fabbrica di robot intelligenti non è solo avere computer potenti, ma avere un sistema che possa gestirli con estrema precisione. Comprendendo la natura unica e frazionata del processo decisionale dei robot e progettando un server che rispetti quelle strette scadenze, i ricercatori hanno creato un modello per scalare l'intelligenza artificiale fisica. Il sistema assicura che, man mano che le fabbriche crescono in dimensioni e complessità, i robot possano continuare a vedere, pensare e agire in tempo reale, mantenendo le linee di produzione in movimento in modo fluido e sicuro.

Riepilogo Tecnico: Gestione e Servizio Efficiente di Modelli Vision-Language-Action per Fabbriche Robotizzate

Definizione del Problema

I modelli Vision-Language-Action (VLA) stanno diventando la base per l'IA fisica nelle fabbriche robotizzate, consentendo ai robot di percepire l'ambiente, ragionare sui compiti ed eseguire azioni di manipolazione. Tuttavia, l'inferenza VLA è intrinsecamente critica per la latenza; mancare i rigorosi Obiettivi di Livello di Servizio (SLO) può portare al fallimento dei compiti, navigazione insicura o arresti della linea di assemblaggio.

Il dispiegamento dei modelli VLA presenta un conflitto fondamentale:

Requisiti di Latenza: Soddisfare i tempi di sicurezza e i termini dei compiti richiede GPU di fascia alta (es. RTX 6000 Pro, H100), che offrono una latenza di inferenza significativamente inferiore rispetto alle GPU embedded sui robot (es. Jetson AGX Thor).
Vincoli Hardware: Le GPU di fascia alta non possono essere integrate direttamente sui robot a causa di limiti di peso, costo, potenza e termica. L'inferenza on-robot con GPU embedded riduce drasticamente anche la durata della batteria (fino al 45%).
Soluzioni Attuali: L'approccio prevalente è il trasferimento dell'inferenza a server edge locali. Tuttavia, i sistemi di serving esistenti sono inadatti a questo scenario:
- Throughput vs. Latenza: I sistemi di serving multi-stadio esistenti (es. vLLM-Omni) sono ottimizzati per il throughput e per modelli su larga scala con stadi che durano centinaia di millisecondi. Essi si affidano alla comunicazione inter-processo e all'ispezione dei buffer, che introducono overhead che dominano il tempo di esecuzione su scala millisecondo degli stadi VLA.
- Sottoutilizzo delle Risorse: Le architetture VLA consistono in due stadi distinti: un modello Vision-Language (VLM) computazionalmente intensivo e un Action Diffusion Transformer (ADiT) intensivo in termini di memoria. Disaggregare questi stadi su GPU separate lascia le risorse computazionali significativamente sottoutilizzate, in particolare per lo stadio ADiT, che è limitato dalla memoria.
- Focus su Modello Singolo: I sistemi attuali generalmente non supportano l'esecuzione concorrente di più modelli VLA (inclusi varianti fine-tuned) su una singola GPU rispettando gli SLO per ogni richiesta.

Metodologia: Robion

Gli autori propongono Robion, il primo sistema di gestione e serving VLA progettato per richieste multi-robot e multi-modello su server edge multi-GPU che aderisce rigorosamente agli SLO. Robion consiste in un Motore di Serving e un Motore di Gestione.

1. Motore di Serving di Robion

Il motore di serving si concentra sulla massimizzazione dell'utilizzo della GPU e sulla minimizzazione della latenza attraverso tre tecniche principali:

Disaggregazione degli Stadi Intra-GPU a Batch Fissi:
- Invece di separare gli stadi tra diverse GPU o processi, Robion disaggrega i modelli VLM e ADiT all'interno di una singola GPU utilizzando due stream CUDA asincroni.
- Utilizza il batching a dimensione fissa invece del continuous batching. Le richieste vengono ammesse solo all'inizio dell'esecuzione di uno stadio. Ciò elimina l'overhead di ispezione del buffer per ogni passo di diffusione presente in sistemi come vLLM-Omni, che è proibitivo per i passi su scala millisecondo dei VLA.
- Vengono utilizzati i CUDA Graphs per eliminare gli overhead di lancio della CPU per le ripetute esecuzioni dei kernel.
Partizionamento Spaziale degli SM Guarded & Dinamico su Lockstep:
- Per garantire che lo stadio ADizeitigamente intensivo in memoria non venga affamato mentre lo stadio VLM, computazionalmente intensivo, satura i multiprocessori di streaming (SM) della GPU, Robion impone l'esecuzione in lockstep. In ogni lockstep, esattamente un batch VLM e un batch ADiT vengono eseguiti concorrentemente.
- Restrizione Dinamica degli SM: Il sistema restringe il numero di SM che lo stream VLM può occupare, garantendo che rimangano abbastanza SM disponibili per lo stream ADiT.
- Selezione Assistita da Profilazione: Poiché l'ottimale divisione degli SM dipende dalle specifiche dimensioni dei batch degli stadi co-eseguite, Robion esegue una profilazione offline durante l'inizializzazione. Cerca esaustivamente le restrizioni degli SM per tutte le combinazioni di dimensione del batch (potenze di 2) e memorizza la configurazione ottimale in una tabella di lookup. A runtime, il sistema applica la restrizione pre-calcolata senza preemption, garantendo che non venga perso alcun progresso di esecuzione.
Servizio Multi-Modello Dual-Stream Consapevole degli SLO:
- Robion supporta la co-locazione di modelli, condividendo gli stessi stream VLM e ADiT per più modelli VLA (incluse varianti fine-tuned) su una singola GPU.
- Implementa una politica di scheduling Earliest-SLO-First (ESF). All'inizio di ogni lockstep, il sistema calcola il tempo rimanente fino alla scadenza SLO della richiesta in testa di ogni coda e dà priorità alla richiesta con il minor tempo rimanente. Ciò garantisce l'aderenza rigorosa agli SLO in popolazioni di robot eterogenee.

2. Motore di Gestione di Robion

Il motore di gestione gestisce il posizionamento dei modelli e la distribuzione del traffico dei robot su un server multi-GPU.

Posizionamento Flessibile dei Modelli: I programmatori possono configurare come i modelli vengono posizionati: co-localizzando diverse architetture su una singola GPU, replicando i modelli su diverse GPU, o partizionando le GPU in gruppi disgiunti dedicati a specifiche architetture di modelli.
Controller di Traffico Adattivo:
- Il sistema formula l'assegnazione robot-a-GPU come un problema di programmazione intera.
- Obiettivo: Massimizzare il batching per modello (concentrando le richieste per un modello specifico su una singola GPU) pur rispettando il carico massimo di robot che ogni GPU può sostenere senza violare gli SLO.
- Vincoli: Il totale dei robot assegnati a un modello deve corrispondere alla domanda della fabbrica, e la somma dei carichi normalizzati su ogni GPU non deve superare 1.0.
- Questo approccio evita le criticità dello "splitting uniforme" (che riduce l'efficienza del batching) e del "modello singolo per GPU" (che può portare al sovraccarico se un modello ha un alto numero di robot).

Risultati Chiave

Gli autori hanno valutato Robion su quattro modelli VLA ( $\pi_0$ , SmolVLA, GR00T N1.5, Xiaomi-Robotics-0) su due piattaforme hardware (4x RTX 6000 Pro e 4x H100) e l'hanno confrontato con un baseline Monolitico e vLLM-Omni.

Performance del Modello Singolo:
- Robion serve 6,7× più carico robotico rispetto a vLLM-Omni e 1,5× più rispetto al sistema Monolitico mantenendo un raggiungimento degli SLO del 98%.
- Una singola GPU di fascia alta con Robion può servire in media 20 robot con un raggiungimento degli SLO del 98%, superando l'inferenza on-robot su GPU embedded e offrendo riduzioni significative dei costi (circa 6,8×) rispetto all'equipaggiare ogni robot con un SoC di fascia alta.
- La sola tecnica di "Guarded SM Partitioning" ha migliorato significativamente il raggiungimento degli SLO rispetto alla semplice disaggregazione degli stadi, provando la necessità della restrizione dinamica degli SM.
Co-Locazione Multi-Modello:
- Co-localizzando più modelli (incluse varianti e diverse architetture) su una singola GPU, Robion ha ottenuto un rapporto di mancato rispetto degli SLO 2,1× inferiore rispetto all'approccio Monolitico.
- vLLM-Omni è rimasto completamente saturo (rapporto di mancato rispetto del 100%) in questi scenari multi-modello.
- La politica di selezione della coda ESF si è dimostrata robusta, superando le politiche Round-Robin e Largest-Queue-First, specialmente quando i modelli avevano scadenze SLO variabili.
Scalabilità Multi-GPU:
- In un esperimento su larga scala che serviva 8 modelli diversi su un server a 4 GPU, Robion è riuscito a servire fino a 64 robot entro un raggiungimento degli SLO del 98%.
- La disaggregazione intra-GPU di Robion ha superato significativamente gli schemi di disaggregazione inter-GPU (che dedicano GPU separate a VLM o ADiT), poiché questi ultimi portano a un grave sottoutilizzo dello stadio ADiT, limitato dalla memoria.
Cloud vs. Edge:
- Lo studio conferma che l'implementazione edge (server locali con WiFi 7) è superiore al deployment in cloud, poiché la latenza di rete degrada significativamente il raggiungimento degli SLO negli scenari cloud.

Significato e Rivendicazioni

L'articolo afferma di essere il primo lavoro a:

Investigare le specifiche considerazioni di design per il serving efficiente di VLA nelle fabbriche robotizzate, evidenziando il mismatch tra i sistemi di serving multi-stadio esistenti e la natura a millisecondi e critica per la latenza dell'inferenza VLA.
Proporre Robion, un sistema che consente il serving multi-modello consapevole degli SLO su server edge multi-GPU.

Gli autori sottolineano che Robion colma il divario tra le alte richieste computazionali dei modelli VLA e i rigidi vincoli delle fabbriche robotizzate. Abilitando le GPU di fascia alta a servire molti robot simultaneamente con garanzie di latenza rigorose, Robion rende il deployment di server edge locali per le fabbriche una realtà pratica e conveniente. Il sistema dimostra che con una corretta disaggregazione degli stadi, partizionamento dinamico delle risorse e controllo intelligente del traffico, un singolo server edge può sostituire la necessità di calcolo ad alte prestazioni su ogni singolo robot, abbassando significativamente la barriera all'ingresso per i deployment di IA fisica su larga scala.