💻 computer science

Embodied.cpp: A Portable Inference Runtime of Embodied AI Models on Heterogeneous Robots

Questo articolo presenta Embodied.cpp, un runtime di inferenza in C++ portabile progettato per unificare la frammentata distribuzione di diversi modelli di IA incarnata (come VLA e WAM) su robot edge eterogenei, fornendo un'architettura modulare a cinque livelli che consente un controllo a ciclo chiuso a bassa latenza e multi-frequenza, migliorando significativamente l'efficienza della memoria e i tassi di successo dei compiti.

Autori originali: Ling Xu, Chuyu Han, Borui Li, Hao Wu, Shiqi Jiang, Ting Cao, Chuanyou Li, Sheng Zhong, Shuai Wang

Pubblicato 2026-07-03

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ling Xu, Chuyu Han, Borui Li, Hao Wu, Shiqi Jiang, Ting Cao, Chuanyou Li, Sheng Zhong, Shuai Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di aver costruito un cervello robotico brillante e altamente intelligente. Può vedere, comprendere il linguaggio e pianificare come muovere le braccia per prendere una tazza. Ma in questo momento, far funzionare questo cervello su un vero robot è come cercare di inserire un motore di Formula 1 nel telaio di una bicicletta usando del nastro adesivo e un coltellino svizzero.

Attualmente, ogni volta che uno scienziato costruisce un nuovo cervello robotico, deve scrivere un completamente nuovo set di "codice di colla" (il software che collega il cervello ai sensori e ai motori del robot). Questo codice è spesso disordinato, scritto in Python e funziona solo su computer specifici. Se cambi il robot o il cervello, devi ricostruire l'intera connessione da zero.

Entra in gioco "Embodied.cpp".

Pensa a Embodied.cpp come a un kit di adattatori universale e ad alte prestazioni per i cervelli robotici. È un pezzo di software scritto in C++ (un linguaggio noto per la sua velocità ed efficienza) che funge da ponte tra qualsiasi nuovo cervello robotico e qualsiasi corpo robotico, che si tratti di un piccolo robot su un chip o di un enorme robot da stazione di lavoro.

Ecco come funziona, usando alcune analogie semplici:

1. Il Problema: L'adattatore "Un modello per tutti, adatto a nessuno"

Immagina di avere un sistema smart home. Alcune luci si accendono ogni secondo, il termostato controlla la temperatura ogni minuto e la telecamera di sicurezza registra ogni ora.

Il modo vecchio: Costruisci un timer separato, un sensore separato e un interruttore separato per ogni singolo dispositivo. Se aggiungi un nuovo dispositivo, devi cablare un intero nuovo circuito.
Il problema del paper: Anche i cervelli robotici sono uguali. Alcune parti (come gli occhi) devono aggiornarsi lentamente, mentre altre (come i controlli del motore) devono aggiornarsi super velocemente. Il software esistente cerca di eseguire tutto alla stessa velocità, il che è inefficiente e causa ritardi.

2. La Soluzione: Un sistema modulare "Lego"

Gli autori hanno progettato Embodied.cpp come un set Lego ad alta tecnologia con cinque livelli specifici:

Input Adapter (Adattatori di Input): Questi sono come prese universali. Che il robot veda una telecamera, senta un sensore di tocco o legga un sensore di forza, questo livello traduce tutto in un linguaggio che il cervello comprende.
Sequence Builders (Costruttori di Sequenze): Questo organizza i dati, come un bibliotecario che riordina i libri prima di metterli sullo scaffale.
Backbone Execution (Esecuzione del Backbone): Questa è la "sala macchine" dove avviene il pensiero principale.
Head Plugins (Plugin della Testa): Questi sono gli strumenti specializzati. Un robot potrebbe aver bisogno di uno strumento di "presa", un altro di uno strumento di "camminata". Ti basta agganciare il plugin giusto senza ricostruire il motore.
Deployment Adapters (Adattatori di Distribuzione): Questo è il livello di output che comunica con il mondo reale, inviando comandi ai motori del robot o al software di simulazione.

3. I Tre Superpoteri

Il paper evidenzia tre modi specifici in cui questo sistema è migliore di quanto esista oggi:

Esecuzione Multi-Rate (Il Direttore d'Orchestra):
In un robot, gli "occhi" non hanno bisogno di ammiccare velocemente quanto le "dita". Embodied.cpp agisce come un direttore d'orchestra, permettendo agli occhi di seguire un ritmo lento e alle dita di seguire un ritmo veloce, il tutto all'interno dello stesso sistema. Il vecchio software cerca di far marciare tutti allo stesso ritmo, il che spreca energia e causa lag.
Controllo Priorità-Latenza (Il Pilota di Auto da Corsa):
Nel cloud computing (come chattare con un'IA), la velocità è misurata in base a quante persone puoi servire contemporaneamente. Ma per un robot, la velocità è misurata in base a quanto velocemente reagisce a un singolo comando. Se un robot sta prendendo al volo un oggetto che cade, non può aspettare un "batch" di calcoli; ha bisogno di una risposta istantanea. Embodied.cpp è costruito per dare priorità a questo tempo di reazione al millisecondo su diversi tipi di hardware (dai piccoli chip alle grandi workstation).
Interfacce Estendibili (Il Telecomando Universale):
I robot non producono solo "parole" o "token". Producono cose complesse come "muovi il braccio di 30 gradi", "predici dove sarà la palla tra 2 secondi" o "stringi delicatamente". Embodied.cpp è costruito per gestire questi output insoliti e personalizzati senza dover essere riscritto ogni volta che viene inventato un nuovo robot.

4. I Risultati: Funziona?

Gli autori hanno testato questo sistema con due diversi tipi di cervelli robotici:

I Cervelli "Vision-Language" (VLA): Hanno testato due modelli (HY-VLA e pi0.5). Il sistema ha controllato con successo un robot per completare i compiti.
- Risultato: Un modello ha avuto successo il 100% delle volte, e l'altro il 91%. Ha dimostrato che il software può eseguire cervelli complessi su hardware reale senza crashare.
I Cervelli "World-Action" (WAM): Questi sono modelli più recenti che cercano di predire il futuro (come indovinare dove rotolerà una palla). Hanno testato una piccola parte di questo cervello.
- Risultato: Utilizzando questo nuovo software, hanno ridotto la memoria necessaria per eseguire quella parte del cervello da 312 MiB a 88 MiB. È come rimpicciolire uno zaino pesante in una piccola borsa, rendendolo molto più facile da eseguire su robot più piccoli e meno costosi.

In sintesi

Embodied.cpp è un motore portatile e ad alta velocità per l'intelligenza robotica. Impedisce agli scienziati di dover reinventare la ruota ogni volta che costruiscono un nuovo robot. Invece di scrivere codice disordinato e personalizzato per ogni nuovo progetto, possono collegare il loro nuovo cervello robotico a questo sistema universale, e semplicemente funziona — in modo veloce, efficiente e su quasi tutto l'hardware.

Riepilogo Tecnico: Embodied.cpp

Problematica

L'implementazione pratica dei modelli di Embodied AI — che spaziano dai modelli Vision-Language-Action (VLA) ai modelli World-Action (WAM) — è attualmente ostacolata dalla frammentazione. Le soluzioni esistenti si affidano a stack Python specifici per ogni modello, assunzioni sul backend e "codice di colla" personalizzato per ogni famiglia di robot, rendendo l'implementazione su dispositivi edge eterogenei (ad es. Jetson, schede basate su RK, edge box x86) inefficiente e non portabile.

Inoltre, i runtime di inferenza general-purpose esistenti (ad es. llama.cpp, vLLM, ONNX Runtime) sono progettati principalmente per il serving di tipo request-response con interfacce a token uniformi e ottimizzazione orientata al throughput. Essi non riescono a soddisfare il "contratto di runtime" specifico richiesto per l'impiego in ambito embodied, che richiede:

Esecuzione multi-rate: Diversi componenti (encoder di percezione, backbone, rami predittivi, teste d'azione) devono operare a frequenze distinte all'interno di un singolo ciclo di controllo a loop chiuso.
Controllo a loop chiuso orientato alla latenza: L'ottimizzazione mira a un'inferenza batch-1 stabile, a bassa latenza e basso jitter su hardware eterogeneo, piuttosto che al processamento batch ad alto throughput.
Interfacce embodied estensibili: I sistemi devono supportare operatori personalizzati, input multimodali eterogenei (immagini, propriocezione, forza/tattile) e output diversificati (chunk di azioni, futuri predetti) oltre l'I/O a token fissi.

Metodologia: Architettura di Embodied.cpp

Gli autori presentano Embodied.cpp, un runtime di inferenza portabile in C++ progettato per unificare l'esecuzione di diversi modelli embodied. Il sistema si basa su un'analisi architettonica di modelli VLA e WAM rappresentativi, identificando un percorso di esecuzione condiviso dove le divergenze sono confinate a un piccolo set di moduli e teste pluggable.

Il runtime organizza questo percorso condiviso in una architettura a cinque livelli:

Input Adapters: Assorbono flussi di sensori online e campioni di dataset offline (telecamere, IMU, segnali di forza/tattili) attraverso un'interfaccia embodied tipizzata.
Sequence Builders: Costruiscono le sequenze di input per il modello.
Backbone Execution: Esegue la logica centrale del transformer o del backbone.
Head Plugins: Gestisce le teste specifiche del modello (ad es. teste d'azione, teste predittive, modelli del mondo).
Deployment Adapters: Collega gli output del runtime a simulatori (ad es. ManiSkill, Isaac Sim) e agli stack software dei robot nel mondo reale.

Principi di Design Fondamentali

Per affrontare le sfide identificate, Embodied.cpp aderisce a tre principi di design:

Esecuzione Multi-rate Modulare: Unità di esecuzione esplicite e pool di stato condivisi consentono ai componenti di girare a diverse frequenze di aggiornamento senza forzare un unico percorso sincrono.
Esecuzione Fusa Orientata alla Latenza: Prioritizza le prestazioni di controllo stabili tramite graph replay, riutilizzo dei buffer, fusione degli operatori e dispatch specifico per il backend per un'inferenza efficiente a piccoli batch su hardware eterogeneo (CPU, GPU, NPU).
Supporto Estensibile per Operatori e I/O: Fornisce interfacce tipizzate e teste pluggable per accogliere nuove famiglie di modelli e operatori personalizzati senza dover ricostruire il runtime.

Il sistema include un "Embodied AI Kernel Warehouse" contenente operatori riutilizzabili e kernel specifici per i modelli per supportare architetture in evoluzione.

Contributi Chiave

Analisi Architetturale: Una tassonomia di modelli embodied (VLA e WAM) che rivela un percorso di esecuzione condiviso dove le differenze strutturali sono localizzate in moduli pluggable, consentendo un approccio di runtime unificato.
Runtime C++ Portabile: La progettazione e l'implementazione di Embodied.cpp, che mappa il percorso di esecuzione condiviso nella sopra descritta architettura a cinque livelli, fornendo astrazione del backend per dispositivi edge eterogenei.
Valutazione Empirica: Validazione quantitativa del runtime su due modelli VLA e un benchmark WAM preliminare, dimostrando guadagni di efficienza pur preservando l'accuratezza.

Risultati Sperimentali

Gli autori hanno valutato Embodied.cpp su due modelli VLA e un componente WAM:

Deployment VLA (HY-VLA e pi0.5):
- HY-VLA: Implementato su un task RoboTwin (place_empty_cup), raggiungendo un tasso di successo del task del 100.0%. Il sistema ha gestito un backbone più grande (Hunyuan-VL) e input complessi (visione a tre vie, cronologia video) con una latenza per step ammortizzata di 735,9 ms.
- pi0.5: Ha raggiunto un tasso di successo del task del 91.0% utilizzando un backbone PaliGemma più leggero. Ha dimostrato una latenza per step ammortizzata inferiore (56,85 ms) grazie a una strategia di action chunking più lunga.
- Entrambi i modelli sono stati eseguiti con successo attraverso il runtime C++, mantenendo il comportamento del task e gestendo la memoria di picco della GPU (6,5–6,8 GiB).
Benchmark WAM (LingBot-VA):
- A causa dei vincoli di stabilità sulla configurazione edge locale, gli autori hanno testato un singolo blocco Transformer del modello LingBot-VA invece di un intero run WAM a loop chiuso.
- Efficienza della Memoria: L'implementazione C++ utilizzando la quantizzazione Q4_K ha ridotto la memoria del blocco da 312,2 MiB (Python BF16) a 88,1 MiB.
- Accuratezza: Il blocco C++ quantizzato ha mantenuto un'alta fedeltà, con un Mean Absolute Error (MAE) < $3,3 \times 10^{-2}$ e una Cosine Similarity > $9,997 \times 10^{-1}$ rispetto al baseline Python.
- Latenza: Il percorso C++ ha ottenuto una latenza comparabile (3,171 ms vs 3,236 ms) per il calcolo del singolo blocco.

Significato e Claims

L'articolo sostiene che Embodied.cpp affronti il divario critico tra la costruzione del modello e l'affidabile deployment lato robot. Trattando il percorso di esecuzione comune come infrastruttura e le parti divergenti come plugin, il runtime abilita:

Portabilità: Deployment su dispositivi, robot e simulatori eterogenei tramite un singolo backend di astrazione.
Efficienza: Significativa riduzione della memoria (tramite quantizzazione) ed esecuzione ottimizzata per la latenza, adatta al controllo a loop chiuso.
Scalabilità: Un core stabile e riutilizzabile che può assorbire nuove varianti di modelli embodied (VLA, WAM e architetture future) senza richiedere la ricostruzione completa dello stack software.

Gli autori posizionano Embodied.cpp non come un sostituto dei runtime LLM generici, ma come una soluzione specializzata per l'unico "contratto di runtime" dell'IA embodied, che privilegia il controllo stateful, multi-rate e a bassa latenza rispetto al throughput.