💻 computer science

Embodied.cpp: A Portable Inference Runtime of Embodied AI Models on Heterogeneous Robots

Este artículo presenta Embodied.cpp, un tiempo de ejecución de inferencia en C++ portátil diseñado para unificar el despliegue fragmentado de diversos modelos de IA incorporada (como los VLA y los WAM) en robots de borde heterogéneos mediante la provisión de una arquitectura modular de cinco capas que permite un control de bucle cerrado de baja latencia y de múltiples tasas, mientras mejora significativamente la eficiencia de la memoria y las tasas de éxito de las tareas.

Autores originales: Ling Xu, Chuyu Han, Borui Li, Hao Wu, Shiqi Jiang, Ting Cao, Chuanyou Li, Sheng Zhong, Shuai Wang

Publicado 2026-07-03

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ling Xu, Chuyu Han, Borui Li, Hao Wu, Shiqi Jiang, Ting Cao, Chuanyou Li, Sheng Zhong, Shuai Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que has construido un cerebro robótico brillante y altamente inteligente. Puede ver, entender el lenguaje y planificar cómo mover sus brazos para recoger una taza. Pero en este momento, lograr que este cerebro funcione realmente en un robot real es como intentar encajar un motor de Fórmula 1 en el cuadro de una bicicleta usando cinta adhesiva y una navaja suiza.

Actualmente, cada vez que un científico construye un nuevo cerebro robótico, tiene que escribir un conjunto completamente nuevo de "código de pegamento" (el software que conecta el cerebro con los sensores y motores del robot). Este código suele ser desordenado, escrito en Python y solo funciona en computadoras específicas. Si cambias el robot o el cerebro, tienes que reconstruir toda la conexión desde cero.

Entra "Embodied.cpp".

Piensa en Embodied.cpp como un kit de adaptadores universal y de alto rendimiento para cerebros robóticos. Es una pieza de software escrita en C++ (un lenguaje conocido por ser rápido y eficiente) que actúa como un puente entre cualquier nuevo cerebro robótico y cualquier cuerpo de robot, ya sea un diminuto robot en un chip o un robot de estación de trabajo gigante.

Así es como funciona, utilizando algunas analogías sencillas:

1. El Problema: El adaptador de "talla única para nadie"

Imagina que tienes un sistema de casa inteligente. Algunas luces se encienden cada segundo, el termostato comprueba la temperatura cada minuto y la cámara de seguridad graba cada hora.

La forma antigua: Construyes un temporizador, un sensor y un interruptor separados para cada dispositivo. Si añades un nuevo dispositivo, tienes que cablear todo un circuito nuevo.
El problema del artículo: Los cerebros robóticos son iguales. Algunas partes (como los ojos) necesitan actualizarse lentamente, mientras que otras (como los controles de los motores) necesitan actualizarse superrápido. El software existente intenta ejecutar todo a la misma velocidad, lo que es ineficiente y causa retrasos.

2. La Solución: Un sistema modular tipo "Lego"

Los autores diseñaron Embodied.cpp como un juego de Lego de alta tecnología con cinco capas específicas:

Adaptadores de entrada: Estos son como enchufes universales. Ya sea que el robot vea una cámara, sienta un sensor táctil o lea un medidor de fuerza, esta capa lo traduce a un lenguaje que el cerebro entiende.
Constructores de secuencias: Esto organiza los datos, como un bibliotecario clasificando libros antes de ponerlos en el estante.
Ejecución del núcleo (Backbone): Esta es la "sala de máquinas" donde ocurre el pensamiento principal.
Plugins de cabeza: Estas son las herramientas especializadas. Un robot puede necesitar una herramienta de "agarre", otro una herramienta de "caminar". Simplemente encajas el plugin correcto sin reconstruir el motor.
Adaptadores de despliegue: Este es la capa de salida que habla con el mundo real, enviando comandos a los motores del robot o al software de simulación.

3. Las Tres Superpotencias

El artículo destaca tres formas específicas en las que este sistema es mejor que lo que existe hoy en día:

Ejecución de multitasa (El director de la orquesta):
En un robot, los "ojos" no necesitan parpadear tan rápido como los "dedos". Embodied.cpp actúa como un director de orquesta, permitiendo que los ojos funcionen a un ritmo lento y los dedos a un ritmo rápido, todo dentro del mismo sistema. El software antiguo intenta hacer que todos marchen al mismo ritmo, lo que desperdicia energía y causa lag.
Control centrado en la latencia (El piloto de carreras):
En la computación en la nube (como chatear con una IA), la velocidad se mide por cuántas personas puedes atender a la vez. Pero para un robot, la velocidad se mide por qué tan rápido reacciona a un solo comando. Si un robot está atrapando un objeto que cae, no puede esperar a un "lote" de cálculos; necesita una respuesta instantánea. Embodied.cpp está construido para priorizar ese tiempo de reacción de una fracción de segundo en diferentes tipos de hardware (desde chips pequeños hasta grandes computadoras).
Interfaces extensibles (El control remoto universal):
Los robots no solo emiten "palabras" o "tokens". Emiten cosas compleas como "mover el brazo 30 grados", "predecir dónde estará la pelota en 2 segundos" o "apretar suavemente". Embodied.cpp está construido para manejar estos resultados extraños y personalizados sin necesidad de ser reescrito cada vez que se inventa un nuevo robot.

4. Los Resultados: ¿Funciona?

Los autores probaron este sistema con dos tipos diferentes de cerebros robóticos:

Los cerebros "Visión-Lenguaje" (VLA): Probaron dos modelos (HY-VLA y pi0.5). El sistema controló con éxito a un robot para completar tareas.
- Resultado: Un modelo tuvo éxito el 100% de las veces, y el otro el 91%. Demostró que el software podía ejecutar cerebros complejos en hardware real sin colapsar.
Los cerebros "Mundo-Acción" (WAM): Estos son modelos más nuevos que intentan predecir el futuro (como adivinar dónde rodará una pelota). Probaron una pequeña parte de este cerebro.
- Resultado: Al usar este nuevo software, redujeron la memoria necesaria para ejecutar esa parte del cerebro de 312 MiB a 88 MiB. Eso es como encoger una mochila pesada para convertirla en una pequeña bolsa, haciendo que sea mucho más fácil de ejecutar en robots más pequeños y económicos.

La Conclusión

Embodied.cpp es un motor portátil y de alta velocidad para la inteligencia robótica. Evita que los científicos tengan que reinventar la rueda cada vez que construyen un nuevo robot. En lugar de escribir código desordenado y personalizado para cada nuevo proyecto, pueden conectar su nuevo cerebro robótico a este sistema universal, y simplemente funciona: rápido, de manera eficiente y en casi cualquier hardware.

Resumen Técnico: Embodied.cpp

Declaración del Problema

El despliegue práctico de modelos de IA con cuerpo (Embodied AI)—que abarcan modelos de Visión-Lenguaje-Acción (VLA) y Modelos de Mundo-Acción (WAMs)—se ve actualmente obstaculizado por la fragmentación. Las soluciones existentes dependen de pilas de Python específicas para cada modelo, suposiciones de backend y código de unión ("glue code") personalizado para cada familia de robots, lo que hace que el despliegue en dispositivos de borde heterogéneos (por ejemplo, Jetson, placas basadas en RK, cajas de borde x86) sea ineficiente y no portable.

Además, los entornos de ejecución de inferencia de propósito general existentes (por ejemplo, llama.cpp, vLLM, ONNX Runtime) están diseñados principalmente para el servicio de respuesta a solicitudes con interfaces de tokens uniformes y optimización orientada al rendimiento (throughput). Estos no logran satisfacer el "contrato de tiempo de ejecución" específico requerido para el despliegue de IA con cuerpo, el cual demanda:

Ejecución de múltiples tasas (Multi-rate): Diferentes componentes (codificadores de percepción, backbones, ramas predictivas, cabezales de acción) deben operar a distintas frecuencias dentro de un único ciclo de control de bucle cerrado.
Control de bucle cerrado centrado en la latencia: Los objetivos de optimización son el control de inferencia de lote 1 (batch-1) de baja latencia, baja fluctuencia (jitter) y estabilidad en hardware heterogéneo, en lugar del procesamiento de lotes de alto rendimiento.
Interfaces de IA con cuerpo extensibles: Los sistemas deben soportar operadores personalizados, entradas multimodales heterogéneas (imágenes, propiocepción, fuerza/táctil) y salidas diversas (trozos de acción/action chunks, futuros predichos) más allá de las interfaces de I/O de tokens fijos.

Metodología: Arquitectura de Embodied.cpp

Los autores presentan Embodied.cpp, un entorno de ejecución de inferencia en C++ portable diseñado para unificar la ejecución de diversos modelos de IA con cuerpo. El sistema se construye sobre un análisis arquitectónico de modelos representativos de VLA y WAM, identificando una ruta de ejecución compartida donde las divergencias se confinan a un pequeño conjunto de módulos y cabezales conectables (pluggable).

El entorno de ejecución organiza esta ruta compartida en una arquitectura de cinco capas:

Adaptadores de Entrada (Input Adapters): Absorben flujos de sensores en línea y muestras de conjuntos de datos fuera de línea (cámaras, IMU, señales de fuerza/táctiles) a través de una interfaz de cuerpo tipada.
Constructores de Secuencias (Sequence Builders): Construyen las secuencias de entrada para el modelo.
Ejecución del Backbone (Backbone Execution): Ejecuta la lógica central del transformer o del backbone.
Plugins de Cabezales (Head Plugins): Gestiona los cabezales específicos del modelo (por ejemplo, cabezales de acción, cabezales predictivos, modelos de mundo).
Adaptadores de Despliegue (Deployment Adapters): Conecta las salidas del entorno de ejecución con simuladores (por ejemplo, ManiSkill, Isaac Sim) y pilas de software de robots del mundo real.

Principios de Diseño Centrales

Para abordar los desafíos identificados, Embodied.cpp se adhiere a tres principios de diseño:

Ejecución Modular de Múltiples Tasas: Las unidades de ejecución explícitas y los pools de estado compartido permiten que los componentes se ejecuten a diferentes frecuencias de actualización sin forzar una ruta sincrónica única.
Ejecución Fusionada Centrada en la Latencia: Prioriza el rendimiento de control estable mediante la repetición de grafos (graph replay), reutilización de buffers, fusión de operadores y despacho específico de backend para una inferencia eficiente de lotes pequeños en hardware heterogéneo (CPU, GPU, NPU).
Soporte Extensible de Operadores e I/O: Proporciona interfaces tipadas y cabezales conectables para acomodar nuevas familias de modelos y operadores personalizados sin reconstruir el entorno de ejecución.

El sistema incluye un "Almacén de Kernels de IA con Cuerpo" (Embodied AI Kernel Warehouse) que contiene operadores reutilizables y kernels específicos de modelos para dar soporte a arquitecturas en evolución.

Contribuciones Clave

Análisis Arquitectónico: Una taxonomía de modelos de IA con cuerpo (VLA y WAM) que revela una ruta de ejecución compartida donde las diferencias estructurales se localizan en módulos conectables, permitiendo un enfoque de entorno de ejecución unificado.
Entorno de Ejecución en C++ Portable: El diseño e implementación de Embodied.cpp, que mapea la ruta de ejecución compartida en la arquitectura de cinco capas descrita anteriormente, proporcionando abstracción de backend para dispositivos de borde heterogéneos.
Evaluación Empírica: Validación cuantitativa del entorno de ejecución en dos modelos VLA y un benchmark preliminar de WAM, demostrando ganancias de eficiencia mientras se preserva la precisión.

Resultados Experimentales

Los autores evaluaron Embodied.cpp en dos modelos VLA y un componente WAM:

Despliegue de VLA (HY-VLA y pi0.5):
- HY-VLA: Desplegado en una tarea de RoboTwin (place_empty_cup), logrando una tasa de éxito de la tarea del 100.0%. El sistema gestionó un backbone más grande (Hunyuan-VL) y entradas complejas (visión de tres ángulos, historial de video) con una latencia de paso amortizada de 735.9 ms.
- pi0.5: Logró una tasa de éxito de la tarea del 91.0% utilizando un backbone PaliGemma más ligero. Demostró una latencia de paso amortizada menor (56.85 ms) debido a una estrategia de trozos de acción (action chunk) más larga.
- Ambos modelos se ejecutaron con éxito a través del entorno de ejecución de C++, manteniendo el comportamiento de la tarea mientras gestionaban el pico de memoria de la GPU (6.5–6.8 GiB).
Benchmark de WAM (LingBot-VA):
- Debido a las restricciones de estabilidad en la configuración local de borde, los autores evaluaron un único bloque Transformer del modelo LingBot-VA en lugar de una ejecución completa de WAM de bucle cerrado.
- Eficiencia de Memoria: La implementación en C++ utilizando cuantización Q4_K redujo la memoria del bloque de 312.2 MiB (Python BF16) a 88.1 MiB.
- Precisión: El bloque de C++ cuantizado mantuvo una alta fidelidad, con un Error Absoluto Medio (MAE) < $3.3 \times 10^{-2}$ y una Similitud de Coseno > $9.997 \times 10^{-1}$ en comparación con la línea base de Python.
- Latencia: La ruta de C++ logró una latencia comparable (3.171 ms frente a 3.236 ms) para la computación del bloque único.

Significado y Reivindicaciones

El artículo afirma que Embodied.cpp aborda la brecha crítica entre la construcción de modelos y el despliegue fiable en el lado del robot. Al tratar la ruta de ejecución común como infraestructura y las partes divergentes como plugins, el entorno de ejecución permite:

Portabilidad: Despliegue a través de dispositivos, robots y simuladores heterogéneos mediante una única abstracción de backend.
Eficiencia: Reducción significativa de memoria (vía cuantización) y ejecución optimizada para la latencia, adecuada para el control de bucle cerrado.
Escalabilidad: Un núcleo estable y reutilizable que puede absorber nuevas variantes de modelos de IA con cuerpo (VLA, WAM y arquitecturas futuras) sin requerir la reconstrucción completa de la pila de software.

Los autores posicionan a Embodied.cpp no como un reemplazo para los entornos de ejecución de LLM generales, sino como una solución especializada para el "contrato de tiempo de ejecución" único de la IA con cuerpo, que prioriza el control con estado, de múltiples tasas y de baja latencia sobre el rendimiento (throughput).