💻 computer science

Efficient Block-Layer Parallel Inference for Vision-Language-Action on Hybrid Architectures

Este artículo presenta un marco de inferencia híbrido CPU-GPU que particiona los modelos de Visión-Lenguaje-Acción (VLA) a nivel de capa de bloques para derivar la computación a la CPU mediante una canalización asíncrona, reduciendo significativamente la latencia de inferencia y el uso de memoria de la GPU para permitir un despliegue exitoso en plataformas de conducción autónoma con recursos limitados.

Autores originales: Haibo HU, Lianming Huang, Qiao Li, Nan Guan, Chun Jason Xue

Publicado 2026-08-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Haibo HU, Lianming Huang, Qiao Li, Nan Guan, Chun Jason Xue

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La conducción autónoma ha dependido durante mucho tiempo de un enfoque modular, donde programas informáticos separados se encargan de tareas distintas como ver la carretera, predecir hacia dónde irán otros coches y decidir cómo girar el volante. Estos sistemas trabajan juntos, pero suelen ser rígidos y tienen dificultades para adaptarse a situaciones complejas y cambiantes. Recientemente, ha surgido un nuevo tipo de inteligencia artificial llamado modelo de Visión-Lenguaje-Acción como una alternativa prometedora. Estos modelos actúan más como un conductor humano que puede observar una escena, comprender una instrucción hablada o un escenario de tráfico complejo, y decidir inmediatamente una acción física, todo dentro de un cerebro único y unificado. Si bien estos modelos muestran un gran potencial para crear una conducción más fluida y segura, conllevan un obstáculo significativo: son increíblemente pesados en cuanto a recursos informáticos. Demandan cantidades masivas de potencia de procesamiento y memoria, lo que a menudo desborda los chips gráficos especializados que se encuentran en los coches autónomos actuales. Esto crea un cuello de botella donde el ordenador del coche no puede seguir el ritmo de las necesidades del modelo, lo que dificulta la instalación de estos sistemas avanzados en vehículos reales sin sacrificar la velocidad o la seguridad.

Investigadores de la Universidad de la Ciudad de Hong Kong y de la Universidad Mohamed bin Zayed de Inteligencia Artificial han desarrollado una nueva forma de ejecutar estos potentes modelos que resuelve este problema de recursos sin cambiar los modelos mismos. En lugar de forzar a que todo el cerebro de la inteligencia artificial se ejecute en el chip gráfico, dividen el trabajo entre el chip gráfico y el procesador central principal del coche. Descubrieron que, si bien el chip gráfico es excelente en la tarea inicial de "ver" la carretera, el procesador central, que suele permanecer inactivo durante estas pesadas tareas visuales, es perfectamente capaz de gestionar las etapas posteriores de razonamiento. Al dividir el modelo en capas y asignar las primeras capas al chip gráfico y las capas finales al procesador central, crearon un sistema equilibrado. Además, debido a que un coche está en constante movimiento y recibe un flujo de nuevas imágenes, los investigadores diseñaron una canalización (pipeline) en la que el procesador central trabaja en el razonamiento del momento actual mientras el chip gráfico ya está comenzando a procesar el siguiente momento. Este solapamiento de tareas permite que el sistema mantenga ambos procesadores ocupados, acelerando significativamente el proceso de toma de decisiones.

Cuando el equipo probó este enfoque en dos modelos líderes de conducción autónoma, los resultados fueron sustancialos. Para un modelo llamado Orion, el tiempo necesario para tomar una decisión de conducción cayó de 521 milisegundos a 408 milisegundos, una reducción de casi un 22 por ciento. Para otro modelo llamado MindDrive, el tiempo cayó de 443 milisegundos a 306 milisegundos, una disminución de más del 30 por ciento. Quizás incluso más crítico que la velocidad fue el alivio aplicado a la memoria del coche. El modelo Orion original requería 45 gigabytes de memoria en el chip gráfico, una demanda tan alta que no podía ejecutarse junto con otros sistemas esenciales del coche en el vehículo de prueba. El nuevo enfoque híbrido redujo este requisito a 29 gigabytes, permitiendo que el modelo se ejecutara con éxito en el mismo hardware donde la versión original falló por completo. A lo largo de estas pruebas, la calidad de las decisiones de conducción se mantuvo sin cambios; el coche no condujo peor ni chocó con más frecuencia, demostiendo que las ganancias de velocidad no se produjeron a costa de la seguridad.

Los investigadores también descubrieron que simplemente dividir el trabajo no era suficiente; el momento de ese reparto importaba enormemente. Si asignaban demasiado trabajo al procesador central, este se convertía en el nuevo cuello de botella, ralentizando todo. Si asignaban demasiado poco, el chip gráfico permanecía sobrecargado. Encontraron un punto de equilibrio específico donde la carga de trabajo se distribuía uniformemente, permitiendo que el sistema alcanzara su velocidad máxima. También confirmaron que la canalización de solapamiento era esencial. Sin ella, el sistema todavía tendría que esperar a que una tarea terminara por completo antes de comenzar la siguiente, anulando los beneficios de utilizar dos procesadores. Al permitir que los procesadores trabajaran en diferentes fotogramas de vídeo simultáneamente, el sistema logró un flujo de decisiones constante y de alta velocidad.

Este trabajo demuestra que las limitaciones del hardware actual de conducción autónoma no son un callejón sin salida, sino más bien una señal para repensar cómo se distribuyen las tareas. El estudio sugiere que, al tratar el ordenador del coche como un equipo de especialistas en lugar de una única potencia, es posible desplegar modelos de inteligencia artificial avanzados y de gran escala en vehículos existentes. Los investigadores validaron esto al ejecutar su sistema en un vehículo real junto con una suite estándar de software de conducción, mostrando que el enfoque híbrido no es solo una mejora teórica, sino una solución práctica que puede coexistir con el complejo software que ya se requiere para conducir un coche. Los hallazgos indican que el diseño eficiente del sistema, en lugar de simplemente esperar a un hardware más potente, es la clave para traer estos sofisticados modelos de conducción al mundo real.

=== RESUMEN TÉCNICO ===

Resumen Técnico: Inferencia Paralela Eficiente por Capas de Bloques para Visión-Lenguaje-Acción en Arquitecturas Híbridas

1. Declaración del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) están emergiendo como un paradigma prometedor para la conducción autónoma, unificando la comprensión de la escena y la toma de decisiones. Sin embargo, el despliegue de estos grandes modelos multimodales en las plataformas de vehículos existentes presenta desafíos significativos:

Desequilibrio de Recursos: La inferencia de los VLA está fuertemente centrada en la GPU, lo que provoca una alta latencia de inferencia y una intensa presión de memoria de la GPU. Por el contrario, las plataformas de vehículos heredadas, preparadas para procesos modulares, suelen dejar los recursos de la CPU infrautilizados durante la ejecución de los VLA.
Restricciones de Despliegue: El despliegue directo de modelos VLA junto con otros sistemas a bordo (por ejemplo, percepción, localización) suele fallar debido al presupuesto insuficiente de memoria de la GPU. Por ejemplo, el modelo nativo Orion requiere aproximadamente 45 GB de memoria de GPU, lo que excede la capacidad disponible cuando coexiste con un stack completo de Autoware.Universe.
Ineficiencia del Offloading Simple: El simple hecho de transferir (offloading) partes grandes del modelo a la CPU es ineficaz porque las CPU quedan rezagadas respecto a las GPU en la ejecución de transformers, pudiendo convertirse en un nuevo cuello de botella. Además, la inferencia estándar de un solo cuadro (single-frame) sigue siendo serial, lo que limita los beneficios de la ejecución heterogénea.

2. Metodología

Los autores proponen un marco de inferencia híbrido CPU–GPU diseñado específicamente para la naturaleza de flujo continuo (streaming) de la conducción autónoma. La metodología consta de tres componentes principales:

A. Partición por Capas de Bloques

En lugar de particionar a nivel de operador (lo que rompe la integridad estructural) o a nivel de modelo completo (que no ofrece flexibilidad), el marco particiona el backbone del VLA a la granularidad de la capa de bloque del Transformer.

División de Ejecución: El codificador visual (ViT) y las capas de prefijo del LLM se ejecutan en la GPU. Las capas de sufijo del LLM se transfieren a la CPU.
Frontera: Un punto de partición específico $p$ divide el modelo en un prefijo ejecutado por la GPU y un sufijo ejecutado por la CPU. El estado oculto fronterizo se transfiere entre los dispositivos.
Justificación: Esta granularidad preserva la integridad estructural y la continuidad de las características del modelo, al tiempo que proporciona una frontera programable para redistribuir las cargas de cómputo y memoria.

B. Pipeline Asíncrono entre Cuadros (Cross-Frame)

Reconociendo que las cargas de trabajo de VLA para la conducción son temporalmente continuas (cuadros en streaming) en lugar de consultas aisladas, el sistema emplea un pipeline asíncrono:

Solapamiento: Mientras la GPU procesa el prefijo del cuadro actual ( $t$ ), la CPU procesa concurrentemente el sufijo del cuadro anterior ( $t-1$ ).
Rendimiento (Throughput): Esto convierte la dependencia serial intra-cuadro en una ejecución solapada inter-cuadro. El rendimiento en estado estacionario está determinado por la etapa más lenta (prefijo de la GPU o sufijo de la CPU + transferencia), en lugar de la suma de todas las etapas.
Sobrecarga de Comunicación: Solo se transfiere el tensor del estado oculto fronterizo por cuadro. Los autores señalan que esta sobrecarga (~0.41 ms) es insignificante en comparación con las etapas de cómputo.

C. Programación Flexible de Recursos y Optimización de Hardware

Programación Dinámica: Un programador ligero ajusta la frontera de partición (específicamente las capas en una "zona dinámica" cerca del punto de división) basándose en el estado del sistema en tiempo real, como la utilización de CPU/GPU y la acumulación (backlog) del pipeline. Esto permite al sistema adaptarse a las diversas demandas de recursos a bordo.
Aceleración de CPU: Para asegurar que la CPU no se convierta en un cuello de botella, el marco utiliza un stack de optimización consciente del hardware para las capas residentes en la CPU, incluyendo Intel AMX (Advanced Matrix Extensions), IPEX (Intel Extension for PyTorch), fusión de grafos y vinculación de hilos sensible a NUMA.

3. Contribuciones Clave

Marco de Inferencia Heterogénea por Capas de Bloques: Una arquitectura novedosa que particiona los modelos VLA al nivel de bloque para utilizar eficazmente los recursos de CPU infrautilizados mientras reduce la presión de memoria de la GPU, sin alterar la arquitectura original del modelo.
Inferencia Paralela Asíncrona entre Cuadros: Una estrategia que aprovecha la naturaleza continua de los datos de conducción para solapar la ejecución de CPU y GPU entre diferentes cuadros, mejorando significamente la frecuencia de inferencia sostenida.
Programación Flexible y Validación en el Mundo Real: Un mecanismo de programación consciente de los recursos y validación empírica en dos modelos de conducción VLA representativos (Orion y MindDrive) dentro de un stack de vehículo realista (Autoware.Universe).

4. Resultados Experimentales

El marco fue evaluado en el benchmark Bench2Drive utilizando una GPU NVIDIA L20 y una CPU Intel Xeon Platinum 8470Q.

Reducción de Latencia:
- Orion: La latencia promedio se redujo de 521 ms a 408.0 ms (reducción del 21.7%).
- MindDrive: La latencia promedio se redujo de 443 ms a 306.2 ms (reducción del 30.9%).
Huella de Memoria:
- Orion: La memoria de GPU pico estimada se redujo de 45 GB a 29 GB.
- MindDrive: La memoria de GPU se redujo de 21 GB a 14 GB.
Despliegue en Vehículo Real:
- El modelo Orion nativo no pudo ejecutarse junto con Autoware.Universe debido al desbordamiento de memoria de la GPU.
- La versión híbrida se ejecutó con éxito con el stack completo del vehículo, logrando una frecuencia de inferencia de 1.89 Hz.
Desempeño de Conducción:
- La precisión de la trayectoria (error L2) y las tasas de colisión se mantuvieron casi idénticas a los modelos nativos, confirmando que la aceleración no comprometió la seguridad o la calidad de la conducción.
Estudios de Ablación:
- Punto de Partición: Una división óptima (por ejemplo, después del bloque 16 para Orion) equilibra las cargas de GPU y CPU. Una división demasiado superficial hace que la CPU sea el cuello de botella; una demasiado profunda deja a la GPU como el cuello de botella.
- Asincronía: Sin el pipelining entre cuadros, la ejecución híbrica de hecho aumentó la latencia (783 ms frente a 520 ms) debido a la serialización. El pipeline asíncrono fue esencial para el resultado de 408 ms.
- Optimización de CPU: Sin las optimizaciones conscientes del hardware (AMX, IPEX), la ejecución de la CPU fue 15.3 veces más lenta que el stack optimizado, resaltando la necesidad de estas optimizaciones para la viabilidad híbrida.

5. Significado y Reivindicaciones

El artículo afirma que la ejecución híbrida a nivel de sistema es un camino práctico hacia el despliegue en tiempo real de los modelos VLA en la conducción autónoma.

Reasignación de Recursos: El trabajo demuestra que los grandes modelos VLA pueden hacerse desplegables en plataformas de vehículos con recursos limitados mediante el desplazamiento de las cargas de cómputo y memoria de la GPU a la CPU.
Preservación de Capacidad: El marco logra reducciones significativas de latencia y memoria sin modificar la arquitectura subyacente del modelo ni degradar las métricas de desempeño de conducción.
Viabilidad: Al validar el enfoque en un entorno de conducción de stack completo (Autoware.Universe), los autores muestran que la inferencia heterogénea puede coexistir con otros módulos críticos del vehículo, abordando una barrera clave para la adopción industrial de los sistemas de conducción basados en VLA.

Los autores concluyen que su trabajo motiva la investigación adicional en la inferencia de modelos grandes heterogéneos bajo límites de recursos realistas en el lado del vehículo, enfatizando que el despliegue eficiente requiere no solo optimización de modelos, sino también programación de recursos a nivel de sistema y paralelismo entre dispositivos.