💻 computer science

Mamba-based Selective State Space Modeling Improves the Accuracy-Complexity Tradeoff of SmolVLA Vision-Language-Action Experts

Este artículo demuestra que la integración del modelado de espacio de estados selectivo basado en Mamba en el experto de acción de SmolVLA mejora significativamente la relación entre precisión y complejidad para los modelos de Visión-Lenguaje-Acción, logrando tasas de éxito superiores a las de los modelos base Transformer durante la ejecución de largo alcance, al tiempo que reduce la complejidad de parámetros en un 24% bajo el replanteamiento por acción.

Autores originales: Farida Mohsen, Thowayba Elkaffash, Mohammad Reza Chalak Qazani, Mohamed Mabrok, Nader Meskin, Ali Safa

Publicado 2026-08-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Farida Mohsen, Thowayba Elkaffash, Mohammad Reza Chalak Qazani, Mohamed Mabrok, Nader Meskin, Ali Safa

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los robots están aprendiendo a comprender el mundo no solo viéndolo, sino leyendo instrucciones y luego moviendo sus brazos para realizar un trabajo. Este campo, conocido como visión-lenguaje-acción, depende de cerebros informáticos potentes que toman una imagen de una escena y una frase que describe una tarea, y luego determinan exactamente cómo mover una mano robótica para completarla. El desafío para los ingenieros es equilibrar la velocidad con la inteligencia. Si un robot piensa demasiado antes de cada pequeño movimiento, se mueve tan lentamente que se vuelve inútil. Pero si planea una secuencia larga de movimientos a la vez para ahorrar tiempo, corre el riesgo de cometer errores porque el mundo podría cambiar mientras está ejecutando esos pasos preplanificados. El objetivo es encontrar una forma de que el robot sea tanto rápido como preciso, un equilibrio que ha sido difícil de lograr.

Un equipo de investigadores ha encontrado una nueva forma de inclinar este equilibrio a favor de la velocidad sin sacrificar la precisión. Probaron un nuevo tipo de arquitectura informática, diseñada originalmente para procesar lenguaje, dentro del cerebro de un robot. Al sustituir el motor de pensamiento estándar por este nuevo diseño, descubrieron que el robot podía planificar secuencias de movimientos mucho más largas y aun así tener éxito. En sus pruebas, cuando se permitió al robot ejecutar una secuencia completa de cincuenta movimientos antes de volver a comprobar su entorno, el nuevo diseño tuvo éxito en casi un ocho por ciento más de las veces que el diseño antiguo. Esta mejora es significativa porque significa que los robots podrían operar mucho más rápido en el mundo real, haciendo menos pausas para pensar, mientras realizan el trabajo correctamente.

Los investigadores partieron de un cerebro robótico popular llamado SmolVLA, que ya es conocido por ser eficiente y preciso. Este sistema funciona mirando una transmisión de cámara y una instrucción de texto, y luego prediciendo un "bloque" (chunk) de movimientos futuros. En lugar de decidir solo un movimiento a la vez, predice una serie completa de acciones, como una película corta de lo que el brazo debe hacer a continuación. El robot entonces lleva a cabo los primeros movimientos de esa serie, se detiene, observa el mundo de nuevo y planea una nueva serie. El número de movimientos que realiza antes de detenerse se llama horizonte de ejecución. Si se detiene después de cada movimiento individual, es muy preciso pero muy lento. Si ejecuta toda la serie sin detenerse, es rápido pero propenso a errores si el entorno cambia.

Para resolver esto, el equipo reemplazó la parte del cerebro del robot que maneja la temporización de estas secuencias de movimientos. El sistema original utilizaba un método estándar llamado autoatención, que es como un foco que permite que cada parte del plan de movimiento mire hacia atrás a cada otra parte para mantenerse coordinada. Los investigadores lo sustituyeron por un método diferente llamado Mamba, que procesa la información de una manera más parecida a un flujo constante de actualizaciones en lugar de un foco. Este nuevo método es mucho más ligero en los recursos informáticos, requiriendo aproximadamente un veinticuatro por ciento menos de parámetros para ser aprendidos, aunque gestiona el flujo del tiempo de manera diferente.

El equipo puso a prueba ambas versiones del cerebro del robot en un entorno simulado lleno de cuarenta tareas diferentes, que iban desde apilar bloques hasta mover objetos hacia objetivos específicos. Hicieron funcionar a los robots en estas tareas bajo tres condiciones diferentes: detenerse después de cada movimiento individual, detenerse después de veinte y cinco movimientos, y detenerse tras la secuencia completa de cincuenta movimientos. Cuando los robots se detenían después de cada movimiento, ambas versiones funcionaban de forma casi idéntica, con el nuevo diseño igualando la tasa de éxito del antiguo. Sin embargo, a medida que se pedía a los robots que ejecutaran secuencias más largas sin detenerse, la diferencia se hizo evidente. El robot con el nuevo diseño Mamba mantuvo su posición mucho mejor. Cuando se le pidió que realizara cincuenta movimientos antes de volver a consultar, el nuevo diseño tuvo éxito en el sesenta y uno punto ocho por ciento de los ensayos, mientras que el diseño antiguo solo tuvo éxito en el cincuenta y tres punto nueve por ciento.

Esta brecha se amplió aún más en tipos específicos de tareas. Cuando el robot tenía que mover objetos a ubicaciones precisas, el nuevo diseño mejoró las tasas de éxito en casi un dieciocho por ciento en el horizonte más largo. Incluso en tareas que involucraban disposiciones espaciales, mejoró en un diez por ciento. Los investigadores descubrieron que el nuevo diseño era particularmente bueno manteniendo los movimientos posteriores de una secuencia coordinados con los anteriores, incluso cuando el robot estaba actuando basándose en un plan que ya no se estaba actualizando con información visual fresca. Esto sugiere que la nueva arquitectura tiene una ventaja natural para predecir cómo debe desarrollarse una secuencia de acciones a lo largo del tiempo.

El estudio confirma que la forma en que un robot planifica sus movimientos importa tanto como la frecuencia con la que comprueba su entorno. Al cambiar el motor interno que coordina una secuencia de acciones, los investigadores demostraron que los robots pueden hacerse más rápidos y eficientes sin volverse torpes. El nuevo diseño no solo mejoró la tasa de éxito para secuencias largas, sino que también redujo el número total de parámetros informáticos necesarios para ejecutar el sistema. Esto significa que, en el futuro, los robots podrían desplegarse en entornos del mundo real donde necesiten actuar de forma rápida y continua, confiando en planes más largos que se mantengan precisos durante más tiempo. El trabajo demuestra que la elección de la arquitectura adecuada puede desbloquear un mejor equilibrio entre velocidad y precisión, acercando el sueño de asistentes robóticos rápidos y fiables un paso más a la realidad.

Resumen Técnico: Modelado de Espacio de Estados Selectivo basado en Mamba para Expertos VLA

1. Planteamiento del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) enfrentan un compromiso fundamental entre la tasa de éxito de las tareas y la latencia computacional, gobernado por el horizonte de ejecución ( $N$ ).

Alta Frecuencia ( $N=1$ ): Ejecutar una única acción por inferencia asegura que la política se mantenga cerca de las observaciones actuales, manteniendo una alta precisión. Sin embargo, esto incurre en sobrecargas computacionales significativas debido a las llamadas frecuentes a la política, lo que hace que el despliegue en tiempo real sea inviable.
Baja Frecuencia ( $N \gg 1$ ): Ejecutar horizontes de acción más largos (trozos o chunks) antes de replanificar reduce la complejidad y la latencia computacionales. No obstante, el robot actúa basándose en observaciones obsoletas durante periodos más largos, lo que típicamente conduce a una degradación en las tasas de éxito de las tareas.

Los enfoques actuales suelen abordar esto mediante mecanismos post-hoc (por ejemplo, inpainting en tiempo de inferencia o truncamiento de trozos) mientras mantienen fija la arquitectura de la política subyacente. Este artículo investiga si los elementos arquitectónicos temporales dentro del propio experto de acción pueden optimizarse para mejorar el compromiso entre precisión y complejidad, específicamente reemplazando la autoatención causal estándar con Modelos de Espacio de Estados (SSM) selectivos basados en Mamba.

2. Metodología

El estudio utiliza la arquitectura SmolVLA como columna vertebral (backbone) de referencia, la cual combina un modelo de visión-lenguaje (VLM) preentrenado con un Experto de Acción (AE) de ajuste de flujo condicional (conditional flow-matching).

Modificación de la Arquitectura Central

Los autores proponen una sustitución directa dentro del Experto de Acción:

Línea Base ( $B_0$ ): Utiliza la estructura original de SmolVLA donde el AE alterna entre capas de fundamentación de atención cruzada (conectando acciones con entradas multimodales) y capas de autoatención causal (modelando dependencias temporales dentro del trozo de acción).
Variante Propuesta ( $M_1$ ): Conserva todas las capas de fundamentación de atención cruzada y el backbone del VLM congelado, pero reemplaza las ocho capas de autoatención causal intra-trozo con bloques de espacio de estados selectivos Mamba-1.

Justificación Técnica

Sesgo Inductivo: Un trozo de acción es una secuencia ordenada donde los comandos posteriores deben permanecer compatibles con los anteriores. Mamba implementa la dinámica de espacio de estados dependiente de la entrada mediante recurrencia causal. Los autores hipotetizan que esta representación recurrente selectiva proporciona un sesgo inductivo más adecuado para la coordinación intra-trozo que las máscaras causales explícitas utilizadas en los Transformers.
Eficiencia de Parámetros: La variante basada en Mamba reduce significativamente el recuento de parámetros entrenables del Experto de Acción de 99.9M a 76.3M (una reducción de aproximadamente un 24%), manteniendo idénticos el backbone y las vías de fundamentación.
Entrenamiento e Inferencia: Ambos modelos se entrenan utilizando un objetivo de ajuste de flujo condicional en el benchmark LIBERO. En la inferencia, ambos generan un trozo fijo de $H=50$ acciones. El horizonte de ejecución $N$ se evalúa a través de $\{1, 25, 50\}$ para medir el rendimiento bajo diversas frecuencias de replanificación.

3. Contribuciones Clave

Investigación Arquitectónica Novedosa: El artículo presenta el primer estudio que aísla el impacto de la mezcla temporal intra-trozo en expertos VLA de ajuste de flujo, reemplazando la autoatención de Transformer con SSMs de Mamba.
Evaluación Consciente del Horizonte: Los modelos se evalúan rigurosamente a través de tres horizontes de ejecución ( $N=1, 25, 50$ ) utilizando las suites de benchmark LIBERO estándar (Spatial, Object, Goal, Long).
Mejora Demostrada del Compromiso (Tradeoff): El estudio muestra que el experto Mamba mejora significamente la retención de éxito a medida que aumenta el horizonte de ejecución, superando al baseline de Transformer en escenarios de largo horizonte.
Ganancias de Eficiencia: La variante Mamba logra un rendimiento comparable al baseline de Transformer en $N=1$ mientras reduce la complejidad del modelo en un 24%.

4. Resultados Experimentales

La evaluación se llevó a cabo en el benchmark de multitarea LIBERO (40 tareas a través de 4 suites) utilizando tres semillas aleatorias.

Tasa de Éxito vs. Horizonte de Ejecución

$N=1$ (Replanificación por cada acción): La variante Mamba ( $M_1$ ) logra una tasa de éxito media del 76.2%, igualando estadísticamente al baseline de Transformer ( $B_0$ ) con un 75.9%.
$N=25$ (Horizonte moderado): $M_1$ supera a $B_0$ en un 3.7% (74.7% frente a 71.0%).
$N=50$ (Ejecución de trozo completo): $M_1$ supera significativamente a $B_0$ en un 7.8% (61.8% frente a 53.9%). Este es el hallazgo más crítico, ya que $N=50$ corresponde a un despliegue en tiempo real factible donde la replanificación es infrecuente.

Retención de Éxito

Al pasar de $N=1$ a $N=50$ :

El baseline de Transformer ( $B_0$ ) sufre una caída de 22.0 puntos porcentuales.
La variante Mamba ( $M_1$ ) sufre una caída de solo 14.5 puntos porcentuales.
Esto indica que $M_1$ retiene 7.5 puntos adicionales de tasa de éxito bajo ejecución de lazo abierto prolongada.

Análisis por Suite

La ventaja de Mamba no es uniforme:

Object Suite: Muestra la mayor ganancia, con $M_1$ rezagado respecto a $B_0$ por 6.0 puntos en $N=1$ , pero superándolo por 17.7 puntos en $N=50$ .
Spatial Suite: $M_1$ gana 10.0 puntos sobre $B_0$ en $N=50$ .
Goal Suite: $B_0$ mantiene una ligera ventaja (1.0 punto) en $N=50$ .
Long Suite: Ambos modelos tienen dificultades, pero $M_1$ mantiene una ventaja pequeña y estable (+4.7 puntos).

5. Significado y Reivindicaciones

El artículo afirma que la superioridad del experto basado en Mamba en la ejecución de largo horizonte se debe probablemente a su recurrencia causal dependiente de la entrada, la cual ofrece un sesgo inductivo más efectivo para coordinar posiciones de acción ordenadas dentro de un trozo en comparación con las máscaras de atención causal explícitas de los Transformers.

La importancia de este trabajo radica en demostrar que el modelado temporal dentro del experto de acción es un factor crítico para el rendimiento de los VLA, independientemente de la obsolescencia de la observación. Al adoptar Mamba, el sistema logra un mejor compromiso entre precisión y complejidad:

Permite un despliegue en tiempo real factible (mediante horizontes de ejecución más largos) sin la severa degradación de precisión observada en los baselines de Transformer.
Reduce la huella computacional (menos parámetros entrenables) mientras mantiene o mejora el rendimiento.

Los autores concluyen que el trabajo futuro debería validar estos hallazgos en robots físicos y en arquitecturas VLA adicionales, pero los resultados actuales establecen que los SSMs basados en Mamba son una alternativa viable y superior a los Transformers para la mezcla temporal intra-trozo en políticas de flujo condicional VLA.