💻 computer science

UniFS: Unified Fast-to-Slow Hierarchical Architecture for Vision-Language-Action Models

UniFS introduce una arquitectura jerárquica unificada de rápido-a-lento para modelos de Visión-Lenguaje-Acción que estratifica las capas de los VLM por frecuencia de actualización y redirige las interacciones de características multiescala para resolver la compensación entre eficiencia y precisión, logrando un rendimiento de vanguardia y una latencia significativamente reducida en el benchmark LIBERO y plataformas de robots reales.

Autores originales: Lin Sun, Zhiwei Guan, Conglin Wang, Zihong Chen, Jianhai Yu, Zongsheng Li, Boyong He, Tao Sun, Jiale Cao, Lige Liu

Publicado 2026-06-23

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Lin Sun, Zhiwei Guan, Conglin Wang, Zihong Chen, Jianhai Yu, Zongsheng Li, Boyong He, Tao Sun, Jiale Cao, Lige Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a realizar una tarea delicada, como apilar bloques o recoger una taza. Para hacer esto, el robot necesita dos cosas trabajando juntas:

El Cerebro (Modelo de Visión-Lenguaje): Esta parte observa la escena, lee las instrucciones y comprende el "panorama general" (por ejemplo, "Necesito apilar el bloque rojo sobre el azul"). Es inteligente, pero lenta para pensar.
Las Manos (Experto en Acción): Esta parte mueve realmente el brazo del robot. Necesita reaccionar instantáneamente para evitar que se caigan las cosas, por lo que debe ser muy rápida.

El Problema: El Dilema de "Velocidad vs. Inteligencia"

Los cerebros de los robots actuales enfrentan un frustrante callejón sin salida.

La Forma Antigua: El "Cerebro" y las "Manos" están separados. El Cerebro envía una actualización lenta a las Manos. Si el Cerebro actualiza con demasiada frecuencia, el robot se vuelve lento y pesado. Si actualiza con demasiada poca frecuencia, las instrucciones del Cerebro se vuelven obsoletas para cuando las Manos las reciben, lo que provoca que el robot actúe basándose en información desactualizada (como intentar atrapar una pelota que ya se ha movido).
La Pérdida de Información: Peor aún, las Manos solo reciben el pensamiento final del Cerebro. Se pierden todos los "pasos de pensamiento" interesantes que el Cerebro realizó en el camino, lo que limita la precisión con la que el robot puede moverse.

La Solución: UniFS (El "Cerebro de Velocidad Múltiple")

Los autores de este artículo, UniFS, observaron cómo funciona el cerebro humano. Notaron que nuestros cerebros no tienen solo una velocidad; procesamos la información a diferentes velocidades simultáneamente. Las ondas rápidas gestionan detalles sensoriales inmediatos (como un ruido repentino), mientras que las ondas lentas gestionan pensamientos profundos y estables (como tu nombre o un plan a largo plazo).

UniFS aplica esta idea a los robots creando una Arquitectura Unificada de Rápido a Lento. Así es como funciona, utilizando analogías simples:

1. El "Equipo por Capas" (Capas Estratificadas)

En lugar de que todo el Cerebro piense a una sola velocidad, UniFS divide las capas del Cerebro en un equipo con diferentes horarios de actualización:

Las Capas Superficiales (Los Exploradores): Estas son las capas externas de la red. Se actualizan muy rápido (en cada paso). Son como exploradores que corren por doquier, informando constantemente de cambios inmediatos en el entorno (por ejemplo, "¡La taza acaba de tambalearse!").
Las Capas Profundas (Los Estrategas): Estas son las capas internas. Se actualizan muy lentamente (solo cada pocos pasos). Son como los generales en un centro de mando, manteniendo el plan estable ("Apilar el bloque rojo") para no distraerse con cada pequeño tambaleo.

El Resultado: El robot obtiene lo mejor de ambos mundos: reacciones instantáneas a los cambios y un plan estable a largo plazo, todo desde un solo cerebro.

2. El "Traspaso Secreto" (Inversión de Vectores Latentes)

Había un problema complicado: en la IA estándar, las capas profundas (los estrategas lentos) en realidad cambiaban demasiado rápido porque estaban demasiado cerca de la salida de la acción. Esto rompía la parte "lenta" del plan.

Para solucionar esto, UniFS utiliza un truco ingenioso llamado Inversión de Vectores Latentes.

La Analogía: Imagina una carrera de relevos donde el testigo se pasa en orden inverso. Normalmente, los corredores "rápidos" (capas superficiales) pasan a los corredores "lentos" (capas profundas). UniFS invierte esto: los detalles sensoriales "rápidos" se envían a las capas que manejan las habilidades motoras finas, mientras que los planes estables "lentos" se envían a las capas que manejan el panorama general.
Por qué ayuda: Esto asegura que los "Estrategas" se mantengan tranquilos y estables, mientras que los "Exploradores" se encargan de los detalles caóticos y de movimiento rápido. Alinea la información correcta con el trabajo adecuado.

3. El "Silbato del Entrenador" (Supervisión Multinivel)

Para asegurar que el robot aprenda correctamente, el proceso de entrenamiento utiliza una Supervisión Multinivel.

La Analogía: En lugar de solo calificar al estudiante (el robot) en el examen final (la acción final), el profesor (el algoritmo de entrenamiento) da retroalimentación en cada etapa del proceso de aprendizaje.
El Objetivo: Esto obliga a las capas "lentas" a aprender cómo hacer planes a largo plazo y a las capas "rápidas" a aprender cómo hacer correcciones rápidas, evitando que el robot tome atajos o se confunda.

Los Resultados: Más Rápidos y Más Inteligentes

El artículo probó este nuevo sistema en un benchmark llamado LIBERO (un conjunto de tareas de manipulación robótica) y en un brazo robótico real (Franka).

Velocidad: El nuevo sistema es 2.1 veces más rápido que los métodos anteriores. Redujo el tiempo que tarda en tomar una decisión de 36.5 milisegundos a solo 17.8 milisegundos. Esto es como pasar de un caracol lento a un velocista ágil.
Tasa de Éxito: Logró una tasa de éxito del 98.3%, que es la más alta (estado del arte) en comparación con otros modelos.
Memoria: Debido a que las capas "lentas" no se actualizan en cada paso, retienen naturalmente el contexto pasado sin necesidad de bancos de memoria adicionales. Es como tener una memoria a corto plazo integrada que recuerda automáticamente lo que sucedió hace unos segundos.

Resumen

UniFS es como darle a un robot un cerebro que puede pensar a múltiples velocidades a la vez. Tiene una capa exterior de reacción rápida para la seguridad inmediata y una capa interior lenta y estable para la planificación a largo plazo. Al invertir cómo estas capas se comunican con las manos del robot y entrenarlas con retroalimentación específica en cada nivel, el robot se vuelve más rápido y preciso que nunca.

Resumen Técnico: UniFS

Planteamiento del Problema
Los modelos de Visión-Lenguaje-Acción (VLA) convencionales enfrentan un "dilema de frecuencia" crítico cuando se despliegan para el control robótico en tiempo real. Aunque los Modelos de Visión-Lenguaje (VLM) a gran escala proporcionan un fuerte razonamiento semántico, su costo computacional limita las frecuencias de inferencia a 1–10 Hz, lo cual es insuficiente para un control de bucle cerrado estable en entornos dinámicos (que típicamente requiere >50 Hz). Para abordar esto, las arquitecturas existentes de sistema dual Rápido-Lento desacoplan un "Sistema Rápido" (experto en acción) de alta frecuencia de un "Sistema Lento" (VLM) de baja frecuencia. Sin embargo, estos enfoques sufren dos limitaciones fundamentales:

Compromiso entre Deriva Semántica y Eficiencia: Los grandes intervalos de actualización entre el VLM y el experto en acción provocan que este último dependa de un contexto desactualizado, lo que conduce a una deriva semántica. Por el contrario, reducir estos intervalos anula el ahorro computacional pretendido.
Pérdida de Información: Los paradigmas actuales (ya sean módulos separados o expertos embebidos) típicamente alimentan al experto en acción únicamente con la representación de la última capa del VLM a una frecuencia fija única. Esto descarta características intermedias ricas, limitando el acoplamiento de información y la precisión de la manipulación.

Metodología: Arquitectura UniFS
Inspirado en el procesamiento neural de múltiples escalas de tiempo en el cerebro humano (por ejemplo, bandas de frecuencia distintas para el procesamiento sensorial frente al cognitivo), los autores proponen UniFS, una arquitectura jerárquica unificada de rápido a lento. En lugar de separar los módulos, UniFS integra la dinámica de múltiples frecuencias dentro de un único esqueleto (backbone) de VLM. El método se basa en tres diseños clave:

Arquitectura de Rápido a Lento (FSA - Fast-to-Slow Architecture):
Las capas del VLM se estratifican en grupos con frecuencias de actualización progresivamente decrecientes. Las capas superficiales se actualizan a altas frecuencias para capturar la dinámica de cambio rápido, mientras que las capas profundas se actualizan con menos frecuencia para almacenar el contexto semántico estable. Esto se logra mediante un mecanismo de ejecución asíncrona por capas donde el grupo de la $k$ -ésima capa se actualiza solo cada $n_k$ pasos de tiempo ( $n_1 < n_2 < \dots < n_K$ ).
Inversión de Vectores Latentes (LVI - Latent Vector Inversion):
El análisis empírico revela que, en los VLM estándar, las capas más profundas suelen exhibir una mayor variabilidad temporal debido a su proximidad a la salida de la acción. Esto entra en conflicto con el objetivo de almacenar características estables en las capas profundas. UniFS introduce un mecanismo de "inversión de vectores latentes" que redirige el orden de interacción:

Características profundas (originalmente de variación rápida) se invierten para interactuar con salidas de acción refinadas (planificación gruesa).
Características superficiales (originalmente de variación lenta) se invierten para interactuar con propuestas de acción iniciales ruidosas (decodificación de grano fino).
Esta alineación asegura que las representaciones de variación rápida guíen las acciones de grano fino, mientras que las representaciones de variación lenta apoyen la planificación estable.

Reemplazo de Características de Frecuencia (FFR - Frequency Feature Replacement) y Supervisión Multinivel:

Eficiencia de Entrenamiento: Para permitir el entrenamiento paralelo a pesar de las actualizaciones asíncronas, los autores proponen FFR. En lugar de omitir capas durante el paso hacia adelante (lo que rompería los grafos de computación estáticos), el modelo calcula todas las características para todos los pasos de tiempo en un lote y luego las alinea retrospectivamente con sus frecuencias de actualización prescritas mediante una operación de indexación diferenciable.
Jerarquía de Aprendizaje: Una estrategia de supervisión multinivel aplica pérdidas auxiliares en cada grupo de frecuencia dentro del experto en acción. Esto impone una jerarquía de aprendizaje de grueso a fino, evitando que el modelo aprenda atajos a través de los componentes de frecuencia rápida y asegurando que las capas lentas aprendan planes estables de largo horizonte.

Resultados Clave
Los experimentos se realizaron en el benchmark LIBERO (130 tareas a través de cuatro suites) y en una plataforma de robot real Franka Research 3 (FR3).

Desempeño: UniFS logra una tasa de éxito promedio de estado del arte del 98.3% en LIBERO, una mejora del 2.5% sobre la línea base VLA-Adapter.
Eficiencia: La arquitectura reduce la latencia de inferencia promedio de 36.5 ms a 17.8 ms (una aceleración de 2.1x), con una aceleración teórica de aproximadamente 2.6x.
Despliegue en el Mundo Real: En la plataforma Franka, UniFS manejó con éxito tareas que van desde el agarre básico (7% de éxito) hasta tareas de intercambio complejas que requieren memoria a corto plazo (50% de éxito).
Estudios de Ablación: Eliminar la Inversión de Vectores Latentes causó una caída significativa en el desempeño (de 98.3% a 70.3% en configuraciones específicas), resaltando la necesidad de alinear las frecuencias de las características con las necesidades del experto en acción.

Significancia y Reivindicaciones
El artículo sostiene que UniFS resuelve el dilema fundamental de la frecuencia en los sistemas duales Rápido-Lento al unificarlos en un solo esqueleto. Sus principales contribuciones son:

Representación Unificada de Múltiples Escalas de Tiempo: Genera directamente vectores latentes de múltiples escalas de tiempo a partir de un solo VLM, mejorando la alineación entre las representaciones visuales, lingüísticas y de acción sin el enlace rígido de módulos separados.
Memoria Implícita: Al almacenar rutas de frecuencia lenta, el modelo preserva intrínsecamente las dependencias históricas a través de los pasos sin requerir búferes de memoria explícitos, una capacidad ausente en los sistemas duales convencionales.
Eficiencia sin Sacrificio: Demuestra que se puede lograr una aceleración sustancial de la inferencia sin comprometer el desempeño, desacoplando efectivamente la complejidad computacional de la frecuencia de control.

Los autores señalan limitaciones, específicamente que el proceso de entrenamiento no se beneficia de la aceleración de la inferencia (debido a la necesidad de pasos hacia adelante paralelos completos en FFR) y que la arquitectura requiere un ajuste fino cuidadoso para evitar cambios en la distribución que puedan interferir con el conocimiento semántico preentrenado. El trabajo futuro busca extender UniFS a esqueletos más avanzados como $\pi_0$ e integrarlo en el preentrenamiento a gran escala.