🤖 machine learning

REFACTOR-VLA: Unsupervised Library Learning of Typed Motor Programs

REFAC-VLA es un marco de trabajo de vigilia/sueño que aprende programas motores reutilizables y tipados mediante el agrupamiento de fragmentos de acción a través de un núcleo de equivalencia conductual y un modelo de mundo latente, logrando un rendimiento de vanguardia en tareas LIBERO de largo horizonte mediante un decodificador condicionado por una biblioteca y un objetivo de entrenamiento que prioriza la calidad del agrupamiento sobre la capacidad del modelo.

Autores originales: Riyaaz Shaik, Chandru Venkataraman

Publicado 2026-09-02

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Riyaaz Shaik, Chandru Venkataraman

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los robots están mejorando en su capacidad para ver el mundo y moverse a través de él, pero todavía tienen dificultades con el tipo de tareas complejas y de múltiples pasos que los humanos manejan con facilidad. Cuando una persona prepara un sándwich, no piensa en cada uno de los espasmos musculares necesarios para agarrar el pan, untar la mantequilla o cortar el tomate. En su lugar, confía en una biblioteca mental de acciones familiares —agarrar, untar, cortar— que puede encadenar en diferentes órdenes. Los modelos actuales de inteligencia artificial para robots suelen carecer de esta capacidad para organizar el comportamiento. Tienden a generar comandos brutos, momento a momento, sin agruparlos en habilidades reutilizables y bien definidas. Esto dificulta que puedan planificar con antelación tareas largas o que expliquen lo que han aprendido. Los investigadores están intentando ahora enseñar a las máquinas a construir sus propias bibliotecas internas de habilidades, permitiéndoles descomponer trabajos complicados en piezas más pequeñas y manejables que puedan ser reutilizadas y combinadas.

Un equipo de investigadores de Apple ha desarrollado un nuevo sistema llamado REFACTOR-VLA que intenta resolver este problema enseñando a un robot a descubrir sus propias habilidades sin etiquetas humanas. El sistema funciona en dos fases alternas, de forma muy parecida a como un humano podría practicar un nuevo movimiento y luego descansar para dejar que el cerebro organice la memoria. En la primera fase, el robot aprende a predecir qué sucederá después si realiza una cierta secuencia de movimientos. Construye un modelo mental del mundo, comprendiendo cómo sus acciones cambian el entorno. En la segunda fase, el sistema analiza la vasta cantidad de datos de movimiento que ha recolectado e intenta encontrar patrones. Se plantea una pregunta simple pero difícil: ¿producen dos secuencias de movimientos diferentes el mismo resultado? Si un robot mueve su brazo en un círculo para recoger una taza, o mueve su brazo en línea recta para hacer lo mismo, el sistema necesita reconocer que ambos caminos logran el mismo objetivo.

Para responder a esto, los investigadores crearon una herramienta especial que mide el resultado de las acciones en lugar de solo su apariencia. En lugar de mirar el video bruto del robot moviéndose, el sistema simula la acción en su modelo mental aprendido para ver dónde termina el robot y qué recompensa obtiene. Si dos caminos de movimiento distintos conducen al mismo estado final y a la misma recompensa, el sistema los trata como equivalentes. Luego, agrupa estos caminos similares en una única habilidad reutilizable. Una vez que se forma un grupo, el sistema intenta escribir un programa simple y estructurado que describa el patrón común de esa habilidad. Este programa se añade entonces a una biblioteca. El robot puede usar esta biblioteca más tarde para planificar nuevas tareas, recurriendo a estas habilidades preempaquetadas en lugar de calcular cada pequeño movimiento desde cero.

Los investigadores probaron este enfoque en un conjunto estándar de tareas robóticas que involucran el movimiento de objetos en un entorno simulado. Descubrieron algo sorprendente sobre cómo aprenden estos sistemas. Una creencia común en la inteligencia artificial es que hacer un modelo más grande y complejo siempre conduce a un mejor rendimiento. Sin embargo, cuando los investigadores aumentaron el tamaño de su modelo de mundo de aproximadamente 188 millones de parámetros a 430 millones, el sistema funcionó peor en todas las pruebas. El modelo más grande no logró organizar las habilidades correctamente, lo que sugiere que simplemente añadir más potencia de cómputo no es la solución.

En cambio, la clave del éxito residía en cómo se entrenaba el modelo. Los investigadores descubrieron que añadir un tipo específico de objetivo de aprendizaje durante la fase inicial de entrenamiento mejoraba drásticamente los resultados. Este objetivo ayudó al sistema a distinguir entre diferentes tareas de manera más clara, permitiéndole agrupar movimientos similares de manera mucho más efectiva. Con este cambio, el sistema superó a los métodos más fuertes existentes en las cuatro principales suites de pruebas, mejorando su puntuación promedio por un margen significativo. El sistema construyó con éxito una biblioteca de tres habilidades distintas y reutilizables para una tarea específica, y un robot que utilizaba esta biblioteca fue capaz de reescribir cada una de las demostraciones que había visto utilizando estas nuevas habilidades.

El estudio también reveló que la capacidad del sistema para encontrar estas habilidades depende en gran medida del tipo de datos que analiza. Si bien el sistema creó con éxito una biblioteca de instrucciones basadas en el lenguaje, tales como "recoger el objeto y colocarlo en la cesta", falló al intentar encontrar patrones reutilizables en los comandos motores brutos en sí mismos. Esto sugiere que el sistema es mejor comprendiendo los objetivos de alto nivel de una tarea que los detalles físicos de bajo nivel de cómo moverse. Los investigadores midieron la consistencia de sus resultados a través de muchas ejecuciones de entrenamiento diferentes y encontraron que el sistema descubría de manera fiable agrupaciones de habilidades similares, con un alto grado de acuerdo entre diferentes versiones del modelo.

Este trabajo demuestra que la forma en que un robot organiza sus experiencias es más importante que el tamaño bruto de su cerebro. Al centrarse en los resultados de las acciones y utilizar un método estructurado para agruparlas, el sistema puede construir una biblioteca de habilidades que le ayuda a abordar tareas complejas y de larga duración. El sistema puede construir una biblioteca de habilidades que le ayuda a abordar tareas complejas y de largo plazo. Los hallazgos desafían la idea de que más grande es siempre mejor y apuntan hacia un futuro donde los robots puedan aprender a pensar en términos de acciones reutilizables, tal como hacen los humanos. Los investigadores han puesto su código y sus datos a disposición de los demás, permitiendo que otros verifiquen estos resultados y construyan sobre este nuevo enfoque de aprendizaje robótico.

Resumen Técnico: REFACTOR-VLA

Declaración del Problema

Los modelos actuales de Visión-Lenguaje-Acción (VLA) (por ejemplo, OpenVLA, $\pi_0$ , RT-2) son mayoritariamente "monolíticos", generando comandos motores brutos o secuencias de acciones cortas sin organizar los comportamientos en abstracciones reutilizables y bien definidas. Esta limitación resulta en un rendimiento deficiente en tareas de largo horizonte y en una falta de interpretabilidad respecto a los comportamientos aprendidos.

Los enfoques de descubrimiento de habilidades existentes tienen dificultades con el problema central de definir la equivalencia conductual en espacios de acción continuos. Métodos como AtomicVLA y AtomSkill dependen del agrupamiento (clustering) de embeddings contrastivos, mientras que BLADE y LRLL utilizan Modelos de Lenguaje Grandes (LLMs) para juzgar la equivalencia. Sin embargo, estos enfoques suelen estar descalibrados respecto a la dinámica específica del robot: pueden tratar fragmentos de trayectoria con resultados físicos idénticos pero caminos de acción distintos como distintos, o agrupar fragmentos con formas superficiales similares pero con consecuencias dinámicas diferentes. Además, no se ha demostrado que el simple escalado de la capacidad del modelo de mundo mejore consistentemente las representaciones de las habilidades.

Metodología: REFACTOR-VLA

REFACTOR-VLA es un marco unificado que combina las fortalezas de nivel de sistemas de los modelos VLA con las garantías formales del aprendizaje de librerías de despertar/dormir (wake/sleep). Opera mediante un esquema de tres fases para aprender programas motores tipados y reutilizables.

1. Arquitectura Central

El sistema consta de cuatro módulos:

Modelo de Mundo Latente ( $M_\phi$ ): Un modelo jerárquico de estilo DreamerV3 con un codificador visual DINOv2 congelado. Aprende a predecir estados futuros y retornos en un espacio latente.
Núcleo de Equivalencia Conductual (BEK): Una métrica de divergencia $D_\phi(\tau, \tau')$ $D_{ϕ} (τ, τ^{'})$ que cuantifica la diferencia entre fragmentos de trayectoria. Se define como una suma ponderada de:
- Diferencia de Valor: La diferencia absoluta en los retornos esperados cuando los fragmentos se ejecutan desde el mismo estado inicial.
- Distancia de Wasserstein ( $W_2$ ): La distancia entre las distribuciones de despliegue (rollout) latentes de $k$ pasos.
- Este núcleo se implementa mediante un amortizador siamés ( $k_\chi$ ), un transformador ligero destilado de $M_\phi$ para computar eficientemente los embeddings para el agrupamiento.
Emisor de Programas Tipados (TPE): Un transformador de decodificación causal que genera términos $\lambda$ tipados sobre un vocabulario de Hindley–Milner (que incluye primitivas como Twist, Wrench, GripperPhase, Pose y Lang).
Decodificador de Acción Condicionado por Librería (LCAD): Un decodificador de flujo rectificado que produce bloques de acción de 16 pasos, condicionado por la librería activa de abstracciones.

2. El Bucle Despertar/Dormir (Wake/Sleep Loop)

El entrenamiento alterna entre dos fases:

Fase A (Calentamiento del Modelo de Mundo): $M_\phi$ se preentrena en demostraciones puras. Crucialmente, los autores introducen una pérdida contrastiva supervisada InfoNCE auxiliar durante esta fase para fomentar direcciones discriminativas de la tarea en el espacio latente.
Fase B (Fase de Despertar - Wake Phase): La política ( $\pi_\theta$ ) se optimiza utilizando la librería actual de habilidades. El TPE genera programas tipados y el LCAD produce las acciones.
Fase C (Fase de Dormir - Sleep Phase): El sistema descubre nuevas habilidades.
1. Agrupamiento (Clustering): Los fragmentos de trayectoria se agrupan utilizando el BEK ( $D_\phi$ ) y KMeans.
2. Abstracción: La anti-unificación sintáctica descendente extrae subestructuras gramaticales comunes de los fragmentos agrupados, compilándolos en programas $\lambda$ tipados.
3. Puertas de Admisión (Admission Gates): Una abstracción candidata solo se admite en la librería si satisface:
  - Solidez del BEK: La abstracción debe ser conductualmente equivalente a los fragmentos originales dentro de un umbral $\epsilon$ .
  - Preservación del Retorno: La abstracción no debe degradar el retorno esperado (verificado mediante despliegues).
  - Longitud de Descripción Mínima (MDL): La abstracción debe proporcionar una ganancia neta en la compresión de datos (> 4 nats).

Principales Contribuciones

Formulación del BEK: Una métrica de divergencia a nivel de fragmento basada en diferencias de valor y distancias de Wasserstein de despliegues latentes, utilizada como un núcleo de agrupamiento que respeta la dinámica del sistema.
Emisor de Lambda Tipado y LCAD: Un sistema que genera programas lambda verificados por tipo sobre un vocabulario estructurado y condiciona un decodificador de flujo rectificado a estos programas.
Bucle Despertar/Dormir con Admisión Basada en MDL: Un marco riguroso donde las abstracciones solo se admiten si satisfacen simultáneamente los criterios de solidez, preservación del retorno y compresión.
Validación Empírica: Evaluación exhaustiva en el conjunto de pruebas LIBERO completo, incluyendo estudios de ablación y análisis de convergencia entre proveedores.

Resultados

El artículo presenta dos hallazgos primarios que desafían las leyes de escalado convencionales:

Falsificación de Capacidad: Aumentar el tamaño del modelo de mundo latente de 188M a 430M de parámetros empeoró el rendimiento en los 4 conjuntos de LIBERO (disminuyendo la NMI de 0.018 a 0.146). Esto refuta la hipótesis de que modelos de mundo más grandes producen inherentemente mejores representaciones de habilidades.
Dominancia de la Forma del Objetivo: Añadir una pérdida InfoNCE supervisada auxiliar durante el calentamiento de la Fase A mejoró significativamente el descubrimiento de habilidades. Este cambio aumentó la Información Mutua Normalizada (NMI) del agrupamiento del BEK en un promedio de +0.252 (mejora relativa del 50.7%) en todos los conjuntos.
- Comparación Directa (Head-to-Head): Con el objetivo InfoNCE, REFACTOR-VLA superó a los baselines publicados más fuertes (AtomicVLA, AtomSkill, BLADE, LRLL) en los 4 conjuntos de LIBERO, logrando una mejora media de $\Delta = +0.184$ .
- Convergencia entre Proveedores: En un análisis de convergencia entre proveedores ( $n=12$ ), la NMI media por pares fue de 0.705 con un intervalo de confianza de bootstrap del 95% de [0.683, 0.729]. Aunque la media supera el umbral de 0.70, el límite inferior está ligeramente por debajo, lo que indica que el resultado es "limítrofe respecto al umbral" pero robustamente por encima del suelo sustancial de 0.60.
- Aprendizaje de Librería: El sistema descubrió con éxito la primera librería de lenguaje de tareas estructurada para LIBERO (3 abstracciones en el slot Lang) y reescribió con éxito el 100% de las demostraciones muestreadas utilizando estas habilidades.

Significado y Reivindicaciones

El artículo sostiene que la forma del objetivo de entrenamiento es un palanca más crítica para el descubrimiento de habilidades que la capacidad del modelo. Específicamente, la introducción de un objetivo contrastivo supervisado (InfoNCE) durante el calentamiento del modelo de mundo alinea el espacio latente con clases de bisimulación discriminativas de la tarea, permitiendo un agrupamiento de equivalencia conductual efectivo.

Los autores posicionan a REFACTOR-VLA como un paso hacia el aprendizaje robótico interpretable y compositivo. Al enmarcar el descubrimiento de habilidades como un problema de estimación de densidad con garantías formales (MDL y preservación del retorno), el sistema evita la naturaleza de "caja negra" de los VLA monolíticos. Los resultados sugieren que, para tareas robóticas de largo horizonte, optimizar la estructura de la señal de aprendizaje es más efectivo que simplemente escalar parámetros.

El artículo se mantiene modesto respecto a aplicaciones de corpus abierto, señalando que el enfoque InfoNCE actual depende de las etiquetas de tareas disponibles en el conjunto de datos LIBERO, y que se requiere trabajo futuro para adaptar estos mecanismos a entornos de vocabulario abierto y sin etiquetas (por ejemplo, utilizando pseudo-etiquetas generadas por VLM o muestreo contrastivo autosupervisado).