Resumen Técnico: RLDX-1

Enunciado del Problema

Aunque los modelos Visión-Lenguaje-Acción (VLA) han demostrado un progreso significativo en la "inteligencia versátil"—la capacidad de comprender diversas escenas visuales, seguir instrucciones en lenguaje y generalizar entre tareas—, a menudo tienen dificultades con tareas complejas de manipulación en el mundo real que requieren capacidades funcionales más amplias. Específicamente, los VLA existentes carecen de mecanismos explícitos para la conciencia del movimiento (actuar en entornos dinámicos con objetos en movimiento), la memoria a largo plazo (razonar sobre historiales de interacción extendidos más allá de los marcos a corto plazo) y la percepción física (inferir fuerzas de contacto y torques bajo oclusión o cambios visuales sutiles). Estas limitaciones obstaculizan el despliegue de robots generalistas en escenarios dinámicos, ricos en contacto y de largo horizonte.

Metodología

Los autores presentan RLDX-1, una política robótica de propósito general diseñada para la manipulación diestra similar a la humana. El sistema integra diversas capacidades funcionales en un marco unificado que abarca arquitectura, datos, entrenamiento e inferencia.

1. Arquitectura Neuronal: Transformador de Acción de Múltiples Flujos (MSAT)

RLDX-1 se basa en una arquitectura VLA de ajuste de flujo, pero la extiende con tres módulos funcionales clave y un diseño novedoso de transformador:

• Conciencia del Movimiento: La columna vertebral del Modelo Visión-Lenguaje (VLM) se complementa con un Módulo de Movimiento que integra la auto-similitud espacio-temporal (STSS) en el codificador de visión para capturar la dinámica temporal. Además, los marcos de video pasados se comprimen en un único token de contexto para modelar eficientemente el contexto temporal.
• Memoria a Largo Plazo: Un Módulo de Memoria explícito mantiene una cola de características de cognición pasadas, permitiendo que el modelo razone sobre historiales de observación a largo plazo (por ejemplo, para juegos de conchas o tareas de múltiples pasos).
• Percepción Física: Un Flujo de Física dedicado procesa señales físicas (datos de torque y táctiles) por separado de las entradas visuales y de lenguaje. Este flujo predice señales físicas futuras junto con las acciones, fomentando que el modelo internalice la dinámica de contacto.
• Arquitectura MSAT: Para manejar estas modalidades heterogéneas, los autores proponen el Transformador de Acción de Múltiples Flujos. Asigna flujos dedicados a la Cognición (visual/lenguaje), la Acción (propiocepción/acciones ruidosas) y la Física (táctil/torque). Estos flujos interactúan mediante atención conjunta, manteniendo parámetros específicos de cada modalidad, lo que permite el intercambio de información entre modalidades sin perder la fidelidad de la representación.

2. Datos de Entrenamiento y Pipeline

La estrategia de entrenamiento se basa en un pipeline de tres etapas y una mezcla diversa de datos:

• Fuentes de Datos: El modelo se entrena con una combinación de (a) grandes conjuntos de datos públicos del mundo real (Open-X-Embodiment, DROID, Galaxea, Agibot World, etc.), (b) datos internos de las plataformas humanoides ALLEX y Franka Research 3 (FR3) con sensores aumentados, y (c) datos sintéticos.
• Generación de Datos Sintéticos: Para abordar la escasez de datos en escenarios diestros raros, los autores emplean un pipeline que utiliza modelos generativos de video (Imagen-a-Video) para aumentar escenas y tareas. Esto se sigue de una etiquetado de acciones mediante un Modelo de Dinámica Inversa (IDM) y un riguroso proceso de filtrado en dos etapas: Filtrado de Calidad de Video (usando VLMs) y Filtrado de Consistencia de Movimiento (comparando despliegues del simulador contra los videos generados).
• Entrenamiento en Tres Etapas:
  1. Pre-entrenamiento: Entrenado en diversos datos multi-encarnación para aprender priores generales de manipulación.
  2. Entrenamiento Intermedio: Entrenamiento especializado en datos específicos de la encarnación (ALLEX y FR3) para inyectar capacidades funcionales (movimiento, memoria, física) utilizando datos internos y sintéticos.
  3. Post-entrenamiento: Ajuste fino específico de la tarea, opcionalmente mejorado con Aprendizaje por Refuerzo (RL) utilizando un crítico derivado de VLM (marco RECAP) para refinar el rendimiento en tareas desafiantes.

3. Optimización de Inferencia

Para habilitar el control en tiempo real en robots reales, los autores implementan un pipeline de optimización de inferencia en dos etapas:

• Optimización de Captura de Gráficos: Convierte el modelo en un Grafo CUDA estático para eliminar la sobrecarga de lanzamiento de kernels y la fragmentación de gráficos.
• Optimización de Kernels: Diseña kernels fusionados personalizados (por ejemplo, fusionando RMSNorm, RoPE y atención) para reducir el tráfico de memoria y mejorar la eficiencia de ejecución en cargas de trabajo de prellenado corto.
  Estas optimizaciones reducen la latencia por paso de ~71.2 ms a 43.7 ms en una NVIDIA RTX 5090, logrando una aceleración de 1.63×.

Resultados Clave

RLDX-1 fue evaluado en benchmarks de simulación y experimentos en el mundo real en las plataformas OpenArm, ALLEX y Franka Research 3, superando a líneas base de última generación como $\pi0.5$ y GR00T N1.6.

• Benchmarks de Simulación: RLDX-1 logró las tasas de éxito más altas en todos los benchmarks, incluyendo LIBERO (97.8%), RoboCasa Kitchen (70.6%) y GR-1 Tabletop (58.7%). Cabe destacar que mostró una robustez superior en las variantes LIBERO-Plus y SIMPLER en comparación con las líneas base.
• Versatilidad en el Mundo Real (OpenArm): En tareas que requerían seguimiento de instrucciones y generalización a objetos/tareas no vistas, RLDX-1 superó significativamente a las líneas base, alcanzando un 54.2% en objetos no vistos frente al 37.5% de $\pi0.5$.
• Capacidades Funcionales (ALLEX y FR3):
  • Conciencia del Movimiento: En tareas de cinta transportadora con velocidades variables, RLDX-1 logró una tasa de éxito promedio del 86.8%, mientras que las líneas base colapsaron a ~40% o fallaron en velocidades no vistas.
  • Memoria a Largo Plazo: En las tareas "Selección de Objeto en Caja" y "Juego de Conchas", RLDX-1 alcanzó tasas de éxito del 91.7% y 91.7% respectivamente, mientras que las líneas base rindieron cerca del azar (~30-50%).
  • Percepción Física: En tareas ricas en contacto como "Inserción de Enchufe" y "Recoger y Colocar Huevo", RLDX-1 aprovechó la retroalimentación de torque y táctil para lograr tasas de éxito del 33.3% y 61.1%, superando significativamente a las líneas base que tuvieron dificultades con las fuerzas de contacto.
• Rendimiento de Inferencia: El pipeline optimizado logró una aceleración de 1.63×, permitiendo el despliegue en tiempo real.

Significado y Afirmaciones

El artículo afirma que RLDX-1 representa un paso significativo hacia VLA confiables para la manipulación diestra compleja, rica en contacto y dinámica en el mundo real. Al ir más allá de la "inteligencia versátil" para integrar explícitamente la conciencia del movimiento, la memoria a largo plazo y la percepción física en una arquitectura unificada de extremo a extremo, RLDX-1 aborda brechas críticas en las políticas actuales de robots generalistas.

Los autores enfatizan que su enfoque no es meramente una escalada de modelos VLA existentes, sino una integración estructural de capacidades funcionales necesarias para la manipulación similar a la humana. El éxito del pipeline de datos sintéticos para aumentar los datos del mundo real y la efectividad del procedimiento de entrenamiento en tres etapas demuestran un camino escalable hacia el despliegue de políticas generalistas en diversas encarnaciones. Los resultados en el humanoide ALLEX, donde RLDX-1 alcanza ~90% de éxito en tareas funcionales frente a ~40% para modelos de vanguardia, destacan la capacidad del modelo para controlar robots de alto grado de libertad bajo diversas demandas funcionales.