Resumen Técnico: Optimización de Arnés Robótico (RHO)

Planteamiento del Problema

El enfoque Code-as-Policies (CaP) ha demostrado que los Modelos de Lenguaje de Gran Escala (LLMs) pueden escribir código ejecutable para componer primitivas de percepción, planificación y control para la robótica. Sin embargo, los sistemas actuales de CaP dependen fuertemente de bucles de generación de código de múltiples turnos en el tiempo de ejecución para gestionar la retroalimentación de la ejecución, las diferencias visuales y la corrección de errores. Este enfoque suele ser inviable para el control robótico en tiempo real debido a la latencia y al coste computacional de escalar las llamadas de inferencia.

Por el contrario, los modelos de Visión-Lenguaje-Acción (VLA), que mapean píxeles y lenguaje directamente a acciones, tienen dificultades con la generalización. Cuando se enfrentan a entornos perturbados (por ejemplo, cambios en la posición de los objetos o en las descripciones de las tareas), los modelos VLA como OpenVLA y $\pi_0.5$ sufren caídas catastróficas de rendimiento (por ejemplo, 0.0% y 12.83% de éxito en las perturbaciones de LIBERO-PRO, respectivamente).

El desafío central es desarrollar un paradigma de control robótico que:

1. Evite la inferencia iterativa de LLM durante el despliegue (permitiendo el control en tiempo real).
2. Se generalice de forma robusta ante cambios en la distribución y perturbaciones donde los VLA fallan.
3. Produzca políticas interpretables y depurables en lugar de redes neuronales de caja negra.

Metodología: Optimización de Arnés Robótico (RHO)

Los autores presentan la Optimización de Arnés Robótico (RHO), un paradigma que traslada la carga computacional de la generación en el tiempo de prueba a la búsqueda evolutiva en el tiempo de entrenamiento. En lugar de optimizar un único prompt o función, RHO evoluciona repositorios de políticas neurosimbólicas de múltiples archivos (Repositories-as-Policies).

Componentes Principales

1. HELIX (Exploración Jerárquica mediante Evolución Informada por LLM):

   • Un optimizador evolutivo reflexivo que eleva el espacio de búsqueda de artefactos individuales a repositorios completos de múltiples archivos.
   • Mutador: Un agente de codificación habilitado para el uso de herramientas (por ejemplo, Codex, Claude Code) que actúa como el operador de mutación. Dentro de un solo paso de generación, el agente puede:
     • Editar múltiples archivos en el repositorio.
     • Escribir y ejecutar pruebas efímeras.
     • Ejecutar políticas candidatas en el entorno del robot a través de una interfaz de lista blanca.
     • Leer trazas de error (tracebacks) y stderr.
     • Consultar un módulo de diferencia visual (VDM) para comparar estados de la escena.
   • Reflexión: El agente recibe un prompt de reflexión que resume los fallos y éxitos de la generación anterior para guiar la siguiente mutación.

2. Repositorios-como-Políticas:

   • El artefacto candidato es un sistema de software desplegable que contiene un enrutador de tareas, rutinas de control, envoltorios de percepción, ayudantes de agarre y, si procede, el arnés del LLM.
   • Estos son neurosimbólicos: el código simbólico compone servicios de percepción y agarre aprendidos mediante redes neuronales con primitivas de movimiento.

3. Entornos-Robóticos-como-un-Servicio (REaaS) y Aislamiento:

   • REaaS: Proporciona acceso aislado y de lista blanca a entornos robóticos (simuladores) para que el agente de codificación ejecute los candidatos y recopile retroalimentación.
   • Mecanismos de Aislamiento: Para evitar el reward hacking (por ejemplo, que los agentes codifiquen soluciones de forma directa o lean el interior del evaluador), RHO impone límites estrictos. El espacio de trabajo del mutador es un proxy lateral que excluye el código fuente del evaluador, las divisiones de los benchmarks y los prompts del juez.

4. Bucle de Optimización:

   • Selección: Los candidatos se evalúan en un minilote (minibatch) de entrenamiento. Un "hijo" es aceptado si mejora estrictamente la recompensa modelada total sobre el "padre" (o cumple con un umbral $\ge$ relajado).
   • Frontera de Pareto: En lugar de una única cadena de mejoras, RHO mantiene una frontera de Pareto de candidatos basada en la dominancia de cobertura. Un repositorio se retiene si es el mejor ejecutor en al menos una instancia de validación y no está dominado por otro repositorio superviviente. Esto asegura la diversidad y evita la convergencia prematura.
   • Despliegue: La política desplegada final es el repositorio con la mayor recompensa media de validación de la frontera terminal. Crucialmente, no ocurre generación de código por LLM en el tiempo de despliegue; el repositorio se ejecuta como un controlador Python estático (o un arnés fijo para sistemas con LLM en el bucle).

Contribuciones Clave

1. Optimización de Arnés Robótico (RHO): Un nuevo paradigma que evoluciona repositorios neurosimbólicos de múltiples archivos interpretables en lugar de simples prompts o funciones, trasladando la optimización al tiempo de entrenamiento para eliminar los bucles de inferencia de LLM en el tiempo de ejecución.
2. Mutación Reflexiva Habilitada para Herramientas: El primer optimizador evolutivo donde el mutador es un agente de codificación capaz de interactuar con el entorno, leer trazas de error y editar múltiples archivos dentro de un solo paso de mutación.
3. Políticas Robustas y Generalizables: Demostrar que RHO produce políticas que superan tanto a los sistemas de agentes de múltiples turnos como a los modelos base VLA en evaluaciones de un solo turno, particularmente bajo cambios en la distribución.

Resultados Experimentales

Los autores evaluaron RHO en tres benchmarks: CaP-Bench Robosuite, LIBERO-PRO y Robotec's RAI O3DE.

1. CaP-Bench Robosuite (Manipulación)

• Configuración: Ejecución de un solo turno (S4) sin llamadas de generación de código de LLM durante el despliegue.
• Rendimiento: RHO logró una tasa de éxito del 70.0% (490/700 ensayos).
• Comparación: Esto supera el récord publicado más fuerte de múltiples turnos (68.29% por CaP-Agent0, que requería hasta 66 llamadas de LLM por ensayo). Cuando se restringió a ejecución de un solo turno, el rendimiento de CaP-Agent0 colapsó al 24.0%.
• Eficiencia: RHO logró esto con cero llamadas de LLM durante el bucle de control en el despliegue.

2. LIBERO-PRO (Generalización bajo Perturbación)

• Configuración: Tareas de recogida y colocación (pick-and-place) perturbadas (cambios de objeto/objetivo/espacio y cambios en la descripción de la tarea) donde los VLA suelen fallar.
• Rendimiento: RHO logró un 45.0% de éxito (1351/3000 ensayos) tras 63 generaciones de entrenamiento en datos no perturbados.
• Comparación:
  • 2.5$\times superior al SOTA previo de CaP de múltiples turnos (CaP-Agent0 con 18.17%).
  • **3.5$\times** superior a$\pi_0.5$ (12.83%).
  • Superó significativamente a OpenVLA (0.0%).
• Significado: RHO se generaliza a configuraciones perturbadas donde los VLA colapsan, sin requerir demostraciones para las tareas perturbadas.

3. RAI O3DE (Despliegue con LLM en el Bucle)

• Configuración: Un benchmark de manipulación ROS 2 donde el bucle de control incluye un LLM.
• Rendimiento: RHO evolucionó un repositorio de múltiples archivos de prompts, herramientas y código de control, mejorando el éxito en datos no vistos del 23.5% al 44.3%.
• Eficiencia: Logró esto con un 20% menos de tiempo de ejecución y un 27% menos de llamadas a herramientas en comparación con el baseline.
• Ablación: Una ablación de un solo archivo (estilo GEPA) aumentó las llamadas a herramientas en un 16% y el tiempo de ejecución en un 34%, demostrando la superioridad de la estructura de repositorio de múltiples archivos.

Análisis de Prioridad Estructural

Los experimentos comparando repositorios de múltiples archivos contra esquemas de un solo archivo o prioridades estructurales rígidas (Árboles de Comportamiento, Máquinas de Estados Finitos) mostraron:

• Los repositorios de múltiples archivos (70.0%) superaron significativamente a los de un solo archivo (63.86%).
• Las prioridades rígidas (Árboles de Comportamiento: 33.86%, FSMs: 18.14%) colapsaron, sugiriendo que la estructura del repositorio proporciona el equilibrio adecuado de andamiaje para guiar al agente hacia la modularidad sin restringir el espacio de soluciones.

Significado y Reivindicaciones

El artículo afirma que RHO representa un cambio fundamental en la forma en que se descubren las políticas robóticas:

• Del Tiempo de Prueba al Tiempo de Entrenamiento: Al adelantar la búsqueda y el refinamiento al entrenamiento, RHO elimina la latencia y la inestabilidad de la inferencia iterativa de LLM durante el control en tiempo real.
• Interpretabilidad y Depurabilidad: A diferencia de los VLA de extremo a extremo, RHO produce código neurosimbólico donde las heurísticas avanzadas (por ejemplo, geometría robusta al cuantil, pre-filtrado de viabilidad de IK, validación cruzada de doble percepción) se descubren y codifican explícitamente. Estos mecanismos son legibles por humanos y verificables.
• Generalización: RHO demuestra que la búsqueda evolutiva sobre repositorios de múltiples archivos puede descubrir estrategias robustas que se generalizan a nuevas disposiciones de objetos y descripciones de tareas, superando tanto a los actuales montajes de agentes como a los modelos VLA.
• Escalabilidad: El marco escala la "experiencia" recopilada por un agente. Mientras que CaP-Agent0 recopila retroalimentación turno a turno durante el despliegue, RHO recopila esta experiencia una sola vez durante la búsqueda evolutiva y la compila en un repositorio estático y eficiente.

Los autores concluyen que, si bien RHO hereda las limitaciones de razonamiento espacial del LLM subyacente, logra recuperar la estructura modular necesaria para la planificación de tareas y movimientos, ofreciendo un camino hacia un control robótico robusto, interpretable y desplegable.