Resumen Técnico: Control Robótico Jerárquico para Agentes Corpóreos (HiRoC)

Planteamiento del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) han mostrado potencial en la manipulación robótica al unificar la percepción visual, la comprensión del lenguaje y la generación de acciones. Sin embargo, los métodos de post-entrenamiento existentes tratan predominantemente a los modelos VLA como políticas planas, mapeando instrucciones de tareas globales directamente a acciones de bajo nivel. Este enfoque enfrenta limitaciones significativas en escenarios del mundo real:

1. Falta de Progresión Explícita de la Tarea: Las políticas planas mantienen la misma instrucción global durante toda la ejecución, fallando al no modelar explícitamente la estructura por etapas de tareas complejas de largo horizonte.
2. Acumulación de Errores: Sin anclajes semánticos intermedios (subobjetivos), las desviaciones menores en la ejecución se acumulan con el tiempo, lo que conduce a una degradación en la toma de decisiones o al fallo de la tarea.
3. Aprendizaje Jerárquico Ineficaz: Aunque existen enfoques jerárquicos, estos suelen depender del aprendizaje supervisado a partir de demostraciones offline y tienen dificultades para mejorar la ejecución mediante la interacción online. Además, los métodos de Aprendizaje por Refuerzo (RL) online existentes siguen optimizando políticas planas en lugar de estructuras de planificador-ejecutor.

El desafío central radica en crear un marco de post-entrenamiento que desacople eficazmente la planificación de alto nivel de la ejecución de bajo nivel, asegurando que ambos módulos colaboren eficientemente sin sufrir de un desalineamiento de distribución.

Metodología: Marco HiRoC

Los autores proponen Control Robótico Jerárquico (HiRoC), un marco de post-entrenamiento jerárquico que integra la descomposición de tareas, la alineación planificador-ejecutor y el aprendizaje por refuerzo online. El marco consta de dos módulos primarios: un Planificador de alto nivel y un Ejecutor de bajo nivel.

1. Entrenamiento del Planificador mediante Ajuste Fino Supervisado (SFT)

El planificador es responsable de descomponer las instrucciones de tareas globales en subobjetivos intermedios ejecutables basados en las observaciones actuales.

• Preparación de Datos: Los autores reorganizan conjuntos de datos multimodales existentes (por ejemplo, de VLA-OS) para crear un conjunto de datos limpio y consistente ($D_{plan}$) donde las trayectorias están anotadas con los siguientes subobjetivos inmediatos.
• Optimización: El planificador (basado en un backbone VLM como Qwen2.5-VL) es entrenado mediante SFT para predecir la secuencia de tokens del siguiente subobjetivo condicionada al estado multimodal actual ($s_t$) y a los tokens de subobjetivos previos.
• Congelación: Una vez entrenado, el planificador se congela durante el posterior ajuste de RL para preservar sus capacidades de descomposición de tareas y evitar cambios en la distribución.

2. Entrenamiento del Ejecutor mediante SFT y Ajuste de RL

El ejecutor genera acciones de bajo nivel condicionadas al subobjetivo actual proporcionado por el planificador.

• Abordaje del Desalineamiento de Distribución (DM): Un desafío crítico es que los VLA pre-entrenados están optimizados para objetivos globales, no para subobjetivos intermedios. Acoplar directamente un planificador con un ejecutor pre-entrenado conduce a un "arranque en frío" debido al desalineamiento de distribución.
  • Solución: Los autores reorganizan los datos de trayectoria en muestras condicionadas por subobjetivos ($s_i, l_i, a_i$) y realizan un SFT Condicionado por Subobjetivo en el ejecutor. Esto alinea la política del ejecutor con la salida del planificador antes de comenzar el RL.
• Aprendizaje por Refuerzo Online (RL): El ejecutor se optimiza adicionalmente mediante la interacción online con el entorno, guiado por el planificador congelado.
  • GRPO Jerárquico: Los autores introducen un objetivo de Optimización de Política de Gradiente Relativo de Grupo (GRPO) que incorpora señales de aprendizaje tanto globales como locales.
    • Ventaja Global ($A_{task}$): Derivada de la recompensa acumulada de la trayectoria completa.
    • Ventaja Local ($A_{sub}$): Derivada del progreso realizado en los subobjetivos intermedios registrados durante el despliegue (rollout).
  • Integración Ponderada: La señal de ventaja final ($\hat{A}_i$) es una suma ponderada de las ventajas globales y locales. Los pesos ($w_t, w_s$) se equilibran de forma adaptativa basándose en el número promedio de subobjetivos por trayectoria y la longitud de la trayectoria, asegurando que las tareas con diversas complejidades reciban la supervisión apropiada.
  • Actualización de la Política: El ejecutor se actualiza utilizando un objetivo de actor recortado tipo PPO, optimizando la razón de probabilidad de los tokens de acción mientras se limita la desviación de la política.

Principales Contribuciones

1. Marco HiRoC: La propuesta de un marco de post-entrenamiento jerárquico que separa explícitamente la planificación de tareas de alto nivel de la ejecución de acciones de bajo nivel, permitiendo un razonamiento estructurado y una manipulación robusta de largo horizonte.
2. Estrategia de Entrenamiento Colaborativo:
   • Alineación de Distribución: Una etapa de SFT condicionada por subobjetivos que cierra la brecha entre los subobjetivos generados por el planificador y la ejecución del ejecutor, mitigando el problema del arranque en frío.
   • Objetivo de RL Jerárquico: Una formulación novedosa de GRPO que explota conjuntamente las señales de aprendizaje a nivel de tarea (global) y a nivel de subobjetivo (local), proporcionando una guía más estructurada para la optimización de la política.
3. Validación Empírica: Experimentos extensos que demuestran mejoras de rendimiento consistentes a través de diversos benchmarks de manipulación robótica.

Resultados Experimentales

Los autores evaluaron HiRoC en el benchmark LIBERO (suites Goal, Spatial, Object y Long) y en la suite de generalización LIBERO-Plus.

• Rendimiento General: HiRoC alcanzó un rendimiento de Estado del Arte (SOTA), superando a bases sólidas incluyendo políticas VLA planas (OpenVLA), otros métodos basados en RL (VLA-RL, TGRPO) y enfoques basados en modelos de mundo.
  • En la suite LIBERO-Long, HiRoC logró una tasa de éxito del 98%, superando significativamente a los baselines y demostrando la eficacia del control jerárquico para tareas complejas.
  • El método mostró una mejora promedio del 10.06% en los benchmarks en comparación con los baselines.
• Generalización (Zero-Shot): En LIBERO-Plus, que introduce siete tipos de perturbaciones, HiRoC demostró una generalización superior comparada con modelos basados en SFT y enfoques de modelos de mundo, atribuido a su capacidad para descomponer objetivos en subobjetivos manejables.
• Estudios de Ablación:
  • Eliminar el planificador (sin Plan) degradó significativamente el rendimiento, confirmando la necesidad de la descomposición explícita de tareas.
  • Eliminar el pre-entrenamiento de desalineamiento de distribución (DM) resultó en un arranque en frío severo y un menor rendimiento final.
  • Eliminar el GRPO local (sin L) mostró que, si bien el GRPO global es primordial, la señal de subobjetivo local proporciona mejoras complementarias.
• Transferencia al Mundo Real: Un experimento de sim-to-real en una plataforma robótica física desplegó con éxito la política entrenada sin necesidad de ajuste fino adicional, validando la aplicabilidad práctica del marco.

Significado y Reivindicaciones

El artículo afirma que HiRoC aborda la limitación fundamental de las políticas VLA planas al manejar tareas robóticas de largo horizonte y múltiples etapas. Al modelar explícitamente la progresión de la tarea mediante una jerarquía de planificador-ejecutor y resolver el problema del desalineamiento de distribución mediante SFT dirigido y RL jerárquico, HiRoC permite que los agentes realicen una manipulación robusta y autocorregible.

Los autores enfatizan que, si bien su trabajo actual se centra en el post-entrenamiento jerárquico, las direcciones futuras incluyen la exploración del entrenamiento de extremo a extremo y mecanismos de descomposición más robustos para manejar la incertidumbre en sistemas físicos. El trabajo subraya la importancia de combinar la descomposición de tareas jerárquica con la optimización de la política basada en aprendizaje por refuerzo para avanzar en la manipulación robótica de propósito general.