Resumen Técnico: Ponderación de Ventaja Jerárquica para el Ajuste Fino de RL en Línea de VLAs a partir de Resultados de Episodios Dispersos

1. Planteamiento del Problema

Las políticas preentrenadas de Visión-Lenguaje-Acción (VLA) demuestran una fuerte generalización, pero a menudo fallan en el despliegue en el mundo real debido al desplazamiento de covariables (covariate shift) y a una cobertura de demostraciones insuficiente. Si bien el ajuste fino de Aprendizaje por Refuerzo (RL) en línea es necesario para corregir los errores de la política y adaptarse a nuevas condiciones, existe un desajuste fundamental entre los datos disponibles y la supervisión requerida para las actualizaciones del actor.

En la práctica, las ejecuciones (rollouts) en línea para la manipulación robótica producen únicamente un único resultado binario por episodio (éxito o fracaso). Sin embargo, las actualizaciones efectivas del actor en los marcos de Aprendizaje por Imitación de Comportamiento (BC) requieren señales de supervisión por transición. Los autores identifican dos fallos críticos en este enfoque:

1. Confluencia de Objetivos: Un escalar único conluya la viabilidad (si un estado aún puede conducir al éxito) y la eficiencia (si una transición avanza hacia la completación de forma rápida). Una vez que el éxito básico es alcanzable, una etiqueta binaria no proporciona gradiente para distinguir entre completaciones eficientes y otras lentas o improductivas.
2. Asignación Incorrecta de Crédito en Episodios de Control Mixto: Las ejecuciones en el mundo real a menudo involucran intervenciones humanas. Asignar ingenuamente el resultado final del episodio a todos los pasos de tiempo atribuye incorrectamente el éxito a las correcciones humanas o penaliza a la política por estados que provocaron la intervención humana, lo que genera una supervisión ruidosa.

2. Metodología: Aprendizaje de Comportamiento con Ventaja Jerárquica (HABC)

El artículo propone HABC, un marco que descompone los resultados dispersos de los episodios en señales distintas por transición y aplica una asignación de crédito consciente de la intervención. El método opera dentro de un marco de actor VLA de coincidencia de flujo (flow-matching), actualizando la política mediante una función de pérdida ponderada.

2.1 Arquitectura de Crítico de Doble Cabezal

En lugar de un único crítico, HABC emplea un backbone compartido con dos cabezales dedicados para separar las señales de aprendizaje:

• Cabezal de Viabilidad ($V_v$): Estima la probabilidad de éxito eventual de la tarea desde el estado actual ($P(\text{éxito} | s)$). Se entrena con todos los ventanas de ejecución de la política etiquetadas con resultados (episodios exitosos y fallidos) utilizando entropía cruzada binaria. Este cabezal es informativo durante las etapas tempranas del entrenamiento cuando los fallos son frecuentes.
• Cabezal de Eficiencia ($V_e$): Estima los pasos restantes para el éxito. Se entrena únicamente en trayectorias exitosas, donde el objetivo está bien definido (éxito terminal = 0, pasos no terminales = -1 + valor del siguiente estado). Este cabezal se convierte en la señal primaria una vez que la política alcanza una alta tasa de éxito, distinguiendo entre completaciones rápidas y lentas.

La pérdida conjunta del crítico combina la Entropía Cruzada Binaria para $V_v$ y la pérdida de Huber para $V_e$.

2.2 Compuerta de Ventaja Adaptativa al Estado

Para generar un peso escalar ($w_i$) para la pérdida del actor, HABC calcula las ventajas de un solo paso para ambos cabezales:

• Ventaja de Viabilidad ($A_v$): El cambio en los logits de viabilidad entre estados consecutivos.
• Ventaja de Eficiencia ($A_e$): La desviación de la reducción esperada de pasos.

Estas ventajas se combinan mediante una compuerta adaptativa al estado ($g_t$):
$$g_t = 1 + \tanh((1 - p_v(s_t)) \cdot A_v + p_v(s_t) \cdot A_e)$$
Esta compuerta cambia dinámicamente el enfoque basándose en la estimación de viabilidad actual ($p_v$):

• Cuando $p_v$ es bajo (el éxito es incierto), la compuerta prioriza $A_v$ para separar estados viables de estados bloqueados.
• Cuando $p_v$ es alto (el éxito es probable), la compuerta prioriza $A_e$ para optimizar la eficiencia.
  Esta interpolación ocurre por estado dentro de un lote (batch), permitiendo que el modelo aprenda diferentes señales simultáneamente.

2.3 Asignación de Crédito Consciente de la Intervención

Para evitar la fuga de crédito a través de los límites de control, HABC particiona los episodios basándose en el controlador registrado (política vs. humano):

• Segmentos de Ejecución de la Política: Solo el sufijo de ejecución de la política post-intervención (el segmento ejecutado por la política después de la última intervención humana) recibe la etiqueta de resultado. Esto asegura que la política solo sea acreditada o penalizada por las acciones que realmente tomó.
• Segmentos de Intervención: Las ventanas de intervención humana nunca reciben la etiqueta de resultado del episodio. En su lugar, sirven como supervisión directa de imitación para el actor y proporcionan objetivos de progreso para el cabezal de eficiencia ($V_e$), aprovechando las correcciones humanas como demostraciones sin atribuir el éxito o fracaso final a ellas.

3. Contribuciones Clave

1. Descomposición de Señal Jerárquica: El artículo demuestra que un único resultado binario codifica dos señales separables (viabilidad y eficiencia) que requieren diferentes subconjuntos de datos y son informativas en diferentes etapas de entrenamiento. Esto se operacionaliza mediante un crítico de doble cabezal.
2. Asignación de Crédito Consciente de la Intervención: Al restringir las etiquetas de resultado estrictamente a los segmentos de ejecución de la política, el método evita que la supervisión se filtre a través de los límites de intervención, asegurando señales de entrenamiento limpias tanto para los cabezales del crítico.
3. Validación en Robot Real: El método se valida en tres tareas complejas de manipulación bimanual con objetos deformables, mostrando mejoras significativas sobre las líneas base de ajuste fino supervisado (SFT).

4. Resultados Experimentales

Los experimentos se realizaron en un robot bimanual ARX X5 a través de tres tareas: Pencil Pouch (Estuche de Lápices), Paper Bag (Bolsa de Papel) y Snack Bag (Bolsa de Snacks).

• Tasas de Éxito: HABC superó significativamente a las líneas base.
  • Pencil Pouch: Mejoró del 36% (SFT) al 92%.
  • Paper Bag: Mejoró del 44% (SFT) al 88%.
  • Snack Bag: Mejoró del 12% (SFT) al 38%.
• Eficiencia: El método HABC completo (incluyendo el cabezal de eficiencia) redujo consistentemente las longitudes de trayectoria en comparación con la variante de solo viabilidad (HABC-V), indicando que el modelo aprendió a completar tareas más rápido, no solo de forma más fiable.
• Estudios de Ablación:
  • HABC-V (Solo Viabilidad): Superó a las líneas base no-HABC, confirmando que la ponderación de viabilidad suave es superior al filtrado estricto.
  • Imit-DAgger: Rendimiento inferior al SFT en algunas tareas, sugiriendo que una mezcla 50/50 de SFT y datos de intervención sin la ponderación adecuada sesga el entrenamiento hacia los estados de intervención.
  • Reweighting de Intervención (IR): Habilitar el reponderado para muestras de intervención tras una fase inicial de entrenamiento mejoró aún más el rendimiento, demostrando la utilidad de aprovechar las correcciones humanas como datos ponderados.

El análisis cualitativo mostró que las políticas entrenadas con HABC podían detectar errores de manipulación (por ejemplo, fallos de agarre) y ejecutar acciones de recuperación correctivas de forma autónoma, mientras que las líneas base de SFT a menudo repetían fallos o entraban en bucles irrecuperables.

5. Significado y Reivindicaciones

El artículo afirma que HABC proporciona una solución robusta para el ajuste fino de VLAs en presencia de recompensas dispersas y datos de control mixto. Su importancia radica en:

• Desacoplamiento de Objetivos: Evita el problema del escalar de "talla única" al modelar explícitamente la viabilidad y la eficiencia como señales distintas y dependientes de la etapa.
• Supervisión Limpia: Resuelve la ambigüedad de la asignación de crédito en la colaboración humano-robot al adherirse estrictamente a los límites de autoridad de control, evitando que la política aprenda asociaciones incorrectas entre sus acciones y las intervenciones humanas.
• Despliegue Práctico: El método mejora las tasas de éxito en tareas difíciles con objetos deformables sin requerir una ingeniería de recompensa compleja o estimación de gradiente de política, basándose en su lugar en el aprendizaje de comportamiento ponderado.

Los autores señalan limitaciones, incluyendo la suposición de una detección fiable de los límites de intervención, la debilidad de la señal de eficiencia cuando el éxito es poco frecuente, y la restricción actual al ajuste fino de una sola tarea. Sugieren que trabajos futuros podrían explorar la compuerta adaptativa, la estimación de ventaja de múltiples pasos y extensiones a entornos de múltiples tareas o de múltiples morfologías (cross-embodiment).