Resumen Técnico: FORCE – Ajuste Fino de Refuerzo Eficiente para VLA

1. Planteamiento del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) han demostrado un potencial significativo en la robótica de propósito general, pero están fundamentalmente limitados por un "techo de imitación". Esta limitación surge porque el Ajuste Fino Supervisado (SFT) estándar depende de datos de demostración estáticos, que inevitablemente contienen acciones subóptimas e inconsistentes. Si bien el Aprendizaje por Refuerzo (RL) ofrece una vía para superar este techo mediante la interacción en línea, la aplicación de RL al ajuste fino de VLA enfrenta dos cuellos de botella críticos:

1. Desaprendizaje Inicial Catastrófico: Al transicionar del pre-entrenamiento fuera de línea (offline) al ajuste fino en línea (online), las políticas suelen sufrir un colapso severo de rendimiento. Esto es causado por un cambio de distribución donde la función Q, entrenada con datos conservadores fuera de línea, queda indefinida o severamente subestimada en los nuevos estados visitados por la política en línea. El resultante "desajuste de escala de valores Q" engaña a la política, provocando inestabilidad.
2. Actualización de Políticas Ineficiente: La exploración en línea en espacios de acción de alta dimensión de los VLA genera vastas cantidades de datos ruidosos y de baja calidad. Las actualizaciones de RL estándar luchan por filtrar este ruido, lo que a menudo requiere intervenciones costosas de Humano en el Bucle (HiL) para garantizar la seguridad y la convergencia.

2. Metodología: El Marco de Trabajo FORCE

FORCE es un marco de trabajo de tres etapas, libre de intervenciones, diseñado para estabilizar el ajuste fino de RL de fuera de línea a en línea. Aborda los problemas centrales mediante un Calentamiento Calibrado de Valores y un mecanismo de Auto-destilación de Política Guiada por Valor (VGPD).

Etapa 1: Ajuste Fino de Refuerzo Fuera de Línea con Demostraciones de Expertos

El proceso comienza con RL fuera de línea sobre un conjunto de datos de expertos estático ($D_E$).

• Aprendizaje Q Calibrado (Cal-QL): El marco emplea Cal-QL para aprender una función de valor conservadora. Esto minimiza el error de diferencia temporal (TD) mientras impone un regularizador de calibración que restringe las estimaciones de valor basadas en la política de comportamiento ($\mu_D$). Esto evita la sobreestimación de acciones fuera de la distribución (OOD), un prerrequisito para una transferencia estable.
• Optimización del Actor: La política se optimiza utilizando un objetivo híbrido que combina Clonación de Comportamiento (BC) para anclar la política al manifold demostrado y un gradiente de política guiado por Q para impulsar la maximización del rendimiento. Se utiliza una política de consistencia como actor para permitir una inferencia rápida y una propagación estable del gradiente de Q.

Etapa 2: Mitigación del Cambio de Distribución mediante Calentamiento en Política

Para cerrar la brecha entre los datos fuera de línea y la interacción en línea, FORCE introduce una fase de Calentamiento Distribucional antes del ajuste fino completo en línea.

• Mecanismo: El sistema recolecta un pequeño lote de trayectorias en política ($D_{warm}$) y los fusiona con los datos fuera de línea ($D_{mix} = D_{offline} \cup D_{warm}$).
• Calibración: La restricción de valor conservador se aplica a este conjunto de datos mixto. Esto expande explícitamente el soporte válido de la función Q calibrada desde el soporte de la política de comportamiento fuera de línea para incluir la distribución de visita de la política actual.
• Objetivo: Esto asegura que las estimaciones de Q permanezcan bien definidas y acotadas inferiormente en los estados que el agente está visitando realmente, evitando el fenómeno de "desaprendizaje inicial" causado por el cambio de covariable.

Etapa 3: Ajuste Fino en Línea Libre de Intervención con VGPD

En la etapa final, el modelo experimenta un ajuste fino en línea sin intervención humana, utilizando dos buffers de repetición: un Buffer de Expertos ($D_E$) y un Buffer de Política ($D_\pi$).

• Auto-destilación de Política Guiada por Valor (VGPD): Esta es la innovación central para la fase en línea. VGPD actúa como un filtro dinámico para las actualizaciones de la política.
  • Línea Base Dinámica: Para un estado dado, se computa un valor de referencia ($V_{ref}$) como la media empírica de los valores Q para $K$ acciones candidatas muestreadas de la política actual.
  • Truncamiento de Ventaja Positiva: El marco aplica una máscara para descartar acciones con ventaja negativa (es decir, acciones donde $Q(s, a) < V_{ref}$).
  • Destilación: La política se actualiza mediante el muestreo de importancia filtrado, destilando únicamente de las acciones que muestran una ventaja positiva sobre la línea base. Para los datos de expertos, la política se actualiza mediante la clonación de comportamiento estándar.
• Base Teórica: VGPD se fundamenta como una solución aproximada a un problema de Mejora de Política Regularizada con una línea base dinámica y dependiente de los datos, asegurando una mejora de valor monotónica.

3. Contribuciones Clave

1. Marco de Trabajo FORCE: Un pipeline de tres etapas basado en principios para el ajuste fino de RL de fuera de línea a en línea, partiendo de modelos VLA pre-entrenados.
2. Calentamiento Distribucional: Un mecanismo para mitigar el cambio de covariable de arranque en frío alineando el soporte de la función Q con la distribución de visita de la política antes del ajuste fino agresivo.
3. Auto-destilación de Política Guiada por Valor: Un operador de mejora de política regularizado y teóricamente fundamentado que filtra el ruido de exploración de alta varianza, acelerando la convergencia sin supervisión humana.
4. Validación Empírica: Demostración de rendimiento de vanguardia y eficiencia de muestreo tanto en tareas de simulación como en tareas robóticas del mundo real, logrando tasas de éxito casi perfectas sin intervención humana.

4. Resultados Experimentales

Los autores evaluaron FORCE en varias tareas de simulación (ManiSkill) y tareas del mundo real usando un robot Franka Emika Panda.

• Rendimiento en Simulación: FORCE logró una tasa de éxito promedio del 82.3% (basado en el backbone Octo) a través de seis tareas, superando al fuerte de la línea base (ConRFT) por más de un 10%. Alcanzó el 100% de éxito en tareas como StackCube y PullCube, donde las líneas base conservadoras sufrieron colapso de la política.
• Eficiencia de Muestreo: FORCE aceleró el entrenamiento en un 32.5%, convergiendo a altas tasas de éxito en significativamente menos pasos (por ejemplo, alcanzando el 100% en PushCube en 5,000 pasos en comparación con las líneas base).
• Fiabilidad en el Mundo Real: En tareas del mundo real, FORCE mejoró la tasa de éxito promedio del 45.0% (línea base de BC) al 98.3%, logrando un 100% de éxito en 4 de 6 tareas (incluyendo Insert USB y Open Drawer).
• Eficiencia de Ejecución: Más allá de las tasas de éxito, FORCE redujo significamente los pasos de ejecución (de un promedio de 112.8 a 38.9), lo que indica una mayor calidad de movimiento y menos comportamientos "vacilantes" en comparación con las políticas de BC.

5. Significado y Reivindicaciones

El artículo afirma que FORCE representa un paso significativo hacia el despliegue de agentes robóticos capaces y autónomos al resolver el "techo de imitación" sin depender de intervenciones humanas costosas.

• Estabilidad: Al abordar el desajuste de distribución entre los datos fuera de línea y en línea, FORCE mitiga las caídas de rendimiento catastróficas típicas del ajuste fino de RL estándar.
• Autonomía: El marco permite la adaptación robusta de la política en entornos ricos en contacto y del mundo real enteramente a través de mecanismos algorítmicos (calentamiento y auto-destilación), eliminando la necesidad de corrección humana en tiempo real.
• Generalizabilidad: El método demuestra compatibilidad con varios backbones VLA (desde Octo hasta $\pi_0$), lo que sugiere que puede servir como un marco de post-entrenamiento general para mejorar las políticas robóticas a gran escala.

Los autores reconocen que la carga computacional de muestrear múltiples candidatos de acción durante VGPD es una limitación actual, proponiendo trabajos futuros sobre el almacenamiento en caché de acciones o la aproximación fuera de política para abordar este cuello de botella.