Flow-based Policy Adaptation without Policy Updates

Resumen Técnico: GLOVES – Adaptación de Políticas basada en Flujo sin Actualización de la Política

Declaración del Problema
Los sistemas robóticos modernos dependen cada vez más de agentes con conocimiento previo, tales como operadores humanos, políticas de aprendizaje por imitación (IL), políticas de aprendizaje por refuerzo (RL) y modelos preentrenados de visión-lenguaje-acción (VLA). Si bien estos agentes pueden inferir la intención de la tarea, sus acciones suelen ser ruidosas, sesgadas, retrasadas o desalineadas con el comportamiento experto, particularmente cuando se despliegan en escenarios de cero disparos (zero-shot) o de cambio de dominio. Las soluciones estándar implican el ajuste fino (finetuning) de los agentes con datos específicos de la tarea; sin embargo, esto suele ser inviable o indeseable debido a que el agente es un humano, el modelo es una API de caja negra, la dificultad de recolectar demostraciones a gran escala, o el costo prohibitivo de actualizar modelos extensos. El artículo aborda el desafío de adaptar las acciones de un agente en el momento de la ejecución sin actualizar el agente en sí mismo, específicamente para la adaptación de fragmentos de acción condicionados por imagen (image-conditioned action-chunk adaptation).

Metodología: GLOVES
Los autores proponen GLOVES (una familia de métodos de adaptación basados en flujo), que corrige las acciones no expertas transportándolas hacia una distribución de acción experta mediante el uso de flow matching. El marco opera como un módulo de control compartido ligero que preserva la intención del agente mientras mejora el éxito de la tarea.

1. Mecanismo Central (Flow Matching):
   GLOVES aprende un flujo condicional $v_\theta(x, t | c)$ que mapea una distribución de origen tratable (ruido gaussiano) a una distribución experta objetivo condicionada en observaciones visuales $c$. Durante el entrenamiento, aprende un flujo experto a partir de demostraciones expertas limitadas. Cuando están disponibles, también puede aprender un flujo del agente a partir de acciones imperfectas del agente.

2. Intervención Selectiva mediante Puerta OOD:
   Una innovación clave es el uso del propio flujo experto como un detector natural de fuera de distribución (out-of-distribution o OOD). En lugar de entrenar un modelo de incertididad separado, el sistema evalúa un fragmento de acción propuesto $a_u$ revirtiendo el flujo experto para estimar su representación latente $\hat{z} = F^{-1}_\theta(a_u)$. La puntuación $s(a_u) = \|\hat{z}\|^2_2$ sirve como una métrica de no conformidad.

   • Si la puntuación indica que la acción está dentro de la distribución (consistente con el prior experto), esta se ejecuta sin cambios.
   • Si la acción es OOD, el sistema interviene para corregirla.
     Este mecanismo evita la edición innecesaria de acciones válidas y reduce la carga computacional.

3. Variantes de Adaptación:
   El artículo introduce tres métodos específicos dentro de la familia GLOVES para refinar las acciones:

   • FPAS (Flow-Prior Action Sampling): Utiliza la puntuación OOD para guiar una búsqueda de muestreo local alrededor del comando del agente. Muestrea candidatos perturbados, penaliza aquellos con puntuaciones OOD altas o aquellos que se desvían demasiado de la acción original, y refina iterativamente el fragmento.
   • FEEG (Flow Editing with Energy Guidance): Guía directamente el flujo experto aprendido para generar una acción que sea similar a la de un experto pero consistente con la intención del usuario. Emplea una función de energía $E(x) = \frac{1}{2}\|x - a_u\|^2$ para regularizar la trayectoria del flujo, equilibrando la fidelidad al agente con la conformidad con la distribución experta.
   • IFAE (Inversion-Free Action-Chunk Editing): Inspirado en FlowAlign, este método evita el paso de inversión de "ruido-luego-denoise" común en los editores basados en difusión. Utiliza trayectorias de flujo acopladas entre los flujos del agente y del experto para transportar directamente el fragmento de acción del agente hacia la distribución experta, eliminando la necesidad de seleccionar un hiperparámetro de "profundidad de asistencia" dependiente de la tarea.

Contribuciones Clave

• Adaptación de Políticas sin Actualizaciones: GLOVES permite la adaptación de agentes de caja negra (incluyendo humanos y VLAs) en el momento de la ejecución sin modificar los parámetros de la política subyacente.
• Marco Unificado: Unifica la adaptación de políticas y la autonomía compartida dentro de un único marco de corrección de acciones.
• Corrección Consistente con la Fuente: A diferencia de los métodos que requieren seleccionar un hiperparámetro de compromiso entre fidelidad y conformidad de difusión parcial, GLOVES (específicamente IFAE) realiza un transporte de la fuente al experto que permanece consistente con la propuesta del agente sin inversión explícita.
• Detección OOD Integrada: El método utiliza el flujo experto aprendido tanto para la intervención selectiva (decidir cuándo asistir) como para la corrección misma, eliminando la necesidad de detectores de anomalías separados.
• Eficiencia de Datos: El sistema requiere solo un pequeño número de demostraciones expertas o segmentos de habilidades exitosas reutilizables para entrenar el adaptador.

Resultados Experimentales
Los autores evaluaron GLOVES a través de cuatro tareas de simulación (Slalom, colocación de CAN, entrada de teclado, conexión de cargador) y dos tareas de robot en el mundo real (inserción de cargador, servicio de taza).

• Agentes de Envoltura Estocástica (Stochastic Wrapper Agents): En simulación, las variantes de GLOVES lograron la mejor tasa de éxito en 13 de 16 configuraciones de envoltura estocástica (cubriendo agentes ruidosos, retrasados, lentos y sesgados).
• Agentes VLA: Para agentes VLA ajustados (finetuned), GLOVES mejoró las tasas de éxito hasta en un 29.03% en simulación.
• Rendimiento en el Mundo Real: En robots reales, GLOVES superó consistentemente a las líneas base (métodos de autonomía compartida basados en DDPM y modelos de consistencia) y mejoró el rendimiento de los VLAs ajustados.
• Eficiencia: La puerta OOD filtró con éxito las acciones válidas, asegurando que las correcciones solo se aplicaran cuando fuera necesario, reduciendo así los costos de inferencia.

Significancia y Reivindicaciones
El artículo afirma que GLOVES proporciona un marco ligero y robusto para mejorar agentes imperfectos sin los costos computacionales y de datos del ajuste fino. Al aprovechar el flow matching, el método ofrece un mecanismo natural para la intervención selectiva que equilibra la preservación de la intención del agente con la adherencia al comportamiento experto. Los autores enfatizan que su enfoque es ampliamente agnóstico a la naturaleza del agente (humano o IA) y no requiere acceso a una política experta, diseño de recompensa o conocimiento de la dinámica del sistema. Los resultados sugieren que la adaptación a nivel de acción mediante el transporte de flujo es una alternativa efectiva a la autonomía total o al reentrenamiento del modelo, particularmente en escenarios donde las actualizaciones del agente están restringidas o los datos son escasos.