Resumen Técnico: AutoIntervene

Planteamiento del Problema

Las políticas visuomotoras de fragmentación de acciones (action-chunking), que predicen secuencias cortas de acciones futuras en lugar de comandos de un solo paso, han mejorado la consistencia temporal en el aprendizaje por imitación. Sin embargo, estas políticas siguen siendo frágiles ante cambios de distribución durante el despliegue. Errores perceptivos menores, contactos fallidos o la deriva de ejecución acumulada pueden mover al robot hacia estados poco cubiertos por los datos de demostración. Una vez en estos estados no soportados, las políticas de fragmentación de acciones suelen seguir generando secuencias de acciones fluidas que son inconsistentes con la realidad observada, lo que conduce a fallos en la tarea, como agarres desalineados o transiciones de subtareas incompletas. Métodos existentes como DART mejoran la cobertura mediante la inyección de ruido, pero carecen de mecanismos de despliegue para detectar comportamientos no soportados o solicitar control correctivo. Además, el aprendizaje por imitación interactivo estándar (por ejemplo, DAgger) suele consultar a los expertos en todos los estados visitados por el aprendiz, lo cual es ineficiente, mientras que otros monitores en tiempo de ejecución se centran en modos de fallo específicos (por ejemplo, OOD a nivel de trayectoria o perturbaciones localizadas) sin un marco unificado para la transferencia bidireccional de control y la agregación de datos dirigida.

Metodología: AutoIntervene

AutoIntervene es un marco de trabajo en línea diseñado para mejorar la fiabilidad de despliegue de las políticas de fragmentación de acciones mediante la transferencia selectiva de control entre la política autónoma y un operador humano. Opera a través de dos etapas principales: un Bucle de Intervención y una Adaptación de la Política.

1. Bucle de Intervención

El bucle monitorea la política desplegada y gestiona la autoridad de control basándose en una Memoria de Soporte Visual-Acción construida a partir de ejecuciones de tareas exitosas. El proceso involucra tres módulos:

• Construcción de la Consulta Visual-Acción: En cada paso de evaluación, el sistema construye una consulta $Q_t$ que combina los embeddings visuales de múltiples vistas actuales ($E_t$) y el prefijo del fragmento de acción propuesto por la política ($A_t$).
• Evaluación de Soporte Visual-Acción: La consulta se evalúa contra la memoria $M$ para generar dos puntuaciones escalares:
  • Puntuación de Soporte Visual ($s_{\beta,t}$): Mide la similitud de coseno mínima entre la observación actual y los embeddings visuales almacenados.
  • Puntuación de Riesgo de Acción ($\bar{r}_{\beta,t}$): Mide la distancia euclidiana normalizada entre la acción propuesta y los fragmentos de acción almacenados, promediada sobre evaluaciones recientes.
  • Recuperación Específica de Modo: El sistema emplea dos alcances de recuperación distintos para manejar diferentes estados de control:
    • Soporte Global (Control del Operador): Cuando el operador tiene el control, el sistema recupera de la memoria completa. Esto permite que la política recupere la autonomía desde cualquier fase válida de la tarea alcanzada tras la recuperación del operador.
    • Soporte Local de Fase (Control de la Política): Cuando la política tiene el control, el sistema restringe la recuperación a las "ventanas hacia adelante" de las $J$ mejores trayectorias coincidentes. Esto evita que el sistema coincida erróneamente el estado actual con una fase de la tarea visualmente similar pero temporalmente incorrecta.
• Selección de Autoridad de Control Bidireccional: El cambio de control se rige por umbrales calibrados por separado para las dos direcciones:
  • Política $\to$ Operador: Se activa si el soporte visual cae por debajo de un umbral o si el riesgo de acción excede un umbral, indicando que la política está entrando en un estado no soportado.
  • Operador $\to$ Política: Se activa solo después de que el operador ha recuperado el estado y las propuestas subsecuentes de la política cumplen consistentemente con los criterios de soporte dentro del alcance global.
  • Calibración: Los umbrales no se ajustan manualmente, sino que se derivan offline a partir de cuantiles empíricos de las puntuaciones computadas en un conjunto de demostraciones expertas exitosas reservado ($D_{cal}$), asegurando que los criterios sean específicos para la ronda de adaptación y el alcance de recuperación actuales.
  • Persistencia: El cambio requiere decisiones consistentes consecutivas ($L_{pol}$ o $L_{op}$) para evitar la oscilación debido a fluctuaciones breves en las puntuaciones.

2. Adaptación de la Política

Los segmentos de intervención (periodos donde el operador controló el robot) de las ejecuciones exitosas se retienen como trayectorias separadas ($\Delta D^{(k)}$). Estos se añaden al conjunto de entrenamiento para la siguiente ronda. La nueva política se entrena mediante clonación de comportamiento sobre una mezcla de los datos originales y los nuevos datos de intervención. La memoria visual-acción se reconstruye entonces utilizando el codificador de la política actualizada, y los umbrales se recalibran antes del redespliegue. Esto crea un bucle de estilo DAgger selectivo que enfoca la supervisión en los estados de fallo inducidos por el aprendiz.

Principales Contribuciones

El artículo describe tres contribuciones primarias:

1. Marco de Intervención Bidireccional: Un sistema que utiliza el soporte local de fase para gobernar la transferencia de política a operador (detectando cuándo la política está fallando) y el soporte global para gobernar el retorno del operador a la política (asegurando que la política pueda reanudar desde cualquier estado recuperado válido).
2. Calibración de Soporte Visual-Acción por Modo: Un procedimiento que utiliza demostraciones exitosas reservadas para computar automáticamente umbrales de intervención y recuperación separados para cada ronda de adaptación, eliminando la necesidad de ajuste manual de los cortes de puntuación.
3. Mejora Iterativa Eficiente: Evidencia empírica que muestra cómo las trayectorias de intervención dirigida apoyan la mejora iterativa de la política con significativamente menos tiempo de control del operador en comparación con la recolección de demostraciones completas adicionales.

Resultados Experimentales

Los autores evaluaron AutoIntervene en nueve tareas de manipulación bimanual en el mundo real, incluyendo el manejo de objetos deformables (toallas, bolsas) y ensamblaje preciso (desensamblaje de pernos, empaquetado de cajas).

• Tasa de Éxito vs. Baselines: En el benchmark principal de siete tareas, AutoIntervene alcanzó una tasa media de éxito del 80.0% tras dos rondas de adaptación ($R2$), superando a la política inicial (30.9%), la intervención manual (68.6%) y la recolección de demostraciones completas adicionales (56.0%).
• Eficiencia de Datos: AutoIntervene requirió aproximadamente un 74% menos de tiempo de control del operador adicional que la recolección de demostraciones completas adicionales para lograr tasas de éxito más altas. También redujo el tiempo del operador en comparación con el cambio manual al terminar automáticamente la intervención una vez que la política recuperaba el soporte, evitando la recolección de datos de "cola extra" en regiones ya soportadas.
• Tareas de Largo Horizonte: En dos tareas de largo horizonte, AutoIntervene demostró una mejora iterativa a través de tres rondas, con tasas de éxito finales (88% y 48%) que superan significativamente a las de las políticas entrenadas con datos completos adicionales (52% y 28%).
• Generalización: El marco se transfirió con éxito a través de diferentes cabezales de generación de acciones (ACT, Diffusion Policy y Flow Matching) sin modificaciones al cabezal de acción, lo que indica que la capa de monitoreo es independiente de la arquitectura de la política.
• Fiabilidad: En una comparación de traspaso controlado en la tarea "Lidded Box Packing", AutoInterve ne logró una precisión y un recall perfectos para las transiciones de entrada y salida (1.00), y una tasa de falsos disparos de 0.00. En contraste, los monitores previos (LazyDAgger, RND-DAgger) sufrieron fallos omitidos, retornos prematuros al control de la política o altas tasas de falsos disparos. Los estudios de ablación confirmaron que tanto el soporte visual como el riesgo de acción son necesarios para un traspaso bidireccional fiable.

Significancia y Reclamaciones

El artículo afirma que AutoIntervene aborda una brecha crítica en el despliegue de políticas de aprendizaje por imitación: la falta de un mecanismo robusto y automatizado para detectar cuándo una política ha salido de la distribución de demostración y para devolver el control de forma segura a un humano para su corrección. Al desacoplar la lógica de monitoreo del cabezal de generación de acciones y utilizar un mecanismo de cambio basado en soporte bidireccional, AutoIntervene permite:

• Recolección de Datos Dirigida: Se enfoca la supervisión humana estrictamente en los estados no soportados, haciendo que el proceso de agregación de datos sea más eficiente que el DAgger estándar o la recolección de demostraciones completas.
• Recuperación Autónoma: Permite que la política reanude el control inmediatamente después de una corrección del operador, siempre que el estado sea soportado, en lugar de requerir que el operador complete toda la tarea.
• Fiabilidad de Despliegue: Proporciona una solución práctica para desplegar políticas de fragmentación de acciones frágiles en entornos del mundo real ricos en contacto, donde los cambios de distribución son inevitables.

Los autores posicionan a AutoIntervene no como un reemplazo para la arquitectura de la política subyacente, sino como un componente de la capa de despliegue necesario que mejora la robustez y la eficiencia de datos de los sistemas de aprendizaje por imitación.