It's Not Just More Demos: Counterfactual Action Sensitivity Coverage for Data-Efficient Robust Robot Imitation

Resumen Técnico: Cobertura de Sensibilidad de la Acción de Molestia Contrafactual para la Imitación Robótica Eficiente en Datos

Planteamiento del Problema
El aprendizaje de imitación visuomotora ha logrado un éxito significativo en tareas de manipulación, pero las políticas entrenadas suelen seguir siendo frágiles cuando se despliegan bajo molestias visuales que preservan la tarea (por ejemplo, cambios de iluminación, desplazamientos del fondo, objetos distractores o variaciones en la textura de la superficie). Aunque estas molestias no alteran el estado de la tarea subyacente ni la acción experta requerida, causan una degradación sustancial del rendimiento en las políticas entrenadas con datos "limpios". La comunidad robótica ha abordado esto tradicionalmente mediante el escalado de la recolección de datos o el uso de la aleatorización de dominios. Sin embargo, aumentar ciegamente la diversidad de los datos es ineficiente; a menudo cubre variaciones que la política ya maneja mientras omite condiciones visuales específicas que inducen respuestas frágiles. El desafío central es identificar, para una política entrenada específica, qué puntos de datos adicionales son más informativos para reparar su robustez sin requerir ejecuciones (rollouts) costosas en línea o intervención experta.

Metodología: Aprendizaje por Refuerzo de Comportamiento de Molestia Contrafactual (CFNBC)
Los autores proponen CFNBC, un marco de selección de datos offline diseñado para reparar políticas visuomotoras apuntando a sus modos específicos de fragilidad. El proceso opera en tres etapas:

1. Generación de Contrafactuales Emparejados: Partiendo de una política nominal ($\pi_{\theta_0}$) entrenada con demostraciones limpias, el método genera observaciones emparejadas para el mismo estado de la tarea: una limpia ($s^c_t$) y una con una molestia visual ($s^n_t$). Crucialmente, la acción experta $a^*$ permanece invariante entre el par.
2. Medición de la Deriva de la Acción: Las acciones predichas por la política para las entradas limpias y de molestia se comparan en un espacio de acción normalizado. La deriva de la acción ($d_i$) se define como la magnitud del cambio en la acción predicha por la política entre los pares de entradas. Una deriva alta indica que la política es sensible a cambios visuales irrelevantes para la tarea. Además, un rasgo de respuesta ($r_i$) captura el tipo de cambio de acción inducido, lo que permite la comparación de diferentes modos de falla.
3. Selección de Reparación Guiada por la Respuesta: En lugar de simplemente seleccionar los ejemplos con la mayor deriva (que pueden ser redundantes), CFNBC selecciona un conjunto de reparación compacto ($R_K$) que cubre modos de respuesta de alta sensibilidad diversos. Utilizando un enfoque de optimización codicioso (greedy), el algoritmo maximiza la cobertura del espacio de respuesta candidato bajo un presupuesto fijo $K$. Esto asegura que los datos seleccionados aborden una amplia variedad de patrones de fragilidad en lugar de solo los valores atípicos más extremos.
4. Ajuste Fino (Fine-Tuning): Las observaciones de molestia seleccionadas se emparejan con sus acciones expertas originales (heredadas de las demostraciones limpias) para formar un conjunto de datos de reparación contrafactual. La política nominal se ajusta finamente utilizando una mezcla de los datos limpios originales y este conjunto de reparación seleccionado. Este proceso no requiere nuevas etiquetas expertas, etiquetas de éxito de ejecución o recompensas.

Contribuciones Clave

• Formulación de la Robustez como Selección de Datos: El artículo enmarca la reparación de políticas visuomotoras no como un problema de generar más datos, sino de seleccionar los ejemplos contrafactuales más informativos para una política específica.
• Señal de Deriva de la Acción: La introducción de la "deriva de la acción" como una señal de sensibilidad offline y específica de la política. Esta métrica clasifica las condiciones de molestia por su fragilidad sin requerir ejecuciones en el entorno o etiquetas de éxito.
• Selección Guiada por la Respuesta: Una estrategia de selección novedosa que prioriza la diversidad en los modos de respuesta de la política sobre la magnitud de la deriva bruta, asegurando que el conjunto de reparación cubra un amplio espectum de comportamientos de falla.
• Validación Empírica: Demostración de que este enfoque dirigido supera significativamente a la selección de datos aleatoria y a la selección de solo alta deriva bajo presupuestos de datos bajos.

Resultos Experimentales
El marco fue evaluado en dos tareas de manipulación simuladas: transferencia de cubo bimanual en MuJoCo y apilamiento de cubos en SimplerEnv, utilizando Action Chunking with Transformers (ACT) como la arquitectura base.

• Confirmación de la Fragilidad: Las políticas nominales lograron un éxito alto (~90-96%) en dominios limpios, pero sufrieron una degradación severa (tasas de éxito cayendo al 0-44%) bajo molestias visuales que preservan la tarea.
• La Deriva como Proxy: La deriva de la acción correlacionó fuertemente con las tasas de falla de ejecución (correlaciones de Spearman de $\rho=0.95$ y $\rho=0.88$), validándola como un indicador offline fiable de la fragilidad.
• Eficiencia de Datos: En el régimen de bajo presupuesto (20–30 candidatos seleccionados), la reparación guiada por la respuesta superó sustancialmente a la selección aleatoria de presupuesto equivalente.
  • En Transferencia de Cubo, el método propuesto logró una tasa de éxito de 0.96 en todas las molestias con 20 candidatos, mientras que la selección aleatoria requirió ~100–500 muestras para alcanzar un rendimiento similar.
  • En Apilamiento de Cubos, el método mejoró el éxito en todas las molestias en +0.44 sobre la política nominal, comparado con +0.28 para la selección aleatoria.
• Generalización: Las políticas reparadas mantuvieron un alto rendimiento en datos limpios, indicando que la robustez se ganó sin sacrificar el comportamiento nominal. Aunque el rendimiento en las condiciones de molestia no probadas varió, el método mejoró consistentemente la transferencia dentro del conjunto de candidatos probado.

Significancia y Reivindicaciones
El artículo aboga por una visión "centrada en los datos" de la reparación de la robustez. Sostiene que los datos más útiles para reparar una política no son necesariamente los más numerosos, visualmente diversos o obviamente difíciles. En cambio, los datos más efectivos son aquellos que cubren los modos de respuesta frágiles de la política actual. Al utilizar la generación de contrafactuales como una auditoría offline en lugar de una aumentación no estructurada, CFNBC permite la construcción de conjuntos de reparación compactos y de alto impacto que mejoran significativamente la robustez con un gasto mínimo de datos, evitando los costos y riesgos de seguridad asociados con las ejecuciones de falla en línea.