Resumen Técnico: Las métricas de curación de demostraciones determinan su política

Declaración del Problema

En el aprendizaje por imitación (Behavior Cloning - BC), el rendimiento de la política está fundamentalmente limitado por la calidad de las demostraciones de entrenamiento. Si bien los conjuntos de datos a gran escala recolectados en entornos reales suelen contener una calidad heterogénea debido a variaciones en la habilidad del operador o fallos en la política programada, el remedio estándar —la curación (calificar y descartar episodios de baja calidad)— carece de un marco de evaluación unificado. La literatura existente propone diversas métricas de calidad (por ejemplo, suavidad de la trayectoria, detección de valores atípicos), pero las valida principalmente mediante la precisión de detección (qué tan bien una métrica clasifica episodios limpios frente a defectuosos).

Este artículo identifica una brecha crítica: la precisión de detección no necesariamente se correlaciona con el valor de curación (cuánto mejora la política descendente cuando se entrena con el subconjunto curado). Una métrica puede sobresalir al señalar trayectorias inusuales sin lograr identificar aquellas que son más perjudiciales para la política aprendida. Además, los autores hipotetizan que muchos de los benchmarks existentes sufren de un sesgo metodológico donde las métricas explotan la longitud del episodio como un proxy trivial para los defectos, inflando el rendimiento reportado.

Metodología

Los autores diseñaron un banco de pruebas controlado utilizando el benchmark LIBERO pick-and-place (construido sobre robosuite) para desacoplar la precisión de detección del rendimiento de la política descendente.

Configuración Experimental

• Tarea: Una tarea de recogida y colocación (pick-and-place) rica en contactos que involucra cuatro fases: aproximación, descenso, elevación y transporte.
• Arquitectura de la Política: Una política de comportamiento condicionada por fases (MLP con 2 capas ocultas, 256 unidades) que toma observaciones de 26 dimensiones (posición del efector final, estado de la pinza, posición inicial del cuenco y codificación one-hot de la fase) y genera acciones de 4 dimensiones.
• Inyección de Defectos: Se introdujo un defecto estructural con una tasa de contaminación del 80%. El defecto consiste en la liberación prematura de la pinza durante la fase de ELEVACIÓN (entre el 30% y el 70% de la fase), lo que provoca que el objeto se caiga antes del transporte.
  • Datos Limpios: 16 demostraciones programadas (100% de éxito).
  • Datos Defectuosos: 64 demostraciones (0% de éxito).
  • Línea Base Contaminada: Entrenar con las 80 demostraciones produce solo un 3.3% de éxito en la tarea.
  • Techo del Oráculo (Oracle Ceiling): Entrenar solo con las 16 demostraciones limpias produce un 93.3% de éxito.

Protocolo de Evaluación

El estudio evalúa siete métricas de curación en dos ejes:

1. Detección: Área bajo la curva ROC (AUROC) de la puntuación de calidad de la métrica frente a las etiquetas de éxito reales.
2. Rendimiento Descendente: Tasa de éxito de la tarea de una política de BC entrenada con el 75% superior de las demostraciones (60/80) curadas por cada métrica.

Control Crítico: Normalización de la Longitud del Episodio

Los autores identificaron que los episodios defectuosos en su configuración corren hasta el límite de tiempo (500 pasos) porque el robot continúa moviéndose después de soltar el objeto, mientras que los episodios exitosos terminan temprano (~325 pasos). Para evitar que las métricas exploten esta diferencia de longitud como un proxy de los defectos, todas las demostraciones fueron truncadas a T=324 pasos antes de la extracción de características. Esto asegura que las métricas dependan de señales basadas en el contenido y no en la duración.

Contribuciones Clave y Métricas Evaluadas

El artículo evalúa siete métricas, que van desde heurísticas simples hasta métodos de ensamble complejos:

1. Suavidad (Smoothness): Longitud de arco espectral (SPARC) de la velocidad de la acción.
2. Entropía: Desviación estándar negativa de la secuencia de acciones.
3. Tiempo de la Pinza (Gripper Timing): Instante de tiempo normalizado de la primera apertura de la pinza (específicamente apunta al defecto inyectado).
4. Bosque de Aislamiento (Isolation Forest): Detección de valores atípicos en el espacio de características del resumen de acciones.
5. Ensamble (Ensemble): Combinación ponderada de Suavidad y Tiempo de la Pinza.
6. kNN: Distancia media negativa a los vecinos más cercanos en el espacio de características de la trayectoria.
7. Alineación de Trayectoria (Trajectory Alignment): Similitud de coseno entre la trayectoria media de estado de una demostración y la media del conjunto limpio.

Resultados

1. Desacoplamiento Agudo de la Detección y la Curación

El hallazgo central es una falta de correlación (Spearman $\rho = -0.14$) entre la AUROC de detección y el éxito de la política descendente.

• El "Peor" Detector: El Tiempo de la Pinza logró la mayor AUROC de detección (0.804) pero produjo la peor política (13.3% de éxito). Falló porque retuvo demostraciones defectuosas que abrían la pinza más tarde (pero aún demasiado pronto) mientras descartaba demostraciones limpias que casualmente tenían cierres ligeramente más tempranos.
• El "Mejor" Detector: La Alineación de Trayectoria tuvo una AUROC baja (0.638) pero produjo una política con un 90.0% de éxito (a 3.3 puntos porcentuales del Oráculo). Tuvo éxito porque el defecto estructural (soltar el cuenco) causó una gran desviación en la trayectoria media del estado, permitiendo incluso que una métrica imprecisa separara los episodios más perjudiciales.
• El Oráculo: El método de Ensamble logró un 91.1% de éxito con una varianza casi nula, demostando que combinar la calidad del movimiento global con indicadores de defectos localizados por fase es altamente efectivo.

2. El Confundido de la Longitud del Episodio

Antes de la truncación, cinco de las siete métricas (incluyendo Isolation Forest y kNN) lograron una AUROC casi perfecta (1.000) simplemente detectando la diferencia en la longitud del episodio (325 vs. 500 pasos). Tras la truncación:

• Longitud (camino acumulado): Cayó de 1.000 a 0.500 (azar).
• Isolation Forest: Cayó de 1.000 a 0.440.
• Tiempo de la Pinza: Se mantuvo alto (0.804) porque es consciente del contenido y está normalizado por longitud.
  Esto confirma que muchas métricas con alto rendimiento reportadas en la literatura pueden estar midiendo la duración del episodio en lugar de la calidad de la demostración.

3. Varianza y Fiabilidad

Métricas como kNN y Suavidad mostraron una alta varianza en el éxito descendente (por ejemplo, kNN $\pm 41.7\%$), lo que indica que sus decisiones de curación son inestables entre semillas aleatorias. En contraste, Ensamble y Alineación de Trayectoria mostraron una varianza casi nula, lo que las hace más fiables para procesos de curación de una sola ejecución.

Significado y Reivindicaciones

El artículo aboga por un cambio de paradigma en cómo se evalúa la curación de demostraciones:

1. El Rendimiento de la Política es la Única Métrica: La AUROC de detección es un mal predictor del valor de curación. La "pregunta correcta" no es qué métrica detecta mejor los defectos, sino qué métrica produce la mejor política.
2. Rigor Metodológico: Cualquier benchmark de curación debe controlar la longitud del episodio. Si los episodios defectuosos y exitosos difieren sistemáticamente en duración, las métricas de precisión de detección probablemente están midiendo un factor de confusión en lugar de la calidad real.
3. Guía Práctica: Los profesionales deben priorizar métricas que produzcan políticas de baja varianza y alto éxito (como Alineación de Trayectoria o Ensambles) sobre aquellas con alta AUROC de detección pero resultados descendentes pobres.

Los autores concluyen que el campo debe alejarse de los benchmarks de detección aislados hacia la evaluación de políticas de extremo a extremo para asegurar que los métodos de curación realmente mejoren los resultados del aprendizaje por imitación. El banco de pruebas, las implementaciones de las métricas y el pipeline de evaluación se publican para facilitar este cambio.