Auditing Demonstration Curation Metrics: Action-Only Scorers Fail on the Structural Defects That Degrade Imitation Policies

Resumen Técnico: Auditoría de Métricas de Curación de Demostraciones

Planteamiento del Problema
Las políticas de aprendizaje por imitación, particularmente el clonación de comportamiento (behavior cloning), están fundamentalmente limitadas por la calidad de las demostraciones con las que se entrenan. Aunque se suelen curar grandes conjuntos de datos utilizando métricas automáticas para filtrar datos de baja calidad, no existe un consenso sobre qué métricas mejoran realmente el rendimiento de la política descendente (downstream). La literatura existente valida las métricas en conjuntos de datos dispares con diferentes protocolos, lo que crea una brecha entre la capacidad de una métrica para identificar demostraciones "inusuales" y su capacidad para identificar demostraciones que degradan activamente una política. Además, no está claro si una alta precisión de detección se traduce en una mejora del éxito en la tarea.

Metodología
Los autores introducen un banco de pruebas controlado para auditar siete métricas de curación de demostraciones existentes. El estudio aisla dos variables distintas: la capacidad de detección de una métrica (qué tan bien clasifica las demostraciones defectuosas con una puntuación más baja que las limpias) y el impacto descendente (si el entrenamiento en el subconjunto curado mejora el éxito de la tarea en comparación con el conjunto contaminado no curado).

• Entorno: Un simulador ligero de pick-and-place basado en NumPy, modelado sobre la configuración de un solo brazo de ALOHA. La tarea consiste en agarrar un objeto y moverlo a una región objetivo.
• Inyección de Defectos: El estudio introduce dos regímenes de defectos con una tasa de contaminación del 40%, manteniendo las etiquetas de los defectos ocultas para las métricas de curación:
  1. Perturbaciones Sutiles: Ruido de acción correlacionado (AR(1)), temblor de alta frecuencia, truncamiento prematuro y desvíos de trayectoria. Estos representan desviaciones estadísticas del comportamiento correcto.
  2. Errores Estructurales: Un defecto de "liberación temprana" donde la pinza se abre prematuramente durante la fase de transporte, causando que el objeto se caiga. Esto representa una acción incorrecta sistemática y dependiente del estado.
• Métricas Auditadas: Se probaron siete métricas, categorizadas por su tipo de dato de entrada:
  • Solo Acción: Suavidad (smoothness, longitud de arco espectral), Entropía (varianza de la acción), Longitud, Isolation Forest y un Ensamblado de estas.
  • Conciencia de Trayectoria de Estado: k-Vecinos más Cercanos (kNN) en un espacio de características de trayectoria, y Alineación de Trayectoria.
• Protocolo de Evaluación:
  • Detección: Medida mediante el Área Bajo la Curva ROC (AUROC) frente a etiquetas ocultas.
  • Descendente: Las políticas se entrenaron en la fracción de datos con mayor puntuación (fijada en $N=150$ demostraciones para controlar la cantidad) y se evaluaron en 50 ejecuciones (rollouts) frescas. Los resultados se promediaron sobre tres semillas aleatorias.

Resultos Clave
El estudio revela una fuerte divergencia entre la precisión de detección y la utilidad descendente, la cual depende fuertemente del tipo de defecto:

1. Perturbaciones Sutiles: Son altamente detectables y recuperables. La detección de valores atípicos multivariantes (Isolation Forest) logró un AUROC de 0.97. Al usarse para la curación, casi recuperó totalmente la brecha de rendimiento entre el conjunto contaminado y el conjunto limpio oráculo (71.3% vs. 72.0% de éxito).
2. Errores Estructurales: Son mayormente invisibles para las métricas de solo acción.
   • Inversión: Varias métricas de solo acción (Suavidad, Entropía, Ensamblado) funcionaron peor que el azar (AUROC < 0.5) ante defectos estructurales. Notablemente, la Entropía calificó las demostraciones defectuosas como de mayor calidad porque el error estructural aumentó la varianza de la acción, imitando la "exploración".
   • Daño Descendente: El uso de estas métricas invertidas para la curación resultó en políticas que tuvieron un rendimiento igual o inferior al de la línea base no curada (por ejemplo, la Suavidad cayó al 27.3% de éxito frente al 36.0% del conjunto contaminado).
   • Recuperación Parcial: Solo las métricas conscientes de la trayectoria de estado (kNN y Alineación de Trayectoria) detectaron errores estructurales. Sin embargo, incluso el mejor ejecutor (kNN) recuperó solo aproximadamente un tercio de la brecha de rendimiento (48.0% vs. 62.7% del oráculo), demostando que la detección no garantiza la recuperación.
3. Desacoplamiento de Detección y Recuperación: Dos métricas con AUROCs de detección similares para defectos estructurales (kNN: 0.86, Alineación de Trayectoria: 0.76) produjeron resultados descendentes muy distintos. kNN recuperó un rendimiento significativo, mientras que la Alineación de Trayectoria apenas superó la línea base. Esto sugiere que qué demostraciones limpias se descartan como daño colateral es tan crítico como la calidad del ranking.

Significancia y Reivindicaciones
La contribución principal del artículo es la auditoría y el propio banco de pruebas, más que un nuevo algoritmo de curación. Los autores sostienen tres hallazgos:

• Dependencia del Régimen: Las métricas de curación no son universalmente aplicables; la puntuación de valores atípicos multivariantes funciona para el ruido sutil, pero solo el análisis de trayectoria de estado puede abordar errores estructurales.
• Riesgo de las Métricas de Solo Acción: Las métricas que ignoran las trayectorias de estado pueden ser activamente perjudiciales, degradando potencialmente el rendimiento de la política por debajo de la línea base no curada al filtrar datos válidos mientras retienen datos defectuosos.
• Estándar de Evaluación: La precisión de detección (AUROC) es una condición necesaria pero insuficiente para una métrica de curación útil. El único juez válido de un método de curación es el rendimiento de la política entrenada en su subconjunto curado.

Los autores concluyen que los profesionales deben adaptar la métrica de curación al tipo de defecto esperado y enfatizan que los errores estructurales, que son los más dañinos, requieren un análisis consciente del estado. El artículo reconoce limitaciones, incluyendo el uso de un simulador simplificado, defectos inyectados en lugar de reales, y un número limitado de semillas aleatorias, sugiriendo que, si bien los hallazgos cualitativos se mantienen, las brechas numéricas específicas pueden variar en entornos más complejos y ricos en física.