Phase-Localized Curation Does Not Help: A Negative Result on Per-Phase Metric Selection for Demonstration Filtering

Resumen Técnico: La curación localizada por fases no ayuda

Planteamiento del problema
La curación de demostraciones para el aprendizaje por imitación (behavior cloning) es crítica cuando se entrena con datos de calidad mixta; sin embargo, trabajos recientes han establecido un desacoplamiento contraintuitivo entre la precisión de detección y el valor de la curación: una métrica con el mayor AUROC de detección de defectos no necesariamente produce la mejor política cuando se utiliza como filtro. Una hipótesis natural para remediar esto es la curación localizada por fases. Dado que las tareas de manipulación poseen estructuras de fase temporales (por ejemplo, aproximación, agarre, levantamiento, transporte) y los defectos suelen localizarse en fases específicas, es plausible que puntuar cada fase con su métrica localmente más informativa y agregar los resultados supere a la puntuación global. Este artículo pone a prueba la hipótesis de que segmentar las trayectorias en fases y aplicar la selección de métricas por fase mejora los resultados de la curación en comparación con las estrategias uniformes o globales.

Metodología y banco de pruebas
Los autores evalúan esta hipótesis en tres tareas de recogida y colocación (pick-and-place) ricas en contacto del benchmark LIBERO, construido sobre el simulador robosuite.

• Modelo de defecto: Se inyecta un defecto estructural controlado de "liberación temprana", donde la pinza se abre prematuramente durante la fase de LEVANTAMIENTO (LIFT) (30–70% de la duración de la fase), lo que provoca que el objeto se caiga. Este defecto está localizado en una sola fase y no se promedia a lo largo del conjunto de datos.
• Configuración de datos: Los conjuntos de entrenamiento consisten en 80 demostraciones (tasa de contaminación del 80%: 64 defectuosas, 16 limpias). Las políticas se entrenan con el 75% superior de las demostraciones curadas (60 trayectorias).
• Política: Un MLP de aprendizaje por imitación condicionado por fase (2 capas ocultas, 256 unidades) entrenado durante 300 épocas.
• Estrategias de curación comparadas:
  1. Global: Se calcula una única métrica sobre toda la trayectoria truncada para clasificar todas las demostraciones.
  2. Uniforme: Se aplica una única métrica de forma idéntica a cada fase, y las puntuaciones por fase se agregan. Esto aísla el efecto de la maquinaria de agregación de la variación de la métrica.
  3. Por compuerta de fase (Propuesta): Las trayectorias se segmentan en cuatro fases (PREGRASP, DESCEND, LIFT, TRANSPORT). Para cada fase, un barrido identifica la métrica localmente más discriminativa. Estas puntuaciones por fase se normalizan por rango y se promedian para producir el ranking de curación final.
• Evaluación: Las tasas de éxito se miden sobre 30 ejecuciones (rollouts) de cinco semillas aleatorias por condición.

Resultos clave
El estudio arroja un resultado negativo consistente: la curación por compuerta de fase nunca es la mejor estrategia y, a menudo, es la peor.

• Rendimiento: En las tres tareas, la curación por compuerta de fase no logró superar tanto al baseline uniforme como al global.
  • Tarea 1: La curación por compuerta de fase (86.0%) fue la peor, quedando por detrás de las estrategias global (92.0%) y uniforme (91.3%).
  • Tarea 3: La curación por compuerta de fase (22.7%) fue la peor, rindiendo significativamente por debajo de la estrategia uniforme (48.0%) y la global (30.7%).
  • Tarea 2: La curación por compuerta de fase (78.0%) superó a la métrica global (58.0%), pero perdió ante el baseline uniforme (83.3%), lo que indica que la mejora provino del uso de una mejor métrica, no de la descomposición por fases.
• Transferibilidad: La selección de métricas por fase no se transfiere entre tareas. La Tabla III muestra que ninguna fase comparte la misma métrica "ganadora" entre dos tareas cualesquiera, lo que requiere un nuevo, ruidoso y costoso barrido para cada nueva tarea.

Mecanismo de fallo: Dilución de la señal
El artículo identifica la dilución de la señal bajo la agregación de rangos como el mecanismo concreto de fallo.

• La señal del defecto se concentra enteramente en la fase de LEVANTAMMO (LIFT). La métrica sensible a este defecto (el tiempo de la pinza) porta una señal limpia y de alto peso cuando se aplica de forma global o uniforme.
• En el enfoque de compuerta de fase, la fase de LEVANTAMIENTO se puntúa correctamente, pero las otras tres fases libres de defectos se puntúan mediante métricas seleccionadas sobre ruido (ya que no hay defectos que detectar en esas fases).
• Cuando se agregan los rangos, la señal concentrada e informativa de la fase de LEVANTAMIENTO se diluye con los rangos ruidosos y no informativos de las otras fases. Esto permite que las demostraciones defectuosas (que parecen normales en las fases sin defecto) tengan un ranking superior a las demostraciones limpias (que pueden parecer ligeramente anómalas en las fases libres de defectos).
• Se probó un respaldo de umbral de confianza, pero falló en rescatar el método porque las fases libres de defectos fueron seleccionadas "confiadamente" como irrelevantes, y el mecanismo de dilución permaneció activo.

Significancia y contribuciones
El artículo realiza cuatro contribuciones principales:

1. Límite empírico: Proporciona una prueba controlada y multitarea que muestra que la curación por compuerta de fase no mejora las estrategias más simples y, a menudo, es inferior.
2. Explicación mecánica: Explica por qué falla el método (dilución de la señal), prediciendo que la descomposición por fases es perjudicial cuando los defectos están concentrados en una sola fase.
3. Falta de transferencia: Demuestra que la selección de métricas por fase no es reutilizable entre tareas, eliminando el principal argumento práctico para adoptar el método.
4. Guía práctica: Los autores argumentan que los profesionales deben priorizar la identificación de una única métrica informativa del defecto y aplicarla de forma uniforme, en lugar de descomponer la curación por fase.

Limitaciones y alcance
Los autores limitan explícitamente sus afirmaciones al escenario específico de defectos estructurales concentrados en una sola fase, altas tasas de contaminación y tareas ricas en contacto. No afirman que la compuerta de fase falle para defectos que estén genuinamente distribuidos en múltiples fases, señalando que tales defectos distribuidos son menos comunes en la práctica (por ejemplo, objetos caídos, agarres fallidos). Los resultados dependen de un orden consistente entre semillas más que de diferencias de medias por sí solas, dado el alto nivel de varianza observado en el aprendizaje por imitación con conjuntos curados pequeños.