Resumen Técnico: Descubrimiento Offline de Habilidades Interpretables a partir de Trayectorias Multitarea (LOKI)

Declaración del Problema

El Aprendizaje de Imitación Jerárquico (HIL) ofrece un paradigma prometedor para la adquisición de comportamientos robóticos complejos mediante la descomposición de tareas de largo horizonte en subtareas manejables. Sin embargo, persiste un cuello de botella crítico en el descubrimiento de habilidades reutilizables y semánticamente significativas a partir de datos de trayectorias offline, multitarea, que carecen de recompensas explícitas o anotaciones de subtareas. Los métodos existentes enfrentan tres desafíos principales:

1. Ambigüedad en los Límites de las Habilidades: Segmentar trayectorias continuas en habilidades discretas sin supervisión explícita es difícil.
2. Falta de Reutilización e Interpretabilidad: Las habilidades aprendidas a menudo no se alinean con las conceptualizaciones humanas ni se transfieren entre tareas.
3. Escalabilidad: Muchos enfoques están diseñados para entornos de tarea única o requieren una ingeniería extensiva específica de la tarea, lo que limita su utilidad en entornos multitarea diversos.

El artículo propone LOKI (Learning Offline Key-skills via Imitation), un marco diseñado para abordar estas brechas mediante el descubrimiento de habilidades robustas e interpretables directamente de demostraciones offline sin anotar.

Metodología: El Marco LOKI

LOKI es un marco de aprendizaje de tres etapas y de extremo a extremo que transforma trayectorias multitarea brutas en una política jerárquica ejecutable.

Etapa 1: Macro-Segmentación mediante VQ-VAE Forzado (EVQ-VAE)

La primera etapa realiza una segmentación gruesa y consciente de la tarea para distinguir entre Habilidades Generales (GS).

• Arquitectura: Los autores introducen un Autoencoder Variacional de Cuantización Vectorial Forzada (EVQ-VAE). A diferencia de los VQ-VAE estándar, esta arquitectura aprovecha etiquetas de tarea débiles ($c$) para forzar la cuantización condicional a la tarea.
• Funciones de Pérdida: El modelo minimiza una pérdida compuesta que incluye reconstrucción condicional a la tarea, pérdida de código (codebook) y de compromiso (commitment). Crucialmente, introduce una pérdida de divergencia ($L_{divergence}$) para maximizar la distancia euclidiana entre los vectores del código, evitando el colapso y fomentando representaciones distintas.
• Detección de Límites: Los límites de las habilidades se identifican utilizando la entropía del espacio latente.
  • Las habilidades extrínsecas (específicas de la tarea) resultan en una baja entropía, ya que las incrustaciones (embeddings) se alinean estrechamente con un único vector de código específico de la tarea.
  • Las habilidades intrínsecas (agnósticas a la tarea) resultan en una alta entropía, ya que las incrustaciones son equidistantes a múltiples vectores.
  • Los puntos de cambio se detectan utilizando el algoritmo Pelt sobre la señal de entropía, separando comportamientos intrínsecos y extrínsecos.

Etapa 2: Micro-Segmentación Débilmente Supervisada

Esta etapa refina los macro-segmentos en Habilidades Independientes (IS) finamente granulares e independientes del contexto.

• Modelado Secuencial: Un VAE secuencial procesa ventanas deslizantes de longitud fija de los macro-segmentos. El modelo está entrenado para reconstruir acciones y estados mientras regulariza el espacio latente contra un prior condicionado únicamente al estado inicial y a la etiqueta de la tarea (asegurando que el código de la habilidad no haga "trampa" observando estados futuros).
• Refinamiento de Límites:
  1. Detección de Picos de Error: Los límites potenciales se identifican detectando picos repentinos en el error de reconstrucción (que indican una desviación de la dinámica actual de la habilidad).
  2. Clustering Iterativo: Se aplica un algoritmo de K-Means para segmentar las incrustaciones. Los segmentos consecutivos asignados al mismo clúster se fusionan, eliminando límites redundantes.
• Alineación de Habilidades de Tarea: El marco distingue entre habilidades reutilizables (intrínsecas) y únicas (extrínsecas). Los segmentos intrínsecos se agrupan en un conjunto compartido de primitivas, mientras que las habilidades extrínsecas reciben IDs únicos. Finalmente, todas las trayectorias de una tarea específica se alinean forzosamente a una secuencia de habilidades canónica basada en la frecuencia y similitud, asegurando la consistencia estructural.

Etapa 3: Construcción de la Política Jerárquica

Utilizando los límites de habilidades refinados, el marco construye una política ejecutable:

1. Función de Terminación ($\beta$): Un Perceptrón de Capas Múltiples (MLP) se entrena como un clasificador binario para predecir la terminación de la habilidad basándose en el estado actual, reemplazando horizontes de tiempo fijos por cambios basados en el estado.
2. Política de Bajo Nivel: Un controlador condicionado a la habilidad ($\pi(a_t|s_t, k)$) se entrena mediante clonación de comportamiento condicional para ejecutar habilidades atómicas específicas.
3. Política de Alto Nivel: En lugar de aprender un meta-controlador dinámico, el sistema utiliza las secuencias de habilidades canónicas derivadas en la Etapa 2 como programas deterministas de la tarea.

Contribuciones Clave

1. Marco LOKI: Un novedoso marco de tres etapas y débilmente supervisado para el descubrimiento de habilidades offline y la imitación jerárquica a partir de datos multitarea de largo horizonte.
2. EVQ-VAE: Una nueva arquitectura que utiliza etiquetas de tarea débiles para forzar la cuantización condicional a la tarea, permitiendo la separación de habilidades intrínsecas y extrínsecas.
3. Método de Micro-Segmentación: Un enfoque débilmente supervisado que combina el análisis del error de reconstrucción y el clustering iterativo para distinguir habilidades granulares y conservadoras.
4. Validación Empírica: Demostración de que las habilidades descubiertas son semánticamente significativas, consistentes y composibles, permitiendo la resolución de tareas novedosas.

Resultados Experimentales

Los experimentos se realizaron en el benchmark D4RL Kitchen, utilizando el conjunto de datos kitchen-mixed-v0 que contiene trayectorias para siete subtareas (por ejemplo, microondas, tetera, interruptor de luz) combinadas en tareas complejas de múltiples etapas.

• Macro-Segmentación: El EVQ-VAE identificó con éxito los límites entre habilidades intrínsecas y extrínsecas, evidenciado por estados de baja entropía (extrínsecos) y alta entropía (intrínsecos) distintos en el espacio latente.
• Micro-Segmentación: El proceso de refinamiento iterativo eliminó eficazmente los límites ruidosos y forzó estructuras de segmentación consistentes a través de las trayectorias de la misma tarea.
• Interpretabilidad: La visualización PCA del espacio latente reveló que las habilidades con movimientos robóticos similares (por ejemplo, "Microwave" y "Hinge Cabinet") se agrupaban adyacentes, confirmando la alineación semántica con la intuición humana.
• Precisión de Terminación: La función de terminación aprendida alcanzó una precisión del 93.7% dentro de una ventana de $\pm4$ pasos de tiempo respecto a los límites reales.
• Comparación de Rendimiento:
  • Las variantes de LOKI (LOKI-O usando IDs one-hot y LOKI-E usando incrustaciones continuas) superaron significativamente a los baselines jerárquicos DADS y OPAL en términos del Error Cuadrático Medio (MSE) de la política de bajo nivel.
  • LOKI-E obtuvo el mejor rendimiento entre los métodos propuestos (MSE promedio: 7.76), atribuido a la información más rica en las incrustaciones continuas en comparación con los IDs discretos.
  • Aunque el baseline "Expert" (BC plano) logró un MSE menor, LOKI demostró una modularidad e interpretabilidad superiores, que son críticas para el control jerárquico.

Significado y Reivindicaciones

El artículo afirma que LOKI proporciona un método práctico y robusto para extraer habilidades estructuradas e interpretables a partir de datos offline brutos sin requerir recompensas densas o anotaciones manuales de subtareas. Al alinear las habilidades descubiertas con la intuición humana y permitir su composición para resolver tareas novedosas, este trabajo aborda un obstáculo fundamental para escalar el aprendizaje de imitación a entornos robóticos multitarea complejos. Los autores posicionan esto como un paso significativo hacia un aprendizaje robótico más escalable y generalizable a partir de demostraciones, ofreciendo una alternativa viable a los métodos que dependen de una extensa interacción online o de conjuntos de datos masivos y anotados.