Resumen Técnico: Descubrimiento Jerárquico de Habilidades No Supervisado (HiSD)

Enunciado del Problema

El artículo aborda el desafío de la segmentación de habilidades no supervisada y el descubrimiento de estructuras jerárquicas en el aprendizaje por refuerzo (RL). Mientras que la planificación humana opera de manera jerárquica —razonando en términos de objetivos y subtareas en lugar de acciones primitivas—, los agentes actuales de RL en entornos de alta dimensionalidad (por ejemplo, Minecraft) luchan por aprender dichas estructuras de manera eficiente.

Los enfoques existentes para el descubrimiento de habilidades suelen depender de una supervisión fuerte, como:

• Etiquetas de acción: Requieren acceso a las acciones específicas realizadas por un agente.
• Señales de recompensa: Dependen de estructuras de recompensa densas o dispersas para definir los límites de las habilidades.
• Anotaciones hechas a mano: Exigen experiencia humana para definir las descomposiciones de tareas (por ejemplo, Redes de Tareas Jerárquicas).

Estas dependencias limitan la escalabilidad, particularmente al tratar con abundantes datos de video sin etiquetar donde no están disponibles las acciones, las recompensas o las segmentaciones de verdad fundamental. Además, muchos métodos existentes producen segmentaciones "planas" en lugar de jerarquías profundas y composicionales necesarias para tareas complejas de largo horizonte.

Metodología: Descubrimiento Jerárquico de Habilidades (HiSD)

Los autores proponen HiSD, un marco completamente no supervisado que extrae jerarquías de habilidades reutilizables y multinivel puramente a partir de datos observacionales (secuencias de píxeles o características en bruto). El método desacopla el descubrimiento de la estructura de la ejecución de la política y opera en dos etapas distintas:

1. Identificación No Supervisada de Habilidades (Segmentación)

La primera etapa convierte las trayectorias continuas de observación en secuencias discretas de habilidades latentes.

• Entrada: Trayectorias de observación sin etiquetar $T = (X_1, \dots, X_n)$, donde $X$ representa vectores de características (por ejemplo, píxeles reducidos por PCA o incrustaciones de CLIP).
• Algoritmo: El marco utiliza Segmentación Temporal de Acciones (TAS) mediante el enfoque ASOT (Transporte Óptimo Desbalanceado).
• Mecanismo: ASOT formula la segmentación como un problema de transporte óptimo. Minimiza un objetivo regularizado que equilibra:
  • Costo de Coincidencia Visual: Disimilitud entre las características de observación y los prototipos latentes de habilidades.
  • Regularidad Temporal: Impuesta mediante un componente Gromov-Wasserstein (GW) que penaliza el cambio rápido de etiquetas dentro de un radio temporal, asegurando suavidad local.
  • Penalización Marginal: Un término de divergencia KL que permite distribuciones de habilidades desbalanceadas (manejando casos donde algunas habilidades son raras).
• Salida: Una secuencia de índices de habilidades discretas $z_{1:n}$ que representan unidades de comportamiento atómicas.

2. Abstracción Simbólica e Inducción Gramatical (Descubrimiento de Estructura)

La segunda etapa induce una estructura jerárquica sobre las secuencias discretas de habilidades.

• Construcción del Corpus: Los fotogramas contiguos que comparten la misma etiqueta de habilidad se colapsan en símbolos atómicos únicos. Todas las secuencias de episodios se concatenan en un corpus unificado, separadas por un token de límite único $\phi$.
• Algoritmo: Se aplica un algoritmo Sequitur modificado al corpus. Sequitur es un algoritmo de inducción gramatical de tiempo lineal que infiere una estructura jerárquica identificando patrones recurrentes.
• Restricciones:
  • Unicidad de Dígramas: Ningún par de símbolos adyacentes aparece más de una vez; las repeticiones se reemplazan por nuevas reglas no terminales.
  • Utilidad de la Regla: Las reglas deben usarse al menos dos veces para ser retenidas.
  • Protección de Límites: El token de límite $\phi$ está prohibido de aparecer en las reglas de producción, asegurando que los subprogramas aprendidos capturen comportamientos intra-episodio en lugar de fusionar el final de un episodio con el inicio de otro.
• Salida: Una Gramática Libre de Contexto (CFG) $G$ donde los nodos terminales son habilidades atómicas y los nodos internos representan subprogramas descubiertos (por ejemplo, "Recoger Madera" + "Fabricar Banco de Trabajo").

Contribuciones Clave

1. Marco No Supervisado: Introducción de HiSD, que integra la segmentación temporal de acciones con la inducción gramatical para descubrir jerarquías multinivel sin etiquetas de acción, recompensas o anotaciones manuales.
2. Pipeline Solo Observacional: Un método adecuado para demostraciones sin etiquetar, que desacopla el descubrimiento de la estructura de la ejecución de la política y permite la escalabilidad a datos de video a gran escala.
3. Validación Empírica: Demostración de una calidad de segmentación superior y profundidad de abstracción en comparación con líneas base (CompILE, OMPN) en dominios complejos.
4. Utilidad en Tareas Posteriores: Una prueba de concepto que muestra que las jerarquías descubiertas aceleran y estabilizan el aprendizaje en tareas de RL posteriores, incluso cuando solo está disponible un pequeño número de demostraciones etiquetadas con acciones para el fundamento de la política.

Resultados Experimentales

Los autores evaluaron HiSD en dos dominios: Craftax (un entorno 2D determinista y totalmente observable) y Minecraft (un entorno estocástico, parcialmente observable y de alta dimensionalidad).

Líneas Base

Las comparaciones se realizaron contra CompILE y OMPN, a los cuales se les proporcionaron ordenamientos de subtareas de verdad fundamental y etiquetas de acción para asegurar que operaran bajo sus condiciones más favorables. HiSD requirió únicamente el número máximo de habilidades $K$ como priori.

Rendimiento de Segmentación de Habilidades

• Métricas: Media sobre Fotogramas (MoF), Puntuación F1 e Intersección sobre Unión media (mIoU).
• Hallazgos: HiSD superó consistentemente a las líneas base, particularmente en tareas con mayor complejidad, estocasticidad y horizontes más largos.
  • En Craftax, HiSD logró puntuaciones mIoU más altas, agrupando correctamente comportamientos perceptualmente distintos pero semánticamente equivalentes (por ejemplo, acercarse a la madera desde diferentes ángulos) en clústeres de habilidades únicos.
  • En Minecraft, a pesar de la aliasing perceptual (por ejemplo, caminar hacia la madera frente a la piedra que se ven idénticas en vista en primera persona), el prior de consistencia temporal de HiSD permitió una segmentación coherente donde las líneas base fallaron.

Calidad de la Jerarquía

• Métricas: Árboles Únicos (consistencia), Profundidad Promedio, Tamaño del Árbol y Factores de Ramificación.
• Hallazgos:
  • HiSD produjo descomposiciones más consistentes a través de los episodios (menos árboles únicos) en comparación con OMPN, que a menudo generaba una jerarquía única para cada episodio.
  • Las jerarquías de HiSD fueron generalmente más pequeñas y más interpretables, con factores de ramificación más bajos, indicando una mejor identificación de subprogramas intermedios.
  • En la tarea ruidosa "All" de Minecraft, HiSD tuvo dificultades para encontrar una estructura única consistente debido a la estocasticidad ambiental, pero se desempeñó significativamente mejor en la tarea "Mapped" (agrupada semánticamente).

Despliegue de RL Posterior

Los autores demostraron la utilidad de las jerarquías descubiertas entrenando agentes de alto nivel utilizando Optimización de Política Proximal (PPO) Enmascarable con las habilidades descubiertas como opciones.

• Eficiencia: Los agentes que utilizan jerarquías HiSD alcanzaron recompensas cercanas a las óptimas significativamente más rápido (por ejemplo, dentro de ~30k pasos en Craftax) en comparación con PPO de acción primitiva (que falló) y agentes de habilidades planas.
• Eficiencia de Datos: Los agentes jerárquicos lograron un alto rendimiento con tan solo 250 demostraciones etiquetadas con acciones para el fundamento de la política, a pesar de que el descubrimiento inicial de habilidades fue completamente no supervisado.

Significado y Afirmaciones

El artículo afirma que HiSD ofrece un camino escalable hacia agentes generalistas capaces de aprender a partir de datos abundantes y sin etiquetar. Al conectar la segmentación temporal de acciones de vanguardia con la compresión basada en gramáticas, el método induce jerarquías multinivel directamente a partir de trayectorias observacionales en bruto.

Los autores enfatizan que:

• La estructura puede recuperarse puramente a partir de la coherencia temporal y la similitud visual, sin necesidad de supervisión de acciones.
• Las jerarquías resultantes son semánticamente significativas y reutilizables, proporcionando los sesgos inductivos necesarios para la asignación de crédito temporal en RL posterior.
• El enfoque reduce la barrera para entrenar agentes capaces al eliminar la necesidad de supervisión densa y etiquetas de acción, facilitando una mejor interacción humano-IA a través de estructuras transparentes e interpretables.

El trabajo se presenta como una prueba de concepto, reconociendo limitaciones como la naturaleza determinista de la inducción gramatical (que lucha con alto ruido) y la dependencia de una priori fija para el número de habilidades $K$. Sin embargo, los resultados sugieren que el descubrimiento de estructura no supervisado es una estrategia viable y efectiva para entornos complejos de aprendizaje por refuerzo de alta dimensionalidad.