Resumen Técnico: Aprendizaje por Imitación Zero-shot mediante Mapeo de Topología Latente (ZALT)

Definición del Problema

El artículo aborda el desafío de la composición de comportamientos zero-shot en el aprendizaje por imitación condicionado a objetivos y de largo horizonte. En este escenario, un agente recibe un conjunto fijo y offline de demostraciones expertas que cubren únicamente un subconjunto de las posibles tareas de inicio-objetivo. El objetivo es que el agente resuelva combinaciones de inicio-objetivo no vistas sin interacción adicional con el entorno ni optimización de la política.

La dificultad central reside en la acumulación de errores a lo largo de trayectorias largas. Los métodos existentes, como la clonación conductual o la imitación basada en modelos, suelen fallar en este régimen porque pequeños errores en la política, el modelo o el desplazamiento de la distribución se acumulan a lo largo de cientos de pasos de acción primitiva cuando el agente intenta componer comportamientos fuera de la distribución de inicio-objetivo demostrada. El artículo postula que, aunque un conjunto de datos fijo pueda carecer de trayectorias completas para nuevas tareas, probablemente contenga los segmentos de comportamiento locales necesarios; el desafío consiste en aprender a recombinar estos segmentos de manera fiable.

Metodología: ZALT

Los autores proponen Agentes Zero-shot desde Topologías Latentes (ZALT), un método que convierte un conjunto fijo de demostraciones en una estructura de alto nivel componible para la planificación. El enfoque consta de cuatro etapas principales:

1. Descubrimiento de Nodos Hub Latentes

ZALT construye primero una topología de comportamiento identificando "estados hub" dentro de los datos de demostración. Estos hubs actúan como uniones reutilizables donde las trayectorias convergen o divergen.

• Espacio Latente: Para manejar observaciones de alta dimensión, ZALT utiliza un modelo de codificador-dinámica-decodificador de bajo nivel para mapear estados a un espacio latente alineado con la dinámica. Este espacio se entrena para predecir estados futuros basándose en acciones, asegurando que estados comportamentalmente similares (en lugar de solo visualmente similares) se agrupen juntos.
• Identificación de Hubs: Los hubs se definen como clusters latentes donde:
  • Convergencias: Múltiples trayectorias previas distintas entran en el mismo cluster.
  • Divergencias: Un solo cluster conduce a múltiples trayectorias futuras distintas.
  • Inicios/Terminaciones: Los estados iniciales y terminales también se tratan como hubs.
• Significado: Al identificar estos hubs, ZALT comprime horizontes largos de acciones primitivas en secuencias más cortas de transiciones abstractas, aislando los errores en los enlaces entre hubs en lugar de en toda la trayectoria.

2. Aprendizaje de un Modelo de Dinámica de Hubs de Alto Nivel

Una vez establecida la topología (grafo de hubs y aristas), ZALT aprende un modelo de dinámica de alto nivel ($M^{high}$) que predice el siguiente hub dada la secuencia de hubs visitados hasta el momento ($h_{0:m}$).

• Conciencia del Contexto: A diferencia de una simple traversía de grafos, este modelo utiliza una GRU para capturar información dependiente del camino. Por ejemplo, llegar a un hub de pasillo podría conducir a resultados diferentes dependiendo de si el agente recolectó previamente una llave específica.
• Enmascaramiento: El modelo se entrena con enmascaramiento topológico; las transiciones no soportadas por ninguna arista de demostración se asignan con probabilidad cero, evitando que el planificador intente comportamientos no soportados.

3. Aprendizaje de Políticas de Hub a Hub

Para cada arista en la topología (transición del hub $h_i$ al hub $h_j$), ZALT entrena una política específica de bajo nivel ($\pi_{h_i}$) condicionada a la incrustación del hub objetivo.

• Clonación Conductual: Estas políticas se entrenan mediante clonación conductual en los segmentos de acción primitiva de las demostraciones que conectan los hubs de origen y destino específicos.
• Robustez: Para manejar variaciones temporales y errores de detección de límites, el entrenamiento incluye perturbación estocástica de los límites (truncando o extendiendo segmentos) y ruido en las observaciones.

4. Inferencia Zero-shot

En el momento de la prueba, dada una nueva pareja de inicio-objetivo:

1. Mapeo: La observación de inicio se codifica y se empareja con un hub de inicio ($h_s$); el objetivo se empareja con un conjunto de hubs de éxito terminal ($H_g$).
2. Búsqueda: Un algoritmo de búsqueda (utilizando un costo de transición de cuello de botella) explora la topología de comportamiento para encontrar la ruta más plausible desde $h_s$ hasta cualquier $h_g \in H_g$. La búsqueda se basa en el modelo de dinámica de alto nivel para puntuar la plausibilidad de la ruta según el historial.
3. Ejecución: El plan abstracto resultante (una secuencia de hubs) se ejecuta encadenando las políticas aprendidas de hub a hub correspondientes.

Contribuciones Clave

• Mapeo de Topología Latente: La introducción de un método para identificar y utilizar explícitamente estados de hub latentes (convergencias/divergencias) como uniones reutilizables para la composición de comportamientos.
• Compresión de Horizonte: Un mecanismo que reduce la planificación de largo horizonte desde cientos de decisiones primitivas a una secuencia corta de transiciones de hubs abstractos, reduciendo significativamente la oportunidad de acumulación de errores.
• Dinámica Dependiente del Camino: Un modelo de alto nivel que condiciona las predicciones futuras sobre la secuencia de hubs visitados, en lugar de solo el estado actual, permitiendo al agente razonar sobre el contexto (por ejemplo, estado del inventario) codificado implícitamente en el historial del camino.
• Composición Zero-shot: Un marco que permite resolver tareas con parejas de inicio-objetivo nunca vistas en el entrenamiento, siempre que los segmentos de comportamiento locales necesarios existan en el conjunto de datos de demostración.

Resultados Experimentales

Los autores evalúan ZALT en un entorno complejo de laberinto 3D (estilo MiniWorld/CARL) que requiere manipulación ordenada de objetos (llaves, puertas cerradas, diamantes y un barril). La tarea implica navegar hacia llaves específicas, desbloquear puertas, recolectar artículos y depositarlos en un orden específico.

• Conjunto de Datos: 18 demostraciones exitosas y 120 demostraciones fallidas que cubren solo 18 de los 36 posibles pares de inicio-objetivo.
• Rendimiento Zero-shot: ZALT logra una tasa de éxito del 55% en los 18 pares de inicio-objetivo no vistos.
• Comparación con Líneas Base:
  • DQN+BC: 6% de éxito (la línea base más fuerte).
  • CQL, IQL, Option-Critic: 0% de éxito.
  • Tareas Vistas: ZALT logra un 72.2% de éxito en tareas vistas, en comparación con el 11% de la línea base más fuerte, lo que indica que el entorno es difícil incluso para el aprendizaje por imitación estándar.
• Eficiencia: Los planes exitosos de ZALT comprimen aproximadamente 244–281 pasos de tiempo primitivos en unas 33 transiciones a nivel de hub (longitud promedio de arista ~7.9 acciones).
• Estudios de Ablación:
  • Eliminar el modelo de dinámica de alto nivel (sustituyéndolo por BFS) resulta en un 0% de éxito, demostrando que la conectividad topológica cruda es insuficiente sin predicción dependiente del camino.
  • Eliminar la memoria GRU del codificador de bajo nivel resulta en un 0% de éxito, demostrando que el descubrimiento de hubs requiere contexto comportamental (por ejemplo, llaves recolectadas) más allá de la observación visual inmediata.
• Adaptación Online: Después de 500 episodios de interacción online, las líneas base no lograron recuperar el rendimiento, lo que sugiere que la dificultad proviene del horizonte largo y las recompensas escasas en lugar de una falta de práctica.

Significado y Afirmaciones

El artículo afirma que ZALT demuestra que la topología de comportamiento explícita es un componente crítico para la generalización zero-shot en el aprendizaje por imitación de largo horizonte. Los autores argumentan que, mientras los métodos estándar luchan cuando la ruta completa de inicio-objetivo está fuera de distribución, ZALT tiene éxito al aprovechar las "piezas de comportamiento locales" presentes en los datos.

El significado radica en la capacidad de resolver tareas complejas y composicionales sin requerir un conjunto completo de demostraciones para cada posible variación de tarea. Al comprimir el horizonte de planificación y modelar explícitamente la conectividad de segmentos de comportamiento reutilizables, ZALT supera el problema de acumulación de errores que afecta a las políticas de largo horizonte. Los autores concluyen que este enfoque ofrece una dirección prometedora para entrenar agentes en entornos interactivos donde la recolección de trayectorias expertas para cada posible combinación de tareas es inviable.

El artículo se mantiene modesto en cuanto a su alcance, señalando que el método asume la existencia de conectividad de comportamiento reutilizable en las demostraciones y que la calidad del hub depende de la representación latente aprendida. Se sugiere trabajo futuro para explorar las fuerzas que impulsan la formación de hubs y adaptar el marco a entornos de aprendizaje online o híbrido.