MRS: Multi-Resolution Skills for HRL Agents

Resumen Técnico: Multi-Resolution Skills (MRS) para Agentes HRL

1. El Problema: La Brecha de Agilidad en HRL

El Aprendizaje por Refuerzo Jerárquico (HRL) descompone la política de un agente en un gerente (que propone submetas abstractas) y un trabajador (que ejecuta acciones primitivas para alcanzarlas). Aunque esto facilita la planificación a largo plazo, introduce una brecha de rendimiento significativa en tareas que requieren agilidad y control fino (como la locomoción densa o la manipulación), donde los agentes HRL suelen ser superados por agentes monolíticos (no jerárquicos) como DreamerV3.

Los autores identifican dos causas raíz estructurales para este problema:

1. Representación de metas no restringida: En el HRL basado en submetas (como Director), el gerente aprende a proponer metas en un espacio de estados sin restricciones de alcanzabilidad o distancia temporal. Esto permite que el gerente proponga estados inalcanzables para el trabajador, diluyendo la capacidad representativa en todo el manifold de estados en lugar de concentrarse en los localmente alcanzables.
2. Compromiso Precisión-Suavidad (Trade-off): No existe una única distancia de submeta óptima:
   • Submetas cercanas: Permiten un control preciso en curvas, pero amplifican el ruido de predicción, causando inestabilidad (jitter).
   • Submetas lejanas: Generan trayectorias suaves en tramos rectos, pero acumulan errores geométricos en giros y transiciones rápidas.
   • Conclusión: La distancia óptima de la submeta depende tanto de la tarea como del estado específico dentro de la tarea (ej. usar habilidades cortas en giros y largas en rectas). Los enfoques actuales con resolución fija no pueden adaptarse dinámicamente.

2. Metodología: Habilidades de Multi-Resolución (MRS)

Para abordar estos problemas, los autores proponen MRS, un marco que aprende múltiples módulos de predicción de metas, cada uno especializado en un horizonte temporal fijo.

• Arquitectura de Habilidades (CVAEs Condicionales):

  • Se reemplaza el autoencoder de metas incondicional por N Variational Autoencoders Condicionales (CVAE) en paralelo.
  • Cada CVAE está especializado en predecir estados alcanzables en un número específico de pasos $l_i$ (ej. $K, 2K, 4K, 8K$).
  • Compartición de Parámetros: Todos los CVAE comparten una "columna vertebral" (backbone) común, diferenciándose solo en las capas de entrada/salida específicas de cada resolución. Esto minimiza la sobrecarga de parámetros, asegurando que las ganancias sean estructurales y no por capacidad bruta.
  • Habilidad $\infty$: Se incluye un CVAE incondicional (sin condicionamiento en el estado actual) para romper el ciclo de dependencia entre el gerente y los CVAE finitos durante el entrenamiento temprano, actuando como un mecanismo de exploración robusto.

• Controlador Meta (Meta-Controller):

  • El gerente posee $N$ cabezas de política (una por cada resolución de habilidad) y una cabeza de elección que predice una distribución one-hot sobre las resoluciones disponibles.
  • En cada paso del gerente, se muestrean latentes de todas las habilidades, se decodifican en submetas candidatas y la cabeza de elección selecciona dinámicamente la submeta más adecuada para el estado actual.
  • Esto permite la intercalación dinámica de comportamientos de grano fino (cortos) y grueso (largos) dentro de un mismo episodio.

• Entrenamiento:

  • Todos los componentes (CVAE, políticas de habilidades, controlador meta y trabajador) se entrenan de forma conjunta en una sola fase end-to-end.
  • Objetivo Exploratorio: Se introduce una recompensa intrínseca basada en el error de reconstrucción mínimo de los CVAE. El agente es recompensado por realizar transiciones que aún no están bien modeladas por ninguna habilidad finita, fomentando la exploración de todo el espacio de estados en todas las escalas temporales.

3. Contribuciones Clave

1. Caracterización del Trade-off: Demostraron que la representación de metas no restringida y la falta de estructura temporal son causas fundamentales de la brecha de agilidad en HRL, y que la distancia óptima de la submeta es dependiente del estado.
2. Propuesta de MRS: Un marco que aprende múltiples módulos de predicción de metas con horizontes temporales fijos y un controlador meta aprendido para seleccionar entre ellos, todo con un costo de parámetros mínimo gracias a la arquitectura compartida.
3. Validación Empírica: Demostraron que MRS supera consistentemente a las líneas base de resolución fija y reduce significativamente la brecha de rendimiento entre HRL y los agentes monolíticos de última generación en tareas exigentes.

4. Resultados Experimentales

El método se evaluó en tres familias de benchmarks:

• DeepMind Control Suite (DMC): Tareas de locomoción con recompensas densas (ej. cheetah_run, quadruped_run).
  • Resultado: MRS supera a Director (HRL base) y reduce drásticamente la brecha con DreamerV3 (SOTA monolítico), logrando un control ágil que antes era inalcanzable para HRL.
• Gym-Robotics: Tareas de manipulación con recompensas dispersas (fetch_push, fetch_pick_n_place).
  • Resultado: MRS supera a Director y DreamerV3 (que falla en tareas dispersas), demostrando eficacia en control preciso a corto plazo.
• AntMaze: Navegación a largo plazo con recompensas dispersas.
  • Resultado: MRS mantiene o mejora el rendimiento de Director, demostrando que la multi-resolución no sacrifica la capacidad de planificación a largo plazo.

Análisis de Ablación:

• Resolución Única: Ninguna longitud de habilidad fija (ni 16, ni 32, ni 64 pasos) iguala el rendimiento de MRS en todas las tareas, confirmando que la ganancia proviene de la partición temporal como sesgo inductivo estructural.
• Controlador Meta: El uso de una selección aprendida supera a la selección aleatoria y al uso exclusivo de una sola habilidad, validando que el agente aprende a elegir la resolución correcta según el contexto (ej. usar habilidades cortas en giros y largas en rectas).
• Dinámica de Entrenamiento: Se observó que el agente comienza usando principalmente la habilidad $\infty$ (exploración) y transiciona gradualmente hacia habilidades finitas a medida que los CVAE maduran.

5. Significado e Impacto

El trabajo de MRS es significativo porque:

• Resuelve un problema estructural: Identifica que la brecha de agilidad no es un problema de capacidad de cómputo o de entrenamiento, sino de la estructura del espacio de metas.
• Eficiencia: Logra mejoras estructurales sin aumentar significativamente el número de parámetros ni la frecuencia de entrenamiento.
• Generalidad: Muestra que es posible tener lo mejor de ambos mundos: la planificación a largo plazo del HRL y la precisión reactiva de los agentes monolíticos.
• Futuro: Sugiere que la partición temporal de espacios de opciones o metas podría ser un principio de diseño generalizable a otras arquitecturas jerárquicas, más allá del modelo específico de Director utilizado.

En resumen, MRS introduce una adaptación dinámica de la resolución temporal en la jerarquía de control, permitiendo a los agentes jerárquicos navegar con precisión tanto en entornos complejos de larga distancia como en maniobras de alta agilidad.