Resumen Técnico: S3 – Selección de Subobjetivos Estable mediante la Restricción de la Incertidumbre de la Dinámica Gruesa en el Aprendizaje por Refuerzo Jerárquico

1. Planteamiento del Problema

El Aprendizaje por Refuerzo Jerárquico (HRL) aborda tareas complejas y de largo horizonte separando la planificación estratégica (el "Manager" o Gestor de alto nivel) de la ejecución de primitivas (el "Worker" o Trabajador de bajo nivel). Aunque es efectivo, el HRL enfrenta un desafío crítico: la no estacionariedad y la retroalimentación dispersa.

• No estacionariedad: El agente de alto nivel debe aprender a asignar subobjetivos mientras las capacidades del agente de bajo nivel evolucionan, y viceversa. El agente de bajo nivel enfrenta asignaciones de subobjetivos cambiantes, mientras que el agente de alto nivel enfrenta un panorama de ejecución cambiante.
• Retroalimentación dispersa: El agente de alto nivel recibe recompensas extrínsecas retardadas y dispersas solo al completar la tarea, lo que hace que la exploración sea ineficiente.
• Limitaciones actuales: Los métodos existentes como Hindsight Experience Replay (HER) o las restricciones de alcanzabilidad (por ejemplo, HRAC) a menudo tratan la política de bajo nivel como estacionaria o se centran en la alcanzabilidad sin considerar la predictibilidad del resultado. Abordan los síntomas de la no estacionariedad en lugar de la necesidad fundamental de que el Manager seleccione subobjetivos que no sean solo alcanzables, sino predictibles dada la competencia actual del Worker.

El problema central es cómo permitir que el agente de alto nivel realice una selección de subobjetivos estratégica que tenga en cuenta la estocasticidad y la incertidumbre de la ejecución de bajo nivel, estabilizando así el proceso de aprendizaje.

2. Metodología: Selección de Subobjetivos Estable (S3)

El enfoque propuesto, S3, introduce un mecanismo de recompensa intrínseca consciente de la dinámica para el agente de alto nivel. La filosofía central es que el Manager debe verse motivado a seleccionar subobjetivos que el Worker pueda ejecutar con alta certeza, modelando efectivamente las "dinámicas gruesas" del entorno.

2.1 Dinámica Gruesa e Incertidumbre Predictiva

En lugar de modelar transiciones primitivas, S3 modela la dinámica gruesa: la transición de un estado $s_t$ a un estado de llegada $s_{t+c}$ después de que el agente de bajo nivel ejecuta un subobjetivo $g_t$ durante un horizonte temporal fijo $c$.

• Objetivo: Minimizar la incertidumbre predictiva de estas transiciones gruesas.
• Racional: Si el agente de bajo nivel tiene incertidumbre sobre alcanzar un subobjetivo específico (por ejemplo, pasar por una puerta estrecha), el agente de alto nivel debería evitar asignarlo. Por el contrario, si el resultado es predecible (por ejemplo, llegar a una intersección de un pasillo), el subobjetivo es preferido. Esto promueve una selección de subobjetivos "aversa al riesgo".

2.2 Recompensa Intrínseca mediante Modelado de Potencial (Shaping)

Para proporcionar retroalimentación densa sin alterar la política óptima, S3 emplea Modelado de Recompensa Basado en Potencial (PBRS).

• Función de Potencial ($\Phi$): Definida sobre la dispersión (varianza) de la distribución de la dinámica gruesa.
• Recompensa Intrínseca ($r_{int}$): Calculada como la diferencia de potencial entre los pasos de tiempo:
  $$r_{int}^{hi} = \gamma \Phi(s_{t+c}, g_{t+c}) - \Phi(s_t, g_t)$$
• Métrica de Dispersión: La función de potencial penaliza la varianza total (traza de la matriz de covarianza) de la distribución del estado terminal predicho. Una menor varianza (mayor predictibilidad) genera una mayor recompensa intrínseca.

2.3 Implementación: Red de Densidad de Mezcla (MDN)

Dado que la dinámica del entorno es desconocida y la política de bajo nivel es estocástica, la distribución de la transición gruesa $p(s_{t+c} | s_t, g_t)$ se aproxima utilizando una Red de Densidad de Mezcla (MDN).

• Arquitectura: La MDN modela la distribución como una mezcla de $K$ Gaussianas:
  $$\hat{p}_{\theta_{MDN}}(s_{t+c} | s_t, g_t) = \sum_{k=1}^{K} \alpha_k(s_t, g_t) \mathcal{N}(s_{t+c}; \mu_k, \Sigma_k)$$
• Entrenamiento: La MDN se entrena en paralelo con los agentes de HRL utilizando tuplas $(s_t, g_t, s_{t+c})$ recolectadas del buffer de experiencia.
• Estimación de la Incertidumbre: La covarianza predictiva total ($\Sigma_{mix}$) se descompone en:
  1. Varianza dentro del modo: Variabilidad dentro de un escenario de resultado específico.
  2. Varianza entre modos: Ambigüedad sobre qué escenario de resultado ocurrirá.
     La recompensa intrínseca se deriva de la traza de esta matriz de covarianza total.

2.4 Flujo del Algoritmo

1. Ejecución: El Manager selecciona un subobjetivo $g_t$. El Worker intenta alcanzarlo durante $c$ pasos.
2. Recolección de Datos: La tupla $(s_t, g_t, s_{t+c})$ se almacena en un buffer de experiencia para la MDN.
3. Actualización del Modelo: La MDN actualiza sus parámetros para predecir mejor la distribución de $s_{t+c}$.
4. Cálculo de la Recompensa: La MDN predice la distribución para el $(s_t, g_t)$ actual, calcula la traza de la covarianza y computa la recompensa intrínseca.
5. Actualización de la Política: El Manager se actualiza utilizando la recompensa extrínseca más el término de modelado de potencial (shaping).

3. Contribuciones Clave

1. Selección de Subobjetivos Estable (S3): Un nuevo marco donde el agente de alto nivel aprende a seleccionar subobjetivos basados en la predictibilidad de la ejecución de bajo nivel, en lugar de solo la alcanzabilidad.
2. Modelado de Dinámica Gruesa: La introducción de una escala de abstracción temporal donde la dinámica del entorno se modela como una distribución sobre transiciones de $c$ pasos, abstrayendo las primitivas de grano fino.
3. Recompensa Intrínseca Consciente de la Dinámica: Una recompensa de modelado basada en potencial que penaliza la dispersión de la distribución de la dinámica gruesa. Esto proporciona retroalimentación densa al Manager, guiándolo hacia resultados fiables y repetibles.
4. Integración con MDN: El uso de Redes de Densidad de Mezcla para modelar explícitamente los resultados multimodales y cuantificar la incertidumbre (tanto dentro como entre modos) para el modelado de la recompensa.
5. Generalizabilidad: El método está diseñado como una capa de recompensa intrínseca modular que puede aplicarse a algoritmos de HRL existentes (demostrado en HRAC).

4. Resultados Empíricos

Los autores evaluaron S3 en tres benchmarks de control continuo de MuJoCo: Ant Maze, Ant Push y Ant Fall.

• Ant Fall: S3 superó significativamente a los baselines (HIRO, HRAC), logrando una tasa de éxito de 0.374 frente a 0.059 (HIRO) y 0.000 (HRAC). Esta tarea involucra transiciones irreversibles (caer en un hueco), donde la capacidad de S3 para evitar subobjetivos de alta incertidumbre fue crítica.
• Ant Push: S3 logró una tasa de éxito de 0.186, superando a HIRO (0.134) y igualando a HRAC (0.180). La tarea requiere una manipulación precisa de bloques para evitar bloquear el camino.
• Ant Maze: S3 logró 0.827, comparable a HRac (0.832) e HIRO (0.790). Los autores señalan que en tareas puramente de navegación con locomoción predecible, el beneficio marginal del modelado de dinámica gruesa es menor.
• Análisis Cualitativo:
  • Evitación de Riesgos: En Ant Push, S3 aprendió a evitar la "zona peligrosa" donde empujar un bloque desde el sur bloquearía irreversiblemente el objetivo. La distribución del estado terminal se concentró lejos de esta zona de peligro durante el entrenamiento.
  • Estabilidad de la Trayectoria: Las visualizaciones mostraron que las trayectorias del manager de S3 estaban más concentradas y alineadas con la dirección de la tarea en comparación con las estrategias dispersas de HRAC, particularmente en tareas con cuellos de botella.
  • Horizonte Temporal: El análisis de sensibilidad indicó que un horizonte de manager de $c=10$ proporcionaba el equilibrio óptimo entre abstracción y predictibilidad.

5. Significado y Reivindicaciones

El artículo afirma que S3 aborda la relación fundamental entre el Manager y el Worker en HRL. Al modelar explícitamente la incertidumbre predictiva del agente de bajo nivel, S3 estabiliza la política de alto nivel.

• Estabilidad: El enfoque mitiga la no estacionariedad causada por la evolución de la política de bajo nivel, recompensando al agente de alto nivel por seleccionar subobjetivos que son actualmente "seguros" y ejecutables.
• Eficiencia: La recompensa intrínseca densa y consciente de la dinámica acelera el aprendizaje en entornos de recompensa dispersa, particularmente en aquellos con dependencias de largo horizonte y cuellos de botella estructurales.
• Aplicabilidad: El método es más beneficioso en entornos que involucran interacción física, transiciones irreversibles y dependencias de múltiples etapas donde los pequeños errores de ejecución pueden conducir a estados irrecuperables.

Los autores concluyen que S3 cierra la brecha entre el HRL basado en modelos, el modelado de potencial y la motivación basada en la teoría de la información, ofreciendo un mecanismo generalizable para mejorar el aprendizaje jerárquico en entornos complejos y no estacionarios.