Resumen Técnico: Ejecución Estricta de Subobjetivos (SSE)

Enunciado del Problema

El aprendizaje por refuerzo condicionado a objetivos de largo horizonte (GCRL) enfrenta desafíos fundamentales cuando los objetivos son distantes y las recompensas son escasas. Si bien el Aprendizaje por Refuerzo Jerárquico (HRL) intenta abordar esto descomponiendo las tareas en subobjetivos de alto nivel y ejecución de bajo nivel, los métodos existentes a menudo sufren de inviabilidad de subobjetivos.

Los métodos tradicionales de HRL basados en grafos dependen frecuentemente de la Reproducción de Experiencia Retrospectiva (HER) para reetiquetar estados intermedios como subobjetivos exitosos. Los autores argumentan que este enfoque es defectuoso en entornos de largo horizonte porque trata trayectorias fallidas como éxitos sin verificar si el agente realmente alcanzó el subobjetivo pretendido. Esto conduce a:

1. Planificación de Alto Nivel Ineficiente: La política de alto nivel aprende a seleccionar subobjetivos que son poco fiables o inalcanzables, resultando en trayectorias innecesariamente largas y entrenamiento inestable.
2. Problemas de Asignación de Crédito: Las recompensas se distribuyen sobre demasiados pasos, impidiendo el refuerzo de decisiones críticas anteriores.
3. Límites de Escalabilidad: A medida que aumenta la distancia entre el estado actual y el objetivo final, crece el número de decisiones de alto nivel requeridas, lo que conduce a inestabilidad en el entrenamiento.

Metodología: Ejecución Estricta de Subobjetivos (SSE)

El artículo propone la Ejecución Estricta de Subobjetivos (SSE), un marco de HRL basado en grafos diseñado para imponer fiabilidad en la selección y ejecución de subobjetivos. SSE opera bajo el principio de que un subobjetivo de alto nivel solo es válido si la política de bajo nivel puede alcanzarlo dentro de un solo paso de alto nivel.

1. Reproducción de Experiencia de Frontera (FER)

La innovación central de SSE es la Reproducción de Experiencia de Frontera (FER), que reemplaza al HER estándar con un mecanismo que distingue explícitamente entre subobjetivos alcanzables e inalcanzables. En lugar de reetiquetar todos los estados visitados como éxitos, FER categoriza las transiciones de alto nivel en tres tipos:

• Éxito: La política de bajo nivel alcanza el subobjetivo dentro de un umbral definido ($\lambda$). La transición se almacena con la recompensa acumulada completa.
• Detener en Fallo: La política de bajo nivel falla en alcanzar el subobjetivo. El episodio se termina inmediatamente, la recompensa se establece en cero y la transición se almacena para penalizar la selección de este subobjetivo.
• Éxito Parcial: Si el agente falla en alcanzar el subobjetivo final pero alcanza un punto de paso específico en la ruta planificada, este estado "último alcanzado de manera fiable" se registra como un éxito parcial.

Este mecanismo delimita una frontera de alcanzabilidad, permitiendo que el agente identifique y evite subobjetivos poco fiables mientras refuerza únicamente las transiciones factibles.

2. Política de Exploración Desacoplada

Para contrarrestar el conservadurismo introducido por las penalizaciones estrictas de fallo (que podrían causar que el agente evite explorar regiones riesgosas pero necesarias), SSE emplea una política de exploración desacoplada ($\pi_{exp}$).

• Política de Explotación ($\pi_h$): Entrenada con FER para seleccionar subobjetivos óptimos para alcanzar el objetivo final.
• Política de Exploración ($\pi_{exp}$): Una política dedicada que apunta a regiones poco exploradas del espacio de objetivos. Muestrea subobjetivos de regiones novedosas (identificadas mediante conteos de visita basados en cuadrículas o errores de predicción basados en modelos) para asegurar una cobertura amplia del espacio de estados.
• El agente alterna entre estas políticas, controlado por una relación de exploración $\eta$, asegurando que el agente descubra subobjetivos alcanzables incluso en entornos de recompensa escasa.

3. Refinamiento de Ruta Consciente del Fallo

SSE introduce un ajuste dinámico a los costos de las aristas del grafo utilizados para la planificación de rutas (por ejemplo, el algoritmo de Dijkstra).

• El marco rastrea las tasas de fallo para regiones específicas (celdas de cuadrícula o nodos) basándose en estadísticas de ejecución de bajo nivel.
• Los costos de las aristas se incrementan para las transiciones que conducen a regiones con altas tasas de fallo: $\tilde{d}(v_1 \to v_2) = d(v_1 \to v_2) \times \max(1, c_d \cdot \rho_f(v_2))$.
• Esto dirige al planificador de alto nivel lejos de transiciones inestables (por ejemplo, cuellos de botella estrechos o áreas propensas a colisiones) hacia rutas más seguras y fiables.

4. Variantes de Implementación

Los autores proponen dos variantes de SSE para manejar diferentes dimensiones del espacio de objetivos:

• SSE (Cuadrícula): Utiliza una partición basada en cuadrícula del espacio de objetivos para la selección de hitos, estimación de novedad y seguimiento de fallos. Adecuado para entornos 2D/3D.
• SSE (Modelo): Utiliza enfoques basados en modelos (Distilación de Redes Aleatorias para novedad, una red predictora de fallos para fiabilidad) para manejar espacios de objetivos de mayor dimensión donde la discretización en cuadrícula es inviable.

Contribuciones Clave

1. Reproducción de Experiencia de Frontera (FER): Un mecanismo de reproducción novedoso que separa las transiciones de fallo y éxito parcial para definir una frontera de alcanzabilidad, eliminando el ruido causado por la reetiquetado retrospectivo convencional en tareas de largo horizonte.
2. Exploración Desacoplada: Una estrategia que separa la política de alcanzar objetivos de la política de exploración, permitiendo que el agente cubra regiones poco exploradas sin comprometer la estabilidad del planificador de alto nivel.
3. Refinamiento de Ruta Consciente del Fallo: Un método para ajustar dinámicamente los costos de las aristas del grafo basándose en estadísticas observadas de fallos de bajo nivel, mejorando la fiabilidad de las secuencias de subobjetivos planificadas.
4. Validación Empírica: Evaluación extensa en nueve benchmarks diversos de largo horizonte (incluyendo tareas AntMaze, KeyChest y Reacher) que demuestra un rendimiento superior sobre los métodos HRL y basados en grafos del estado del arte.

Resultados Experimentales

Los autores evaluaron SSE en nueve entornos desafiantes, que van desde laberintos simples hasta tareas complejas que requieren objetivos intermedios (por ejemplo, recoger llaves).

• Tasa de Éxito: SSE logró consistentemente tasas de éxito más altas que las líneas base (incluyendo HIRO, HRAC, HIGL, DHRL, NGTE y BEAG) en todos los entornos.
• Eficiencia de Muestreo: SSE convergió significativamente más rápido, particularmente en tareas de cuello de botella y multi-paso. Por ejemplo, en la tarea AntDoubleKeyChest, SSE resolvió la tarea en un número mínimo de pasos de alto nivel, mientras que las líneas base fallaron en gran medida o requirieron pasos de tiempo excesivos.
• Robustez: En configuraciones de objetivos aleatorios, SSE mantuvo un rendimiento sólido, mientras que muchas líneas base lucharon debido a la falta de mecanismos de exploración estructurada.
• Estudios de Ablación: La eliminación de FER, la política de exploración o el refinamiento de ruta resultó en una degradación significativa del rendimiento, confirmando la necesidad de cada componente. Específicamente, los métodos que utilizan HER o búferes de reproducción estándar fallaron en aprender en tareas secuenciales complejas.

Significado y Afirmaciones

El artículo afirma que SSE aborda una brecha crítica en el aprendizaje por refuerzo jerárquico: la desconexión entre la planificación de alto nivel y las capacidades de ejecución de bajo nivel. Al imponer alcanzabilidad estricta de subobjetivos, SSE permite que los agentes:

• Resuelvan tareas complejas de largo horizonte con menos decisiones de alto nivel, a menudo alcanzando objetivos distantes en un solo paso de alto nivel una vez que la política está entrenada.
• Logren entrenamiento estable al prevenir la propagación de crédito a través de trayectorias poco fiables o fallidas.
• Operen eficazmente en entornos de recompensa escasa sin depender de reentrenamiento extensivo o diseño manual de currículos.

Los autores posicionan a SSE como un marco escalable para el control jerárquico que mejora tanto la eficiencia como la fiabilidad de los agentes condicionados a objetivos, convirtiéndolo en un enfoque prometedor para aplicaciones del mundo real que requieren planificación robusta de largo horizonte. El trabajo enfatiza que la efectividad del marco se deriva de su capacidad para aprender los límites de lo que es alcanzable, en lugar de asumir que todos los estados intermedios son subobjetivos válidos.