Resumen Técnico: Representación de Sucesores Jerárquica para una Transferencia Robusta

Declaración del Problema

La Representación de Sucesores (SR, por sus siglas en inglés) ofrece un marco para desacoplar la dinámica predictiva de las recompensas, permitiendo una generalización rápida a través de configuraciones de recompensa. Sin embargo, la SR clásica enfrenta dos limitaciones críticas en regímenes orientados a la transferencia:

1. Dependencia de la Política: Las SR están intrínsecamente ligadas a la política utilizada para generarlas. A medida que los agentes aprenden, encuentran no estacionariedades o enfrentan nuevas demandas de tareas, la política subyacente cambia, volviendo obsoletas las representaciones predictivas establecidas y requiriendo un reaprendizaje costoso.
2. Difusión Espectral y Escalabilidad: En entornos topológicamente complejos (por ejemplo, espacios multicompartimentales), las características de la SR clásica sufren de "difusión espectral". Esto resulta en características densas, de soporte global y superpuestas que carecen de interpretabilidad y escalan pobremente. Los métodos de descomposición espectral estándar (como SVD) aplicados a las SR a menudo producen componentes que son indefinidos en signo y no logran capturar eficazmente las estructuras de transición locales.

Metodología

Los autores proponen la Representación de Sucesores Jerárquica (HSR) para abordar estas limitaciones incorporando abstracciones temporales en las representaciones predictivas.

1. Representación de Sucesores Jerárquica (HSR)

La innovación central es extender la formulación clásica de la SR utilizando el marco de "opciones" (Sutton et al., 1999).

• Abstracción Temporal: En lugar de predecir la ocupación de estados basada en acciones de un solo paso, la HSR agrega la dinámica sobre segmentos de comportamiento temporalmente extendidos e interpretables (opciones).
• Definición: La matriz $M_\mu$ de la HSR se define como la distribución de ocupación de estados predictivos con respecto a una política de alto nivel $\mu$. Combina recursivamente las matrices de SR específicas de cada acción ($M_{\bar{a}}$) y la duración esperada de las opciones ($\tau$).
• Operador de Bellman: Los autores derivan un operador de Bellman jerárquico $T$ que actúa como un mapeo de contracción, permitiendo el aprendizaje en línea mediante actualizaciones de Diferencia Temporal (TD) similares a la SR estándar, pero con un error TD que tiene en cuenta la duración de las opciones.
• HSR Esperada (eHSR): Para relajar aún más la dependencia de la política, los autores abogan por una construcción offline donde la HSR se promedia sobre políticas óptimas de una distribución de tareas de pre-entrenamiento, resultando en una base generalizada y agnóstica a la tarea.

2. Descomposición de Bajo Rango mediante NMF

Para lograr dispersión e interpretabilidad, los autores aplican la Factorización de Matrices No Negativas (NMF) a la matriz HSR, en lugar de la Descomposición de Valores Singulares (SVD) típicamente utilizada en métodos espectrales.

• Racional: Las SR clásicas exhiben un "colapso topológico" donde los estados intra-compartimento se agrupan estrechamente, haciendo que la NMF sea mal planteada debido a la falta de varianza intra-compartimento. En contraste, la dinámica de la HSR es "segmentada suavemente" (piecewise-smooth), preservando las diferencias inter-compartimento mientras permite la dispersión intra-compartimento.
• Resultado: Esta estructura permite que la NMF descubra vectores de base dispersos, localizados e interpretables que se alinean con las características topológicas (por ejemplo, estados de cuello de botella), evitando los "artefactos de ringing" y la dispersión global asociados con las bases ortogonales de SVD.

Principales Contribuciones

1. Representaciones de Estado Robustas: El marco HSR produce características de estado que son robustas a los cambios de política inducidos por la tarea. Al razonar a un nivel superior de abstracción temporal, la representación permanece estable incluso cuando las políticas de control de bajo nivel cambian.
2. Estructuras Topológicas Interpretables: La aplicación de NMF a la HSR produce una representación de bajo rango y dispersa que identifica naturalmente los cuellos de botella topológicos y las estructuras compartimentadas, proporcionando un mapa jerárquico agnóstico a la política.
3. Transferencia Eficiente en Muestreo: El método propuesto facilita una transferencia altamente eficiente en muestras hacia nuevas tareas en entornos multicompartimentales sin requerir un reaprendizaje costoso de los mapas de características de estado.
4. Exploración Escalable: La estructura predictiva temporalmente extendida de la HSR impulsa una exploración motivada intrínsecamente eficiente, permitiendo a los agentes superar las barreras de difusión local en entornos grandes y proceduralmente generados donde los métodos de un solo paso fallan.

Resultados Experimentales

Los autores evaluaron la HSR en entornos discretos y tabulares (específicamente laberintos de cuatro habitaciones y laberintos proceduralmente generados) utilizando Q-learning con aproximación de función lineal.

• Eficiencia de Transferencia: En un entorno de cuatro habitaciones, los agentes que utilizaron características de fila de HSR demostraron una eficiencia de transferencia significativamente mayor al cambiar las ubicaciones de las metas en comparación con los agentes que usaron SR estándar (RW-SR) o codificaciones one-hot. Mientras que los agentes de SR estándar sufrieron degradación de rendimiento tras la re-optimización de la política, los agentes de HSR se adaptaron rápidamente con menos episodios.
• Estabilidad de la Representación: El análisis cuantitativo mostró que las matrices de HSR sufrieron significativamente menos reorganización (menor cambio relativo en la norma de Frobenius) tras los cambios de política en comparación con las matrices de SR estándar.
• NMF vs. SVD: En experimentos de base de baja dimensión, las características de HSR descompuestas mediante NMF superaron tanto a HSR-SVD como a todas las líneas base de SR (incluyendo SR-SVD y SR-NMF). La SR-NMF falló debido al colapso de características, mientras que la HSR-NMF proporcionó un código disperso que cubrió uniformemente el espacio de estados.
• Reconstrucción de Valor: Las bases de HSR consistentemente produjeron reconstrucciones más precisas de las funciones de valor óptimas para tareas no vistas (diferentes ubicaciones de meta) en comparación con las bases de SR, lo que sugiere una mejor alineación con el manifold de las funciones de valor potenciales.
• Exploración: En tareas de navegación con recompensas dispersas dentro de laberintos grandes, las recompensas intrínsecas aumentadas por HSR (específicamente HSR-SPIE) mantuvieron una alta cobertura de estados y tasas de descubrimiento de metas a medida que el tamaño del entorno aumentaba, mientras que las estrategias de exploración basadas en SR estándar se degradaron significativamente.

Significado y Reivindicaciones

El artículo afirma que integrar la abstracción temporal en las representaciones predictivas crea una representación de estado robusta e interpretable que cierra la brecha entre la eficiencia model-free y la flexibilidad model-based.

• Mapeo Agnóstico a la Política: La HSR proporciona un mapa jerárquico que es menos sensible a configuraciones de recompensa específicas, desacoplando efectivamente la estructura predictiva del entorno de las demandas inmediatas de la tarea.
• Complementariedad: Los autores posicionan la HSR como complementaria a los algoritmos de Mejora de Política Generalizada (GPI). Mientras que GPI se enfoca en la composición de políticas pre-entrenadas, la HSR se enfoca en aprender una representación generalizable, y combinar ambas produce una eficiencia de transferencia superior.
• Escalabilidad: El marco escala a entornos grandes y proceduralmente generados al permitir que los agentes "escapen" de las barreras de difusión local mediante predicciones temporalmente extendidas, abordando un cuello de botella clave en la exploración para tareas de recompensa dispersa.

Los autores señalan que sus evaluaciones empíricas están actualmente limitadas a entornos discretos y tabulares para aislar las propiedades topológicas. Sugieren que el trabajo futuro debería integrar la HSR en sistemas de aprendizaje por refuerzo profundo para dominios continuos y explorar el descubrimiento de opciones en entornos no estacionarios.