Resumen Técnico: La Representación Terminal en el Aprendizaje por Refuerzo

Planteamiento del Problema

En el Aprendizaje por Refuerzo (RL), el aprendizaje de representaciones es crítico para la abstracción espacio-temporal. Dos enfoques establecidos son la Representación del Sucesor (SR) y la Representación por Defecto (DR). La SR codifica los estados basándose en las trayectorias de visitas futuras, capturando la dinámica de transición independientemente de las recompensas. La DR extiende esto ponderando estas trayectorias con recompensas, integrando así la estructura de asignación de crédito.

Sin embargo, ambas representaciones enfrentan limitaciones cuando se aplican a tareas derivadas como el descubrimiento de opciones, el modelado de recompensas (reward shaping) y el aprendizaje por transferencia:

1. Sobrecarga Computacional: Utilizar la DR o la SR para estas tareas requiere típicamente descomposición en autovalores (o iteración de potencia) para extraer autovectores. Esto impone un costo computacional de $O((S^+)^2)$ o superior por consulta y asume una dinámica de transición simétrica (reversible), una condición que se viola frecuentemente en entornos prácticos de RL donde las políticas son direccionales.
2. Dimensionalidad: La SR y la DR se definen sobre el espacio de estados completo ($S^+ \times S^+$), el cual puede ser grande e ineficiente de almacenar y aprender.
3. Conocimiento Indirecto: Aunque la DR codifica trayectorias ponderadas por recompensa, no aisla explícitamente la alcanzabilidad y la deseabilidad de los estados terminales en un formato directamente utilizable sin un análisis espectral adicional.

Metodología: La Representación Terminal (TR)

Los autores proponen la Representación Terminal (TR), una formulación estructuralmente distinta diseñada para codificar trayectorias ponderadas por recompensa específicamente con respecto a los estados terminales.

Fundamento Teórico

La TR se deriva dentro del marco de los Procesos de Decisión de Markov Linealmente Solubles (LMDPs). En un LMDP, la función de valor óptima $v(s)$ puede transformarse en un valor exponentenciado $z(s) = e^{v(s)/\lambda}$, que satisface la ecuación lineal:
$$z(s) = e^{R(s)/\lambda} \sum_{s'} P_\mu(s'|s)z(s')$$
donde $P_\mu$ es una política por defecto y $\lambda$ es un parámetro de temperatura.

Al descomponer el espacio de estados en estados no terminales ($S$) y estados terminales ($T$), los autores derivan la matriz TR $M$ como:
$$M = (I_S - D_S)^{-1} D_T$$
donde $D_S = R_S P_S$ representa la dinámica no terminal y $D_T = R_S P_T$ representa las transiciones de estados no terminales a terminales. Aquí, $R_S$ y $R_T$ son matrices diagonales de recompensas exponentenciadas.

La TR permite la recuperación de cero pasos (zero-shot) de los valores exponentenciados óptimos $z$ para cualquier configuración de recompensas terminales $y$ (donde $y(\tau) = e^{R(\tau)/\lambda}$) mediante la relación lineal:
$$z = M y$$

Algoritmos de Aprendizaje

El artículo establece la convergencia de dos algoritmos de aprendizaje para $M$:

1. Programación Dinámica (Basada en Modelo): Se demuestra que una regla de actualización iterativa $M_{k+1} = D_T + D_S M_k$ converge a la verdadera TR.
2. Basada en Muestras (Sin Modelo): Se deriva una regla de actualización de tipo diferencia temporal (TD) para el aprendizaje en línea:
   $$\hat{M}(s_t) \leftarrow (1 - \alpha_t)\hat{M}(s_t) + \alpha_t e^{r_t/\lambda} \hat{M}^+(s_{t+1})$$
   donde $\hat{M}^+$ es un mapeo extendido que maneja las transiciones hacia estados terminales. El Teorema 4.2 demuestra que esto converge a $M$ bajo condiciones estándar de aproximación estocástica.

Propiedades Teóricas Clave

• Dimensionalidad: La TR es una matriz $S \times T$. Dado que el número de estados terminales $T$ suele ser mucho menor que el espacio de estados total $S^+$, la TR es significamente más compacta que la DR de $S^+ \times S^+$.
• Usabilidad Directa (Sin Descomposición en Autovalores): Las columnas de la TR corresponden directamente a la información que típicamente se extrae mediante autovectores de la DR. El Teorema 7.1 demuestra que el autovector superior de la DR está compuesto estructuralmente por una columna de la TR (específicamente la columna correspondiente al estado terminal más deseable) y una serie geométrica. Así, la TR captura el mismo conocimiento estructural subyacente sin requerir la descomposición en autovalores.
• Manejo de la Asimetría: A diferencia de los enfoques basados en autovectores que dependen de la reversibilidad de las dinámicas de transición (simetría) para garantizar autovalores reales, la TR es inherentemente asimétrica y está bien definida bajo dinámicas arbitrarias y no reversibles.
• Componibilidad: La TR soporta la componibilidad de cero pasos. Si una nueva tarea es una combinación lineal de tareas base con diferentes recompensas terminales, la función de valor óptima puede recuperarse mediante la combinación lineal de las columnas correspondientes de la TR, evitando la necesidad de reaprender las funciones de valor base.
• Equivalencia de Recompensa: Los autores demuestran que los LMDPs con recompensas dependientes de la transición o de la acción-estado pueden mapearse a LMDPs equivalentes con recompensas dependientes del estado, asegurando que la teoría de la TR se aplique ampliamente a través de diferentes formulaciones de recompensa.

Resultados Experimentales

Los autores evalúan la TR frente a la SR y la DR a través de cuatro aplicaciones derivadas en entornos de grid-world (Four Rooms, RiverSwim, SixArms):

1. Descubrimiento de Opciones: En la tarea de "cubrir eigenopciones", la TR se utiliza para generar opciones mediante la extracción directa de columnas (evitando el cálculo de autovalores). Las variantes que utilizan la columna del estado terminal de mayor recompensa y todas las columnas lograron un rendimiento competitivo con los métodos CEO (basado en SR) y RACE (basado en DR), alcanzando a menudo recompensas promedio más altas al empujar a los agentes directamente hacia los objetivos deseables.
2. Modelado de Recompensas (Reward Shaping): El uso de la TR para construir recompensas de potencial basadas en la forma ($\hat{r}_t = 1 - M(s_{t+1}, \tau)$) produjo un rendimiento idéntico al de la DR y superior al de la SR. Esto confirma la capacidad de la TR para capturar la información estructural necesaria para una navegación eficiente sin descomposición en autovalores.
3. Exploración Basada en Conteos: El uso de la norma de la TR como un bono de exploración en los entornos RiverSwim y SixArms resultó en un rendimiento casi idéntico al de la DR y significativamente mejor que el de la SR.
4. Aprendizaje por Transferencia: Cuando las recompensas terminales cambiaron entre tareas, se utilizó la TR para transferir el conocimiento. Esta mostró un desempeño similar a las Características por Defecto (DF) (la variante de la DR independiente de la política) y superó a las Características del Sucesor (SF) a través de varias configuraciones de política base, logrando esto sin un paso explícito de aprendizaje de características.

Significancia y Reivindicaciones

El artículo sostiene que la Representación Terminal ofrece una alternativa viable y computacionalmente eficiente a la SR y la DR. Su principal significancia radica en:

• Eficiencia: Reduce la dimensionalidad de la representación y elimina la necesidad de la costosa descomposición en autovalores, reduiendo la complejidad de la consulta de $O((S^+)^2)$ a $O(1)$ para la extracción de columnas.
• Robustez: Funciona correctamente bajo dinámicas de transición no simétricas (no reversibles), un escenario común en RL donde los métodos de autovectores pueden fallar o producir autovalores complejos.
• Aplicabilidad Directa: Codifica el conocimiento de los estados terminales de manera explícita, permitiendo su uso directo en el modelado de recompensas, el descubrimiento de opciones y el aprendizaje por transferencia sin análisis espectral intermedio.

Los autores mantienen una postura modesta, señalando que, si bien la TR es competitiva con la DR, no es fundamentalmente superior en todos los aspectos semánticos; más bien, proporciona un mecanismo más compacto y computacionalmente tratable para acceder al mismo conocimiento estructural subyacente respecto a los estados terminales. Se sugiere como trabajo futuro extender la TR a entornos de alta dimensión mediante la aproximación de funciones y manejar configuraciones sin estados terminales explícitamente definidos.