Resumen Técnico: Investigación de Codificaciones de Acción en Redes Neuronales Recurrentes en Aprendizaje por Refuerzo

Declaración del Problema

Desplegar agentes de aprendizaje por refuerzo (RL) en entornos del mundo real, parcialmente observables, requiere la capacidad de construir y mantener una representación del estado que sirva como un estadístico suficiente del pasado. Aunque las Redes Neuronales Recurrentes (RNN) son una herramienta estándar para modelar dependencias temporales, su aplicación en RL implica decisiones de diseño críticas a menudo pasadas por alto en la literatura. Específicamente, el artículo aborda la estrategia utilizada para incorporar información de acción en la función de actualización del estado de la RNN. Los autores señalan que, aunque la acción juega un papel fundamental en la percepción y la construcción del estado (citando a Noë, 2004; Prinz, 1990; Clark, 2013), muchas implementaciones existentes de RL omiten las entradas de acción o las incorporan mediante una simple concatenación sin un análisis riguroso de las ramificaciones. El problema central es determinar cómo el mecanismo de codificación de la acción (aditiva frente a multiplicativa) impacta la capacidad de un agente para predecir funciones de valor y aprender políticas de control en Procesos de Decisión de Markov Parcialmente Observables (POMDP).

Metodología

Los autores formalizan la interacción agente-entorno como un POMDP y evalúan diversas arquitecturas de RNN diseñadas para actualizar el estado oculto $s_t$ basándose en la observación $o_t$, la acción anterior $a_{t-1}$ y el estado anterior $s_{t-1}$. El estudio se centra en dos categorías principales de incorporación de acción:

1. Codificaciones Aditivas:

   • Aditiva Estándar: La representación (embedding) de la acción se concatena con el vector de observación antes de ser procesada por la célula recurrente (ej. $s_t = \sigma(W_x x_t + W_a a_{t-1} + b)$).
   • Aditiva Profunda: La acción se pasa a través de una red neuronal de alimentación hacia adelante ($f_a$) para crear una representación antes de su concatenación con la observación.

2. Codificaciones Multiplicativas:

   • Multiplicativa (Segundo Orden): Inspirada en las RNN de segundo orden, este enfoque utiliza un producto tensorial para integrar la observación, el estado y la acción. La regla de actualización implica un tensor de pesos $W$ y productos en modo-$n$: $s_t = \sigma(W \times_2 x_t \times_3 a_{t-1})$.
   • Multiplicativa Factorizada: Para mitigar el alto recuento de parámetros de las actualizaciones multiplicativas de rango completo, los autores emplean una aproximación de bajo rango utilizando la descomposición Canónica Polinomial (CP). Esto factoriza el tensor en una suma de componentes de rango 1, reduciendo los parámetros mientras intenta retener los beneficios de la interacción multiplicativa.

Los experimentos utilizan tanto RNN estándar como Unidades Recurrentes de Puerta (GRU). Los autores emplean TD(0) semi-gradiente fuera de política para la predicción (usando Funciones de Valor General) y Q-learning con exploración $\epsilon$-greedy para el control. Para mejorar la eficiencia de la muestra, incorporan Replay de Experiencia (ER), almacenando estados ocultos dentro del búfer de replay para inicializar secuencias durante el muestreo.

Configuración Experimental

Los autores evalúan estas arquitecturas en varios dominios ilustrativos con tipos de observación y dinámicas variables:

• Mundo Anillo: Un entorno cíclico donde el agente debe rastrear la distancia desde un bit activo. Se utiliza para probar capacidades de predicción y sensibilidad a las longitudes de truncamiento.
• TMaze: Un entorno clásico de corredor con una intersección en T. Se utiliza para probar capacidades de control donde la relevancia de la acción es baja (solo las acciones Este/Oeste afectan significativamente la posición).
• TMaze Direccional: Un TMaze modificado donde la orientación del agente es parte del estado, haciendo que la acción sea crítica para interpretar las observaciones.
• TMaze Direccional con Imágenes: Una extensión que utiliza observaciones basadas en píxeles (dígitos MNIST) para probar el rendimiento con extractores de características profundos.
• Aterrizador Lunar: Una versión parcialmente observable del entorno OpenAI Gym para probar el rendimiento en un entorno de control continuo con ruido de sensores.

Resultados Clave

La evaluación empírica arroja hallazgos distintos sobre la eficacia de las codificaciones de acción:

• Superioridad de las Actualizaciones Multiplicativas: En dominios donde las acciones influyen críticamente en la dinámica subyacente del estado (ej. Mundo Anillo, TMaze Direccional, Aterrizador Lunar), la actualización multiplicativa supera consistentemente a las variantes aditivas y sin acción. La arquitectura multiplicativa logra un menor Error Cuadrático Medio de Valor Raíz (RMSVE) en tareas de predicción y tasas de éxito más altas en tareas de control, a menudo requiriendo longitudes de truncamiento ($\tau$) más cortas para aprender eficazmente.
• Rendimiento Dependiente del Contexto: En el TMaze estándar, donde la relevancia de la acción se limita a transiciones específicas, la variante multiplicativa no supera estrictamente a otros métodos; en algunos casos, las GRU estándar sin entradas de acción se desempeñaron de manera comparable o mejor. Esto sugiere que el beneficio de la codificación compleja de la acción está ligado a la dependencia específica entre las acciones y las transiciones de estado.
• Eficiencia de Parámetros: Aunque las actualizaciones multiplicativas de rango completo tienen significativamente más parámetros que las aditivas, las variantes multiplicativas factorizadas (de bajo rango) a menudo logran un rendimiento comparable con menos parámetros, aunque generalmente se desempeñan por debajo de la versión multiplicativa de rango completo.
• Análisis de Representación del Estado: Las visualizaciones T-SNE de los estados ocultos aprendidos revelan que las células multiplicativas agrupan los estados ocultos según el estado subyacente del entorno de manera más efectiva que las células aditivas. Las células aditivas tienden a segregar en exceso los estados basándose en la acción anterior, mientras que las células multiplicativas mantienen una representación más coherente del estado del entorno a pesar de las variaciones de acción.
• Limitaciones de la Aditiva Profunda: La variante "Aditiva Profunda", que aprende una representación de acción, generalmente se desempeñó de manera similar o peor que el enfoque aditivo estándar, lo que sugiere que aprender la representación desde cero no superó las limitaciones estructurales de la actualización aditiva.

Significado y Afirmaciones

El artículo afirma que la elección de cómo incorporar la acción en la función de actualización del estado es una decisión de diseño crítica, a menudo pasada por alto, que impacta significativamente el rendimiento del agente de RL. Los autores argumentan que:

1. Las Suposiciones de Aprendizaje Supervisado Pueden No Transferirse: Las arquitecturas y decisiones de diseño exitosas en el aprendizaje supervisado (como la simple concatenación) pueden no ser óptimas para el entorno de RL, donde el agente debe modelar su propia agencia en el flujo de datos.
2. Las Interacciones Multiplicativas son Beneficiosas: Para tareas que requieren que el agente rastree cómo las acciones alteran el estado (común en el control parcialmente observable), las actualizaciones multiplicativas proporcionan un sesgo inductivo estructural que facilita una mejor construcción del estado y un aprendizaje más rápido.
3. Necesidad de Arquitecturas de RL Especializadas: Los resultados destacan una brecha en la investigación actual de RL, sugiriendo que las RNN "de lista" (off-the-shelf) de dominios supervisados son insuficientes. El artículo llama a trabajos futuros en el desarrollo de células recurrentes diseñadas específicamente para los desafíos únicos de la recopilación de datos en línea y activa en RL, como manejar dependencias temporales largas sin depender exclusivamente de la retropropagación truncada a través del tiempo (BPTT).

Los autores concluyen que, aunque las actualizaciones multiplicativas parecen ser el "claro ganador" en los dominios probados, la arquitectura óptima depende del dominio, y los sistemas futuros podrían beneficiarse de mecanismos que puedan aprender o seleccionar el sesgo estructural apropiado dinámicamente.