Resumen Técnico: Las invarianzas representacionales inducidas por la tarea dependen del objetivo de aprendizaje en el Aprendizaje por Refuerzo Profundo (Deep RL)

Declaración del Problema

Si bien el Aprendizaje por Refuerzo Profundo (Deep RL) ha logrado un éxito notable en dominios que van desde el juego hasta el alineamiento de Modelos de Lenguaje Extensos (LLM), la comprensión teórica de las representaciones aprendidas dentro de estos modelos sigue siendo limitada. Esta brecha dificulta las comparaciones directas entre modelos computacionales y el aprendizaje animal, así como el análisis sistemático de cómo se codifican las estructuras de las tareas. Específicamente, no está claro cómo los diferentes algoritmos de RL (por ejemplo, basados en valor frente a gradiente de política) codifican las simetrías de las tareas y si estas diferencias representacionales tienen consecuencias funcionales para el aprendizaje por transferencia.

Metodología

Los autores analizan las representaciones de Deep RL a través de la lente de la teoría de reducción de MDP, centráéndose específicamente en las invarianzas a las simetrías. La metodología involucra:

1. Marco Teórico:

   • Homomorfismo de MDP: Utilización de la teoría de grupos para identificar simetrías en el espacio estado-acción donde las funciones de transición y recompensa permanecen invariantes bajo transformaciones específicas (por ejemplo, reflexión). Esto define una "simetría de MDP".
   • Simetría de Política: Definición de simetría basada en si una política determinada selecciona la misma acción para diferentes estados (simetría de la política óptima, $\pi^*$).
   • Análisis de Similitud de Representación (RSA): Empleo de RSA para comparar las representaciones internas de diferentes algoritmos. En lugar de comparar activaciones puras, los autores computan una Matriz de Similitud de Representación (RSM) basada en similitudes de coseno por pares entre representaciones de estados. Específicamente, miden la similitud para pares de estados que son equivalentes bajo el homomorfismo de MDP frente a aquellos que son equivalentes bajo la simetría de política.

2. Dominios Experimentales:

   • Tarea de Navegación: Un laberinto en un mundo de rejilla (basado en Rosenberg et al.) con homomorfismos de MDP conocidos (simetría de reflexión). Se utilizaron versiones tanto tabulares como visuales (basadas en CNN).
   • Algoritmos Comparados:
     • DQN: Un método basado en el valor (aprende una función de valor para derivar una política).
     • PPO: Un método de gradiente de política (optimiza directamente la política).
     • Deep SARSA(n): Un experimento de control entrenado on-policy (como PPO) pero basado en el valor (como DQN) para aislar el objetivo de aprendizaje de las estrategias de recolección de datos.
   • Entornos Complejos: CartPole (continuo) y Pong (píxeles de alta dimensión) para probar la generalización más allá de los MDP exactamente reducibles.
   • Aprendizaje por Transferencia: Experimentos en juegos de Atari (Breakout, SpaceInvaders, Pong) para probar si las simetrías aprendidas ayudan a la generalización a nuevas tareas.
   • Análisis de LLM: Provocar a Qwen2.5-72B-Instruct para resolver la tarea de navegación utilizando diferentes formatos de entrada (árbol ASCII vs. lista de aristas) para observar las simetrías emergentes en el aprendizaje en contexto.

Contribuciones Clave

1. Invarianzas Representacionales Dependientes del Objetivo: El artículo demuestra que el objetivo de aprendizaje dicta sistemáticamente el tipo de simetría codificada en la representación, incluso cuando los algoritmos resuelven la misma tarea con un rendimiento comparable.
   • Los métodos basados en el valor (DQN) aprenden representaciones invariantes a las simetrías de homomorfismo de MDP (simetrías estructurales del entorno).
   • Los métodos de gradiente de política (PPO) aprenden representaciones invariantes a las simetrías de acción (estados que comparten la misma acción óptima).
2. Aislamiento Causal del Objetivo de Aprendizaje: A través del experimento Deep SARSA(n), los autores muestran que la divergencia en la codificación de la simetría es impulsada por el objetivo de aprendizaje (basado en valor frente a gradiente de política) en lugar de las estrategias de recolección de datos (fuera de la política frente a dentro de la política).
3. Consecuencias del Aprendizaje por Transferencia: El artículo proporciona evidencia empírica de que las representaciones que codifican homomorfismos de MDP (DQN) facilitan un mejor aprendizaje por transferencia entre tareas de Atari con simetrías ambientales compartidas en comparación con aquellas que codifican simetrías de acción (PPO).
4. Dependencia del Prompt en LLM: El estudio revela que los LLM pueden exhibir ambos tipos de simetrías, pero la emergencia de la simetría de homomorfismo de MDP es dependiente del prompt. Esta aparece cuando la estructura de la tarea se describe explícitamente (representación ASCII), pero no cuando se describe mediante una lista de aristas menos estructurada, a diferencia de la robusta simetría de política observada en ambos formatos.

Resultados Clave

• Tarea de Navegación: En la tarea del laberinto, DQN mostró una alta similitud representacional para pares de estados simétricos de MDP pero baja similitud para estados que comparten la misma acción óptima. Por el contrario, PPO mostró alta similitud para estados equivalentes de acción y baja similitud para pares simétricos de MDP.
• Generalización: Esta disociación se mantuvo en entornos continuos (CartPole) y de alta dimensión (Pong), aunque la señal de simetría de MDP fue más débil en Pong, probablemente debido a los campos receptivos locales de las CNN.
• Aprendizaje por Transferencia: En los experimentos de transferencia de Atari (ej., Breakout $\to$ Pong), los agentes DQN (que codifican simetrías de MDP) mostraron ganancias significativas de rendimiento y estabilidad bajo rotaciones de observación. Los agentes PPO mostraron poco o ningún beneficio de transferencia y fueron más sensibles a las transformaciones de la observación.
• Hallazgos de LLM: Los LLM codificaron robustamente la simetría de política independientemente del formato del prompt. Sin embargo, la simetría de homomorfismo de MDP solo emergió cuando el prompt resaltaba explícitamente la estructura jerárquica (representación ASCII), lo que sugiere que los LLM poseen una flexibilidad en la representación que los algoritmos de RL entrenados carecen.

Significancia y Reivindicaciones

Los autores afirman que este trabajo proporciona un enfoque con principios para comparar representaciones aprendidas entre algoritmos de RL utilizando la teoría de reducción de MDP. La significancia radica en:

• Selección de Algoritmos: Ofrecer una base teórica para elegir algoritmos de RL basados en objetivos posteriores. Los profesionales que buscan representaciones que capturen la estructura ambiental para la transferencia o generalización pueden preferir métodos basados en el valor, mientras que aquellos que priorizan la organización a nivel de acción pueden preferir métodos de gradiente de política.
• Neurociencia: Proporcionar un marco para sondear circuitos neuronales biológicos. Los autores sugieren que este flujo de trabajo puede extenderse a registros neuronales para determinar si los cerebros animales codifican preferentemente simetrías de tareas tipo MDP o mapeos de acción tipo política.
• Post-entrenamiento de LLM: Destacar que el RLHF y otros métodos de post-entrenamiento podrían alterar las representaciones de los LLM de maneras que afecten las capacidades de aprendizaje en contexto, introduciendo potencialmente sesgos similares a los observados en los fallos de transferencia de PPO.

El artículo concluye modestamente, reconociendo limitaciones como el supuesto de un mapeo uno a uno entre estado y observación (desafiante en POMDPs), el uso de métricas de similitud específicas (similitud de coseno) y la falta de una teoría formal que prediga qué simetrías emergen de propiedades algorítmicas específicas. Consideran sus hallazgos como una caracterización empírica inicial más que como una teoría completa.