Resumo Técnico: Invariâncias Representacionais Induzidas por Tarefas Dependem do Objetivo de Aprendizado em Deep RL

Declaração do Problema

Embora o Aprendizado por Reforço Profundo (Deep RL) tenha alcançado um sucesso notável em domínios que variam desde jogos até o alinhamento de Grandes Modelos de Linguagem (LLMs), a compreensão teórica das representações aprendidas dentro desses modelos permanece limitada. Essa lacuna dificulta comparações diretas entre modelos computacionais e o aprendizado animal, bem como a análise sistemática de como as estruturas de tarefas são codificadas. Especificamente, não está claro como diferentes algoritmos de RL (por exemplo, baseados em valor vs. gradiente de política) codificam simetrias de tarefas e se essas diferenças representacionais têm consequências funcionais para o aprendizado por transferência (transfer learning).

Metodologia

Os autores analisam as representações de Deep RL através da lente da teoria de redução de MDP, focando especificamente em invariâncias a simetrias. A metodologia envolve:

1. Estrutura Teórica:

   • Homomorfismo de MDP: Utilização da teoria de grupos para identificar simetrias no espaço estado-ação onde as funções de transição e recompensa permanecem invariantes sob transformações específicas (ex: reflexão). Isso define uma "simetria de MDP".
   • Simetria de Política: Definição de simetria baseada em se uma determinada política seleciona a mesma ação para diferentes estados (simetria da política ótima, $\pi^*$).
   • Análise de Similaridade Representacional (RSA): Emprego de RSA para comparar as representações internas de diferentes algoritmos. Em vez de comparar ativações brutas, os autores computam uma Matriz de Similaridade Representacional (RSM) baseada em similaridades de cosseno pareadas entre representações de estados. Eles medem especificamente a similaridade para pares de estados que são equivalentes sob homomorfismo de MDP versus aqueles que são equivalentes sob simetria de política.

2. Domínios Experimentais:

   • Tarefa de Navegação: Um gridworld de labirinto (baseado em Rosenberg et al.) com homomorfismos de MDP conhecidos (simetria de reflexão). Versões tanto tabulares quanto visuais (baseadas em CNN) foram utilizadas.
   • Algoritmos Comparados:
     • DQN: Um método baseado em valor (aprende uma função de valor para derivar uma política).
     • PPO: Um método de gradiente de política (otimiza diretamente a política).
     • Deep SARSA(n): Um experimento de controle treinado on-policy (como o PPO), mas baseado em valor (como o DQN), para isolar o objetivo de aprendizado das estratégias de coleta de dados.
   • Ambientes Complexos: CartPole (contínuo) e Pong (pixels de alta dimensão) para testar a generalização além de MDPs exatamente redutíveis.
   • Aprendizado por Transferência: Experimentos em jogos de Atari (Breakout, SpaceInvaders, Pong) para testar se simetrias aprendidas auxiliam na generalização para novas tarefas.
   • Análise de LLM: Prompting do Qwen2.5-72B-Instruct para resolver a tarefa de navegação usando diferentes formatos de entrada (árvore ASCII vs. lista de arestas) para observar simetrias emergentes no aprendizado em contexto (in-context learning).

Principais Contribuições

1. Invariâncias Representacionais Dependentes do Objetivo: O artigo demonstra que o objetivo de aprendizado dita sistematicamente o tipo de simetria codificada na representação, mesmo quando algoritmos resolveem a mesma tarefa com desempenho comparável.
   • Métodos baseados em valor (DQN) aprendem representações invariantes a simetrias de homomorfismo de MDP (simetrias estruturais do ambiente).
   • Métodos de gradiente de política (PPO) aprendem representações invariantes a simetrias de ação (estados que compartilham a mesma ação ótima).
2. Isolamento Causal do Objetivo de Aprendizado: Através do experimento Deep SARSA(n), os autores mostram que a divergência na codificação de simetria é impulsionada pelo objetivo de aprendizado (baseado em valor vs. gradiente de política) em vez de estratégias de coleta de dados (off-policy vs. on-policy).
3. Consequências do Aprendizado por Transferência: O artigo fornece evidência empírica de que representações que codificam homomorfismos de MDP (DQN) facilitam o aprendizado por transferência entre tarefas de Atari com simetrias ambientais compartilhadas em comparação com aquelas que codificam simetrias de ação (PPO).
4. Dependência de Prompt em LLMs: O estudo revela que LLMs podem exibir ambos os tipos de simetria, mas a emergência da simetria de homomorfismo de MDP é dependente de prompt. Ela aparece quando a estrutura da tarefa é explicitamente descrita (árvore ASCII), mas não quando descrita via uma lista de arestas menos estruturada, ao contrário da robusta simetria de política observada em ambos os formatos.

Principais Resultados

• Tarefa de Navegação: Na tarefa do labirinto, o DQN mostrou alta similaridade representacional para pares de estados simétricos de MDP, mas baixa similaridade para estados que compartilham a mesma ação ótima. Inversamente, o PPO mostrou alta similaridade para estados equivalentes de ação e baixa similaridade para pares simétricos de MDP.
• Generalização: Essa dissociação manteve-se em ambientes contínuos (CartPole) e de alta dimensão (Pong), embora o sinal de simetria de MDP tenha sido mais fraco em Pong, provavelmente devido aos campos receptivos locais das CNNs.
• Transferência de Aprendizado: Nos experimentos de transferência de Atari (ex: Breakout $\to$ Pong), agentes DQN (codificando simetrias de MDP) mostraram ganhos significativos de desempenho e estabilidade sob rotações de observação. Agentes PPO mostraram pouco ou nenhum benefício de transferência e foram mais sensíveis a transformações de observação.
• Achados de LLM: LLMs codificaram robustamente a simetria de política independentemente do formato do prompt. No entanto, a simetria de homomorfismo de MDP só emergiu quando o prompt destacava explicitamente a estrutura hierárquica (representação ASCII), sugerindo que LLMs possuem uma flexibilidade de representação que algoritmos de RL treinados não possuem.

Significância e Alegações

Os autores afirmam que este trabalho fornece uma abordagem fundamentada para comparar representações aprendidas entre algoritmos de RL usando a teoria de redução de MDP. A significância reside em:

• Seleção de Algoritmo: Oferecer uma base teórica para escolher algoritmos de RL baseados em objetivos subsequentes. Praticantes que buscam representações que capturem a estrutura ambiental para transferência ou generalização podem preferir métodos baseados em valor, enquanto aqueles que priorizam a organização ao nível de ação podem preferir métodos de gradiente de política.
• Neurociência: Fornecer um framework para investigar circuitos neurais biológicos. Os autores sugerem que este pipeline pode ser estendido para registros neurais para determinar se cérebos animais codificam preferencialmente simetrias de tarefa do tipo MDP ou mapeamentos de ação do tipo política.
• Pós-treinamento de LLM: Destacar que o RLHF e outros métodos de pós-treinamento podem alterar as representações dos LLMs de maneiras que afetam as capacidades de aprendizado em contexto, potencialmente introduzindo vieses semelhantes aos observados nas falhas de transferência do PPO.

O artigo conclui de forma modesta, reconhecendo limitações como a suposição de um mapeamento estado-observação um-para-um (desafiador em POMDPs), o uso de métricas de similaridade específicas (similaridade de cosseno) e a falta de uma teoria formal que preveja quais simetrias emergem de propriedades algorítmicas específicas. Eles veem seus achados como uma caracterização empírica inicial, em vez de uma teoria completa.