Resumo Técnico: Investigando Codificações de Ação em Redes Neurais Recorrentes em Aprendizado por Reforço

Declaração do Problema

A implantação de agentes de aprendizado por reforço (RL) em ambientes do mundo real, parcialmente observáveis, requer a capacidade de construir e manter uma representação de estado que sirva como um estatístico suficiente do passado. Embora as Redes Neurais Recorrentes (RNNs) sejam uma ferramenta padrão para modelar dependências temporais, sua aplicação em RL envolve escolhas de design críticas frequentemente negligenciadas na literatura. Especificamente, o artigo aborda a estratégia utilizada para incorporar informações de ação na função de atualização do estado da RNN. Os autores observam que, embora a ação desempenhe um papel fundamental na percepção e na construção do estado (citando Noë, 2004; Prinz, 1990; Clark, 2013), muitas implementações existentes de RL omitem entradas de ação ou as incorporam via concatenação simples, sem uma análise rigorosa das ramificações. O problema central é determinar como o mecanismo de codificação de ação (aditivo versus multiplicativo) impacta a capacidade de um agente de prever funções de valor e aprender políticas de controle em Processos de Decisão de Markov Parcialmente Observáveis (POMDPs).

Metodologia

Os autores formalizam a interação agente-ambiente como um POMDP e avaliam várias arquiteturas de RNN projetadas para atualizar o estado oculto $s_t$ com base na observação $o_t$, na ação anterior $a_{t-1}$ e no estado anterior $s_{t-1}$. O estudo foca em duas categorias principais de incorporação de ação:

1. Codificações Aditivas:

   • Aditiva Padrão: O embedding da ação é concatenado com o vetor de observação antes de ser processado pela célula recorrente (por exemplo, $s_t = \sigma(W_x x_t + W_a a_{t-1} + b)$).
   • Aditiva Profunda: A ação é passada por uma rede neural feed-forward ($f_a$) para criar um embedding antes da concatenação com a observação.

2. Codificações Multiplicativas:

   • Multiplicativa (Segunda Ordem): Inspirada em RNNs de segunda ordem, esta abordagem usa um produto tensorial para integrar a observação, o estado e a ação. A regra de atualização envolve um tensor de pesos $W$ e produtos n-modais: $s_t = \sigma(W \times_2 x_t \times_3 a_{t-1})$.
   • Multiplicativa Fatorada: Para mitigar a alta contagem de parâmetros de atualizações multiplicativas de posto completo, os autores empregam uma aproximação de baixo posto usando decomposição Canônica Polidá (CP). Isso fatoriza o tensor em uma soma de componentes de posto-1, reduzindo parâmetros enquanto tenta reter os benefícios da interação multiplicativa.

Os experimentos utilizam tanto RNNs padrão quanto Unidades Recorrentes com Portões (GRUs). Os autores empregam TD(0) semipolinhas off-policy para previsão (usando Funções de Valor Geral) e Q-learning com exploração $\epsilon$-gulosa para controle. Para melhorar a eficiência de amostragem, incorporam Replay de Experiência (ER), armazenando estados ocultos dentro do buffer de replay para inicializar sequências durante a amostragem.

Configuração Experimental

Os autores avaliam essas arquiteturas em vários domínios ilustrativos com tipos de observação e dinâmicas variadas:

• Mundo Anel: Um ambiente cíclico onde o agente deve rastrear a distância de um bit ativo. Usado para testar capacidades de previsão e sensibilidade a comprimentos de truncamento.
• TMaze: Um ambiente clássico de corredor com uma intersecção em T. Usado para testar capacidades de controle onde a relevância da ação é baixa (apenas ações Leste/Oeste afetam significativamente a posição).
• TMaze Direcional: Um TMaze modificado onde a orientação do agente faz parte do estado, tornando a ação crítica para interpretar observações.
• TMaze Direcional com Imagem: Uma extensão usando observações baseadas em pixels (dígitos MNIST) para testar o desempenho com extratores de características profundos.
• Aterrissagem Lunar: Uma versão parcialmente observável do ambiente OpenAI Gym para testar o desempenho em um cenário de controle contínuo com ruído de sensor.

Resultados Chave

A avaliação empírica produz várias descobertas distintas sobre a eficácia das codificações de ação:

• Superioridade das Atualizações Multiplicativas: Em domínios onde as ações influenciam criticamente a dinâmica de estado subjacente (por exemplo, Mundo Anel, TMaze Direcional, Aterrissagem Lunar), a atualização multiplicativa consistentemente supera as variantes aditivas e sem ação. A arquitetura multiplicativa alcança menor Erro Quadrático Médio de Valor Raiz (RMSVE) em tarefas de previsão e taxas de sucesso mais altas em tarefas de controle, frequentemente exigindo comprimentos de truncamento ($\tau$) mais curtos para aprender efetivamente.
• Desempenho Dependente do Contexto: No TMaze padrão, onde a relevância da ação é limitada a transições específicas, a variante multiplicativa não supera estritamente outros métodos; em alguns casos, GRUs padrão sem entradas de ação performaram de forma comparável ou melhor. Isso sugere que o benefício da codificação complexa de ação está ligado à dependência específica entre ações e transições de estado.
• Eficiência de Parâmetros: Embora atualizações multiplicativas de posto completo tenham significativamente mais parâmetros do que as aditivas, as variantes multiplicativas fatoradas (de baixo posto) frequentemente alcançam desempenho comparável com menos parâmetros, embora geralmente performem abaixo da versão multiplicativa de posto completo.
• Análise de Representação de Estado: Visualizações T-SNE dos estados ocultos aprendidos revelam que células multiplicativas agrupam estados ocultos de acordo com o estado do ambiente subjacente de forma mais eficaz do que células aditivas. Células aditivas tendem a super-segregar estados com base na ação anterior, enquanto células multiplicativas mantêm uma representação mais coerente do estado do ambiente apesar das variações de ação.
• Limitações da Aditiva Profunda: A variante "Aditiva Profunda", que aprende um embedding de ação, geralmente performou de forma similar ou pior do que a abordagem aditiva padrão, sugerindo que aprender o embedding do zero não superou as limitações estruturais da atualização aditiva.

Significado e Alegações

O artigo alega que a escolha de como incorporar a ação na função de atualização de estado é uma decisão de design crítica, frequentemente negligenciada, que impacta significativamente o desempenho do agente de RL. Os autores argumentam que:

1. Suposições de Aprendizado Supervisionado Podem Não Transferir: Arquiteturas e escolhas de design bem-sucedidas em aprendizado supervisionado (como concatenação simples) podem não ser ótimas para o cenário de RL, onde o agente deve modelar sua própria agência no fluxo de dados.
2. Interações Multiplicativas são Benéficas: Para tarefas que exigem que o agente rastreie como as ações alteram o estado (comum em controle parcialmente observável), atualizações multiplicativas fornecem um viés indutivo estrutural que facilita uma melhor construção de estado e aprendizado mais rápido.
3. Necessidade de Arquiteturas de RL Especializadas: Os resultados destacam uma lacuna na pesquisa atual de RL, sugerindo que RNNs "prontas para uso" de domínios supervisionados são insuficientes. O artigo pede trabalho futuro no desenvolvimento de células recorrentes projetadas especificamente para os desafios únicos da coleta de dados online e ativa em RL, como lidar com longas dependências temporais sem depender exclusivamente da retropropagação truncada através do tempo (BPTT).

Os autores concluem que, embora atualizações multiplicativas pareçam ser a "vencedora clara" nos domínios testados, a arquitetura ótima é dependente do domínio, e sistemas futuros podem se beneficiar de mecanismos que possam aprender ou selecionar o viés estrutural apropriado dinamicamente.