Resumo Técnico: Aprendizado por Reforço Multi-Horizonte Adaptativo

Definição do Problema

A tomada de decisão eficaz em ambientes complexos exige o equilíbrio entre resultados de curto e longo prazo. No Aprendizado por Reforço (RL) padrão, esse equilíbrio é governado por um fator de desconto fixo ($\gamma$), que impõe um horizonte de planejamento único e exponencialmente descontado. Essa suposição estática frequentemente falha em cenários de aprendizado contínuo, onde tarefas e ambientes evoluem, exigindo que os agentes alternem entre estratégias de tomada de decisão de curto horizonte (resultado imediato) e longo horizonte (recompensa tardia).

Sistemas biológicos, em contraste, parecem integrar previsões através de múltiplos horizontes temporais e ajustar flexivelmente sua dependência deles. Estudos recentes em neurociência sugerem que neurônios dopaminérgicos distintos e circuitos estriatais codificam o valor sobre diferentes escalas de tempo de desconto. O desafio central abordado neste artigo é: Como um agente pode adaptar dinamicamente seu horizonte de planejamento a diferentes demandas de tarefas, de forma semelhante à tomada de decisão flexível observada em sistemas biológicos?

Metodologia

Os autores propõem uma abordagem de Aprendizado por Reforço Multi-Horizonte que combina adaptativamente horizontes temporais, eliminando a necessidade de ajuste manual do fator de desconto. A metodologia central envolve uma estrutura de Mistura de Valores-Q (Mixture-of-Q-Values):

1. Múltiplos Críticos (Especialistas): O agente mantém múltiplas funções de valor de ação, $Q_i(s, a)$, cada uma aprendida independentemente usando Expected SARSA($\lambda$) tabular com um fator de desconto $\gamma_i$ distinto e fixo. Esses especialistas cobrem uma gama de horizontes temporais.
2. Rede de Portão Dependente do Estado (State-Dependent Gating Network): Uma rede de portão treinável recebe a representação do estado $x = \phi(s)$ e calcula os logits $z = Wx + b$. Estes são normalizados via softmax para produzir pesos de mistura $w_i(s)$ para cada especialista.
3. Função de Valor Mista: A função de valor de ação final é uma soma ponderada:
   $$Q_{mix}(s, a) = \sum_{i=1}^{K} w_i(s) Q_i(s, a)$$
4. Dinâmica de Aprendizado:
   • Os especialistas individuais são atualizados usando seus respectivos $\gamma_i$.
   • A política mista $\pi(a|s)$ é derivada de $Q_{mix}$ usando uma estratégia $\epsilon$-greedy.
   • Os parâmetros da rede de portão ($W, b$) são otimizados para minimizar o erro de Diferença Temporal (TD) ao quadrado da função de valor mista (onde a atualização utiliza $\gamma=1$ para a mistura). Isso permite que a rede aprenda qual horizonte temporal é mais eficaz para um determinado estado.

Principais Contribuições

• Seleção de Horizonte Adaptativo: O artigo introduz um mecanismo que seleciona e pondera dinamicamente múltiplos horizontes de planejamento com base no estado atual, em vez de depender de um único $\gamma$ fixo.
• Adaptabilidade ao Aprendizado Contínuo: O método é especificamente projetado para cenários de aprendizado contínuo onde as tarefas mudam sequencialmente, exigindo que o agente reavalie a escala temporal ideal sem intervenção manual.
• Validação Empírica de Princípios Biológicos: O trabalho fornece evidências empíricas apoiando a hipótese de que o aprendizado multi-escala adaptativo melhora a eficiência de parâmetros e a adaptabilidade, espelhando princípios observados na tomada de decisão biológica.

Resultados Experimentais

Os autores avaliaram a abordagem em ambientes MiniGrid, focando em três tarefas sequenciais em um cenário de aprendizado contínuo:

1. Foraging (Busca de Alimento): Coleta de 40 recompensas distribuídas em uma grade.
2. Goal Reaching (Alcance de Objetivo): Alcançar um objetivo de alto valor enquanto evita penalidades de lava.
3. Four Rooms (Quatro Salas): Uma tarefa composta envolvendo um "jackpot" limitado no tempo e recompensas locais.

Principais Descobertas:

• Horizontes Ótimos Dependentes da Tarefa: Experimentos demonstraram que o fator de desconto ideal varia significamente conforme a tarefa e a estrutura de recompensa.
  • Foraging: Os horizontes efetivos ótimos foram encontrados entre 16–32 passos.
  • Goal Reaching: Os horizontes ótimos variaram entre 32–512 passos.
  • Four Rooms: O desempenho ótimo exigiu um horizonte efetivo de 128 passos.
• Esparsidade e Alcançabilidade de Recompensa: O estudo mostrou que, conforme a dispersão de recompensa aumenta (maior variância espacial) ou a frequência de recompensa diminui, o fator de desconto ótimo desloca-se para valores maiores (horizontes mais longos) para mitigar a esparsidade.
• Desempenho em Aprendizado Contínuo: No experimento de alternância sequencial de tarefas, a abordagem de mistura adaptativa manteve consistentemente um desempenho próximo ao ótimo (retornos por episódio entre 36 e 40) em todas as três tarefas.
• Comportamento do Portão (Gating): A rede de portão aprendeu com sucesso a atribuir pesos maiores aos fatores de desconto que eram ótimos para a tarefa atual. Por exemplo, priorizou horizontes mais curtos para foraging e horizontes mais longos para a tarefa de jackpot com restrição de tempo.
• Robustez: Embora o agente tenha aprendido consistentemente a coletar o jackpot limitado no tempo (um subobjetivo difícil), a coleta das demais recompensas locais mostrou certa variabilidade dependendo da semente aleatória e do comprimento restante do episódio.

Significância e Alegações

O artigo afirma que sua abordagem de multi-horizonte adaptativo oferece um novo framework para combinar múltiplos críticos com capacidades distintas. A principal significância reside em:

• Eliminação do Ajuste Manual: O método remove a necessidade de ajuste manual do fator de desconto, o que é particularmente benéfico em ambientes onde as estruturas de recompensa mudam ao longo do tempo.
• Plausibilidade Biológica: Os resultados sugerem que o desconto temporal adaptativo é um princípio viável para melhorar sistemas de aprendizado tanto artificiais quanto biológicos, alinhando-se com achados neurocientíficos sobre a codificação de valor em múltiplas escalas de tempo.
• Eficiência no Aprendizado Contínuo: A abordagem demonstra melhor adaptabilidade ao alternar entre tarefas com requisitos temporais divergentes, sugerindo que aprender uma mistura de horizontes é mais robusto do que aprender um único horizonte fixo.

Os autores mantêm-se modestos quanto ao trabalho futuro, observando que avaliações adicionais em um maior número de sementes são necessárias para caracterizar a variabilidade, e que estender o framework para aproximadores de função de redes neurais e a adaptação conjunta de traços de elegibilidade são direções promissoras para investigações futuras.