Resumo Técnico: Equilibrando Plasticidade e Estabilidade com Características Sucessoras Rápidas e Lentas

Declaração do Problema

Agentes de Aprendizado por Reforço (RL) Profundo frequentemente lutam em ambientes não estacionários. Enquanto pesquisas anteriores abordaram o "dilema estabilidade-plasticidade" através de mudanças abruptas de tarefa (por exemplo, tarefas sequenciais do Atari), ambientes do mundo real tipicamente evoluem através de não estacionariedade naturalista e contínua. Em tais configurações, as dinâmicas mudam gradualmente em vez de abruptamente, e não há limites explícitos de tarefa. Técnicas padrão de RL, incluindo aquelas que dependem de replay de experiência ou redefinições abruptas de parâmetros, frequentemente falham em adaptar-se efetivamente ou sofrem esquecimento catastrófico nestes cenários de deriva contínua. Além disso, abordagens existentes para estabilidade e plasticidade operam principalmente no nível de valores-Q ou políticas, deixando o papel das representações preditivas amplamente subestudado neste contexto específico.

Metodologia

1. Protocolo de Avaliação: Não Estacionariedade Naturalista Contínua

Os autores introduzem um protocolo de avaliação de RL contínuo caracterizado por não estacionariedade suave e contínua sem limites explícitos de tarefa. Isso é instanciado em dois domínios:

• Quatro Salas 3D Escorregadias: Uma tarefa de navegação onde os resultados das ações são estocasticamente substituídos com base em uma função seno ruidosa (simulando condições de umidade/gelo).
• Suíte de Controle MuJoCo: Tarefas de controle contínuo (Humanoide, Walker, Quadrúpede, Half-Cheetah) onde a massa do corpo varia ao longo do tempo através de funções seno ruidosas, funções seno não periódicas e processos de Ornstein–Uhlenbeck (OU).

2. Mecanismo Central: Características Sucessoras (SFs) com Consolidação Sináptica

O artigo propõe um framework que combina Características Sucessoras (SFs) com Consolidação Sináptica (SC) inspirada em neurociência através de múltiplas escalas de tempo.

• Características Sucessoras: As SFs decompõem a função valor estado-ação $Q(s, a, w)$ em uma representação preditiva $\psi(s, a)$ e parâmetros de recompensa $w$. Diferentemente do Q-learning padrão, as SFs capturam a ocupação descontada esperada de características futuras, permitindo transferência entre tarefas com dinâmicas compartilhadas. Neste trabalho, tanto as características de base quanto as SFs devem adaptar-se às dinâmicas de transição em mudança $p(s'|s,a; \omega_t)$.
• Consolidação Sináptica (SC): Inspirada em Benna & Fusi (2016), a SC modela a estabilização da força sináptica como uma cadeia de $K$ variáveis interagentes ($u_1, \dots, u_K$) com capacidades variáveis ($C_k$) e forças de fluxo ($g_{k,k+1}$).
  • Escala de Tempo Rápida ($u_1$): Corresponde à eficácia sináptica visível, permitindo adaptação rápida a novas experiências.
  • Escalas de Tempo Lentas ($u_2, \dots, u_K$): Atuam como variáveis ocultas que interagem bidirecionalmente com vizinhos, preservando conhecimento estável e prevenindo interferência.
  • Implementação: Os autores mapeiam essas variáveis para parâmetros de SF ($\psi_{u_k}$). A variável mais plástica ($\psi_{u_1}$) é atualizada via descida de gradiente padrão na perda Q-SF-TD. As variáveis restantes são atualizadas analiticamente usando o método de Euler para simular dinâmicas contínuas. Crucialmente, os autores demonstram que essas atualizações devem ser realizadas usando Descida de Gradiente Estocástica (SGD) em vez de otimizadores adaptativos (como Adam) para preservar a informação de escala de tempo relativa inerente às dinâmicas de consolidação.

3. Baselines e Comparações

O estudo compara o método proposto SF + SC contra:

• Métodos focados em plasticidade: Redefinições de parâmetros (P-last, redefinindo a última camada) e Backprop Contínuo (CBP, redefinindo pesos menos usados).
• Métodos focados em estabilidade: Consolidação de Pesos Elásticos (EWC) e Consolidação Sináptica (SC) aplicadas a valores-Q (TD3+SC, DQN+SC) em vez de SFs.
• Métodos de Região de Confiança: Otimização de Política Próxima (PPO).

Contribuições Chave

1. Protocolo de Não Estacionariedade Naturalista Contínua: Os autores introduzem um benchmark usando processos de deriva estocástica suave (seno periódico/não periódico, OU) em domínios de navegação e controle contínuo, indo além de paradigmas de troca abrupta de tarefa.
2. Diagnóstico do Gargalo: Através de comparação sistemática, o artigo fornece evidências de que a degradação de desempenho sob não estacionariedade contínua é impulsionada primariamente por instabilidade em vez de plasticidade insuficiente. Métodos que preservam estabilidade (SC, EWC) consistentemente superam aqueles que injetam plasticidade (P-last, CBP).
3. SFs como Alvos Superiores de Consolidação: O estudo demonstra que aplicar consolidação sináptica a Características Sucessoras produz desempenho superior comparado à consolidação de valores-Q. Isso sugere que estabilizar representações preditivas é mais eficaz do que estabilizar estimativas de valor em ambientes que mudam gradualmente.
4. Análise de Múltiplas Escalas de Tempo: O artigo introduz um mecanismo de atenção cruzada para analisar as contribuições relativas de variáveis de consolidação rápidas e lentas. Os resultados indicam que, enquanto escalas de tempo rápidas impulsionam a maior parte da aprendizagem, escalas de tempo mais lentas fornecem estabilidade complementar, e uma combinação de múltiplas escalas de tempo (por exemplo, 6–9 variáveis) é crucial para desempenho ótimo.

Resultados Experimentais

• Estabilidade vs. Plasticidade: Tanto nos ambientes Quatro Salas Escorregadias quanto MuJoCo, métodos que preservam estabilidade (SC e EWC) superaram significativamente métodos de injeção de plasticidade (P-last, CBP). Agentes sem estabilidade falharam em aprender efetivamente em configurações de não estacionariedade contínua.
• Superioridade de SF + SC: A combinação de SFs com Consolidação Sináptica (SF + SC) alcançou o maior desempenho e eficiência de aprendizagem. Isso se manteve verdadeiro através de processos de deriva periódicos, não periódicos e OU.
• Magnitude da Mudança: O benefício de consolidar SFs (vs. valores-Q) tornou-se mais pronunciado à medida que a magnitude da mudança ambiental aumentava (de perturbações de massa leves de 25% a severas de 100%). Sob mudanças leves, a consolidação de valores-Q foi competitiva, mas sob deriva severa, SF + SC foi distintamente superior.
• Importância da Escala de Tempo: Aumentar o número de variáveis de consolidação (introduzindo escalas de tempo mais lentas) melhorou a eficiência de aprendizagem. A análise de atenção cruzada revelou que, embora variáveis rápidas ($u_2, u_3$) recebessem a maior atenção, variáveis mais lentas contribuíram significativamente para a estabilidade.
• Eficiência de Parâmetros: A abordagem SF + SC superou redes baseline significativamente maiores (por exemplo, TD3 com capacidade aumentada), indicando que os ganhos derivam das dinâmicas de consolidação e representações preditivas em vez de simples escalamento de modelo.
• Restrições de Otimização: Os autores notam que o método requer SGD; o uso de otimizadores adaptativos como Adam interrompe a preservação da escala de tempo. Adicionalmente, as atualizações analíticas introduzem sobrecarga computacional, reduzindo a taxa de transferência de treinamento (FPS) comparado a baselines padrão.

Significado e Alegações

O artigo alega que, para agentes de RL profundo operando em ambientes naturalistas e em constante mudança, a estabilidade é frequentemente o principal gargalo, e manter a plasticidade através de redefinições de parâmetros é insuficiente. A solução proposta—consolidação sináptica multi-escala de representações preditivas (SFs)—oferece uma abordagem principista para equilibrar o trade-off estabilidade-plasticidade sem exigir limites explícitos de tarefa ou estatísticas de tarefa.

Os autores posicionam este trabalho como um passo em direção à compreensão de como sistemas biológicos (via consolidação sináptica) podem resolver problemas de aprendizagem contínua em configurações dinâmicas, sugerindo que estabilizar estruturas preditivas através de múltiplas escalas de tempo é uma estratégia eficaz para adaptação robusta. Eles reconhecem limitações, incluindo a restrição a atualizações baseadas em SGD e o custo computacional de atualizações analíticas não paralelizáveis, mas enfatizam a eficiência de parâmetros do método e sua robustez face à deriva ambiental gradual.