Resumo Técnico: Plasticidade Impulsionada por Esparsidade em Aprendizado por Reforço Multitarefa

Declaração do Problema

Agentes de Aprendizado por Reforço Profundo (DRL) frequentemente sofrem de perda de plasticidade, um fenômeno onde a capacidade da rede de se adaptar a novas experiências diminui conforme o treinamento progride. Este problema é caracterizado por patologias de otimização como interferência de gradiente, colapso representacional e dormência neuronal (neurônios tornando-se inativos). Embora extensivamente estudado em configurações de tarefa única, a perda de plasticidade é particularmente crítica no Aprendizado por Reforço Multitarefa (MTRL). No MTRL, os agentes devem manter a flexibilidade representacional para gerenciar demandas de tarefas diversas e potencialmente conflitantes simultaneamente. As abordagens atuais de MTRL frequentemente dependem de modelos sobreparametrizados que podem subutilizar a capacidade da rede ou falhar em generalizar, levando a agentes que lutam contra a interferência negativa de tarefas e a aquisição de políticas universais.

Metodologia

O artigo investiga se métodos de esparsificação podem mitigar a perda de plasticidade e melhorar o desempenho no MTRL. Os autores focam em duas técnicas de esparsificação dinâmica:

1. Poda Gradual de Magnitude (GMP - Gradual Magnitude Pruning): Aumenta incrementalmente a esparsidade da rede durante o treinamento ao remover pesos de baixa magnitude ao longo de uma janela de tempo predefinida, permitindo que a rede se adapte ao aumento da esparsidade.
2. Treinamento Evolutivo Esparso (SET - Sparse Evolutionary Training): Mantém um nível de esparsidade global fixo durante todo o treinamento através da reconfiguração contínua da conectividade da rede (podando conexões fracas e regenerando novas conexões), inspirado em algoritmos evolutivos.

Configuração Experimental

O estudo avalia esses métodos através de três arquiteturas distintas de MTRL:

• MTPPO: Uma linha de base de política compartilhada com cabeças específicas para cada tarefa.
• Mistura de Especialistas (MoE - Mixture of Experts): Utiliza um mecanismo de portão (gating) para selecionar especialistas para tarefas específicas.
• Mistura de Especialistas Ortogonais (MOORE - Mixture of Orthogonal Experts): Incorpora submódulos ortogonais para impor a separação de tarefas.

Benchmarks:

• MiniGrid: Benchmarks MT3, MT5 e MT7 (observabilidade parcial, recompensa esparsa).
• MetaWorld: Benchmark MT10 (controle contínuo, espaços de estado/ação de alta dimensão).

Comparações:
Agentes esparsos (GMP e SET) são comparados contra:

• Baselines densos.
• Intervenções explícitas indutoras de plasticidade: ReDo (reset periódico de neurônios dormentes) e Reset (reinicialização periódica de camadas).
• Técnicas de regularização implícita: Decaimento de Peso (WD - Weight Decay) e Normalização de Camada (LayerNorm).

Métricas:
O desempenho é medido via Média Interquantile Normalizada (IQM). A plasticidade é avaliada usando:

• Porcentagem de Neurônios Dormentes: A proporção de neurônios inativos.
• Posto Efetivo (Effective Rank): Uma medida da diversidade representacional (posto baixo indica colapso).
• Traço da Matriz de Informação de Fisher (FIM Trace): Um proxy para a sensibilidade da política às mudanças de parâmetros (valores altos indicam mínimos agudos/instabilidade).

Principais Contribuições

1. Mitigação da Degradação da Plasticidade: Os autores estabelecem que o GMP e o SET mitigam efetivamente indicadores chave de perda de plasticidade, especificamente reduzindo a dormência de neurônios e prevenindo o colapso representacional. Agentes esparsos exibem consistentemente perfis de plasticidade mais favoráveis (menor dormência, posto efetivo maior/estável) em comparação com seus equivalentes densos.
2. Correlação de Desempenho: Melhorias na plasticidade induzidas pela esparsificação frequentemente se correlacionam com um melhor desempenho multitarefa. Agentes esparsos frequentemente superam baselines densos e alcançam resultados competitivos contra intervenções especializadas de plasticidade (ReDo, Reset) e métodos de regularização.
3. Efeitos Dependentes da Arquitetura: O impacto da esparsificação mostra-se altamente dependente da arquitetura da rede. Enquanto o GMP e o SET geram ganhos consistentes nas configurações MTPPO e MoE, seus efeitos no MOORE são mais sutis, sugerindo que mecanismos arquiteturais inerentes (como restrições de ortogonalidade) interagem de forma diferente com a esparsidade.

Resultados

• Desempenho: Nas arquiteturas MTPPO e MoE, tanto o GMP quanto o SET alcançaram consistentemente retornos agregados finais mais altos do que os baselines densos em todos os benchmarks do MiniGrid (MT3, MT5, MT7). No cenário de controle contínuo MetaWorld MT10, a poda seletiva da rede do ator (GMP-Actor) superou tanto o baseline denso quanto a poda global, alcançando uma taxa de sucesso de 81%.
• Dinâmica de Plasticidade:
  • O SET provou ser particularmente eficaz em minimizar a dormência de neurônios tanto nos componentes do ator quanto do crítico, mantendo um alto posto efetivo.
  • O GMP mostrou um padrão característico de "pico e declínio" no Traço de Fisher, sugerindo convergência para mínimos mais planos, enquanto o SET manteve um traço baixo e estável.
  • A LayerNorm, embora reduzisse a dormência, causou uma queda severa e persistente no posto efetivo (colapso representacional), levando a um desempenho pobre.
  • ReDo e Reset mostraram resultados mistos; o ReDo reduziu a dormência, mas nem sempre se traduziu em ganhos de desempenho, enquanto o Reset introduziu instabilidade nas métricas de plasticidade.
• Especificidades do MOORE: Na arquitetura MOORE, a esparsificação não gerou os mesmos ganhos de desempenho que no MTPPO ou MoE. O SET às vezes levou a leves declínios de desempenho, e a poda extrema (99% de esparsidade) causou colapso de posto e degradação de desempenho no MOORE, destacando os limites da esparsidade em designs altamente estruturados e ortogonais.

Significância e Alegações

O artigo alega que a esparsificação dinâmica serve como um mecanismo robusto e de propósito geral para aumentar a plasticidade no MTRL, muitas vezes superando ou igualando intervenções especializadas projetadas explicitamente para restaurar a plasticidade. Os achados sugerem que os benefícios da poda não se devem meramente à compressão do modelo, mas derivam dos efeitos de regularização que guiam a rede para mínimos mais "planos" e evitam a subutilização da capacidade da rede.

Os autores enfatizam que a esparsificação oferece uma forma distinta de regularização implícita que equilibra o controle de capacidade com a diversidade representacional, um equilíbrio que técnicas padrão como LayerNorm não conseguem alcançar em configurações multitarefa. No entanto, o artigo nota modestamente que esses benefícios são sensíveis ao contexto; a eficácia da esparsificação depende fortemente da arquitetura subjacente e não é uma solução universal para todos os designs de MTRL (ex: MOORE). O trabalho destaca a interação entre design de rede, esparsidade e dinâmica de aprendizado, defendendo a esparsificação como uma ferramenta valiosa no arsenal de MTRL que merece investigação teórica adicional.