Resumo Técnico: Calibrated Partial Resets (CPR) para Aprendizado por Reforço Contínuo

1. Definição do Problema

Redes neurais profundas frequentemente sofrem de uma perda de plasticidade durante o treinamento não estacionário prolongado, um problema crítico no Aprendizado por Reforço (RL) Contínuo. Nestes cenários, as atualizações de política alteram a distribuição de dados futura do agente, criando loops de feedback onde pequenas instabilidades de otimização podem se transformar em degradação catastrófica da política (Juliani & Ash, 2024).

As soluções existentes para a perda de plasticidade, como Continual Backpropagation (CBP), ReDo e ReGraMa, baseiam-se em resets binários de neurônios. Esses métodos identificam neurônios de baixa utilidade (com base em estatísticas de ativação ou gradiente) e os reinicializam completamente. Embora isso restaure o fluxo de gradiente, os autores argumentam que os resets binários confundem duas escolhas de design distintas: quais unidades atualizar e quão fortemente alterá-las.

• Instabilidade: A natureza "tudo ou nada" dos resets binários introduz mudanças abruptas nos parâmetros e picos de gradiente, o que desestabiliza o treinamento de RL de longo horizonte e pode levar ao colapso da política.
• Fragilidade: A reinicialização total zera os pesos de saída, causando mudanças de distribuição nas camadas subsequentes, o que é particularmente problemático sem normalização de camada.
• Limitações de Decaimento Uniforme: Métodos alternativos como Shrink & Perturb aplicam decaimento uniforme a todas as unidades, o que é suave, mas indiscriminado, falhando em visar as unidades específicas que precisam de renovação.

O problema central é a falta de um método que seja simultaneamente seletivo (visando unidades de baixa utilidade) e suave (evitando saltos abruptos de parâmetros) para prevenir o colapso da política enquanto mantém o desempenho máximo.

2. Metodologia: Calibrated Partial Resets (CPR)

Os autores propõem o Calibrated Partial Resets (CPR), um otimizador que periodicamente puxa os neurônios em direção à sua inicialização com uma força escalonada pela utilidade de cada neurônio. Diferente dos resets binários, o CPR aplica um ajuste parcial contínuo.

2.1 Estimativa de Utilidade

O CPR utiliza pontuações de utilidade baseadas em gradiente, que trabalhos recentes sugerem escalar de forma mais favorável (Liu et al., 2025).

• Pontuação Bruta ($S_i^\ell$): A magnitude média do gradiente dos pesos de entrada para a unidade $i$ na camada $\ell$.
• Pontuação Normalizada ($u_i^\ell$): Para garantir a comparabilidade entre camadas e tempo, a pontuação bruta é normalizada por camada (dividida pela média da camada) e suavizada usando uma Média Móvel Exponencial (EMA) com parâmetro de decaimento $\beta$.

2.2 O Mecanismo de Reset

A cada $f$ passos, o CPR atualiza os pesos de cada neurônio $i$ na camada $\ell$ de acordo com:
$$W_i^{\ell, :} \leftarrow (1 - r_i^\ell) W_i^{\ell, :} + r_i^\ell \xi_i^{\ell, :}$$
$$W_{:, i}^{\ell+1} \leftarrow ( - (1 - r_i^\ell) W_{:, i}^{\ell+1}$$

Onde:

• $\xi$ é um peso extraído da distribuição de inicialização (ex: Kaiming).
• $r_i^\ell$ é o coeficiente de reset, limitado por uma fração máxima de reset $\rho \in (0, 1]$.
• O coeficiente é determinado por uma função monotonicamente decrescente $\phi$ da utilidade normalizada $u_i^\ell$:
  $$r_i^\ell = \rho \cdot \phi(u_i^\ell)$$

2.3 A Função de Transformação

A função $\phi$ mapeia a utilidade para a intensidade do reset. Os autores utilizam uma forma baseada em sigmoide:
$$\phi(u_i^\ell) = \min\left(2\sigma[-\kappa(u_i^\ell - 1)], 1\right)$$

• Seletividade: Unidades com utilidade abaixo da média da camada ($u < 1$) recebem uma fração de reset próxima da máxima $\rho$. Unidades com alta utilidade ($u > 1$) recebem resets progressivamente menores.
• Parcialidade: Mesmo para as unidades de menor utilidade, o reset é parcial (puxando em direção à inicialização por $\rho$) em vez de uma reinicialização total. Isso evita os picos de gradiente associados aos resets binários.
• Nitidez ($\kappa$): Controla quão bruscamente a fração de reset cai conforme a utilidade aumenta. Os autores fixam $\kappa=16$ com base em estudos de ablação que mostram robustez em uma ampla gama.

3. Principais Contribuições

1. Identificação da Fonte de Instabilidade: O artigo identifica o reset binário de neurônios como uma fonte primária de instabilidade no RL contínuo de longo horizonte, distinguindo entre a seleção de unidades e a magnitude de sua atualização.
2. Otimizador CPR: Introdução de um otimizador de reset parcial escalonado por utilidade que evita a fragilidade da reinicialização total, mantendo a seletividade dos métodos de reset.
3. Validação Empírica: Demonstração de que o CPR previne o colapso da política ao longo de 400 milhões de passos de treinamento no ambiente SlipperyAnt, um regime onde métodos de reset binário e o Adam falham.
4. Controle de Trade-off: Estudos de ablação revelam que a fração máxima de reset $\rho$ fornece um trade-off ajustável entre plasticidade (adaptação) e desempenho de pico, permitindo a prevenção do colapso sem exigir um ajuste preciso de hiperparâmetros.

4. Resultados

Os autores avaliaram o CPR em quatro benchmarks: SlipperyAnt, SlipperyHumanoid, Continual MetaWorld e Continual MinAtar.

• Prevenção de Colapso de Política: No SlipperyAnt (400M de passos), o CPR foi o único método entre 15 sementes a alcançar zero colapsos de política. Em contraste, o Adam colapsou, e os métodos de reset binário (ReDo, ReGraMa) mostraram degradação significativa de desempenho ou colapso.
• Desempenho: O CPR alcançou o maior retorno episódico de Interquartile Mean (IQM) no SlipperyAnt e SlipperyHumanoid. Também superou os baselines (CBP, ReDo, ReGraMa, Shrink & Perturb) no Continual MetaWorld e Continual MinAtar.
• Métricas de Estabilidade:
  • Neurônios Dormentes: O CPR manteve uma razão de neurônios dormentes baixa e constante, comparável ao CBP, mas sem o drift de final de treinamento visto no Adam.
  • Normas de Gradiente: O CPR exibiu menores flutuações nas normas de gradiente do ator em comparação com os baselines de reset binário, correlacionando-se com sua capacidade de evitar colapsos.
  • Normas de Parâmetros: O CPR restringiu o crescimento de parâmetros, um conhecido motor de perda de plasticidade, enquanto os baselines exibiram maior crescimento de parâmetros.
• Ablações:
  • Nitidez ($\kappa$): O desempenho permaneceu robusto para $\kappa \in [2, 20]$. Valores baixos ($\kappa \le 1$) degradaram o desempenho ao tornar os resets muito uniformes.
  • Magnitude de Reset ($\rho$): Uma faixa de $\rho \in [0.01, 0.05]$ preveniu consistentemente o colapso. Um $\rho$ mais baixo preservou a estabilidade, mas dificultou a adaptação; um $\rho$ mais alto aumentou a plasticidade, mas arriscou o excesso de reset de estruturas úteis.

5. Significância e Alegações

O artigo afirma que o CPR representa uma mudança qualitativa na confiabilidade do treinamento para RL de longo horizonte. Ao substituir atualizações de tudo ou nada por resets parciais escalonados por utilidade, o CPR injeta a plasticidade necessária sem as atualizações bruscas de parâmetros que causam o colapso da política.

Os autores enfatizam que, embora o CPR introduza complexidade de implementação (calculando a utilidade por neurônio e armazenando médias móveis), o overhead computacional é marginal (~6% de aumento no tempo de execução para tarefas de alta dimensão) e o método é modular, exigindo alterações mínimas nos pipelines de treinamento padrão (ex: Optax).

O trabalho conclui que a reinicialização escalonada por utilidade é uma direção promissora para o aprendizado contínuo, oferecendo um mecanismo ajustável para equilibrar o trade-off entre estabilidade e plasticidade. Os autores reconhecem limitações, observando que o CPR foca em dinâmicas de tarefas e mudanças de identidade, e não pretende resolver todas as formas de instabilidade de RL contínuo (ex: não-estacionariedade de recompensa ou mudanças de morfologia). Sugere-se que trabalhos futuros isolem os papis da estimativa de utilidade, reinicialização parcial e manipulação de estado do otimizador em arquiteturas mais amplas.