Resumo Técnico: SPHERE - Mitigando a Perda de Plasticidade Espectral em Misturas de Especialistas para Aprendizado por Reforço Profundo

1. Declaração do Problema

No Aprendizado por Reforço Profundo (DRL), agentes treinados em fluxos de experiência frequentemente sofrem com perda de plasticidade: um declínio gradual na sua capacidade de aprender novas habilidades a partir de novas experiências à medida que o treinamento progride. Este fenômeno é particularmente prejudicial em cenários de Aprendizado por Reforço Contínuo (CRL), onde um agente deve dominar sequencialmente uma série de tarefas.

Embora arquiteturas de Mistura de Especialistas (MoE) tenham sido implantadas com sucesso para escalar a capacidade de políticas em DRL (por exemplo, para manipuladores, humanoides e quadrúpedes), estudos empíricos indicam que políticas MoE também sofrem com perda severa de plasticidade em cenários contínuos. À medida que o treinamento avança, o desempenho MoE pode degradar, sugerindo que a própria arquitetura é suscetível aos mesmos mecanismos de perda de capacidade observados em redes densas.

O desafio central abordado por este artigo é a falta de uma caracterização formal da perda de plasticidade especificamente dentro de políticas MoE e a ausência de métodos práticos para mitigá-la. Estratégias de mitigação existentes para redes densas (por exemplo, normalização espectral, regularização de Hessiana) não se traduzem diretamente para a estrutura esparsa e roteada de políticas MoE.

2. Metodologia: SPHERE

Os autores propõem SPHERE (Plasticidade Espectral via REgularização Hiperesférica de Especialistas), um regularizador principiado projetado para preservar a capacidade de aprendizado de políticas MoE. A metodologia procede através de quatro etapas teóricas e práticas fundamentais:

2.1 Formalizando a Perda de Plasticidade como Plasticidade Espectral

Baseando-se na teoria do Kernel Tangente Neural (NTK), os autores formalizam a perda de plasticidade como uma perda de plasticidade espectral.

• Mecanismo: A direção de atualização de uma política é governada pela matriz NTK empírica (eNTK), $K = JJ^\top$, onde $J$ é o Jacobiano das saídas da rede em relação aos parâmetros.
• Definição: A perda de plasticidade corresponde a um colapso na rango efetivo de entropia espectral ($r_e$) do eNTK. Um alto rango efetivo implica um espectro isotrópico, permitindo atualizações em diversas direções. Um baixo rango efetivo (colapso espectral) restringe atualizações a poucas direções dominantes, dificultando a capacidade de aprender novas tarefas.
• Observação: Em CRL, o espectro eNTK de políticas MoE colapsa, reduzindo o rango efetivo e confinando atualizações funcionais.

2.2 Derivando um Proxy Tratável

O cálculo direto da matriz eNTK $K$ é intratável para redes grandes devido a restrições de memória ($O(N^2P)$). Para abordar isso, os autores derivam um proxy tratável baseado na matriz Gauss-Newton (GN) no espaço de parâmetros ($G_{GN} = \frac{1}{N}J^\top J$).

• Decomposição: Eles decompõem a matriz GN em componentes blocos-diagonais correspondentes aos parâmetros de gate e especialista.
• Aproximação por Camada: Sob uma aproximação blocos-diagonal, o rango efetivo do eNTK completo é expresso como uma mistura dos rangos efetivos de blocos de camadas individuais.
• Surrogato de Bloco de Especialista: Para as camadas de especialistas, os autores utilizam um proxy de Kronecker ($\tilde{G}_{GN} = A \otimes G$), onde $A$ é a matriz Gram de características e $G$ é a matriz Gram de gradientes. Eles provam que o rango efetivo do bloco de especialista é limitado inferiormente por uma função do número de condição deste proxy de Kronecker.

2.3 O Regularizador SPHERE

Para maximizar o limite inferior da plasticidade espectral, os autores visam minimizar o número de condição da matriz Gram de características $A$.

• Alvo: Eles focam na Gram de características ponderada de especialista ($A_{last}^{exp}$) na última camada oculta de especialista. Esta matriz é construída concatenando características de especialistas ponderadas por suas probabilidades de gate Top-K.
• Penalidade: SPHERE aplica uma penalidade de Parseval (penalidade quadrática) ao componente anisotrópico de $A_{last}^{exp}$. A função de perda é definida como:
  $$L_{SPHERE}(A_{last}^{exp}) = \left\| A_{last}^{exp} - \frac{\text{Tr}(A_{last}^{exp})}{m} I_m \right\|_F^2$$
  Esta penalidade incentiva que os autovalores da Gram de características sejam iguais (isotrópicos), aumentando assim o rango efetivo e preservando a plasticidade espectral.
• Garantia Teórica: Os autores provam que otimizar esta penalidade induz uma contração espectral, diminuindo monotonicamente o número de condição do proxy e aumentando o limite inferior do rango efetivo do eNTK.

2.4 Implementação

SPHERE é integrado ao loop de treinamento PPO. Em cada atualização de gradiente, a Gram de características ponderada de especialista é computada a partir da passagem forward, e a penalidade SPHERE é adicionada à função de perda do ator. O coeficiente de regularização é escalado adaptativamente com base na razão entre a norma do gradiente do ator e a norma do gradiente SPHERE.

3. Contribuições Principais

1. Formalização: O artigo define formalmente a perda de plasticidade em políticas MoE como uma perda de plasticidade espectral, quantificada pelo rango efetivo de entropia espectral do NTK empírico.
2. Proxy Tratável: Deriva um substituto prático, por camada, para plasticidade espectral que depende apenas de matrizes de características de especialistas individuais, evitando a construção do eNTK completo.
3. Algoritmo (SPHERE): Introduz SPHERE, um regularizador principiado que impõe isotropia em características ponderadas de especialistas para combater o colapso espectral.
4. Validação Empírica: O método é avaliado em MetaWorld e HumanoidBench, demonstrando melhorias consistentes sobre baselines MoE não regularizadas e métodos anteriores de mitigação de plasticidade.

4. Resultados Experimentais

Os autores avaliaram SPHERE em dois benchmarks de robótica:

• MetaWorld (CW10): Um conjunto de 10 tarefas de manipulação.
• HumanoidBench: Um conjunto de 5 tarefas de locomoção para o humanoide H1.

Principais Descobertas:

• Ganhos de Desempenho:
  • Em MetaWorld sob CRL, SPHERE melhorou a taxa de sucesso média em 133% sobre uma baseline MoE Top-K não regularizada.
  • Em HumanoidBench sob CRL, SPHERE melhorou o sucesso médio em 50% sobre a baseline.
  • SPHERE também mostrou ganhos em configurações padrão de RL (treinamento de tarefa única), sugerindo que a plasticidade espectral pode decair mesmo dentro de uma única tarefa devido a deriva distribucional.
• Manutenção da Plasticidade Espectral: Ao longo do treinamento, SPHERE manteve um rango efetivo significativamente maior ($r_e(K)$) comparado às baselines, que exibiram colapso espectral rápido.
• Estudos de Ablação:
  • Regularizar apenas a última camada oculta de especialista foi encontrado como o mais eficaz; regularizar todas as camadas ou apenas o gate resultou em desempenho inferior.
  • A concatenação cruzada de especialistas (regularizar a Gram de características conjunta em vez de especialistas individuais) foi crucial para os ganhos, indicando a importância de gerenciar correlações cruzadas entre especialistas.
  • O método é robusto através de diferentes funções de ativação (ReLU, Tanh), contagens de especialistas e variantes MoE (Dense-MoE, DS-MoE).
• Análise Qualitativa: Visualizações t-SNE mostraram que, sem SPHERE, representações de estado colapsaram em uma única direção de característica dominante. Com SPHERE, as representações permaneceram diversas e isotrópicas.

5. Significado e Alegações

O artigo alega que SPHERE fornece uma solução principiada para o problema da perda de plasticidade em agentes DRL baseados em MoE. Ao enquadrar a perda de plasticidade através da lente da teoria espectral (rango efetivo do eNTK), os autores fecham a lacuna entre a compreensão teórica e a regularização prática.

O significado do trabalho reside em:

• Habilitando Aprendizado Contínuo Escalável: À medida que arquiteturas MoE se tornam padrão para escalar agentes de RL, SPHERE garante que esses modelos mantenham a capacidade de aprender novas habilidades ao longo de longas sequências de tarefas, prevenindo falhas sistemáticas em tarefas posteriores.
• Insight Teórico: Oferece uma nova perspectiva sobre a dinâmica MoE, ligando mecanismos de roteamento e especialização de especialistas às propriedades espectrais da paisagem de aprendizado.
• Eficácia Prática: O método é computacionalmente eficiente (adicionando apenas ~3-6% de sobrecarga mesmo com 1000 especialistas) e integra-se perfeitamente a pipelines PPO existentes, sem exigir mudanças arquiteturais.

Os autores reconhecem limitações, notando que sua derivação depende de aproximações teóricas (blocos-diagonais e independência dentro da camada) e que o escopo atual é limitado a RL de controle contínuo. Eles identificam a extensão de SPHERE para modelos de base em grande escala como uma direção para trabalhos futuros.