Resumo Técnico: Representação de Hadamard: Andaimagem de Desempenho em RL Livre de Modelo

Declaração do Problema

Agentes de aprendizado por reforço (RL) profundo sofrem uma perda progressiva de capacidade representacional durante o treinamento. Isso se manifesta de duas maneiras principais: neurônios tornando-se dormentes (perdendo plasticidade) e o colapso da rank efetiva (redundância entre neurônios sobreviventes). Embora existam remédios existentes, como redefinições periódicas ou arquiteturas especializadas, eles são frequentemente específicos de algoritmo ou domínio.

Um modo de falha crítico e subanalisado envolve funções de ativação suaves, especificamente tanh. Ao contrário do fenômeno "ReLU morrendo", onde neurônios dormentes produzem zero e são efetivamente podados, neurônios tanh saturados colapsam para constantes não nulas ($\pm 1$). Os autores demonstram que esses neurônios saturados não apenas param de aprender; eles corrompem ativamente as camadas a jusante ao converter seus pesos de saída em vieses fixos e independentes da entrada. Essa distorção "silenciosa" degrada o desempenho mesmo quando a contagem de neurônios dormentes é menor do que em redes ReLU.

Metodologia: Representação de Hadamard (HR)

Os autores propõem uma modificação arquitetônica simples e plugável chamada Representação de Hadamard (HR). Em vez de uma camada oculta padrão $z(x) = f(Ax + b)$, a HR substitui-a pelo produto elemento a elemento de duas ramificações parametrizadas independentemente:

$$z(x) = f(A_1x + b_1) \odot f(A_2x + b_2)$$

onde $f$ é a função de ativação (por exemplo, tanh ou ReLU), e $(A_1, b_1)$ e $(A_2, b_2)$ são conjuntos independentes de pesos e vieses.

A HR opera através de dois mecanismos complementares:

1. Resistência à Saturação (Mecanismo 1):

   • Para tanh, um neurônio torna-se dormente (saturado) apenas se ambas as ramificações independentes saturarem simultaneamente. Assumindo independência, se a probabilidade de uma única ramificação saturar for $p$, a probabilidade de colapso cai para $p^2$. Isso reduz significativamente a incidência de neurônios tanh dormentes.
   • Por outro lado, para ReLU, a saturação (produção de zero) ocorre se qualquer uma das ramificações saturar. A probabilidade de colapso aumenta para $2p - p^2$. Assim, a HR é benéfica para tanh, mas prejudicial para ReLU em regimes de alta dormência.
   • Este mecanismo previne a "corrupção silenciosa" das camadas a jusante, garantindo que os gradientes não desapareçam tão facilmente e que os neurônios não travem em vieses fixos.

2. Expressividade Multiplicativa (Mecanismo 2):

   • Independentemente da dormência, a estrutura multiplicativa captura interações de segunda ordem entre duas visões da entrada. Isso expande a classe de funções em uma largura de camada fixa, aumentando o rank efetivo das representações ocultas.
   • Este mecanismo fornece benefícios mesmo em regimes onde neurônios dormentes já são raros (por exemplo, em métodos de controle contínuo de última geração usando Normalização de Camada), atuando como uma fonte independente de ganho representacional.

Contribuições Principais

• Identificação de um Modo de Falha Único: O artigo identifica que neurônios tanh saturados são estritamente mais prejudiciais do que neurônios ReLU dormentes, pois introduzem vieses fixos em vez de serem podados.
• Solução Arquitetônica (HR): Introdução de uma camada multiplicativa leve e simétrica que reduz quadraticamente a probabilidade de colapso do tanh enquanto aumenta o rank efetivo.
• Análise de Mecanismos: Separação teórica e empírica dos benefícios da HR em "resistência à saturação" (dominante em configurações de alta dormência) e "expressividade multiplicativa" (dominante em configurações de baixa dormência).
• Melhoria Livre de Hiperparâmetros: A HR melhora o desempenho em diversos algoritmos e domínios sem exigir nenhum ajuste de hiperparâmetros.

Resultados Experimentais

Os autores avaliaram a HR em cinco algoritmos e três domínios distintos:

1. Ação Discreta Baseada em Pixels (Atari):

   • DQN & PPO: Em 8 jogos do Atari, a HR aplicada a ativações tanh reduziu a fração de neurônios dormentes em ~23% e aumentou o rank efetivo, levando a ganhos de desempenho superiores a 10% sobre bases fortes.
   • PQN: Em uma avaliação em grande escala de 51 jogos do Atari, a HR com tanh melhorou as pontuações normalizadas pelo humano medianas em mais de 100% em comparação com o tanh padrão, e fechou a lacuna de desempenho com o ReLU enquanto mantinha um rank efetivo mais alto.
   • Comparação: A HR superou outros métodos de preservação de plasticidade, como CReLU e ReDo.

2. Controle Contínuo Baseado em Estado (HumanoidBench):

   • Usando SimbaV2 (um método de última geração com taxas de neurônios dormentes negligenciáveis), a HR ainda melhorou o desempenho em 18%. Isso confirma que o Mecanismo 2 (expressividade multiplicativa) impulsiona ganhos mesmo quando a dormência não é o principal gargalo.

3. Controle Contínuo Visual (DMC-Visual):

   • Usando MR.Q em tarefas visuais, a HR melhorou o desempenho em 17%.
   • Em treinamento estendido em tarefas difíceis de Humanoides, o MR.Q + HR igualou o desempenho do método de última geração XQC, superando tanto a linha de base MR.Q quanto o DrQ-v2.

Estudos de Ablação:

• Contagem de Parâmetros: Os autores compararam a HR com bases "alargadas" com contagens de parâmetros correspondentes. Alargar a rede frequentemente degradou o desempenho (por exemplo, -46% no DQN) ou forneceu ganhos mínimos, enquanto a HR consistentemente melhorou os resultados. Isso descarta a contagem de parâmetros como a única explicação para as melhorias.
• Empilhamento: Empilhar múltiplos blocos HR (2HR) não forneceu benefício adicional sobre um único bloco HR, sugerindo que a primeira camada é suficiente para capturar os ganhos representacionais.

Significado e Alegações

O artigo afirma que a Representação de Hadamard oferece uma correção universal, ao nível da arquitetura, para a perda de capacidade representacional em RL livre de modelo. Seu significado reside em:

• Universalidade: Melhora o desempenho em algoritmos baseados em valor (DQN), gradiente de política (PPO) e vetorizados (PQN), bem como em controle contínuo baseado em estado e visual.
• Simplicidade: Não requer ajuste de hiperparâmetros e pode ser integrado em bases de código existentes como uma substituição de camada plugável.
• Insight Teórico: Reenquadra a compreensão de neurônios "dormentes", destacando que, para ativações suaves, a dormência é uma fonte ativa de erro (injeção de viés) em vez de um podamento passivo.
• Potencial Futuro: Os autores sugerem que o potencial de ativações não lineares por partes em RL foi subestimado e que a HR abre novas vias para o design arquitetônico tanto em RL quanto em contextos mais amplos de aprendizado de máquina.

O trabalho conclui que, embora a HR seja uma mudança mínima, ela aborda uma limitação fundamental na dinâmica de treinamento de RL profundo, fornecendo ganhos consistentes onde outros métodos falham ou exigem adaptações específicas de domínio.