Resumo Técnico: Sobre os Limites de Largura e Profundidade Infinita de Redes de Codificação Preditiva

Declaração do Problema

A Codificação Preditiva (PC) é uma alternativa biologicamente plausível ao backpropagation (BP) padrão, onde neurônios minimizam erros de predição locais (uma função de energia) antes de atualizar os pesos. Embora reparametrizações recentes tenham melhorado a estabilidade de treinamento de redes PC profundas (PCNs), a base teórica para escalar esses métodos para larguras e profundidades elevadas permanece incerta. Especificamente, não se sabe se a PC pode ser escalada para igualar a estabilidade e as capacidades de aprendizado de características do BP nos limites de largura infinita e profundidade infinita, ou se as PCNs padrão sofrem de instabilidade (ex: saídas explosivas) conforme o tamanho do modelo aumenta. Além disso, as condições sob as quais os gradientes da PC convergem para os gradientes do BP nesses limites exigem uma caracterização rigorosa.

Metodologia

Os autores conduzem uma análise teórica e empírica de PCNs nos limites conjuntos de largura infinita ($N \to \infty$) e profundidade infinita ($L \to \infty$).

1. Estrutura Teórica:

   • Parametrização Geral: O estudo adota um esquema de parametrização "abcd" geral para Perceptrons Multicamadas (MLPs) lineares e Redes Residuais, definindo expoentes de escala para pré-ativações ($a_\ell$), variância de inicialização de pesos ($b_\ell$), taxa de aprendizado ($c$) e saída da rede ($d$).
   • Energia Equilibrada: Para redes lineares, os autores utilizam a "energia equilibrada" ($F^*$), que é a energia da PC minimizada em relação às atividades. Eles mostram que, para redes lineares, $F^*$ é uma versão reescalonada da perda padrão de Erro Quadrático Médio (MSE): $F^*(\theta) = L(\theta) / s(\theta)$, onde $s(\theta)$ é um fator de reescalonamento dependente dos pesos.
   • Desiderata: A análise busca parametrizações que satisfaçam três critérios principais (adaptados da literatura de BP):
     1. Estabilidade: As pré-ativações das camadas e as predições da rede devem permanecer limitadas (nem desaparecer nem explodir) conforme $N \to \infty$.
     2. Aprendizado de Características: As características devem evoluir de forma não trivial (aprendizado não-preguiçoso/non-lazy) durante o treinamento.
     3. Estabilidade de Profundidade (para ResNets): As ativações ocultas devem permanecer estáveis conforme $L \to \infty$, e cada bloco residual deve contribuir com $\Theta(1/L)$ para a evolução das características.

2. Derivação:

   • Os autores derivam os expoentes de escala específicos necessários para satisfazer os acima mencionados desiderata para PCNs.
   • Eles analisam o comportamento assintótico do fator de reescalonamento $s(\theta)$ e dos gradientes da energia equilibrada.
   • Eles provam que, sob essas parametrizações estáveis, os gradientes da PC convergem para os gradientes do BP conforme a largura cresce, com o termo de erro dependendo da razão profundidade-largura ($L/N$).

3. Validação Empírica:

   • Experimentos foram conduzidos em arquiteturas lineares e não lineares, incluindo MLPs, Redes Neurais Convolucionais (CNNs) e Transformers.
   • Modelos foram treinados em conjuntos de dados que variam de tarefas lúdicas (toy tasks) até CIFAR-10, Fashion-MNIST e ImageNet-1k.
   • O estudo mediu a similaridade de cosseno entre os gradientes da PC (computados no equilíbrio de atividade) e os gradientes do BP através de diversas larguras e profundidades.

Principais Contribuições

1. Equivalência de Parametrizações Estáveis:
   O artigo prova que o conjunto de parametrizações que garante tanto estabilidade quanto aprendizado de características não trivial para PCNs é idêntico ao do BP. Especificamente, para MLPs lineares e Redes Residuais, a parametrização "Mean-Field" ou "Maximal Update" ($\mu$P) é a solução única que satisfaz os desiderata de estabilidade e aprendizado de características para PC. Isso implica que as PCNs padrão (usando parametrizações padrão como os padrões do PyTorch) são inerentemente instáveis em grandes larguras, causando a explosão das saídas.

2. Convergência para Backpropagation:
   Os autores demonstram que, sob essas parametrizações estáveis, os gradientes computados pela PC convergem para os gradientes do BP conforme a largura da rede torna-se muito maior que sua profundidade ($L/N \to 0$).

   • Para MLPs lineares com profundidade fixa, o erro relativo entre os gradientes da PC e do BP escala como $O(N^{-1})$.
   • Para Redes Residuais lineares no limite conjunto, o erro relativo escala como $O(L/N)$.
   • Essa convergência ocorre tanto para as funções objetivo quanto para os gradientes, implicando que, no limite amplo, a PC implementa efetivamente o BP.

3. Instabilidade do Regime "Fast Saddle-to-Saddle":
   O artigo identifica que um regime observado anteriormente onde a PC exibe uma dinâmica "saddle-to-saddle" mais rápida que o BP (em redes profundas e estreitas) depende da Parametrização Padrão (SP). Os autores mostram que este regime é instável em relação tanto à largura quanto à profundidade, violando os desiderata de estabilidade. Assim, a aceleração vem ao custo de instabilidade numérica em modelos de larga escala.

4. Generalização Empírica:
   Apesar de a análise teórica ter sido derivada para redes lineares, os experimentos mostram que o alto alinhamento de gradiente entre PC e BP persiste em arquiteturas não lineares (CNNs, Transformers) treinadas com diferentes otimizadores (Adam) e funções de perda, desde que as redes sejam muito mais largas do que profundas e o equilíbrio de atividade seja alcançado.

Resultados

• Teóricos: A derivação confirma que o expoente de escala da saída $d=1/2$ é crítico para o aprendizado de características não-preguiçoso em PC, assim como no BP. O fator de reescalonamento $s(\theta)$ aproxima-se de 1 conforme $N \to \infty$ (para MLPs) ou conforme $L/N \to 0$ (para ResNets), fazendo com que o objetivo da PC converja para a perda MSE.
• Experimentais:
  • Alinhamento de Gradiente: A similaridade de cosseno entre os gradientes da PC e do BP aproxima-se de 1.0 conforme a largura aumenta, particularmente para ResNets e Transformers onde $L/N$ é pequeno.
  • Modelos Não Lineares: Alto alinhamento foi observado em MLPs residuais de 32 camadas, CNNs de 10 camadas e Transformers de 12 blocos.
  • Falha da Parametrização Padrão: Modelos usando parametrizações padrão (SP) mostraram saídas explosivas e baixo alinhamento de gradiente conforme a largura aumentava, confirmando a instabilidade teórica.

Significância e Alegações

O artigo afirma fornecer as primeiras restrições fundamentadas sobre as parametrizações que são escaláveis com a PC. Sua principal significância reside em duas áreas:

1. Restringindo a Escalabilidade: Estabelece que, para a PC ser escalável para modelos grandes, ela deve adotar as mesmas regras de parametrização do BP (especificamente $\mu$P). Isso sugere que as reparametrizações "heurísticas" usadas em trabalhos recentes de PC profunda devem alinhar-se com esses limites teóricos para serem viáveis.
2. Plausibilidade Biológica do BP: Os resultados sugerem um mecanismo pelo qual o cérebro (arguido como uma rede que é muito mais larga do que profunda) poderia implementar a atribuição de crédito global do backpropagation usando apenas regras de aprendizado locais. Se o cérebro operar em um regime onde $L/N \to 0$, a PC poderia teoricamente convergir para o BP, permitindo o aprendizado eficiente sem a propagação de informação não-local.

Os autores mantêm-se modestos quanto às limitações, observando que as provas teóricas dependem de redes lineares e da convergência exata da atividade. Eles reconhecem que o custo computacional para atingir o equilíbrio de atividade em redes não lineares continua sendo um gargalo prático, embora sugiram que implementações de hardware analógico possam eventualmente endereçar isso. Eles não alegam que a PC é superior ao BP em todos os regimes, mas sim que, no limite amplo e escalável, os dois algoritmos tornam-se matematicamente equivalentes sob a parametrização correta.