Local Redundancy: An Information-Theoretic Measure of Plasticity from Synthetic Memorization

Resumo Técnico: Redundância Local como uma Medida de Plasticidade Informacional

Problema
Redes neurais treinadas ao longo de horizontes longos ou através de múltiplas tarefas frequentemente sofrem de uma "perda de plasticidade", um fenômeno onde a rede perde progressivamente a capacidade de aprender novas tarefas de forma eficaz. Este problema compromete pipelines de aprendizagem contínua e de transferência de aprendizado, particularmente em estágios que envolvem ajuste fino (fine-tuning) e alinhamento. As métricas existentes utilizadas para diagnosticar essa degradação — como o rank efetivo, a fração de neurônios dormentes, normas de peso e distância da inicialização — carecem de uma fundamentação teórica unificada. Empiricamente, esses proxies correlacionam-se mal com o desempenho em tarefas futuras e falham em fornecer uma medida principiada da capacidade atual de uma rede em se adaptar.

Metodologia: Redundância Local
Os autores introduzem a redundância local, uma medida informacional de plasticidade derivada da teoria da compressão universal.

• Definição Teórica: O framework define a plasticidade não como a capacidade global de uma arquitetura, mas como a capacidade de uma rede aprender a partir de seu estado atual de parâmetros ($\theta_0$). Os autores definem uma família de modelos local como o conjunto de distribuições alcançáveis dentro de uma vizinhança infinitesimal ao longo das direções do gradiente a partir de $\theta_0$.
• Redundância como Plasticidade: Baseando-se na teoria da redundância minimax (Shtarkov, 1987; Rissanen, 1984), a redundância local é definida como a redundância de pior caso desta família local. Geometricamente, isso corresponde ao raio de informação do conjunto de distribuições que o modelo pode expressar via um único passo de gradiente. Um raio de informação alto implica que a rede pode direcionar sua distribuição de saída para muitos alvos diversos (alta plasticidade), enquanto um raio baixo indica que a rede colapsou em uma região rígida onde os gradientes induzem mudanças mínimas.
• Limite Inferior Computável: Como o cálculo exato da redundância de pior caso é intratável, os autores provam que a norma do gradiente quadrático esperada em uma tarefa de memorização sintética fornece um limite inferior computável para a redundância local (Teorema 3.4).
  • Construção de Dados Sintéticos: O método utiliza entradas sintéticas (ex: formas aleatórias para visão, ruído gaussiano para séries temporais) pareadas com rótulos amostrados da própria distribuição preditiva do modelo ($y \sim P_{\theta_0}(y|x)$).
  • Mecanismo: O modelo não é treinado nestes dados. Em vez disso, uma única passagem de retropropagação (backward pass) calcula a norma do gradiente. A prova teórica mostra que a capacidade dos parâmetros atuais de ajustar (fit) rótulos aleatórios (ganho de memorização) via um pequeno passo de gradiente está diretamente relacionada à redundância de pior caso da família local.

Principais Contribuições

1. Definição de Redundância Local: O artigo formaliza a plasticidade como a redundância de pior caso de uma vizinhança local de parâmetros, fundamentando o conceito na teoria da compressão universal e no raio de informação.
2. Estimativa Eficiente: Os autores provam que a norma do gradiente quadrático esperada em dados de memorização sintética serve como um limite inferior para a redundância local. Este estimador requer apenas uma única passagem de retropropagação e não exige acesso a dados de tarefas subsequentes.
3. Validação Empírica: O framework é validado em dois cenários distintos: classificação de imagens contínua e transferência de aprendizado de séries temporais.

Resultos

• Aprendizagem Contínua (Continual ImageNet): Em um benchmark envolvendo 3.000 tarefas sequenciais de classificação binária, observou-se que a redundância local diminuiu constantemente conforme o treinamento progredia, acompanhando a perda de plasticidade. Crucialmente, ao prever a acurácia de tarefas futuras (tarefas $t+1$ a $t+10$) após regredir o número da tarefa, a redundância local demonstrou a maior correlação (Pearson $r \approx 0,089$) em comparação com métricas existentes como norma de peso, razão de neurônios dormentes e norma do gradiente de treinamento.
• Aprendizagem de Transferência (ETT Time Series): Na seleção de checkpoints de pré-treinamento para previsão de séries temporais, os autores compararam estratégias baseadas em perda de validação versus redundância local. Enquanto a perda de validação frequentemente estabiliza (plateau), a redundância local continua a evoluir. Selecionar checkpoints com máxima redundância local rendeu melhor desempenho de ajuste fino subsequente (menor MSE) do que selecionar o checkpoint com a menor perda de validação. Notavelmente, esta foi a única métrica testada (incluindo razão de neurônios dormentes e norma de peso) que identificou com sucesso checkpoints superiores quando a perda de validação saturou.
• Compromisso Estabilidade-Plasticidade: A redundância local mostrou uma correlação positiva com o esquecimento (forgetting — a queda na acurácia de tarefas anteriores), consistente com o tradeoff teórico onde uma maior adaptabilidade implica uma maior tendência a sobrescrever o conhecimento prévio.

Significância e Alegações
O artigo afirma que a redundância local oferece uma medida principada e computável de plasticidade que supera heurísticas existentes na previsão do desempenho subsequente. Sua principal significância reside na capacidade de guiar a seleção de checkpoints em cenários onde métricas tradicionais (como perda de validação) falham em discriminar modelos, especificamente quando a perda de validação estagnou, mas a capacidade da rede de se adaptar continua a evoluir.

Os autores mantêm uma postura modesta quanto à causalidade, observando que, embora a redundância local preveja o desempenho, o estudo não prova que ela o causa; intervenções controladas seriam necessárias para estabelecer a causalidade. Além disso, eles reconhecem que os conjuntos de dados de memorização sintética atuais apenas saturam uma fração da capacidade de informação teórica (aprox. 1–2 bits por parâmetro), sugerindo que a norma do gradiente é um proxy em vez de um valor absoluto calibrado. No entanto, o framework fornece uma nova lente teórica para compreender e medir a "aprendibilidade" de redes neurais em seu estado atual.