Resumo Técnico: Sobre a Estabilidade do Crescimento na Plasticidade Estrutural

Declaração do Problema

Os pipelines padrão de aprendizado profundo geralmente fixam a arquitetura da rede antes do treinamento. Em contraste, a plasticidade estrutural permite a modificação das arquiteturas de rede durante o treinamento, principalmente através de dois operadores: poda (removendo capacidade) e crescimento (adicionando capacidade). Embora a poda seja bem estabelecida e frequentemente associada à Hipótese do Bilhete de Loteria (LTH), o crescimento é menos compreendido. O artigo postula que o crescimento não é simplesmente o inverso da poda. A poda seleciona entre unidades que participaram do treinamento desde a inicialização, enquanto o crescimento insere novas unidades em uma trajetória de otimização já especializada. O problema central investigado é se as unidades recém-inseridas podem se integrar de forma estável e rápida o suficiente para suportar aprendizado adaptativo e contínuo, ou se o próprio processo de inserção introduz instabilidade que prejudica o desempenho.

Metodologia

Os autores avaliam a plasticidade estrutural sob fluxos de dados, otimizadores e alvos de compactidade correspondentes, comparando três famílias de modelos:

1. Densa: Sem esparsificação.
2. Poda: Poda Iterativa por Magnitude (IMP) aplicada a camadas mascaradas, com pesos sobreviventes revertidos a um checkpoint anterior (seguindo o protocolo LTH).
3. Crescimento: Começa a partir de uma semente esparsa e ativa iterativamente unidades com base em uma heurística de pontuação (frequência de ativação ou magnitude do gradiente) até atingir uma compactidade alvo. Crucialmente, o Crescimento não reverte pesos; ele estuda a inserção tardia de unidades em uma trajetória madura.

A avaliação emprega duas métricas distintas para separar a qualidade do processo de edição da qualidade da arquitetura final:

• Desempenho do Ciclo: Precisão medida durante o procedimento online de edição estrutural.
• Desempenho do Bilhete Vencedor (WT): Precisão medida após congelar a máscara descoberta, reinicializar os pesos e retreinar do zero.

Os experimentos abrangem benchmarks mínimos de Perceptrons Multicamadas (MLP) (MNIST, Fashion-MNIST) e configurações mais complexas de Redes Neurais Convolucionais (ConvNet) (CIFAR-10, CIFAR-100). O estudo também investiga cenários de aprendizado contínuo envolvendo acumulação sequencial de classes e mudanças distribucionais repetidas.

Para isolar os mecanismos de falha do crescimento, os autores introduzem várias intervenções:

• Estado do Otimizador: "Dupla Velocidade" (escalando atualizações para parâmetros recém-nascidos) e "Transplante de Momento" (copiando buffers do otimizador de unidades incumbentes).
• Inserção: "Net2Wider" (alargamento preservador de função).
• Seleção: "GradMax" (selecionando unidades com base na magnitude do gradiente).
• Treinabilidade: "Rand. Smooth-Leaky" (uma função de ativação aleatória e suave projetada para preservar o fluxo de gradiente não nulo).

Principais Contribuições e Descobertas

1. A Assimetria entre Crescimento e Poda

O artigo demonstra que a lacuna de desempenho entre crescimento e poda não é monolítica; ela depende fortemente da complexidade do regime de aprendizado de representação:

• MLPs Pequenos: Em configurações simples (por exemplo, MNIST), Crescimento e Poda produzem máscaras igualmente retreináveis, sem uma ordenação consistente na precisão final ou na precisão média da trajetória.
• Regimes Convolucionais: Em configurações mais difíceis (CIFAR-100), uma clara assimetria emerge. Crescimento alcança maior precisão final durante o ciclo de edição estrutural (Desempenho do Ciclo), mas produz máscaras que, quando retreinadas do zero, são comparáveis ou ligeiramente piores que as da Poda. Por outro lado, a Poda frequentemente mantém um desempenho médio de trajetória mais forte durante o processo de edição e produz sub-redes que se retreina de forma robusta.

2. O Fenômeno "Ativo para Frente, Faminto para Trás"

Uma descoberta mecânica central é que unidades recém-nascidas em cenários de crescimento sofrem de um gargalo específico de integração:

• Participação para Frente: Unidades recém-nascidas estão ativas imediatamente após a inserção; elas participam do cálculo para frente e não são unidades "mortas".
• Desvantagem para Trás: Apesar de estarem ativas para frente, unidades recém-nascidas recebem sinais de gradiente significativamente mais fracos (crédito para trás) em comparação com unidades incumbentes. Essa "fome para trás" persiste durante todo o ciclo de treinamento, impedindo que novas unidades se integrem efetivamente à trajetória de otimização.
• Implicação: A desvantagem do crescimento é um problema de nível de processo relacionado a quando e como as unidades são inseridas, e não a uma incapacidade fundamental de descobrir arquiteturas esparsas úteis.

3. Intervenções e Integração

O estudo testa várias intervenções para aliviar o gargalo de integração:

• Estado do Otimizador: O "Transplante de Momento" (copiando estados do otimizador) mostra alguma promessa, enquanto a "Dupla Velocidade" (acelerando atualizações) é menos confiável.
• Funções de Ativação: A função de ativação Rand. Smooth-Leaky prova ser a mais eficaz. Ela melhora a treinabilidade de unidades recém-nascidas garantindo um melhor fluxo de gradiente, aumentando significativamente o Desempenho do Ciclo dos métodos de Crescimento, particularmente em configurações de aprendizado contínuo.
• Seleção e Inserção: Alterar a heurística de seleção (GradMax) ou usar inserção preservadora de função (Net2Wider) não elimina o problema da fome para trás.

4. Aprendizado Contínuo e Sensibilidade Temporal

Em benchmarks de aprendizado contínuo que estressam a perda de plasticidade (por exemplo, MNIST Permutado, tarefas de Rótulos Aleatórios):

• A Poda permanece a linha de base mais confiável porque preserva a capacidade madura.
• O Crescimento é competitivo apenas quando novas unidades têm tempo suficiente para integrar antes da próxima mudança distribucional.
• A combinação de Crescimento + Rand. Smooth-Leaky torna-se a variante de crescimento mais robusta, estreitando a lacuna para a Poda e superando-a em configurações com janelas de integração mais longas (por exemplo, Split-CIFAR100).

Significado e Alegações

O artigo argumenta que o crescimento estrutural não deve ser avaliado apenas como um operador de busca de arquitetura (ou seja, ele encontra uma boa máscara final?), mas como um processo de otimização sensível ao tempo. O sucesso do crescimento depende criticamente da estabilidade de inserção — a capacidade de unidades recém-nascidas de se integrarem rapidamente a uma trajetória de otimização madura.

Os autores afirmam que a limitação primária do crescimento não é a descoberta de arquiteturas esparsas, mas as "desvantagens do momento de nascimento" enfrentadas por novas unidades:

1. Choque Funcional: Perturbação do mapeamento aprendido.
2. Início Frio: Falta de estado acumulado do otimizador.
3. Sinal de Aprendizado Fraco: Crédito de gradiente desproporcionalmente baixo em relação aos incumbentes.

O artigo conclui que melhorar a treinabilidade e a integração precoce de unidades recém-nascidas (por exemplo, através do design de funções de ativação) pode tornar o crescimento uma alternativa viável à poda, particularmente em sistemas de aprendizado adaptativo e contínuo. No entanto, isso requer reconhecer que o "processo adaptativo" e a "arquitetura final retreinável" são objetos distintos de avaliação, e o crescimento frequentemente se destaca no primeiro enquanto fica atrás no último, a menos que mecanismos específicos de integração sejam empregados.