Gradual Capacity Growth for Sparse Network Discovery

Resumo Técnico: Crescimento Gradual de Capacidade para Descoberta de Redes Esparsas

1. Declaração do Problema

O desafio central no aprendizado de redes neurais esparsas é que a relação entre a densidade da rede (esparsidade) e o desempenho da tarefa é geralmente desconhecida e dependente da tarefa. Embora o desempenho tipicamente sature além de uma certa "densidade operacional" (a menor densidade que produz precisão próxima à da rede densa), identificar essa densidade geralmente requer tentativa e erro dispendiosos ou pré-treinamento denso.

Abordagens existentes sofrem de limitações específicas:

• Poda de Magnitude Iterativa (IMP): Requer pré-treinamento denso e múltiplos ciclos de retreinamento, incorrendo em 3 a 4 vezes mais operações de ponto flutuante (FLOPs) do que o treinamento denso.
• Treinamento Esparso Dinâmico (DST) & Poda na Inicialização: Estes métodos exigem que a esparsidade alvo seja fixada antecipadamente, impedindo a descoberta da densidade operacional ideal sem uma busca exaustiva.
• Expansão Baseada em Crescimento: Métodos anteriores tipicamente expandem a largura para convergir para modelos densos, tratando a esparsidade como algo temporário em vez de uma propriedade arquitetural final.

O artigo postula que descobrir a densidade operacional é um problema distinto da otimização de um orçamento de esparsidade fixo. O objetivo é cultivar construtivamente uma rede esparsa para encontrar a menor densidade $\rho^*$ onde o desempenho satura, sem pré-treinamento denso ou um alvo de esparsidade predefinido, minimizando o custo cumulativo de treinamento.

2. Metodologia: Crescimento Gradual de Capacidade (GCG)

Os autores propõem o Crescimento Gradual de Capacidade (GCG), um framework de treinamento construtivo de esparso-para-denso. O GCG parte de uma semente esparsa e adiciona conexões progressivamente até que a saturação do desempenho seja estimada.

Componentes Principais:

• Inicialização: A rede é inicializada usando PHEW [19] em uma baixa densidade ($\rho_{init}$), fornecendo um ponto de partida performante enquanto evita nós desconectados.
• Mecanismo de Crescimento (PathGrow):
  • Motivação: Com base na análise do Kernel de Tangente Neural (NTK), conexões que participam de caminhos de alto peso aceleram a convergência. No entanto, maximizar puramente os pesos dos caminhos pode criar gargalos (camadas ocultas estreitas), prejudicando a generalização.
  • Produto de Magnitude de Peso de Caminho (PWMP): Para identificar vias de alto sinal de forma eficiente, o GCG calcula um escore $S(i, j)$ para arestas potenciais. Este escore é o produto da "complexidade" do nó de origem (PWMP total do input até o nó $i$) e da "generalidade" do nó de destino (PWMP total do nó $j até o output). Isso é computado via uma única passagem de ida e volta (forward e backward) em uma rede com pesos de valor absoluto.
  • Amostragem Probabilística: Em vez de adicionar deterministicamente as arestas de maior pontuação (o que causa gargalos), o PathGrow amostra novas conexões com probabilidade proporcional aos seus escores PWMP. Isso enviesa o crescimento para caminhos de alto sinal enquanto preserva a diversidade estrutural.
• Cronograma de Treinamento:
  • Crescimento Intercalado: O crescimento ocorre no início do processo de treinamento, intercalado com curtas fases de "treinamento bruto". Isso permite que a rede exponha sinais úteis de peso de caminho antes que os gradientes se tornem ruidosos.
  • Crescimento Exponencial: A densidade aumenta por uma fração da densidade atual ($\Delta \rho_k = \gamma \cdot \rho_k$) em cada etapa, facilitando a exploração eficiente do panorama de densidade-desempenho.
  • Inicialização de Pesos: Novas conexões são inicializadas com pesos zero para evitar ruído e permitir que o gradiente descendente aprenda os valores apropriados.
• Critério de Parada:
  • Como não é realizado um treinamento extensivo em cada densidade intermediária, o método ajusta uma curva de saturação exponencial ($P(G_k) = P_0 + A(1 - e^{-\beta \rho_k})$) à trajetória observada de desempenho-densidade.
  • A densidade operacional $\hat{\rho}^*$ é estimada como a menor densidade onde a curva ajustada atinge 95% da melhoria máxima prevista.

3. Principais Contribuições

1. Framework Construtivo: O GCG introduz um paradigma de esparso-para-denso que descobre a densidade operacional durante o treinamento, eliminando a necessidade de pré-treinamento denso ou um orçamento de esparsidade predefinido.
2. Algoritmo PathGrow: Uma regra de crescimento probabilístico que equilibra convergência rápida (via caminhos de alto PWMP) com diversidade estrutural (via amostragem aleatória) para evitar gargalos.
3. Eficiência: O método estima a densidade operacional com um custo de treinamento cumulativo significativamente menor do que a poda iterativa.
4. Validação Empírica: Experimentos extensos em CIFAR, TinyImageNet e ImageNet demonstram que o GCG identifica subredes esparsas que alcançam desempenho próximo ao denso.

4. Resultados

• Desempenho vs. Densidade: No CIFAR e TinyImageNet, o GCG encontra subredes que igualam ou excedem o desempenho da Poda de Magnitude Iterativa (IMP-C) em densidades de aproximadamente 30–50%. Embora o IMP-C alcance a precisão ótima em densidades menores (~15–20%), o GCG atinge precisão comparável em densidades moderadas.
• Comparação com Baselines:
  • PathGrow vs. Alternativas: O PathGrow supera ou iguala o Crescimento Aleatório (RG) e o Crescimento Baseado em Gradiente (GG) na maioria dos benchmarks. É mais eficiente que o GG, que exige estimativa de gradiente dispendiosa para conexões ausentes.
  • GCG vs. PHEW/RigL: O GCG supera consistentemente a poda de um disparo (PHEW) e o treinamento esparso dinâmico (RigL) quando os orçamentos de treinamento são normalizados, destacando o benefício do crescimento iterativo.
  • ImageNet: No ImageNet de larga escala com ResNet-50, o GCG fica atrás dos métodos dinâmicos (como RigL e GSE) por aproximadamente 2 pontos percentuais. Os autores atribuem isso à incapacidade dos métodos de apenas crescimento de podar e realocar conexões que se tornam menos úteis ao longo do tempo.
• Custo de Treinamento: O GCG é substancialmente mais eficiente que o IMP-C. Nos benchmarks de CIFAR, o GCG alcança desempenho comparável com cerca de 1,5× os FLOPs de uma execução de treinamento denso, enquanto o IMP-C requer 3–4×.

5. Significância e Limitações

Significância:
O artigo enquadra o aprendizado esparso não apenas como um problema de otimização, mas como uma exploração de como as redes crescem para subredes de alto desempenho. O GCG fornece um mecanismo prático para explorar o compromisso precisão–densidade sob orçamentos de otimização limitados. Serve como uma abordagem complementar à poda, sendo particularmente eficaz para descobrir redes esparsas no regime de esparsidade moderada sem o custo proibitivo do pré-treinamento denso.

Limitações (conforme declarado pelos autores):

• Teto de Esparsidade: Métodos de apenas crescimento não podem atingir os níveis de esparsidade extrema da poda porque conexões de baixa importância nunca são explicitamente removidas.
• Especificidade de Arquitetura: A heurística PWMP é adaptada para estruturas feed-forward e convolucionais e não se estende naturalmente para mecanismos de atenção (matrizes query-key), onde as magnitudes se desacoplam da importância funcional.
• Métricas de Eficiência: A análise de custo é baseada em FLOPs algorítmicos em vez de tempo de relógio (wall-clock time), ignorando sobrecargas específicas de hardware (ex: acesso à memória esparsa, overhead de lançamento de kernel) que podem compensar os ganhos em aceleradores atuais.
• Escopo de Domínio: Os experimentos são limitados a benchmarks de visão; a validação em domínios de NLP ou fala de larga escala permanece como um trabalho futuro.

Os autores concluem que o GCG representa um passo em direção a uma agenda de pesquisa mais ampla baseada em crescimento, oferecendo uma alternativa construtiva à poda destrutiva e ao treinamento dinâmico de orçamento fixo.