Growing Networks with Autonomous Pruning

Título: Redes em Crescimento com Poda Autônoma (GNAP)

1. Problema Abordado

O artigo identifica limitações nas abordagens atuais de design e otimização de Redes Neurais Convolucionais (CNNs):

• Neural Architecture Search (NAS): Embora eficaz, é computacionalmente caro, exigindo o treinamento de milhares de modelos com diferentes hiperparâmetros.
• Poda (Pruning) Tradicional: Geralmente começa com uma rede densa e superparametrizada, treina-a e depois remove pesos. Isso é custoso, pode levar ao overfitting e ainda exige um design manual inicial da arquitetura (que pode ser subótimo).
• Redes em Crescimento (Growing): Começam pequenas e adicionam neurônios. No entanto, muitas vezes adicionam redundância, resultando em redes maiores do que o necessário para atingir a mesma precisão de redes de tamanho fixo.

O objetivo é criar uma metodologia que automatize o design da arquitetura, permitindo que a rede cresça quando necessário para melhorar a performance, mas que também poda autonomamente para manter o número de parâmetros mínimo, sem depender de uma arquitetura inicial densa.

2. Metodologia: GNAP

A proposta central é o GNAP (Growing Networks with Autonomous Pruning), um processo de otimização conjunta que altera a topologia e o tamanho da rede durante o treinamento. O método combina dois mecanismos complementares:

A. Arquitetura Dinâmica (Inspirada em DenseNets)

• A rede é organizada em blocos densos separados por camadas de pooling.
• Diferente das DenseNets tradicionais, a GNAP é dinâmica: o número de camadas e neurônios (canais) em cada bloco varia durante o treinamento.
• Permite conexões esparsas de qualquer camada para qualquer camada subsequente.

B. Poda Autônoma (Baseada em Gradiente)

• Utiliza um mecanismo de "portas" (gating) para cada peso (ou núcleo de convolução, para poda estruturada).
• Cada peso possui um parâmetro de porta aprendível. Durante o forward pass, uma variável de porta é amostrada de uma distribuição Gumbel-Softmax (diferenciável).
• Função de Perda: A perda total é a soma da perda de previsão (ex: entropia cruzada) e uma perda de esparsidade ($L = L_{pred} + \alpha \cdot ||g||_1$).
• O objetivo é minimizar a perda de previsão enquanto força a densidade de portas abertas ($g$) a zero, incentivando a rede a usar o mínimo de parâmetros possível.

C. Fases de Crescimento
O crescimento ocorre iterativamente quando a poda e a otimização dos pesos convergem para um estado estável (saturação).

• Quando crescer: Baseado na taxa de mudança relativa do número de portas abertas. Se a mudança for inferior a um limiar $\theta$, inicia-se uma fase de crescimento.
• Onde crescer: Adiciona-se $C$ novos neurônios a todas as camadas existentes e uma nova camada ao final de cada bloco. A filosofia é dar à rede todas as possibilidades e deixar a poda autônoma decidir o que é útil.
• Inicialização de Pesos (Inovação Chave):
  • Conexões entre novos neurônios e existentes são inicializadas aleatoriamente (Gaussiana).
  • Conexões de neurônios antigos para novos utilizam uma estratégia baseada em Decomposição em Valores Singulares (SVD). O novo peso é projetado para ser ortogonal aos pesos existentes, evitando a introdução de "dados lixo" que desestabilizariam a rede já treinada e permitindo que os novos neurônios aprendam dinâmicas complementares.

D. Procedimento de Treinamento e Inferência

• O treinamento alterna entre fases de otimização de gradiente (poda) e fases de crescimento.
• Na inferência, o método torna-se determinístico: as portas são abertas se a probabilidade (softmax) for > 0.5.

3. Contribuições Principais

1. Nova Abordagem de Treinamento: Um método que adapta dinamicamente o tamanho e a topologia da rede durante o treinamento, alternando entre crescimento e poda autônoma.
2. Arquitetura CNN Flexível: Uma arquitetura específica que permite conexões esparsas de qualquer camada para qualquer camada subsequente, suportando tanto poda não estruturada (pesos individuais) quanto estruturada (núcleos de convolução inteiros).
3. Inicialização Ortogonal: Uma estratégia inovadora para inicializar pesos de novos neurônios usando SVD, garantindo que eles complementem a rede existente sem desestabilizar os pesos já treinados.

4. Resultados Experimentais

Os autores testaram o GNAP em três benchmarks de classificação de imagens: MNIST, CIFAR-10 e CIFAR-100.

• MNIST: Alcançou 99,44% de precisão com apenas 6.2k parâmetros (usando poda não estruturada).
• CIFAR-10: Alcançou 92,2% de precisão com 157,8k parâmetros.
• Comparação com o Estado da Arte (SOTA):
  • O GNAP superou a maioria dos métodos baseados em poda (como SNIP, GraSP, LTH) e NAS (MCUNet) ao combinar alta precisão com um número extremamente baixo de parâmetros.
  • Diferente de métodos SOTA que dependem de arquiteturas base densas pré-definidas (ex: ResNet32, VGG19), o GNAP cresce a partir de uma arquitetura inicial pequena e encontra o tamanho ideal automaticamente.
  • As versões com poda estruturada (núcleos inteiros) também foram eficazes, embora ligeiramente menos esparsas que as não estruturadas.

Análise de Comportamento:

• As fases de crescimento ajudaram a encontrar soluções mais eficientes, reduzindo o número de parâmetros ao longo do tempo, mesmo após adicionar novos neurônios.
• A poda autônoma convergiu para um comportamento determinístico, onde a maioria das portas estava quase totalmente aberta (100%) ou totalmente fechada (0%), indicando que a rede eliminou quase toda a redundância.

5. Significado e Impacto

O trabalho demonstra que é possível treinar redes neurais extremamente esparsas com alta precisão sem a necessidade de treinar primeiro uma rede densa massiva ou realizar buscas de arquitetura caras.

• Eficiência Computacional: Reduz drasticamente o custo de treinamento e inferência.
• Automatização: Remove a necessidade de design manual de arquitetura e ajuste fino de hiperparâmetros relacionados ao tamanho da rede.
• Versatilidade: O método é aplicável tanto para poda não estruturada (otimização de hardware específico) quanto estruturada (aceleração em GPUs/TPUs).

O artigo sugere que o futuro da arquitetura de redes neurais pode se mover em direção a modelos que "crescem e se podam" sozinhos, adaptando-se perfeitamente à complexidade dos dados, em vez de serem projetados estáticos e depois comprimidos.