🤖 machine learning

Finding Sparse Subnetworks in One Training Cycle via Progressive Magnitude-Based Pruning

Este artigo propõe e valida um método de ciclo único de treinamento chamado poda progressiva baseada em magnitude, que aumenta gradualmente a esparsidade durante o treinamento e demonstra precisão superior em níveis elevados de esparsidade em comparação com baselines iterativos e baseados em inicialização como a Hipótese do Bilhete da Loteria, SNIP e GraSP.

Autores originais: Romana Qureshi, Hafida Benhidour, Said Kerrache, Nahlah Aljeraisy

Publicado 2026-06-11

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Romana Qureshi, Hafida Benhidour, Said Kerrache, Nahlah Aljeraisy

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um estudante massivo e excessivamente entusiasmado tentando aprender uma matéria. Este estudante tem um cérebro cheio de bilhões de conexões, mas muitas delas são apenas "ruído" — elas não estão realmente ajudando o estudante a resolver o problema. Na verdade, ter conexões demais torna o estudante lento, desajeitado e difícil de carregar (como tentar colocar uma biblioteca gigante dentro de uma mochila).

Este artigo é sobre uma nova e eficiente maneira de ensinar este estudante a ser inteligente, mas pequeno, tudo em um único ano letivo, em vez de fazê-lo repetir o ano inteiro repetidas vezes.

Aqui está a divisão da abordagem deles usando analogias simples:

O Problema: O "Bilhete da Loteria" é Caro Demais

Cientistas descobriram anteriormente algo chamado "Hipótese do Bilhete da Loteria". Eles descobriram que, dentro de uma rede neural gigante e bagunçada (o cérebro do estudante), existe um minúsculo e perfeito "bilhete vencedor" (uma sub-rede pequena e eficiente) que poderia resolver o problema tão bem quanto a gigante.

No entanto, encontrar esse bilhete vencedor era como tentar encontrar uma agulha no palheiro construindo um novo palheiro, verificando-o, jogando-o fora e construindo um novo. O método antigo exigia:

Treinar a rede gigante.
Cortar as partes fracas.
Resetar as partes restantes para como elas estavam no primeiríssimo momento.
Começar de novo e treinar novamente.
Repetir este ciclo muitas vezes.

Isso consumia uma quantidade enorme de tempo e poder computacional, derrotando o propósito de tentar tornar o modelo menor e mais rápido.

A Solução: O "Jardineiro Progressivo"

Os autores propõem um novo método chamado Poda Baseada em Magnitude Progressiva. Em vez de resetar o jardim e começar de novo, eles agem como um jardineiro que poda uma planta enquanto ela está crescendo.

Veja como o método de "ciclo único" deles funciona:

O Cronograma Linear (A Poda Lenta): Imagine que o estudante está em um curso de 200 dias. Em vez de cortar 50% das conexões no dia 1, os autores começam cortando um pouquinho a cada dia. Ao final do curso, eles removeram gentilmente 90% das conexões. Isso dá tempo para a rede se ajustar e aprender a funcionar com menos conexões, em vez de sofrer o choque de um corte massivo repentino.
A Regra da Magnitude (Cortando o Mais Fraco): Como eles decidem o que cortar? Eles observam a "força" (magnitude) de cada conexão. Se uma conexão é fraca (próxima de zero), é como um galho que não sustenta muito peso. Eles cortam os galhos mais fracos primeiro.
Sem Crescimento de Novo (A Porta de Via Única): Uma vez que uma conexão é cortada, ela permanece cortada. Eles não permitem que ela cresça novamente. Isso mantém o processo simples e garante que a rede fique cada vez menor, nunca ficando maior novamente.
A Verificação "Ativa": Eles só olham para as conexões que ainda estão vivas para decidir o que cortar a seguir. Eles ignoram as que já estão mortas (zeradas). Isso garante que estejam sempre cortando os elos restantes mais fracos.

Os Resultados: Pequeno, mas Poderoso

Os autores testaram este "Jardineiro Progressivo" em testes padrão (como reconhecer números escritos à mão ou imagens pequenas) e o compararam com os antigos métodos de "resetar e retreinar".

Velocidade: Eles fizeram isso em um único ciclo de treinamento. Sem resetar, sem reiniciar.
Desempenho: Surpreendentemente, o método "de uma tacada só" deles foi frequentemente melhor do que os métodos antigos que levavam muitos ciclos.
- Em um teste padrão (CIFAR-10), o método deles obteve 95,12% de precisão com uma rede muito esparsa, enquanto o antigo método do "Bilhete da Loteria" obteve apenas 90,5% com esparsidade semelhante.
- Mesmo quando cortaram quase tudo (deixando apenas 2% das conexões), o método deles ainda teve um desempenho melhor que a concorrência.

O "Ponto Ideal"

O artigo também analisou o quanto eles podiam cortar antes que o estudante começasse a falhar. Eles encontraram um "ponto ideal" entre 70% e 85% de esparsidade (o que significa que 70-85% das conexões foram removidas).

Nessa faixa, o desempenho do estudante quase não caiu (menos de 0,1% de diferença em relação à rede gigante completa).
É como remover 8 de cada 10 livros de uma biblioteca, mas o estudante ainda consegue responder a todas as perguntas tão bem quanto antes.

A Conclusão

Este artigo afirma que você não precisa passar pelo processo exaustivo de "treinar, cortar, resetar, retreinar" para encontrar uma rede neural pequena e eficiente. Em vez disso, você pode apenas podar gradualmente as partes fracas enquanto a rede aprende, e acabará com um modelo minúsculo, rápido e altamente preciso na metade do tempo (ou menos).

É uma maneira mais simples e rápida de encolher modelos de IA sem perder sua inteligência.

Resumo Técnico: Encontrando Subredes Esparsas em um Único Ciclo de Treinamento via Poda Progressiva Baseada em Magnitude

1. Definição do Problema

Redes neurais profundas alcançaram um sucesso notável em visão computacional e processamento de linguagem natural, mas enfrentam desafios significativos de implantação em ambientes com recursos limitados (dispositivos móveis, edge, IoT) devido às suas demandas computacionais e de memória. A poda de redes neurais oferece uma solução ao remover parâmetros menos importantes para reduzir o tamanho do modelo, preservando o desempenho preditivo.

No entanto, os paradigmas existentes sofrem de limitações específicas:

Poda Iterativa (ex: Hipótese do Bilhete de Loteria - LTH): Embora a LTH demonstre que "bilhetes vencedores" esparsos existem dentro de redes densas, encontrá-los requer múltiplos ciclos completos de treinamento (treinar, podar, resetar pesos para a inicialização, retreinar). Isso introduz uma sobrecarga computacional substancial que compromete os objetivos de eficiência da poda.
Poda Baseada em Inicialização (ex: SNIP, GraSP): Estes métodos podam antes do início do treinamento com base na sensibilidade da conexão ou no fluxo de gradiente. Embora sejam computacionalmente mais baratos, eles comprometem-se com uma estrutura esparsa fixa antes que a importância dos pesos possa evoluir durante o aprendizado.
Treinamento Esparso Dinâmico: Métodos que permitem que a conectividade mude por meio de poda e regeneração introduzem complexidade de implementação e exigem um ajuste cuidadoso dos cronogramas de regeneração.

O problema central abordado é a falta de um método de poda eficiente de ciclo único que possa identificar subredes esparsas de alto desempenho sem o custo computacional do retreinamento iterativo ou a rigidez da poda pré-treinamento.

2. Metodologia

Os autores propõem a Poda Progressiva Baseada em Magnitude, um método que identifica subredes esparsas durante um único ciclo de treinamento ao aumentar gradualmente a esparsidade.

Mecanismo Central

Cronograma de Esparsidade Linear: O método emprega um cronograma linear para aumentar a esparsidade de um valor inicial ( $s_i$ ) para um valor alvo ( $s_f$ ) durante uma fase de poda designada (épocas $t_{start}$ a $t_{end}$ ).
Limiar Adaptativo: Em cada época durante a fase de poda, um limiar de magnitude global ( $\theta_t$ ) é computado baseando-se apenas nos pesos ativos (não podados) atuais. Isso garante que o limiar reflita a distribuição de pesos em evolução, em vez de ser distorcido por pesos zerados pela poda.
Poda Monotônica (Sem Regeneração): O método impõe uma restrição monotônica estrita: uma vez que um peso é podado, ele permanece permanentemente inativo. A nova máscara é a interseção da máscara candidata (baseada no limiar atual) e da máscara anterior. Isso elimina a necessidade de mecanismos complexos de regeneração de conexões.
Aplicação de Máscara em Múltiplas Etapas: Para garantir que os pesos podados não recebam atualizações de gradiente ou se desviem de zero devido ao momentum do otimizador, as máscaras são aplicadas em três estágios:
1. Pré-Forward: Zerando os pesos antes da passagem direta (forward pass).
2. Mascaramento de Gradiente: Zerando os gradientes durante a retropropagação (backpropagation).
3. Pós-Otimizador: Re-zerando os pesos após o passo do otimizador para neutralizar os efeitos de momentum.

Fases de Treinamento

O processo de treinamento inclui:

Warm-up (Opcional): Treinamento sem poda para permitir que as magnitudes dos pesos se estabilizem.
Poda Progressiva: Aumento gradual da esparsidade usando o cronograma linear.
Ajuste Fino (Fine-tuning): Continuação do treinamento na esparsidade alvo para otimizar a arquitetura esparsa final.

3. Principais Contribuições

O artigo descreve quatro contribuições primárias:

Avaliação Sistemática: O método é avaliado em arquiteturas ResNet, VGG-style e LeNet no conjunto de dados CIFAR-10 e MNIST, incluindo validação estatística com cinco sementes aleatórias para ResNet-18.
Comparações Diretas com Baselines: Os autores fornecem comparações diretas com métodos de poda iterativa (LTH) e baseados em inicialização (SNIP, GraSP) representativos sob configurações estreitamente alinhadas.
Simplicidade e Eficácia: O estudo demonstra que um cronograma de esparsidade linear com poda monotônica alcança resultados sólidos sem funções de agendamento complexas ou mecanismos de regeneração de pesos.
Análise de Troca entre Esparsidade e Acurácia: Uma análise detalhada através de sete níveis de esparsidade (70% a 95%) identifica uma faixa operacional favorável onde a degradação da acurácia é mínima.

4. Resultados Experimentais

Os experimentos foram conduzidos no CIFAR-10 e MNIST usando arquiteturas ResNet-18, VGG-like, VGG-19 e LeNet-300-100.

Desempenho vs. Baselines

ResNet-18 (CIFAR-10): Com 72,9% de esparsidade, o método proposto alcançou 95,12% de acurácia, superando significativamente o resultado reportado pela LTH de 90,5%, enquanto exigiu apenas um ciclo de treinamento.
VGG-like (CIFAR-10): Com 97% de esparsidade, o método alcançou 93,13% de acurácia, superando o resultado reportado pelo SNIP de ~92,0%.
VGG-19 (CIFAR-10): Com 97,97% de esparsidade, o método alcançou 93,44% de acurácia, superando o resultado reportado pelo GraSP de 92,19% com 98% de esparsidade.
LeNet-300-100 (MNIST): O método superou ambos os baselines LTH e SNIP com 78,9% e 98% de esparsidade, respectivamente, demonstrando generalização para redes totalmente conectadas.

Troca entre Esparsidade e Acurácia

Faixa Operacional: Para a ResNet-18 no CIFAR-10, a acurácia permanece dentro de 0,1 ponto percentual da baseline densa (95,27%) para níveis de esparsidade entre 70% e 85%.
Alta Esparsidade: Com 90% de esparsidade, a acurácia cai apenas ligeiramente para 95,06%. Uma degradação mais perceptível ocorre com 95% de esparsidade (93,86%).
Eficiência: Com 80% de esparsidade, o modelo retém 95,24% de acurácia (uma queda de 0,03 pp) enquanto reduz os parâmetros em 5x (retendo apenas 20%).

Estudo de Ablação

O estudo confirmou que o critério de poda baseado em magnitude é o fator mais crítico, visto que a poda aleatória resultou em uma queda de 2,73% na acurácia. Embora o warm-up e o fine-tuning tenham proporcionado ganhos marginais, o método central permaneceu competitivo sem eles.

5. Significância e Alegações

O artigo afirma que a poda progressiva baseada em magnitude oferece uma alternativa prática de ciclo único aos paradigmas de poda estabelecidos. Sua significância reside em:

Eficiência Computacional: Elimina a necessidade de múltiplos ciclos de treinamento exigidos por métodos iterativos como a LTH.
Adaptabilidade: Ao contrário dos métodos baseados em inicialização, permite que a máscara de poda se adapte conforme a importância dos pesos evolui durante o treinamento.
Simplicidade de Implementação: Ao evitar a regeneração de conexões e agendamentos complexos, reduz a sobrecarga de implementação em comparação ao treinamento esparso dinâmico.
Robustez: O método alcança desempenho competitivo ou superior através de diversas arquiteturas (ResNet, VGG, LeNet) e níveis extremos de esparsidade (até ~98%).

Os autores concluem que, sob as configurações avaliadas, esta abordagem fornece uma solução equilibrada e eficaz para a esparsificação de redes neurais, tornando-a uma base viável para implantação prática onde os recursos computacionais são limitados. O artigo reconhece limitações relativas à poda não estruturada (que pode não gerar acelerações de hardware sem suporte de computação esparsa) e a necessidade de testes futuros em conjuntos de dados maiores (ex: ImageNet) e arquiteturas modernas (ex: Transformers).