🤖 machine learning

Neural network relief: a pruning algorithm based on neural activity

Este artigo propõe um algoritmo de poda iterativa inspirado na conectividade esparsa do cére bro humano, o qual utiliza uma métrica de importância baseada na atividade neural para identificar e desativar conexões sem importância, alcançando assim uma compressão significativa de parâmetros enquanto mantém uma precisão comparável em várias arquiteturas de redes neurais profundas e conjuntos de dados.

Autores originais: Aleksandr Dekhovich, David M. J. Tax, Marcel H. F. Sluiter, Miguel A. Bessa

Publicado 2026-08-03

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Aleksandr Dekhovich, David M. J. Tax, Marcel H. F. Sluiter, Miguel A. Bessa

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um quebra-cabeça gigante e complexo. Você tem uma caixa enorme com milhares de peças, mas quando realmente se senta para montar a imagem, você só precisa de um pequeno punhado delas. O resto é apenas entulho, ocupando espaço e tornando mais difícil encontrar as peças certas. Isso é exatamente a situação enfrentada pelas "Redes Neurais Profundas" (DNNs) modernas, os cérebros computacionais superinteligentes por trás de coisas como reconhecimento de imagem e assistentes de voz. Esses cérebros digitais são construídos com milhões de pequenas conexões, mas pesquisadores notaram que, para qualquer tarefa individual, a maioria dessas conexões está apenas lá, sem fazer nada. Elas estão sobrecarregadas e superequipadas.

A grande questão que os cientistas estão fazendo é: Como podemos aparar a gordura sem cortar o músculo? Queremos encolher essas redes gigantes para que elas rodem mais rápido e usem menos memória, sem fazer com que elas esqueçam como resolver o quebra-cabeça. O artigo que você está prestes a ler aborda isso analisando como esses cérebros de computador realmente "pensam" enquanto trabalham. Em vez de apenas adivinhar quais conexões são inúteis, os autores propõem uma nova maneira de ouvir a atividade do cérebro, encontrar as partes mais silenciosas e desligá-las suavemente. É como um zelador inteligente que não apenas varre o quarto inteiro, mas verifica cuidadosamente quais luzes estão apagadas e as desliga de vez, deixando as brilhantes e ativas para fazer o trabalho pesado.

A Estratégia de "Alívio de Rede Neural"

Conheça o NNrelief, um novo algoritmo de poda (uma palavra chique para "aparar") que atua como um maestro muito atento para uma orquestra. Em uma rede neural profunda típica, cada músico (ou neurônio) está tocando, mesmo que esteja apenas cantarolando baixinho. O objetivo do NNrelief é encontrar os músicos que não estão realmente contribuindo para a música e pedir que eles façam uma pausa, tudo isso mantendo a música soando perfeita.

O Jeito Antigo vs. O Jeito Novo

Por muito tempo, a maneira padrão de aparar essas redes baseou-se na magnitude. Imagine que você tem um monte de cordas conectando dois pontos. O método antigo dizia: "Corte as cordas mais finas!". A ideia era que uma corda fina (um número pequeno, ou "peso") não conseguiria suportar muito peso, então ela deveria ser inútil.

Mas os autores deste artigo argumentam que isso é um pouco como julgar a contribuição de uma pessoa para uma equipe apenas pelo quão alto ela grita. Uma pessoa pode ter um megafone (um peso enorme), mas estar sussurrando (um sinal fraco), o que significa que ela não está realmente ajudando muito. Por outrouro, alguém com uma voz normal pode estar dizendo as palavras certas na hora certa.

O NNrelief muda o jogo. Em vez de apenas olhar para o tamanho da corda (o peso), ele olha para quanto sinal está realmente passando por ela. Ele pergunta: "Quanto de informação esta conexão está realmente carregando agora?" Se uma conexão está carregando um sinal fraco, mesmo que a corda seja grossa, ela é descartada. Se uma conexão está carregando um sinal forte, mesmo que a corda seja fina, ela permanece.

Como Funciona: O "Score de Importância"

A equipe criou um truque matemático simples chamado score de importância. Pense nisso como um "medidor de contribuição" para cada conexão individual na rede.

Eles observam a rede resolver um problema (como identificar a foto de um gato).
Eles calculam quanta "energia" ou "sinal" flui através de cada conexão.
Eles classificam as conexões da mais importante para a menos importante.
Eles definem uma meta: "Manter os 95% superiores do sinal".
Eles cortam tudo o que cai abaixo dessa linha.

A parte legal? Eles não cortam apenas um número fixo de conexões (como "cortar 50%"). Eles cortam com base na atividade. Isso significa que a rede decide por si mesma quantas conexões precisa manter para que o sinal permaneça forte.

O Efeito "Relief" (Alívio)

Quando fizeram isso, algo fascinante aconteceu. A rede não apenas ficou menor; ela ficou mais equilibrada. Antes da poda, algumas conexões estavam gritando de importância enquanto outras estavam silenciosas. Após a poda, as conexões restantes começaram a ter, todas elas, aproximadamente o mesmo nível de importância. Os autores chamam isso de "Neural Network Relief" (Alívio de Rede Neural). É como uma equipe onde todos puxam sua própria parte do peso, em vez de ter alguns superastros e um monte de peso morto. A rede se torna uma máquina magra e eficiente, onde cada conexão restante está fazendo algo útil.

Os Resultados: Grandes Vitórias, Pequenas Perdas

A equipe testou isso em várias arquiteturas de rede famosas (LeNet, VGG e ResNet) usando conjuntos de dados de imagens padrão como MNIST (números manuscritos), CIFAR-10/100 (pequenas imagens coloridas) e Tiny-ImageNet.

Aqui está o que eles descobriram:

Para redes VGG: Eles conseguiram encolher a rede em mais de 50 vezes (mantendo menos de 2% dos parâmetros originais) no conjunto de dados CIFAR-10, com quase nenhuma queda na precisão. No conjunto de dados Tiny-ImageNet, alcançaram uma compressão de mais de 40 vezes (mantendo apenas 2,32% dos parâmetros) com uma queda minúscula de precisão de apenas 0,03%.
Para redes ResNet: Eles alcançaram uma alta porcentagem de parâmetros podados, especificamente 76,2% de parâmetros retidos (significando que cerca de 23,8% foram podados) para ResNet-56 no CIFAR-10, mantendo a precisão muito próxima da original.
A Surpresa do Otimizador: Eles testaram dois diferentes "treinadores" (otimizadores) chamados Adam e SGD. Nas redes VGG, o Adam foi muito mais agressivo, cortando mais conexões do que o SGD. No entanto, nas redes ResNet, ambos os treinadores tiveram desempenhos semelhantes, sugerindo que o tipo de rede importa tanto quanto o método de treinamento.

O Que Eles Não Fizeram

É importante notar o que este artigo não afirma. Os autores declaram explicitamente que seu objetivo não era minimizar o número de cálculos matemáticos (FLOPs) exigidos pelo hardware atual, embora tenham visto uma redução ali. O foco principal deles foi no número de conexões e no "sinal" que elas carregam. Eles também não alegaram ter resolvido o problema do "aprendizado contínuo" (aprender novas tarefas sem esquecer as antigas), embora sugiram que seu método é um passo crucial em direção a esse objetivo futuro.

A Conclusão

Este artigo sugere que não precisamos adivinhar quais partes de uma rede neural são inúteis. Ao ouvir a atividade real dos neurônios, podemos aparar a gordura com precisão cirúrgica. O resultado é uma rede menor, mais simples e surpreendentemente robusta. É um pouco como descobrir que você pode dirigir um carro tão rápido quanto com um motor muito menor, desde que o ajuste no ritmo certo. A abordagem de "Neural Network Relief" mostra que, às vezes, menos é realmente mais, desde que você saiba exatamente o que deixar ir.

Resumo Técnico: Alívio de Redes Neurais: Um Algoritmo de Poda Baseado na Atividade Neural

Problema
As redes neurais profundas (DNNs) atuais são tipicamente sobreparametrizadas, utilizando a maioria de suas conexões neuronais durante a inferência para qualquer tarefa dada. Em contraste, o cérebro humano desenvolve regiões especializadas e realiza inferência usando apenas uma pequena fração de suas conexões. Os autores identificam a necessidade de abordar a sobreparametrização em DNNs ao encontrar o número mínimo de conexões capaz de resolver uma tarefa específica com precisão comparável. Embora os métodos de poda existentes frequentemente dependam de razões pré-definidas de remoção de parâmetros ou magnitudes de pesos, essas abordagens podem levar a quedas drásticas de precisão se a razão de poda for muito alta ou falhar em considerar a contribuição real de uma conexão para o sinal do neurônio.

Metodologia
O artigo propõe o "NNrelief", uma estratégia de poda iterativa que desativa conexões não importantes com base em uma métrica de pontuação de importância inovadora. Diferente das abordagens baseadas em magnitude, este método avalia o comportamento local das conexões considerando tanto a magnitude do peso quanto a força do sinal de entrada (atividade neural).

Métrica de Pontuação de Importância:
- Camadas Totalmente Conectadas (Fully Connected): A importância de uma conexão entre o neurônio $i$ (camada $l-1$ ) e o neurônio $j$ (camada $l$ ) é definida pelo valor absoluto do produto do peso $w_{ij}^{(l)}$ e a ativação de entrada $x_i^{(l-1)}$ , normalizado pela importância total de todas as entradas para o neurônio $j$ (incluindo o viés/bias). Isso quantifica a contribuição relativa de uma conexão específica para o sinal total do neurônio.
- Camadas Convolucionais: A métrica é adaptada para kernels e vieses. A importância de um kernel é calculada com base na norma de Frobenius da convolução entre o kernel e os mapas de características de entrada, média sobre o conjunto de dados e normalizada pela importância total do filtro.
Processo de Poda:
- O algoritmo opera iterativamente. Para cada camada, as pontuações de importância são computadas para todas as conexões de entrada (ou kernels) usando um subconjunto de dados de treinamento.
- As conexões são ordenadas por importância. O algoritmo determina um limiar tal que a soma das principais pontuações de importância atinja uma razão de retenção pré-definida $\alpha$ (ex: 0,95).
- Conexões abaixo deste limiar são podadas (definidas como zero).
- A rede é retreinada após as iterações de poda. Os autores afirmam explicitamente que realizam a poda iterativa retreinando a rede a partir de parâmetros iniciais aleatórios para experimentos com LeNet, e similarmente retreinando a partir de inicializações aleatórias para arquiteturas VGG e ResNet, em vez de usar ajuste fino (fine-tuning).
Limites Teóricos: O artigo deriva limites de erro para a diferença de sinal antes e depois da poda. Demonstra que o erro de aproximação de um neurônio diminui conforme o parâmetro de retenção $\alpha$ aumenta, desde que a função de ativação seja Lipschitz contínua.

Principais Contribuições

Poda Baseada na Atividade Neural: Uma nova métrica que desativa conexões que contribuem com sinais fracos para a próxima camada, em vez de simplesmente remover pesos pequenos. Isso contrasta com a poda baseada em magnitude, que assume que pesos pequenos são insignificantes independentemente do sinal de entrada.
Poda Adaptativa: Diferente de métodos que podam uma porcentagem fixa de parâmetros, o NNrelief determina adaptativamente o número de conexões a serem removidas com base na distribuição das pontuações de importância para manter um nível de sinal específico.
Conceito de Alívio de Rede Neural (Neural Network Relief): Os autores observam que a estratégia de poda leva a uma "homogeneização" da importância das conexões entre os neurônios restantes. Este conceito, denominado "alívio de rede neural", sugere a distribuição da importância uniformemente entre menos conexões, em vez de depender de algumas poucas conexões altamente dominantes.
Análise de Erro: A derivação de limites teóricos mostrando que a perturbação do sinal introduzida pela poda é controlada pelo parâmetro de retenção $\alpha$ .

Resultados Experimentais
Os autores avaliaram o NNrelief em arquiteturas LeNet, VGG e ResNet através dos datasets MNIST, CIFAR-10/100 e Tiny-ImageNet, utilizando os otimizadores Adam e SGD.

LeNet (MNIST): O método alcançou precisão comparável a algoritmos de estado da arte (SOTA) (ex: DNS, L-OBS) enquanto retém aproximadamente 1,5% dos parâmetros para LeNet-300-100 e 0,65% para LeNet-5.
VGG (CIFAR-10/100, Tiny-ImageNet):
- No CIFAR-10, a abordagem reduziu os parâmetros para menos de 2% do original (alcançando aproximadamente 52x de compressão) com apenas uma queda de 0,1% na precisão para a arquitetura do tipo VGG (uma versão adaptada do VGG-16 com uma camada totalmente conectada a menos). O artigo observa que este nível específico de compressão foi alcançado para o modelo tipo VGG, não para o VGG-13 padrão. O método superou o SOTA tanto na retenção de parâmetros quanto na redução de FLOPs para esta configuração.
- No Tiny-ImageNet, o método alcançou mais de 40x de compressão (retendo ~2,3% dos parâmetros) com perda de precisão desprezível (0,03% de queda) usando o otimizador Adam.
- O otimizador Adam geralmente produziu taxas de compressão mais altas do que o SGD para arquiteturas VGG, embora o SGD às vezes mantivesse uma precisão ligeiramente superior.
ResNet (CIFAR-10/100, Tiny-ImageNet):
- Para ResNet-20 e ResNet-56 no CIFAR-10, o método podou mais de 60-76% dos parâmetros com precisão comparável aos métodos SOTA.
- No CIFAR-100, o método alcançou compressão significativa (ex: ~68% de parâmetros podados para ResNet-56) com degradação mínima de precisão.
- Diferente da VGG, a diferença de esparsidade entre Adam e SGD foi menos pronunciada para ResNets. Os autores atribuem isso às conexões de salto (skip connections) que permitem que os sinais passem sem impedimentos, tornando mais difícil para o otimizador distinguir ativações significativas nos blocos residuais.

Significância e Alegações
O artigo afirma que o NNrelief oferece uma alternativa robusta à poda baseada em magnitude ao focar na contribuição real das conexões para a propagação do sinal da rede. Os autores afirmam que sua abordagem:

Alcança uma compressão de parâmetros significativamente maior (mais de 50 vezes para o tipo VGG no CIFAR-10 e mais de 40 vezes no Tiny-ImageNet) em comparação com algoritmos SOTA, mantendo uma precisão comparável.
É eficaz através de diferentes arquiteturas (LeNet, VGG, ResNet) e otimizadores (Adam, SGD).
Fornece um mecanismo para "liberar" conexões para outras tarefas, servindo como um passo em direção a estratégias de aprendizado contínuo.
Embora não tenha sido explicitamente projetado para minimizar FLOPs para implementações de hardware atuais, ele desempenha razoavelmente bem nesse aspecto em comparação com métodos existentes.

Os autores concluem que as subredes resultantes propagam a maior parte do sinal original usando menos parâmetros e exibem uma distribuição homogeneizada de importância, validando o conceito de "alívio de rede neural".