Robustness in sparse artificial neural networks trained with adaptive topology

Título: Robustez em Redes Neurais Artificiais Esparsas Treinadas com Topologia Adaptativa

Autores: Bendegúz Sulyok, Gergely Palla, Filippo Radicchi e Santo Fortunato.
Data: 26 de fevereiro de 2026 (Preprint).

---

1. Problema e Contexto

As Redes Neurais Profundas (DNNs) modernas alcançaram desempenho de ponta em diversas áreas, mas frequentemente exigem bilhões de parâmetros, resultando em altos custos computacionais, de memória e energéticos. Isso limita sua implantação em dispositivos com recursos restritos (como IoT e celulares) e levanta preocupações ambientais.

Embora o cérebro humano seja um sistema computacional altamente eficiente e esparsamente conectado (onde cada neurônio se conecta a uma fração ínfima de outros), as Redes Neurais Esparsas (SNNs) artificiais atuais ainda mantêm uma fração finita de todas as conexões possíveis, não sendo "esparças" no sentido estrito da ciência de redes.

O artigo foca em duas abordagens principais para SNNs:

1. Poda (Pruning): Começa com uma rede densa e remove conexões.
2. Treinamento Esparsos (Sparse Training): Inicia e mantém a rede esparsa durante todo o treinamento.

O trabalho investiga especificamente a robustez de redes treinadas com topologia adaptativa (onde a estrutura da rede evolui dinamicamente durante o treinamento), um aspecto pouco explorado. A questão central é: essas redes esparsas e dinâmicas são resilientes a perturbações como remoção de links, ataques adversariais e ruído?

2. Metodologia

Arquitetura da Rede

Os autores utilizaram uma arquitetura simples, mas eficaz, baseada em um modelo anterior (ESML - Epitopological Sparse Meta-deep Learning):

• Entrada: Camada de pixels (ex: 784 para MNIST).
• Camadas Ocultas: 3 camadas esparsas, cada uma com 1.000 neurônios. A esparsidade é de 99% (apenas 1% das conexões possíveis estão ativas).
• Saída: Uma camada densa (readout) conectada à última camada esparsa.
• Inicialização: Pesos iniciais são amostrados de uma distribuição normal (Kaiming initialization).

Procedimento de Treinamento (Dinâmico)

O treinamento ocorre em épocas alternadas entre dois passos principais:

1. Aprendizado de Pesos: Ajuste dos pesos ativos via retropropagação (backpropagation).
2. Atualização de Topologia (Reconexão):
   • Poda: Uma pequena fração de links é removida (geralmente os de menor magnitude).
   • Reconexão: Um número igual de novos links é introduzido para manter o número total de conexões constante.

Estratégias de Reconexão Comparadas

O estudo comparou duas estratégias distintas para reintroduzir os links removidos:

1. RLR (Random Link Regrowth): Novos links são adicionados aleatoriamente.
2. CH3L3 (Cannistraci-Hebb Link Prediction): Uma heurística baseada em previsão de links (automata de rede) que adiciona novos links com base na probabilidade de existência de conexões não observadas na topologia atual.

Análise de Robustez (Perturbações)

Após o treinamento, as redes foram submetidas a perturbações pós-treinamento sem re-treinamento ou fine-tuning:

• Poda Aleatória: Remoção de links uniformemente ao acaso.
• Poda por Ordem de Peso (Weight Order): Remoção dos links com maior magnitude primeiro.
• Poda por Ordem Reversa (Reverse Weight Order): Remoção dos links com menor magnitude primeiro.
• Embaralhamento de Pesos (Weight Shuffling): Mistura dos valores de peso dentro de "bins" (intervalos) fixos.
• Modificação de Peso (Weight Modification): Adição de ruído gaussiano aos pesos.

3. Resultados Principais

Desempenho de Precisão

• Ambas as estratégias (RLR e CH3L3) alcançaram precisão competitiva em conjuntos de dados como MNIST, Fashion-MNIST, KMNIST e EMNIST.
• Convergência: O método CH3L3 convergiu para a precisão máxima mais rapidamente do que o RLR em todos os datasets.
• Precisão Final: Ao final do treinamento, a precisão foi estatisticamente similar para ambos os métodos (com exceção leve do KMNIST, onde CH3L3 foi ligeiramente superior).

Resiliência a Remoção de Links (Poda)

• Poda por Ordem de Peso (Remover os "melhores" links): Ambas as redes colapsaram rapidamente (queda acentuada com apenas 1-5% de links removidos), indicando que os links de alta magnitude são críticos.
• Poda Aleatória: As redes mostraram resiliência moderada, com queda gradual de precisão até cerca de 80% de links removidos.
  • Comparação: Redes CH3L3 foram ligeiramente mais resilientes à poda aleatória na maioria dos datasets.
• Poda por Ordem Reversa (Remover os "piores" links): As redes mostraram alta resiliência.
  • Comparação: Redes RLR foram significativamente mais resilientes a esta perturbação em todos os datasets. Elas conseguiram manter a precisão mesmo com 80% dos links removidos, sugerindo que a rede RLR possui uma estrutura onde os links restantes são mais robustos ou redundantes.

Resiliência a Perturbações de Peso

• Embaralhamento e Ruído: A precisão caiu rapidamente para ambos os tipos.
• Comparação:
  • Redes CH3L3 foram mais resilientes ao embaralhamento de pesos (Weight Shuffling) na maioria dos casos.
  • Redes RLR foram ligeiramente mais resilientes à adição de ruído (Weight Modification).

Distribuição de Pesos (Explicação Estrutural)

A análise das distribuições de magnitude dos pesos revelou diferenças estruturais:

• RLR: Apresenta uma densidade maior de pesos de magnitude média a moderadamente alta (intervalo $w \approx 0.2$ a $1.0$).
• CH3L3: Possui uma distribuição diferente, com menos pesos nessa faixa intermediária e, em alguns casos, mais pesos extremos.
• Conclusão da Análise: A maior densidade de pesos "importantes" (médios/altos) nas redes RLR explica sua superioridade na poda reversa (que remove os pesos fracos primeiro, preservando os fortes). No entanto, essa concentração torna-as mais vulneráveis à poda aleatória, pois remover um link aleatório tem maior probabilidade de atingir um desses pesos críticos concentrados.

4. Contribuições Chave

1. Análise de Robustez em SNNs Dinâmicas: O estudo fornece uma das primeiras análises detalhadas de como redes neurais esparsas com topologia adaptativa se comportam sob estresse estrutural e de peso.
2. Comparação de Estratégias de Aprendizado: Demonstra que a escolha do algoritmo de reconexão (Aleatório vs. Baseado em Previsão) altera fundamentalmente a topologia interna e, consequentemente, a robustez da rede.
3. Compressibilidade Pós-Treinamento: Descobriu-se que redes treinadas com RLR possuem uma qualidade estrutural que permite uma compressão extrema (remoção de até 80% dos links) sem perda crítica de desempenho, algo não observado com a mesma eficácia no método CH3L3.
4. Eficiência vs. Robustez: Confirma que o treinamento esparsos dinâmico não apenas melhora a eficiência computacional, mas pode manter ou até otimizar a robustez dependendo do tipo de perturbação esperada.

5. Significado e Implicações

Este trabalho destaca o potencial das redes esparsas adaptativas como uma direção promissora para o desenvolvimento de modelos de Deep Learning que são simultaneamente eficientes (poucos parâmetros) e confiáveis (robustos a falhas e ruídos).

A descoberta de que diferentes estratégias de treinamento geram diferentes perfis de robustez sugere que, para aplicações em ambientes hostis ou com recursos limitados onde a compressão extrema é necessária, a estratégia RLR pode ser superior. Por outro lado, para cenários onde a rede pode sofrer ataques direcionados a conexões específicas ou ruído aleatório, a estratégia CH3L3 pode oferecer vantagens.

O estudo reforça a ideia de que a "forma" da rede (topologia) é tão crucial quanto os "pesos" para a performance e resiliência, inspirando futuros trabalhos em arquiteturas de redes neurais bio-inspiradas e adaptativas.