A Hierarchical Importance-Guided Multi-objective Evolutionary Framework for Deep Neural Network Pruning

Título: Um Framework Evolutivo Multi-objetivo Hierárquico Guiado por Importância para Poda de Redes Neurais Profundas

Autores: Zak Khan e Azam Asilian Bidgoli (Wilfrid Laurier University, Canadá)

---

1. Problema Identificado

A otimização de Redes Neurais Profundas (DNNs) superparametrizadas representa um problema de decisão em grande escala, de alta dimensionalidade e fortemente não convexo. As abordagens atuais de poda (pruning), sejam baseadas em gradiente ou evolutivas, enfrentam dificuldades significativas ao escalar para essas dimensionalidades devido a:

• Espaços de busca planos e vastos: A poda de pesos individuais cria um espaço de busca combinatório com milhões de variáveis binárias.
• Custo computacional proibitivo: Métodos que exigem re-treinamento repetido ou busca direta em todo o espaço tornam-se inviáveis.
• Convergência prematura: A dificuldade em equilibrar objetivos conflitantes (acurácia vs. esparsidade) leva a soluções subótimas.
• Escassez de Pareto: Métodos existentes frequentemente resultam em frentes de Pareto esparsas, não explorando adequadamente as regiões de compromisso ótimas.

O objetivo central é resolver a poda de CNNs como um problema de Otimização Multi-objetivo (MOO) em grande escala, buscando maximizar a esparsidade (redução de parâmetros) enquanto se minimiza a perda de acurácia.

---

2. Metodologia Proposta

O artigo apresenta um framework evolutivo de duas fases que reformula a poda como um problema de otimização hierárquica. A estratégia combina exploração global contínua com exploração local binária discreta.

Fase 1: Poda Baseada em Limiares Contínuos (Exploração Global)

• Objetivo: Realizar uma busca global grosseira para reduzir a dimensionalidade do problema e identificar regiões promissoras no espaço de soluções.
• Mecanismo: Utiliza um algoritmo evolutivo (NSGA-II) para otimizar pares de limiares contínuos $(th_1, th_2)$. Pesos cujas magnitudes caem dentro deste intervalo são zerados.
• Resultado: Gera uma Frente de Pareto Inicial ($P_1$) que mapeia o compromisso global entre esparsidade e acurácia.
• Seleção de Âncoras: A partir de $P_1$, são selecionados dois modelos âncora:
  • Modelo Pesado ($M_h$): Alta acurácia, baixa poda (limite inferior da região de interesse).
  • Modelo Leve ($M_l$): Alta compressão, acurácia aceitável (limite superior da região de interesse).
  • Esses modelos definem um "corredor de busca" restrito para a Fase 2.

Fase 2: Poda Binária Guiada por Importância (Refinamento Local)

• Objetivo: Refinar a busca dentro da região esparsa definida pela Fase 1, explorando combinações binárias específicas de pesos que a abordagem contínua não conseguiu encontrar.
• Mecanismo:
  • Inicialização Guiada por Importância: Em vez de inicializar aleatoriamente, a população é gerada probabilisticamente com base na importância dos pesos. A probabilidade de poda $P_{prune}(w_{i,j})$ é calculada considerando a magnitude normalizada do peso e restrições de camada (ex: camadas iniciais são protegidas).
  • Otimização Binária: O problema é tratado como uma otimização binária multi-objetivo (máscaras de poda 0/1) utilizando MOEAs (NSGA-II ou MOEA/D).
  • Busca Local: O algoritmo evolui máscaras binárias apenas sobre os pesos que sobreviveram à Fase 1, dentro do intervalo de esparsidade definido pelos modelos âncora.

---

3. Principais Contribuições

1. Otimização Hierárquica em Grande Escala: Conceitua a poda de CNNs como um processo de dois níveis: exploração global contínua seguida de refinamento binário local, permitindo escalabilidade para redes com milhões de parâmetros.
2. Frente de Pareto Bem Distribuída: A abordagem preenche regiões subexploradas da frente de Pareto. A Fase 1 identifica a região de compromisso de alta qualidade, e a Fase 2 gera soluções adicionais que densificam essa frente.
3. Formulação MOO Guiada por Importância: A Fase 2 utiliza critérios de importância para viabilizar a busca em espaços binários esparsos, equilibrando acurácia e complexidade sem depender de heurísticas fixas.
4. Validação Abrangente: O framework foi testado em múltiplas arquiteturas (ResNet-18 a ResNet-152) e datasets (CIFAR-10 e CIFAR-100), demonstrando robustez e superioridade em relação a métodos existentes.

---

4. Resultados Experimentais

Os experimentos foram conduzidos em CIFAR-10 e CIFAR-100 utilizando arquiteturas ResNet.

• Redução de Parâmetros: O método alcançou reduções de parâmetros de até 51,9% (ResNet-56 no CIFAR-10) e 38,9% (ResNet-110 no CIFAR-100) com perda de acurácia mínima ou quase nula em comparação com o estado da arte.
• Comparação com o Estado da Arte:
  • No CIFAR-10, o método superou abordagens evolutivas e estruturadas existentes, alcançando taxas de poda mais altas (ex: 50,9% no ResNet-56) mantendo a degradação de erro dentro de limites estreitos (~1,23%).
  • No CIFAR-100, manteve desempenho competitivo com taxas de poda superiores à maioria dos baselines evolutivos.
• Melhoria no Volume Hiper (Hypervolume - HV): A integração das fases resultou em aumentos consistentes no Volume Hiper (tipicamente +0,04 a +0,06), indicando uma frente de Pareto mais densa e com melhores compromissos entre acurácia e esparsidade.
• Desempenho dos Algoritmos: Tanto o NSGA-II quanto o MOEA/D foram eficazes na Fase 2, com o MOEA/D mostrando uma ligeira vantagem em gerar soluções não-dominadas adicionais em arquiteturas mais profundas.

---

5. Significado e Conclusão

O trabalho propõe um paradigma escalável para resolver problemas de otimização multi-objetivo em espaços de decisão exponencialmente grandes.

• Inovação: A transição de uma busca contínua (limiares) para uma busca binária refinada (máscaras) dentro de um espaço reduzido permite contornar a "explosão combinatória" que limita métodos evolutivos diretos.
• Impacto: O framework oferece uma maneira prática de obter redes neurais altamente compactas sem sacrificar significativamente o desempenho, gerando um conjunto diversificado de soluções (Frente de Pareto) que permite aos engenheiros escolher o ponto de operação ideal entre tamanho e precisão.
• Limitações e Futuro: O método atual foca em poda não estruturada (pesos individuais), o que pode não oferecer aceleração direta em hardware padrão sem kernels especializados. Trabalhos futuros visam estender essa abordagem para poda estruturada (filtros/canais) para melhor interpretabilidade e aceleração prática.

Em resumo, a abordagem hierárquica guiada por importância demonstra ser uma solução eficaz para o desafio de comprimir DNNs modernas, superando as limitações de métodos de busca única e fornecendo um equilíbrio superior entre eficiência e precisão.