Investigating the Effect of Network Pruning on Performance and Interpretability

Resumo Técnico: Investigando o Efeito da Poda de Redes no Desempenho e na Interpretabilidade

Declaração do Problema
Redes Neurais Profundas (DNNs), como o GoogLeNet, são frequentemente superparametrizadas, criando desafios para a implantação em ambientes com recursos limitados. Embora a poda de redes neurais seja uma técnica estabelecida para reduzir o tamanho do modelo, a literatura existente focou principalmente em métricas de desempenho, como precisão e complexidade espacial. Há uma lacuna notável na compreensão de como diferentes estratégias de poda afetam a interpretabilidade do modelo. Além disso, embora existam métodos para quantificar a interpretabilidade, como a Pontuação de Interpretabilidade Mecanística (MIS), sua confiabilidade e alinhamento com noções intuitivas de interpretabilidade (por exemplo, compreender a base de decisões corretas) no contexto de redes podadas permanecem pouco explorados.

Metodologia
Os autores investigaram sistematicamente o impacto da poda no GoogLeNet usando três estratégias distintas:

1. Poda Não Estruturada: Remove pesos individuais em toda a rede com base na magnitude, criando esparsidade irregular.
2. Poda Estruturada: Remove filtros ou canais inteiros, resultando em padrões de esparsidade regulares passíveis de aceleração por hardware.
3. Esparsidade de Conexões: Uma abordagem nova para este estudo, focada na poda de canais de entrada em vez de canais de saída. Isso visa preservar a integridade estrutural enquanto reduz conexões.

O estudo avaliou essas estratégias sob dois regimes de retreinamento:

• Poda One-Shot: Uma grande parte da rede é podada em uma única etapa, seguida de retreinamento.
• Poda Iterativa: A rede é podada em incrementos menores com retreinamento após cada etapa, permitindo adaptação gradual.

Os experimentos foram conduzidos no conjunto de validação do ImageNet. Os autores testaram vários hiperparâmetros, identificando o SGD com um agendador ExponentialLR e 50 épocas de treinamento como ótimos para o retreinamento. Para avaliar a interpretabilidade, os autores empregaram a Pontuação de Interpretabilidade Mecanística (MIS) desenvolvida por Zimmermann et al., que mede a similaridade perceptual entre explicações (imagens que maximizam ativações de filtros) e consultas.

Principais Resultados

• Desempenho:

  • A Esparsidade de Conexões superou tanto a poda não estruturada quanto a estruturada. Notavelmente, podar 80% dos parâmetros do modelo via Esparsidade de Conexões e retreinar resultou em uma precisão de validação de 70,5%, superando o desempenho do GoogLeNet padrão.
  • A poda iterativa produziu consistentemente maior precisão do que a poda one-shot, embora tenha incorrido em um custo computacional mais alto (requerendo aproximadamente 50 épocas por etapa de poda).
  • Contrariando a suposição de que a poda degrada o desempenho, os autores observaram que, com retreinamento suficiente, redes podadas podiam aproximar ou até exceder a precisão da linha de base não podada. Por exemplo, um modelo com 60% dos parâmetros podados alcançou 72,286% de precisão, comparado a 72,1% para um GoogLeNet padrão treinado para as mesmas épocas adicionais.
  • A poda não estruturada sem ajuste fino resultou em quedas drásticas de precisão, enfatizando a necessidade de retreinamento.

• Interpretabilidade:

  • Usando a métrica MIS, o estudo encontrou nenhuma relação significativa entre a taxa de poda e a interpretabilidade (coeficiente de correlação de 0,092).
  • Uma descoberta crítica foi que redes com precisão extremamente baixa (por exemplo, 0,1%) ainda podiam alcançar altas pontuações MIS. Isso sugere que o MIS mede a consistência das ativações de unidades, em vez da correção do processo de tomada de decisão. Uma rede pode ser "interpretável" pelos padrões do MIS (sabendo quais unidades ativam para entradas específicas) enquanto faz previsões aleatórias ou incorretas.
  • As pontuações MIS para a camada softmax foram consistentemente baixas em todos os modelos, contradizendo a expectativa de que unidades de classe deveriam ser altamente interpretáveis. Além disso, não houve correlação significativa entre a precisão por classe e as pontuações MIS na camada softmax para os modelos podados testados.

Principais Contribuições

1. Avaliação da Esparsidade de Conexões: O artigo introduz e valida a "Esparsidade de Conexões" (poda de canais de entrada) como uma estratégia de poda altamente eficaz para o GoogLeNet, demonstrando sua capacidade de reduzir o tamanho do modelo em até 80% enquanto mantém ou melhora a precisão.
2. Análise Comparativa de Estratégias de Retreinamento: O estudo fornece evidências empíricas comparando poda iterativa versus one-shot, confirmando os benefícios de desempenho das abordagens iterativas enquanto destaca sua ineficiência computacional.
3. Avaliação Crítica do MIS: Os autores desafiam a utilidade do MIS como uma métrica autônoma para interpretabilidade em redes podadas. Eles demonstram que altas pontuações MIS não necessariamente correlacionam com alta precisão ou tomada de decisão significativa, indicando um desalinhamento entre a métrica e a interpretabilidade intuitiva.

Significado e Alegações
Os autores afirmam que seu trabalho contribui para o desenvolvimento de modelos de aprendizado profundo mais eficientes, identificando a Esparsidade de Conexões como um método de poda superior para o GoogLeNet. No entanto, o artigo é modesto em relação às suas descobertas sobre interpretabilidade. Não alega ter resolvido o problema da interpretabilidade, mas sim destaca as limitações de métricas existentes como o MIS. O estudo sugere que as medidas atuais podem falhar em capturar as nuances da interpretabilidade do modelo pós-poda, particularmente quando a qualidade preditiva da rede é baixa. Consequentemente, os autores argumentam pelo desenvolvimento de métricas mais robustas que alinhem as pontuações de interpretabilidade com a qualidade das decisões tomadas pela rede, uma necessidade para implantar redes neurais em aplicações críticas do mundo real.