One Shot vs. Iterative: Rethinking Pruning Strategies for Model Compression

Resumo Técnico: One Shot vs. Iterativo: Repensando Estratégias de Poda para Compressão de Modelos

Definição do Problema
À medida que as redes neurais crescem em escala para abordar tarefas complexas de visão computacional e processamento de linguagem natural, sua implantação em dispositivos com recursos limitados torna-se cada vez mais impraticável. A poda (pruning) é uma técnica primária para reduzir o tamanho do modelo e o custo computacional sem sacrificar significativamente o desempenho. No entanto, a literatura exibe um viés significativo ao propor novos critérios de poda (ex: magnitude, sensibilidade, abordagens teóricas de jogos), enquanto carece de uma comparação sistemática de regimes de poda — especificamente, a escolha entre poda one-shot (um único ciclo de treinamento, poda e retreinamento) e poda iterativa (múltiplos ciclos dessas etapas). A eficácia relativa dessas estratégias sob variadas condições (diferentes taxas de poda, arquiteturas de modelos e critérios) permanece subexplorada, levando frequentemente à seleção arbitrária de métodos por parte dos profissionais.

Metodologia
Os autores conduziram um estudo empírico abrangente para isolar o regime de poda como uma variável, controlando o critério de poda, a esparsidade alvo e as arquiteturas de modelos. O estudo abrange tanto a poda estruturada quanto a não estruturada em Redes Neurais Convolucionais (ResNet, EfficientNet), Vision Transformers (ViT) e um modelo de linguagem baseado em Transformer (TinyStories-33M).

Componentes metodológicos principais incluem:

1. Definições de Regime:
   • One-Shot: Uma única etapa de poda seguida de ajuste fino (fine-tuning).
   • Iterativo Constante: Um número fixo de pesos removidos em cada ciclo.
   • Iterativo Geométrico: Uma porcentagem fixa dos pesos restantes removida em cada etapa, reduzindo progressivamente o número de pesos podados.
   • Híbrido (Few-Shot): Uma combinação proposta onde uma grande parte dos pesos é removida em uma etapa inicial de one-shot, seguida de uma poda iterativa geométrica de grão fino.
2. Protocolo de Retreinamento: O estudo defende o ajuste fino baseado em paciência (patience-based fine-tuning) — interrupção precoce baseada no desempenho de validação — em vez de contagens fixas de épocas, argumentando que isso adapta dinamicamente a duração do retreinamento às reais necessidades de recuperação do modelo.
3. Métricas de Avaliação: O desempenho foi medido via Acurácia Top-1 para tarefas de visão e Perplexidade para a tarefa de NLP, avaliado através de várias taxas de poda (de baixa a extrema esparsidade).

Principais Contribuições

• Comparação Sistemática: Este trabalho fornece uma das primeiras comparações amplas e controladas entre regimes de poda one-shot versus iterativos, desafiando a suposição de que a poda iterativa é universalmente superior.
• Agendador de Poda Geométrica: Os autores introduzem e validam um agendador de razão de poda geométrica para a poda iterativa, demonstrando que podar uma porcentagem fixa dos pesos restantes geralmente supera a poda de taxa constante, particularmente em níveis de alta esparsidade.
• Abordagem Híbrida: Um novo regime de poda híbrida é proposto, que aproveita a eficiência da poda one-shot para redução inicial grosseira e a precisão da poda iterativa geométrica para o refinamento final.
• Diretrizes Contextuais: O estudo estabelece que a estratégia de poda ideal não é universal, mas depende de restrições específicas: taxa de poda, arquitetura do modelo (CNN vs. Transformer) e o orçamento computacional para retreinamento.

Principais Resultados

• Dependência da Taxa de Poda:
  • Taxas Baixas a Moderadas (<80%): A poda one-shot com retreinamento baseado em paciência frequentemente supera os métodos iterativos, particularmente para CNNs. Ela alcança maior acurácia com significativamente menos tempo de retreinamento.
  • Taxas Altas (>80%): A poda iterativa (especificamente a variante geométrica) torna-se superior. A poda one-shot tem dificuldade em recuperar o desempenho em níveis de esparsidade extrema.
• Sensibilidade da Arquitetura: Modelos baseados em Transformer (tanto ViT quanto LLMs) geralmente se beneficiam mais da poda iterativa do que as CNNs. Em tarefas de NLP, a poda one-shot mostrou sensibilidade mesmo em baixas taxas de poda (10–20%), enquanto a poda iterativa permitiu que o modelo se adaptasse progressivamente.
• Interação de Critérios de Poda:
  • Para critérios de segunda ordem (ex: baseados em Hessian), a poda one-shot é computacionalmente eficiente porque o cálculo de classificação caro é realizado apenas uma vez.
  • Para altas taxas de poda, a escolha do critério de poda torna-se menos significativa; o regime iterativo geométrico produz resultados semelhantes entre diferentes critérios, tornando preferíveis os critérios baseados em magnitude, que são mais rápidos.
• Desempenho Híbrido: A abordagem híbrida superou consistentemente os métodos puramente one-shot e puramente iterativos em quase todas as taxas de poda, equilibrando efetivamente a velocidade da remoção one-shot com o refinamento das etapas iterativas.
• Eficiência de Retreinamento: A interrupção precoce baseada em paciência mostrou-se crítica. Períodos de retreinamento curtos e fixos (comuns na literatura) levaram a resultados subótimos, enquanto os métodos baseados em paciência evitaram tanto o subtreinamento quanto o retreinamento excessivo e desnecessário.

Significância e Alegações
O artigo não pretende estabelecer um único "melhor" método de poda para todos os cenários. Em vez disso, visa fornecer uma base empírica rigorosa para que os profissionais selecionem uma estratégia de poda adaptada aos seus objetivos e restrições específicos. Os autores argumentam que a escolha do regime de poda é tão crucial quanto a escolha do critério de poda. Ao demonstrar que a poda one-shot é altamente eficaz para menor esparsidade e ambientes com restrição computacional, enquanto a poda iterativa (geométrica) é necessária para alta esparsidade e arquiteturas complexas, o estudo oferece diretrizes acionáveis para otimizar o equilíbrio entre acurácia do modelo, tamanho e custo computacional. O método híbrido proposto serve como uma solução prática que combina as forças de ambos os regimes, oferecendo um caminho mais informado para a compressão de modelos.