Resumo Técnico: Poda de Redes Neurais Profundas via Distribuição de Marchenko–Pastur

1. Declaração do Problema

O artigo aborda o desafio de comprimir Redes Neurais Profundas (DNNs), especificamente Vision Transformers (ViTs) e Redes Neurais Convolucionais (CNNs), para implantação sob restrições rigorosas. O objetivo principal é alcançar uma esparsidade significativa (reduzindo operações de Multiply-Accumulate, ou MACs) mantendo alta precisão, mas com uma restrição crítica: orçamentos mínimos de ajuste fino (fine-tuning) pós-poda.

Os pipelines de poda existentes frequentemente dependem de cronogramas de retreinamento longos ou reotimização extensiva para recuperar a precisão após a poda. Este trabalho investiga se uma abordagem de matriz aleatória baseada em Marchenko–Pastur (MP) pode fornecer "certificados de caminho de dados" determinísticos que permitam uma poda precisa com cronogramas de calibração e ajuste fino muito curtos (por exemplo, um epoch por ciclo ou três epochs de destilação). O problema central é distinguir entre "ruído" (componentes de natureza aleatória que podem ser removidos) e "sinal" (componentes estruturados que devem ser preservados) dentro das matrizes de pesos treinadas sem acesso aos dados de validação ou teste durante a fase de construção da máscara.

2. Metodologia

2.1 Estrutura Teórica: Sinal vs. Ruído

Os autores propõem uma suposição de modelagem onde uma matriz de pesos treinada $W$ na camada $\ell$ pode ser decomposta em um componente de sinal estruturado $S$ e um componente de perturbação aleatória $R$:
$$W = S + R$$

• Sinal ($S$): Assume-se ser de baixo posto (low-rank) ou aproximadamente de baixo posto em relação à largura da camada, representando características aprendidas.
• Ruído ($R$): Modelado como uma perturbação aleatória independente. Sob a lei de Marchenko–Pastur (MP), os valores singulares de tais matrizes aleatórias formam uma "massa" (bulk) de distribuição com uma borda superior $\sigma_+$ conhecida.

A teoria postula que, se o componente removido $R$ possui um efeito de logit propagado pequeno, a poda diminui um objetivo de elástica-net e preserva amostras com margens densas suficientes.

2.2 Algoritmos de Poda

O artigo introduz duas estratégias algorítmicas primárias baseadas nesta estrutura teórica:

1. SER (Sparsify–Estimate–Restore / Esparsificar–Estimar–Restaurar):

   • Mecanismo: Começa com um candidato excessivamente podado (removendo pesos com base em orçamentos guiados por MP). Em seguida, avalia a "massa perdida" através do caminho de dados e restaura entradas que são mais úteis para o modelo esparso alvo.
   • Híbrido de Magnitude–SER: Combina a poda de magnitude padrão (eficaz em baixa esparsidade) com a SER (eficaz em alta esparsidade) para aproveitar a estabilidade da poda de magnitude e a sensibilidade espectral da SER.

2. CAST (Sparsidade Estruturada):

   • Mecanismo: Visa padrões de esparsidade estruturada $k:n$ fixos (ex: 2:4, 6:12, 8:16), que são compatíveis com aceleradores de hardware como os NVIDIA Tensor Cores.
   • Processo: Utiliza um objetivo inspirado em certificados para selecionar quais entradas manter dentro de um grupo. Emprega um conceito de "restauração livre": dentro de um grupo onde o custo de execução já é fixado pelo padrão de esparsidade, restaurar uma entrada mantida pode melhorar o certificado teórico sem alterar o número de pesos executados.
   • Integração com ToMe: Para Vision Transformers, o método combina a poda de pesos com o Token Merging (ToMe) para reduzir o número de tokens processados, reduzendo ainda mais a carga computacional.

2.3 Certificados Teóricos

O artigo fornece três principais resultados teóricos para justificar a poda:

• Certificado Determinístico de Caminho de Dados: Prova que, se o componente removido $R$ satisfaz um limite em seu efeito de logit propagado ($L_s \|R\psi_1(s)\|_\infty$), a poda diminui um objetivo de elástica-net e preserva amostras de treinamento cujo margem densa excede o dobro da perturbação.
• Certificado Prune–Restore (Poda–Restauração): Modela a esparsidade estruturada, mostrando que restaurar entradas dentro de um grupo de execução esparsa fixo pode melhorar o limite sem alterar o padrão de execução final.
• Teoria de Regularização Aditiva $L_2$: Demonstra que, sob estacionariedade unilateral e convergência de caminho local, componentes aleatórios admissíveis desaparecem no limite de treinamento, enquanto picos de sinal persistentes se estabilizam conforme a massa MP colapsa.

3. Resultados Principais

3.1 Poda Não Estruturada (ViT-B/16)

No ImageNet-1k, o método Híbrido Magnitude–SER alcançou 83,37% de precisão top-1 com 50% de esparsidade não estruturada. Isso representa uma queda de apenas 1,74 pontos percentuais (pp) em relação ao baseline denso (85,11%), alcançada com um orçamento de ajuste fino muito curto (um epoch por ciclo). Superou tanto a poda de magnitude clássica (81,67%) quanto um baseline direto de Teoria de Matrizes Aleatórias (RMT) (82,57%) sob condições idênticas.

3.2 Esparsidade Estruturada e Implantação

O artigo reporta resultados para padrões estruturados $k:n$, distinguindo entre contabilidade de precisão/MAC e ganhos reais de velocidade de hardware:

• ViT-B/16 (2:4 + ToMe): Alcançou 83,41% top-1 (−1,70 pp) com uma redução de 59,81% nos MACs de execução esparsa. Em uma NVIDIA A40, este checkpoint demonstrou um ganho de velocidade nativo de 1,388× em Sparse Tensor Core.
• ViT-B/16 (Sem ToMe, A100): Um endpoint separado alcançou um ganho de velocidade de 2,705× ao passar de denso para esparsidade 2:4 sem ToMe.
• Padrões Mais Largos:
  • ViT-B/16 (6:12): 83,74% top-1.
  • ViT-L/16 (8:16 denso+permutação): 85,33% top-1 (−0,51 pp).
  • ConvNeXtV2-Base (12:16): 86,35% top-1 (−0,37 pp).
• CNNs:
  • ResNet50 (8:16 denso+permutação): 75,87% top-1 (−0,26 pp).
  • ResNet152d (CAST-conv+permutação): 81,33% top-1 (−1,53 pp) com um ganho de velocidade de 1,62× em im2col+2:4 sparse-GEMM na A40.

3.3 Leis de Escala

Evidências empíricas sugerem que checkpoints densos maiores tendem a incorrer em penalidades menores de top-1 em níveis de esparsidade equivalentes. Os autores atribuem isso ao fato de a borda MP ser um objeto espectral assintótico melhor resolvido em matrizes maiores, e camadas sobreparametrizadas mais largas conterem um "reservatório de massa aleatória" maior cuja remoção tem um efeito mínimo no caminho de dados.

4. Significância e Alegações

O artigo afirma que suas principais contribuições são:

1. Retenção de Precisão com Orçamentos Curtos: Demonstrar que alta precisão pode ser mantida após a poda com ajuste fino mínimo (ex: 3 epochs de destilação para CAST), contrastando com pipelines que exigem retreinamento longo.
2. Certificados Determinísticos: Fornecer garantias teóricas que ligam a remoção de componentes de natureza aleatória (identificados via diagnósticos MP) à preservação da precisão, especificamente para amostras com grandes margens.
3. Implantabilidade Prática: Validar que esses sinais teóricos se traduzem em ganhos de velocidade reais em hardware (A40/A100) tanto para ViTs quanto para CNNs, particularmente quando combinados com padrões de esparsidade estruturada (2:4, 6:12, etc.).
4. Alocação por Camada: Usar diagnósticos espectrais MP para alocar diferentes orçamentos de poda para diferentes camadas com base em suas propriedades espectrais (tratando camadas do tipo MP como candidatas a orçamentos maiores enquanto protege camadas não-MP ou de cauda pesada).

Os autores declaram explicitamente que a borda MP serve como uma condição de matriz aleatória suficiente e um sinal prático por camada, em vez de um limite certificado completo para todas as arquiteturas de transformer. O trabalho é apresentado como uma abordagem "inspirada em certificados", onde a teoria motiva o algoritmo, e os resultados empíricos validam a eficácia da estratégia de poda de orçamento curto.