Resumo Técnico: Regularização de Concentração de Pesos para Melhorar a Robustez da Poda sob Alta Esparsidade

Declaração do Problema

Redes neurais profundas (DNNs) alcançaram desempenho de última geração em tarefas de visão e linguagem, mas frequentemente exigem recursos computacionais substanciais, limitando sua implantação em ambientes com recursos restritos. A poda de modelos visa reduzir o tamanho do modelo removendo parâmenos menos importantes. Embora a poda iterativa com retreinamento seja eficaz, ela é computacionalmente cara. A poda one-shot, que remove parâmetros redundantes em uma única etapa sem retreinamento, oferece uma alternativa mais eficiente. No entanto, modelos treinados com objetivos padrão frequentemente sofrem quedas significativas de precisão sob esparsidade agressiva.

Trabalhos anteriores tentam mitigar isso através de duas direções principais:

1. Abordagens baseadas em regularização (e.g., $\ell_1$, DeepHoyer) que moldam distribuições de pesos durante o treinamento. No entanto, $\ell_1$ reduz todos os pesos uniformemente, enquanto DeepHoyer induz esparsidade invariante à escala. Nenhuma delas concentra explicitamente a energia dos pesos em um pequeno subconjunto de parâmetros informativos.
2. Otimizadores robustos à poda (e.g., SAM, CrAM, S2SAM) que achaturam a paisagem de perda para melhorar a generalização.

A limitação central identificada é que métodos padrão de indução de esparsidade não abordam explicitamente o trade-off entre esparsidade e preservação de informação. Quando a importância dos pesos está distribuída difusamente, remover pesos de pequena magnitude ainda pode degradar o desempenho, pois a energia "importante" não está suficientemente concentrada em alguns parâmetros dominantes.

Metodologia: Regularizador de Concentração de Pesos (WCR)

Os autores propõem o Regularizador de Concentração de Pesos (WCR), um regularizador de tempo de treinamento projetado para remodelar a distribuição da magnitude dos pesos. Diferentemente de métodos convencionais que reduzem uniformemente os pesos, o WCR visa concentrar a energia dos pesos em um pequeno subconjunto de parâmetros, enquanto direciona o restante para zero. Isso cria uma distribuição "cauda pesada" onde poucos parâmetros detêm a maioria da energia dos pesos, permitindo que a poda por magnitude remova os parâmetros negligenciáveis com perda mínima de desempenho.

Formulação Matemática

O WCR opera penalizando o inverso da variância dos pesos absolutos. Para uma camada selecionada com pesos $w^{(\ell)}$, os autores primeiro aplicam uma transformação suave de valor absoluto para garantir diferenciabilidade na origem:
$$\tilde{w}^{(\ell)}_i = \sqrt{(w^{(\ell)}_i)^2 + r} \approx |w^{(\ell)}_i|, \quad r = 10^{-8}$$
A variância é computada por camada para lidar com diferenças de escala:
$$\text{Var}(\tilde{w}^{(\ell)}) = \frac{1}{n_\ell} \sum_{i=1}^{n_\ell} \left( \tilde{w}^{(\ell)}_i - \frac{1}{n_\ell} \sum_{j=1}^{n_\ell} \tilde{w}^{(\ell)}_j \right)^2$$
A penalidade de regularização $\psi(w)$ é a soma dos inversos das variâncias em todas as camadas selecionadas:
$$\psi(w) = \sum_{w^{(\ell)} \in \mathcal{W}} \frac{1}{\text{Var}(\tilde{w}^{(\ell)}) + \epsilon}$$
onde $\epsilon = 10^{-8}$ garante estabilidade numérica. O objetivo total de treinamento torna-se:
$$\mathcal{L}_{total}(w) = \mathcal{L}(w) + \lambda \psi(w)$$
onde $\lambda > 0$ é um coeficiente de balanceamento.

Análise Teórica

O artigo fornece uma análise de convergência mostrando que o WCR preserva a taxa de convergência padrão do Gradiente Descendente Estocástico (SGD). Sob suavidade $\beta_1$ da função de perda e suavidade $\beta_2$ do regularizador, o objetivo combinado satisfaz garantias padrão de convergência para estacionariedade. Como o regularizador é uma função determinística dos pesos, ele não introduz variância adicional no gradiente estocástico. Consequentemente, a taxa de convergência assintótica permanece $O(1/\sqrt{T})$, igualando o SGD padrão.

Contribuições Principais

1. Introdução do WCR: Um novo regularizador de tempo de treinamento que concentra a energia dos pesos em um pequeno subconjunto de parâmetros, encorajando explicitamente uma distribuição de pesos de cauda pesada em vez de redução uniforme.
2. Garantias Teóricas: Prova de que o WCR mantém a taxa de convergência padrão do SGD sob suposições suaves moderadas.
3. Validação Empírica: Avaliação abrangente em configurações diversas, incluindo:
   • Classificação de Imagens: ResNet-18/50, WideResNet-28-10 em CIFAR-10/100, SVHN, e ViT-B/32 em Tiny-ImageNet.
   • Segmentação Médica: ResNet-50–UNet no conjunto de dados LGG Brain MRI.
   • Ajuste Fino de LLM: Qwen-2.5-1.5B e LLaMA-3.2-1B usando LoRA em Commonsense-170K.
4. Compatibilidade: Demonstração de que o WCR é compatível com e aprimora otimizadores existentes robustos à poda (SAM, CrAM, S2SAM) e pode ser combinado com eles para ganhos adicionais.

Resultados Experimentais

Os autores avaliaram o WCR sob poda one-shot por magnitude sem retreinamento.

• Tarefas de Visão (CNNs & ViTs): O WCR melhorou consistentemente a precisão pós-poda, particularmente em níveis altos de esparsidade (e.g., 96% de poda).
  • Em CIFAR-10 com ResNet-18, adicionar WCR ao SGD melhorou a precisão na poda de 96% de 19,69% para 25,70%.
  • Quando combinado com SAM, o WCR produziu melhorias dramáticas: na poda de 96%, a precisão subiu de 48,36% (SAM sozinho) para 92,08% (SAM + WCR).
  • Tendências semelhantes foram observadas com S2SAM (72,51% $\to$ 93,44%) e em SVHN (9,74% $\to$ 95,99%).
  • Para ViT-B/32, o WCR melhorou a precisão de poda de 80% em CIFAR-100 de 64,11% (SAM) para 84,95%.
• Segmentação Médica: No conjunto de dados LGG Brain MRI, o WCR melhorou significativamente as pontuações F1 e reduziu a distância de Hausdorff sob podas de 85% e 88%. Notavelmente, para SGD na poda de 88%, a linha de base falhou em produzir segmentações válidas, enquanto SGD + WCR alcançou uma pontuação F1 de 0,5280. Resultados qualitativos mostraram que o WCR preservou melhor os limites das lesões em comparação com as linhas de base.
• Ajuste Fino de LLM: No ajuste fino baseado em LoRA, o WCR superou os regularizadores $\ell_1$ e DeepHoyer. No Qwen-2.5-1.5B, o WCR alcançou a maior precisão média na poda de 30% (69,54%) entre os regularizadores comparados, demonstrando robustez em cenários de ajuste fino eficiente em parâmetros.
• Generalização: A análise do autovalor principal de Hessian indicou que o WCR reduz a curvatura da superfície de perda, sugerindo que ele guia a otimização para mínimos mais planos, o que correlaciona-se com melhoria na generalização.

Significado e Alegações

O artigo afirma que moldar a distribuição da magnitude dos pesos durante o treinamento é uma abordagem eficaz para melhorar a robustez sob alta esparsidade. O significado do WCR reside em sua capacidade de:

• Criar uma separação mais clara entre parâmetros de grande magnitude (informativos) e de pequena magnitude (negligenciáveis).
• Permitir que a poda baseada em magnitude remova uma grande fração de parâmetros com impacto funcional mínimo.
• Operar como um regularizador independente ou como um componente complementar a métodos de alisamento da paisagem de perda como o SAM.

Os autores concluem que o WCR oferece uma solução prática, de tempo de treinamento, para a queda de precisão associada à poda one-shot agressiva, aplicável em CNNs, Transformers e Grandes Modelos de Linguagem, sem exigir mudanças arquiteturais ou retreinamento após a poda.