SVD-Surgeon: Optimal Singular-Value Surgery for Large Language Model Compression

Resumo Técnico: SVD-Surgeon

Problema
Os Grandes Modelos de Linguagem (LLMs) enfrentam barreiras significativas de implantação devido aos seus massivos requisitos de memória e computação. Embora a Decomposição de Baixo Posto via Decomposição de Valores Singulares (SVD) ofereça uma estratégia de compressão amigável ao hardware ao aproximar matrizes de pesos $\theta = U\Sigma V^\top$ com um posto truncado $r$, a truncagem ingênua dos menores valores singulares raramente é ideal. Os métodos existentes baseados em SVD focam primariamente em como fatorizar os pesos (por exemplo, via branqueamento de dados ou reponderação de importância) e em quais componentes descartar. No entanto, eles frequentemente negligenciam o potencial de reparar os componentes restantes para compensar a perda de informação induzida pela truncagem.

Metodologia: SVD-Surgeon
O artigo introduz o SVD-Surgeon, um método livre de treinamento que adapta o framework Optimal Brain Surgeon (OBS) para a base de valores singulares. Diferente de abordagens anteriores que operam sobre pesos brutos ou esquemas de fatoração específicos, o SVD-Surgeon trata os próprios valores singulares ($\sigma_i$) como os parâmetros a serem otimizados.

1. Modelagem de Perda de Segunda Ordem:
   O método assume que o modelo está próximo de um mínimo de perda. Ele modela a mudança na perda ($\delta L$) sob uma perturbação dos valores singulares ($\delta \sigma$) usando uma expansão de Taylor de segunda ordem:
   $$\delta L \approx \frac{1}{2} \delta \sigma^\top \bar{H} \delta \sigma$$
   Aqui, $\bar{H}$ é uma matriz Hessiana compacta $\ell \times \ell$ (onde $\ell = \min(m, n)$), derivada pela projeção da Hessiana do espaço de pesos total no espaço de valores singulares. Crucialmente, a derivação não assume que os fatores $U$ e $V$ são ortonormais, permitindo que o método se aplique a uma ampla classe de compressores SVD.

2. Aproximação de Fisher:
   Para evitar o cálculo de segundas derivadas, a Hessiana $\bar{H}$ é aproximada usando a matriz de informação de Fisher empírica. Esta é computada eficientemente a partir de gradientes de calibração ($G_n = \partial L_n / \partial \theta$) projetados na base de valores singulares:
   $$\bar{H} = \frac{1}{N} \sum_{n=1}^N \bar{g}_n \bar{g}_n^\top, \quad \text{onde } \bar{g}_n = \text{diag}(U^\top G_n V)$$
   Isso permite a construção da Hessiana inteiramente a partir de informações de primeira ordem.

3. Compensação em Forma Fechada:
   Dado um conjunto de valores singulares para podar ($\sigma_C$) e um conjunto para manter ($\sigma_S$), o SVD-Surgeon resolve a atualização ótima $\delta \sigma_S$ que minimiza o aumento da perda. Ao definir a perturbação de poda como $\delta \sigma_C = -\sigma_C$ e minimizar o objetivo não restrito sobre $\delta \sigma_S$, o método deriva uma atualização em forma fechada:
   $$\delta \sigma_S^\star = \bar{H}_{SS}^{-1} \bar{H}_{SC} \sigma_C$$
   Esta atualização ajusta os valores singulares retidos para absorver a perda induzida pela remoção dos valores truncados, efetivamente "reparando cirurgicamente" a decomposição em uma única etapa, sem necessidade de otimização baseada em gradiente ou ajuste fino pós-treinamento.

4. Poda Baseada em Saliência:
   A mesma análise produz um escore de saliência para cada valor singular, representando a perda incorrida se aquele valor for removido enquanto os outros são otimamente corrigidos:
   $$\text{Saliência}_i = \frac{\sigma_i^2}{2 [\bar{H}^{-1}]_{ii}}$$
   Isso fornece uma alternativa fundamentada e consciente da perda à poda baseada em magnitude.

5. Variantes:

   • Apenas Atualização (Update-only - U): Herda o conjunto de poda de um compressor hospedeiro (por exemplo, mantendo os top-$r$ valores singulares) e aplica a compensação.
   • Seleção e Atualização (Select-and-update - S): Utiliza os escores de saliência para determinar quais valores podar e, em seguida, aplica a compensação.

Principais Contribuições

• Extensão de Framework: O artigo traz o framework Optimal Brain Surgeon para a base de valores singulares, derivando uma atualização em forma fechada e livre de treinamento para os valores singulares retidos que compensa a truncagem até a segunda ordem da perda.
• Generalidade: Como a derivação não faz suposições de ortonormalidade em $U$ e $V$, o SVD-Surgeon atua como uma camada corretiva aplicável a uma ampla gama de compressores baseados em SVD existentes.
• Métrica de Saliência: Introduz uma métrica de saliência consciente da perda para selecionar quais valores singulares podar, sendo superior a simples limiares de magnitude.

Resultados Experimentais
Os autores avaliaram o SVD-Surgeon aplicando-o sobre o SVD-LLM, um método de compressão baseado em SVD de ponta.

• Modelos: Família OPT (1.3B, 2.7B, 6.7B) e LLaMA-2-7B.
• Métricas: Perplexidade nos datasets WikiText-2 e C4.
• Desempenho: O método melhorou o compromisso entre perplexidade e compressão em todos os modelos e razões de compressão. Os ganhos foram mais significativos sob compressão agressiva (altas razões de poda), onde a truncagem ingênua tipicamente causa uma degradação severa de desempenho.
• Eficiência: O método opera em uma única passagem usando um conjunto de calibração, não exigindo otimização baseada em gradiente ou ajuste fino.

Significância e Alegações
O artigo posiciona o SVD-Surgeon como um aprimoramento modular que pode ser "camadas sobre" compressores SVD existentes. Sua principal significância reside em mudar o foco de como decompor pesos para como reparar a decomposição após a truncagem. Ao tratar os valores singulares como parâmetros e aplicar otimização de segunda ordem, o método recupera a capacidade do modelo que é tipicamente perdida durante a compressão agressiva. Os autores enfatizam que esta é uma solução livre de treinamento que não requer retreinamento ou ajuste fino, tornando-a uma ferramenta prática para implantar LLMs comprimidos sem overhead computacional adicional durante a fase de compressão. Embora o ajuste fino pós-treinamento permaneça ortogonal e compatível, o SVD-Surgeon visa maximizar o desempenho imediatamente após a etapa de compressão.