Low-Rank Compression of Pretrained Models via Randomized Subspace Iteration

Título: Compressão de Baixo Rango de Modelos Pré-treinados via Iteração de Subespaço Aleatorizada

Autor: Farhad Pourkamali-Anaraki (Universidade do Colorado Denver)

1. Problema e Motivação

O rápido crescimento no tamanho dos modelos de aprendizado profundo (com bilhões de parâmetros) criou um gargalo significativo para a sua implantação prática em dispositivos com recursos limitados (como móveis e sistemas embarcados). Embora técnicas de compressão como quantização, poda (pruning) e destilação de conhecimento existam, a decomposição de baixo rango baseada na Decomposição em Valores Singulares (SVD) é uma abordagem teoricamente fundamentada para reduzir o número de parâmetros.

No entanto, existem dois desafios principais:

1. Custo Computacional: Calcular a SVD exata de matrizes de peso grandes é proibitivamente caro em termos de tempo e memória.
2. Qualidade da Aproximação: Métodos aleatórios existentes, como a SVD Aleatorizada (RSVD), sofrem quando o espectro de valores singulares do modelo decai lentamente. Muitos modelos pré-treinados modernos exibem exatamente esse comportamento (decaimento lento), o que faz com que a RSVD padrão falhe em capturar o subespaço dominante com precisão, resultando em perda significativa de desempenho preditivo.

2. Metodologia Proposta

O autor propõe uma abordagem baseada em Iteração de Subespaço Aleatorizada (RSI - Randomized Subspace Iteration) para superar as limitações da RSVD.

A. Fundamentação Teórica (Perturbação do Softmax)

O trabalho estabelece uma ligação teórica entre a qualidade da aproximação de baixo rango e o desempenho preditivo:

• Foi demonstrado que a perturbação nas probabilidades de classe previstas (saída do softmax) é diretamente controlada pelo erro de aproximação espectral ($\|W - \hat{W}\|_2$) das matrizes de peso comprimidas.
• O teorema prova que a diferença entre as probabilidades originais e as comprimidas é limitada por $\frac{1}{2} R \|W - \hat{W}\|_2$, onde $R$ é o limite da norma dos vetores de características. Isso valida que melhorar a precisão da decomposição da matriz de peso melhora diretamente a confiabilidade do classificador.

B. Algoritmo RSI (Randomized Subspace Iteration)

A RSI introduz um mecanismo controlável para melhorar a separação espectral, especialmente útil quando o decaimento dos valores singulares é lento.

• Mecanismo: Ao contrário da RSVD padrão (que corresponde a uma iteração, $q=1$), a RSI aplica iterações de potência ($q > 1$).
• Processo: O algoritmo multiplica a matriz de peso $W$ e sua transposta $W^T$ repetidamente por vetores aleatórios. Isso amplifica a contribuição dos maiores valores singulares e suprime os menores.
• Vantagem: Aumentar o número de iterações $q$ melhora drasticamente a qualidade da aproximação sem um custo computacional proibitivo, pois as operações de multiplicação de matrizes são altamente otimizadas em GPUs modernas.

3. Contribuições Principais

1. Análise Teórica de Perturbação: Estabelecimento de um limite superior rigoroso para o erro nas probabilidades de saída (softmax) em função do erro espectral da compressão, conectando a matemática da aproximação de matrizes à performance do modelo.
2. Proposta do Método RSI: Introdução da RSI como uma alternativa superior à RSVD para modelos pré-treinados, capaz de lidar com espectros de valores singulares de decaimento lento.
3. Validação Empírica Abrangente: Demonstração de que a RSI atinge uma qualidade de aproximação quase ótima e supera a RSVD em precisão preditiva sob compressão agressiva, tanto em redes convolucionais (VGG19) quanto em arquiteturas baseadas em Transformers (ViT).

4. Resultados Experimentais

Os experimentos foram realizados em VGG19 e ViT-B/32 utilizando o conjunto de dados Imagenette (subconjunto do ImageNet).

• Análise de Camada Única:

  • Em camadas com decaimento espectral lento, a RSVD ($q=1$) apresentou erros normalizados altos (ex: ~2.0 para VGG, >4.0 para ViT).
  • A RSI com $q=4$ reduziu o erro para próximo do ideal (aprox. 1.1), aproximando-se da precisão da SVD exata.
  • Eficiência: A RSI foi até 76 vezes mais rápida que a SVD exata em GPUs, mantendo ganhos de velocidade de uma ordem de magnitude mesmo em ranks maiores.

• Compressão End-to-End (Modelo Completo):

  • VGG19: Com uma taxa de compressão agressiva ($\alpha=0.2$, mantendo apenas 20% dos parâmetros), a RSVD ($q=1$) caiu para ~59% de acurácia Top-1. A RSI com $q=4$ manteve 78.63% de acurácia, muito próxima do modelo original (82.57%).
  • ViT-B/32: A RSI também demonstrou superioridade, embora a compressão extrema ($\alpha=0.2$) tenha impactado mais severamente o Transformer. No entanto, em taxas moderadas ($\alpha=0.4$), a RSI com $q=4$ manteve alta precisão com redução significativa de parâmetros.
  • Tempo de Compressão: O processo de compressão de todo o modelo levou menos de um segundo nas configurações mais eficientes.

5. Significado e Conclusão

O trabalho demonstra que a Iteração de Subespaço Aleatorizada (RSI) é uma ferramenta essencial para a compressão eficiente de modelos de IA modernos.

• Superação de Limitações: Resolve o problema de decaimento espectral lento que inviabilizava o uso de métodos aleatórios simples em modelos de ponta.
• Viabilidade Prática: Permite a implantação de modelos grandes em ambientes com recursos limitados sem a necessidade de retreinamento (fine-tuning), funcionando como classificadores "prontos para uso" (off-the-shelf) após a compressão.
• Sinergia Futura: O método é complementar a técnicas como LoRA (Low-Rank Adaptation), sugerindo que a compressão via RSI pode ser aplicada aos pesos base antes da adaptação, oferecendo ganhos duplos de eficiência em memória e computação.

Em suma, o artigo fornece tanto a base teórica quanto a prova empírica de que aumentar o número de iterações em métodos aleatórios de baixo rango é uma estratégia crítica para a compressão eficaz de modelos pré-treinados de grande escala.