💬 NLP

SigmaScale: LLM Compression with SVD-based Low-Rank Decomposition and Learned Scaling Matrices

O SigmaScale é um novo método de compressão de LLM que otimiza matrizes de escalonamento diagonal aprendidas para reduzir o posto intrínseco efetivo de matrizes de pesos via SVD ciente de ativações, alcançando um desempenho competitivo com técnicas de estado da arte em modelos como Llama 3.1 e Qwen3.

Autores originais: Ernests Lavrinovics, Marco Letizia, Roy Janco, Shai Segal, Johannes Bjerva, Maurizio Pierini

Publicado 2026-06-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ernests Lavrinovics, Marco Letizia, Roy Janco, Shai Segal, Johannes Bjerva, Maurizio Pierini

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: Modelos Gigantes são Pesados

Imagine os Grandes Modelos de Linguagem (LLMs) como o Llama 3.1 ou o Qwen3 como bibliotecas massivas e incrivelmente detalhadas. Essas bibliotecas contêm bilhões de livros (parâmetros) que permitem que a IA seja inteligente e responda perguntas. No entanto, como são tão enormes, são pesadas para carregar, caras para executar e exigem computadores poderosos e famintos por energia apenas para ler uma única frase.

Cientistas querem encolher essas bibliotecas para que caibam em dispositivos menores sem perder as partes "inteligentes". Isso é chamado de compressão.

O Jeito Antigo: O "Editor de Vendas"

Uma forma popular de encolher esses modelos é chamada de SVD (Decomposição de Valor Singular). Pense no cérebro do modelo como uma planilha gigante de números.

A Analogia: Imagine que você tem um documento de 100 páginas, mas só tem espaço para manter 10 páginas. O método antigo de SVD age como um editor vendado. Ele olha para o documento e diz: "Ok, vou manter as primeiras 10 páginas que tiverem mais tinta e jogar o resto fora".
A Falha: Às vezes, a informação mais importante não está nas páginas com mais tinta. Ela pode estar escondida nas margens ou escrita em uma fonte minúscula. Ao cortar cegamente o "final da cauda" dos dados, o modelo perde sua capacidade de entender nuances e começa a cometer erros.

A Nova Solução: SigmaScale (O "Encolhedor Inteligente")

Os autores deste artigo propõem um novo método chamado SigmaScale. Em vez de apenas cortar cegamente os 90% inferiores dos dados, o SigmaScale age como um editor inteligente com uma lupa e um marca-texto.

Veja como funciona, passo a passo:

1. O Truque do "Esticar e Encolher"

Antes que o editor corte as páginas, o SigmaScale aplica um filtro especial de "esticar e encolher" ao documento.

A Analogia: Imagine que o documento é feito de borracha. O SigmaScale estica as partes importantes (tornando-as maiores e mais fáceis de ver) e encolhe as partes não importantes (tornando-as menores).
Como ele faz isso: Ele aprende dois conjuntos de números (vetores) que agem como réguas de linha e coluna. Ele não apenas adivinha onde cortar; ele aprende exatamente como esticar os dados para que a informação mais crítica se mova para o topo da lista.

2. A Perda "Consciente da Ativação"

O artigo menciona que este método é "consciente da ativação" (activation-aware).

A Analogia: Um editor normal apenas olha para o papel. O SigmaScale olha para como o papel é realmente usado. Ele pergunta: "Quando um humano lê isso, de quais palavras eles realmente precisam para entender a história?". Ele otimiza o esticamento com base em como o modelo realmente processa a informação, não apenas como os números parecem na página.

3. O Resultado: Uma Biblioteca Menor e Mais Inteligente

Após esticar as partes importantes, o editor (SVD) corta a parte inferior. Como o SigmaScale esticou as partes importantes primeiro, o "corte" acontece em um lugar onde a informação de menor valor está armazenada.

O Resultado: O modelo "encolhido" resultante é muito menor, mas mantém o "rank intrínseco" (a inteligência central) muito melhor do que os métodos antigos.

O Que os Experimentos Mostraram

Os pesquisadores testaram isso no Llama 3.1 (8B) e no Qwen3-8B. Eles compararam o SigmaScale com outros métodos de alto nível (SVD-LLM e ASVD+).

Compressão Leve (Mantendo 90% do tamanho): O SigmaScale foi o vencedor claro. Ele manteve a "perplexidade" do modelo (uma medida de quão confuso o modelo está) muito mais baixa do que os outros. Foi como manter 90% da biblioteca, mas de alguma forma manter 95% da inteligência.
Compressão Moderada (Mantendo 75% do tamanho): O SigmaScale ainda teve um desempenho muito bom, muitas vezes superando a competição em testes específicos de lógica e raciocínio.
Compressão Extrema (Mantendo 50% do tamanho): Aqui, o SigmaScale teve dificuldades, assim como os outros métodos. O artigo admite que, se você reduzir a biblioteca pela metade, nem mesmo um editor inteligente pode salvar o modelo de perder a sanidade. Não é uma solução mágica para encolhimento extremo.

A Etapa de "Ajuste Fino" (Fine-Tuning)

Após encolher o modelo, ele fica um pouco instável. Os pesquisadores também testaram duas maneiras de estabilizá-lo novamente:

Ajuste Fino Supervisionado (Supervised Fine-Tuning): Ensinar o modelo encolhido com novos exemplos.
Destilação de Conhecimento (Knowledge Distillation - KD): Ter um modelo "Professor" gigante e não encolhido guiando o pequeno modelo "Aluno".

A Descoberta: Surpreendentemente, para este método específico, o "Professor" (KD) não ajudou muito mais do que apenas ensinar o aluno diretamente. Ambos os métodos funcionaram quase da mesma forma.

O Resumo Final

SigmaScale é uma nova técnica que torna o encolhimento de modelos de IA mais inteligente. Em vez de apenas cortar a parte inferior dos dados, ele primeiro aprende como reorganizar os dados para que as partes mais importantes sejam salvas.

Melhor para: Situações em que você precisa economizar espaço, mas não pode se dar ao luxo de perder muita inteligência (compressão leve a moderada).
Não é para: Tentar encolher um modelo para um tamanho minúsculo (compressão extrema), onde o método falha.
Lição Principal: É uma abordagem flexível e aprendida que se adapta à forma específica do cérebro do modelo, em vez de usar uma fórmula de tamanho único.

Resumo Técnico: SigmaScale

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) alcançaram um desempenho notável através da escala de parâmetros para dezenas ou centenas de bilhões, mas esse crescimento cria barreiras significativas em relação à acessibilidade tecnológica e ao impacto ambiental devido ao alto consumo de energia na inferência. Embora existam técnicas de compressão de modelos, como quantização, poda (pruning) e destilação de conhecimento, muitas exigem hardware especializado ou pipelines de retreinamento complexos. A decomposição de baixo posto (low-rank decomposition), especificamente a Decomposição de Valores Singulares Truncada (SVD), oferece uma alternativa independente de hardware ao aproximar matrizes de pesos $W$ como o produto de matrizes de posto inferior.

No entanto, a SVD padrão enfrenta duas limitações primárias no contexto de LLMs:

Subotimalidade Analítica: O teorema de Eckart–Young–Mirsky fornece a solução analítica ótima para minimizar a norma de Frobenius $||W - W'||_F$ . Contudo, essa minimização estrutural frequentemente apresenta um desempenho insatisfatório em pesos de redes neurais porque ignora outliers de ativação e o comportamento funcional da rede.
Desafios de Otimização: A SVD ingênua é computacionalmente cara ( $O(n^3)$ ) e possui derivadas instáveis, tornando difícil sua integração em rotinas de otimização baseadas em gradiente. Além disso, métodos anteriores que tentam melhorar a SVD via matrizes de escala (por exemplo, para absorver outliers de ativação) dependem de derivações analíticas (como a decomposição de Cholesky da covariância de ativação) em vez de aprender essas transformações diretamente.

Metodologia: SigmaScale

Os autores propõem o SigmaScale, um método que aprende matrizes de escala auxiliares $S$ para auxiliar a compressão baseada em SVD truncada. Em vez de derivar matrizes de escala analiticamente, o SigmaScale as otimiza via gradiente descendente sob uma perda sensível à ativação.

O pipeline consiste em três estágios principais:

Sondagem de Sensibilidade (Sensitivity Probing): Antes da compressão, o método determina os postos de truncamento ideais para cada camada e módulo (MLP e atenção) para atingir uma razão de compressão global alvo enquanto minimiza o aumento da perplexidade. Isso utiliza um algoritmo de busca binária semelhante ao ASVD.
Matrizes de Escala Aprendidas:
- Para uma matriz de peso $W \in \mathbb{R}^{m \times n}$ , dois vetores $d_r \in \mathbb{R}^m$ e $d_c \in \mathbb{R}^n$ são inicializados a partir de uma distribuição Gaussiana escalonada.
- Esses vetores definem matrizes de escala diagonais positivas via exponenciação: $S_r = \text{diag}(\exp(d_r))$ e $S_c = \text{diag}(\exp(d_c))$ .
- A matriz de peso é escalonada ( $S_r W S_c$ ), a SVD truncada é realizada para obter fatores de posto- $k$ , e a escala inversa é aplicada para reconstruir a matriz comprimida $W'$ .
- Os parâmetros $d_r$ e $d_c$ são otimizados para minimizar uma função de perda sensível à ativação:
  $L_F = \frac{1}{mn} ||WX - W'X||_F^2$
  onde $X$ representa as ativações de um conjunto de calibração. Isso garante que a compressão preserve a funcionalidade do modelo em vez de apenas sua estrutura.
- Nota: Para lidar com a derivada instável da SVD, o loop de treinamento pula etapas de atualização onde as diferenças de valores singulares se aproximam de zero para evitar valores NaN.
Ajuste Fino Pós-Compressão (Post-Compression Fine-Tuning): Após a compressão, o modelo passa por um ajuste fino para realinhar os pesos. Os autores comparam o Ajuste Fino Supervisionado (SFT) contra a Destilação de Conhecimento (KD) usando um modelo professor não comprimido para recuperar o desempenho.

Principais Contribuições

Aprendizado de Parâmetros de Escala: Tanto quanto o conhecimento dos autores, este é o primeiro trabalho a explorar o aprendizado dos parâmetros de matrizes de escala de linha e coluna $S$ especificamente para melhorar o desempenho da compressão SVD, afastando-se de derivações analíticas.
Análise de Recuperação de Desempenho: O artigo fornece uma análise comparativa de KD versus SFT para a recuperação de desempenho no contexto da compressão baseada em SVD, utilizando conjuntos de dados variados de pós-compressão.
Dataset Customizado: Os autores introduzem uma variante customizada do dataset Alpaca, gerada usando saídas de instrução do Llama 3.1-8B, para introduzir variância nos experimentos de realinhamento de pesos.

Resultados e Análise

Experimentos foram conduzidos nos modelos Llama 3.1 8B Instruct e Qwen3-8B através de várias razões de compressão (retenção de 0.90x, 0.75x, 0.50x).

Competitividade: O SigmaScale é competitivo com métodos de estado da arte baseados em SVD (SVD-LLM e ASVD+).
- Em 0.90x de retenção, o SigmaScale melhora substancialmente a perplexidade em relação ao SVD-LLM para ambos os modelos, enquanto recupera a maior parte do desempenho em benchmarks zero-shot.
- Em 0.75x de retenção, o SigmaScale geralmente melhora vários benchmarks zero-shot, embora os ganhos de perplexidade sejam marginais.
- Em 0.50x de retenção, o desempenho degrada drasticamente, particularmente para o Llama 3.1. Os autores observam que o método é mais eficaz quando o subespaço retido é grande o suficiente para que a escala aprendida compense as direções singulares descartadas; não é uma solução completa para compressão de posto extremamente baixo.
KD vs. SFT: Contrariando algumas literaturas prévias que sugerem que KD é superior para recuperação, os resultados dos autores não mostram melhorias significativas de KD sobre SFT para o SigmaScale em seu setup específico.
Redução de Posto Intrínseco: Os autores analisam a "entropia de posto efetivo" dos valores singulares ( $\Sigma$ ) durante a otimização. Eles observam uma forte correlação (aprox. 0.81–0.92) entre a redução na perda de compressão e a redução na entropia de posto efetivo. Isso sugere que a escala aprendida reduz o posto intrínseco efetivo das matrizes de peso, alinhando-as melhor com as restrições de compressão.

Significância e Limitações

O artigo posiciona o SigmaScale como uma opção válida para aplicações que exigem redução de custos de inferência de LLMs, particularmente em regimes de compressão leve a moderada. Ao se adaptar à estrutura dos pesos individuais do modelo através de transformações aprendidas e sensíveis à ativação, ele oferece uma rota mais flexível para compressão de baixo posto do que métodos analíticos.

Os autores reconhecem explicitamente várias limitações:

Custo Computacional: O método ainda requer o cálculo da SVD em cada etapa de atualização durante o treinamento da matriz de escala, mantendo a complexidade $O(n^3)$ , e não explora alternativas de SVD aproximada mais rápidas.
Compressão Extrema: O método degrada significamente sob compressão agressiva (ex: 0.50x), indicando que é um mecanismo para melhorar a qualidade do truncamento no regime de posto retido, em vez de uma solução para compressão extrema.
Escopo de Avaliação: A avaliação é limitada à perplexidade e benchmarks zero-shot específicos; efeitos em geração de longo formato ou tarefas de codificação não foram explorados.
Dados de Calibração: A robustez a diferentes distribuições de calibração não foi formalmente verificada, e o uso de Wikitext é observado como uma escolha subótima feita principalmente para consistência com baselines anteriores.