🤖 machine learning

Generalized Fisher-Weighted SVD: Scalable Kronecker-Factored Fisher Approximation for Compressing Large Language Models

Este artigo propõe o Generalized Fisher-Weighted SVD (GFWSVD), um método de compressão pós-treinamento escalável para grandes modelos de linguagem que utiliza uma aproximação fatorada por Kronecker da matriz de informação de Fisher completa para capturar correlações de parâmetros e superar significativamente as técnicas de compressão baseadas em diagonais existentes.

Autores originais: Viktoriia Chekalina, Daniil Moskovskiy, Tatiana Matveeva, Andrey Kuznetsov, Evgeny Frolov

Publicado 2026-07-17

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Viktoriia Chekalina, Daniil Moskovskiy, Tatiana Matveeva, Andrey Kuznetsov, Evgeny Frolov

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando encolher uma biblioteca enorme e intrincada para caber dentro de uma mochila sem perder as histórias contidas nela. Este é o desafio diário para cientistas que trabalham no campo da inteligência artificial, especificamente com "redes neurais" — programas de computador projetados para aprender como cérebros. Esses programas são construídos a partir de milhões de pequenos interruptores chamados "parâmetros". Para fazer esses programas rodarem mais rápido e em dispositivos menores, pesquisadores tentam cortar os interruptores que não estão fazendo muito trabalho. Mas aqui está a parte complicada: os interruptores não trabalham sozinhos. Eles são como um grupo de dança complexo; se você tirar um único dançarino, toda a rotina pode colapsar porque aquele dançarino estava dando as mãos para outra pessoa.

Por anos, a maneira padrão de decidir quais dançarinos cortar era olhar para cada um individualmente, ignorando o ato de dar as mãos. Era como verificar se um dançarino estava cansado sem notar que ele estava sustentando um parceiro. Este método era rápido, mas frequentemente arruinava a performance. O artigo que você está prestことで ler aborda este problema introduzindo uma nova maneira de ver a "dança" dos parâmetros. Ele utiliza uma ferramenta matemática chamada "Matriz de Informação de Fisher", que atua como um mapa mostrando como cada interruptor está conectado a todos os outros. O objetivo é encolher a biblioteca (o modelo de IA) mantendo as histórias (a inteligência) perfeitamente intactas.

A Grande Ideia: Ver a Dança Inteira, Não Apenas os Dançarinos

Os autores deste artigo, Viktoriia Chekalina e sua equipe, perceberam que os mapas antigos eram muito borrados. Eles queriam um mapa que mostrasse não apenas quais dançarinos eram importantes, mas como eles estavam interligados. Para fazer isso, eles inventaram um novo algoritmo chamado Fatoração de Fisher Livre de Matriz (MFF).

Pense na Matriz de Informação de Fisher como uma névoa gigante e densa cobrindo toda a pista de dança. No passado, tentar enxergar através desta névoa para encontrar as conexões era impossível porque a névoa era muito espessa e a pista de dança era grande demais. Os métodos antigos apenas supunham que as conexões eram simples (como uma linha reta), o que perdia as curvas complexas da dança real.

O novo truque da equipe, MFF, é como ter um par de óculos especiais que permite ver a estrutura da névoa sem nunca precisar dissipar toda a névoa. Em vez de tentar escrever cada conexão individualmente (o que consumiria muita memória), o algoritmo deles calcula as conexões em tempo real, focando apenas nas "camadas" específicas da dança. É uma abordagem "livre de matriz" (matrix-free), o que significa que ele nunca chega a construir o mapa gigante e pesado; ele apenas usa a forma do mapa para guiar os cortes.

A Solução: Uma Nova Maneira de Encolher o Modelo

Usando esta nova maneira de ver as conexões, a equipe desenvolveu um método chamado GFWSVD (SVD Ponderada por Fisher Generalizada). Se você imaginar o modelo de IA como um bloco de argila, os métodos padrão poderiam apenas fatiar as bordas. O GFWSVD, no entanto, entende o grão interno da argila. Ele sabe que algumas partes da argila estão firmemente tecidas e devem ser cortadas de uma forma específica para manter a forma.

O artigo prova que, sob certas condições matemáticas (especificamente, se as conexões seguem um padrão chamado "Distribuição Normal Multivariada de Matriz"), o método deles é a maneira única e ótima de encolher o modelo. Não é apenas um palpite; é a maneira matematicamente perfeita de minimizar o dano à performance do modelo ao remover parâmetros.

O Que Eles Descobriram: Aparando Metade do Modelo

A equipe testou seu novo método em alguns dos modelos de IA mais famosos do mundo, incluindo o Llama 2 e o Llama 3.1, que são modelos de linguagem massivos usados para tudo, desde escrever código até conversar. Eles também testaram o BERT, um modelo usado para compreensão de texto.

Aqui está o que descobriram:

O Poder de Compressão: Eles foram capazes de encolher esses modelos gigantes em até 50%. Isso significa cortar o número de parâmetros pela metade.
A Performance: Mesmo com metade do tamanho, os modelos performaram tão bem quanto, ou às vezes até melhor do que, as versões originais. Em muitos testes, o GFWSVD superou os melhores métodos atuais (como aproximações diagonais e métodos baseados em ativação) em todos os aspectos.
Evitando o Colapso: Quando tentaram comprimir os modelos em 40%, os métodos padrão começaram a falhar, fazendo com que a IA perdesse sua capacidade de raciocinar ou responder perguntas corretamente. O GFWSVD, no entanto, permaneceu robusto e confiável.
A Velocidade: Como os modelos são menores, eles rodam mais rápido. Em um chip potente (um NVIDIA A100), os modelos comprimidos processaram texto 1,34 vezes mais rápido do que os modelos originais não comprimidos.

Por Que Isso Importa

Os autores mostraram que, ao prestar atenção nas conexões ocultas entre os parâmetros (os elementos fora da diagonal), você pode encolher modelos de IA de forma muito mais agressiva sem quebrá-los. Eles provaram que ignorar essas conexões, como fazem a maioria dos outros métodos, deixa muito potencial de performance sobre a mesa.

Eles também mostraram que este método funciona como um excelente "ponto de partida" para outros processos de treinamento. Se você usar o GFWSVD para encolher um modelo primeiro e, depois, deixar o modelo aprender um pouco mais (ajuste fino/fine-tuning), ele mantém sua precisão muito melhor do que se você tivesse usado métodos de encolhimento padrão.

Em resumo, este artigo fornece uma "tesoura" matematicamente sólida para cortar modelos de IA gigantes. Ele nos permite manter a inteligência enquanto descartamos o volume, tornando a IA poderosa acessível em dispositivos menores e mais baratos de operar, tudo sem perder a magia do modelo original.

Resumo Técnico: Aproximação de Fisher Fatorada por Kronecker Escalável para Sensibilidade de Parâmetros de Redes Neurais

1. Declaração do Problema

A Matriz de Informação de Fisher (FIM) oferece um arcabouço geométrico fundamentado para compreender a sensibilidade de parâmetros em redes neurais, particularmente para tarefas como compressão pós-treinamento. No entanto, a FIM completa é computacionalmente inviável de calcular ou armazenar para modelos de aprendizado profundo de alta dimensão devido à sua escala quadrática ( $O(d^2)$ ). Consequentemente, os métodos existentes geralmente dependem de aproximações diagonais (ex: Frankle & Carbin, 2019; Wu et al., 2024), que assumem independência de parâmetros. Essa suposição descarta estruturas críticas de correlação fora da diagonal entre os parâmetros do modelo, levando a uma compressão subótima e potencial degradação de precisão, especialmente em arquiteturas densas como Large Language Models (LLMs).

2. Metodologia

Fatoração de Fisher Livre de Matriz (MFF)

Os autores propõem a Fatoração de Fisher Livre de Matriz (MFF), um algoritmo tratável por GPU para aproximar a FIM sem materializar a matriz completa.

Estrutura de Kronecker: A MFF aproxima a FIM empírica ( $I_F$ ) como um produto de Kronecker de duas matrizes menores, $A$ e $B$ , de tal forma que $I_F \approx A \otimes B$ . Esta estrutura captura tanto as dependências linha-coluna quanto coluna-linha dentro da matriz de pesos de uma camada linear.
Computação Livre de Matriz: Para evitar a complexidade $O(m^2n^2)$ de construir a matriz de Fisher permutada $\tilde{I}_F$ , a MFF utiliza o método de Lanczos para SVD (Decomposição de Valor Singular) truncada. Ela depende exclusivamente de operações de multiplicação matriz-vetor (matvec).
Matvec Eficiente: Ao aproveitar a propriedade $(K \otimes L)\text{vec}(C) = \text{vec}(K^\top CL)$ , o algoritmo calcula a ação da matriz de Fisher permutada sobre um vetor usando uma sequência de multiplicações de matrizes compactas envolvendo matrizes de gradiente ( $G_i$ ) de mini-batches. Isso reduz a complexidade de tempo para $O(mn^2 + m^2n)$ , tornando-o viável para grandes camadas de Transformers.

SVD Ponderada por Fisher Generalizada (GFWSVD)

Construindo sobre a MFF, os autores derivam a GFWSVD, um método de decomposição de camada de baixo rank de forma fechada para compressão pós-treinamento.

Fundamentação Teórica: Sob a suposição de que os pesos da camada seguem uma distribuição Normal Matriz-Variante (MVN) e que a FIM admite uma fatoração de Kronecker, os autores provam que minimizar o aumento esperado de perda de segunda ordem (sensibilidade de parâmetro) produz uma decomposição ótima única.
Algoritmo: A aproximação de rank- $r$ ótima de uma matriz de pesos $W^*$ é dada por $W_r = L_B^{-\top} \hat{W}_r L_A^{-1}$ , onde $\hat{W}_r$ é a SVD truncada de rank- $r$ de uma matriz auxiliar $\hat{W} = L_B^\top W^* L_A$ . Aqui, $L_A$ e $L_B$ são fatores de Cholesky dos componentes de Kronecker $A$ e $B$ .
Generalização: Esta abordagem generaliza métodos anteriores:
- O SVD padrão corresponde a transformações de identidade.
- O SVD Ponderado por Fisher (FWSVD) corresponde a transformações diagonais em um dos lados.
- A GFWSVD emprega transformações completas, não diagonais, em ambos os lados, capturando estruturas de correlação mais ricas.

3. Principais Contribuições

Primitiva Algorítmica: A derivação da MFF, um algoritmo escalável e tratável por GPU para aproximação de FIM estruturada por Kronecker que evita o armazenamento explícito da matriz.
Otimalidade Teórica: Uma prova de que, sob as suposições de MVN e FIM com estrutura de Kronecker, a GFWSVD fornece a compressão de baixo rank única que minimiza o aumento esperado da perda de segunda ordem.
Desempenho Empírico: A proposta da GFWSVD como um método de compressão que supera consistentemente aproximações de Fisher diagonais (FWSVD) e baselines baseados em ativação (ASVD, SVD-LLM) em vários regimes de compressão.

4. Resultados Experimentais

Os autores avaliaram seu método em conjuntos de dados sintéticos, modelos apenas-encoder (BERT) e LLMs apenas-decoder (Llama 2 7B, Llama 3.1 8B).

Benchmarks Sintéticos: Em configurações controladas com estruturas de correlação explícitas (isotrópica, anisotrópica e Toeplitz), a GFWSVD demonstrou vantagens substanciais sobre métodos diagonais conforme as correlações aumentavam, confirmando a importância de capturar dependências fora da diagonal.
Compressão de BERT: No benchmark GLUE, a GFWSVD alcançou resultados de estado da arte, particularmente em ranks baixos (maior compressão). Por exemplo, em uma razão de compressão de 40%, a GFWSVD manteve uma pontuação macro-média GLUE de 0,51, superando significativamente o SVD (0,37) e o FWSVD (0,38).
Compressão de LLM:
- Llama 2 7B & Llama 3.1 8B: A GFWSVD superou substancialmente métodos de decomposição de camada independente (FWSVD, ASVD) e métodos cross-layer (Basis Sharing) em razões de compressão de até 50%.
- Robustez: Com 40% de redução de parâmetros, a GFWSVD evitou de forma confiável o colapso de desempenho observado em arquiteturas densas onde métodos padrão degradam.
- Inicialização de Fine-Tuning: Quando usada para inicializar pipelines de otimização como o Dobi-SVD, a GFWSVD preservou melhor a precisão do que a inicialização SVD padrão, mostrando apenas uma degradação moderada em 40% de compressão comparado às quedas substanciais das baselines.
Eficiência: O tempo de execução para computar os fatores de Kronecker para uma única camada no Llama 3.1 8B foi de aproximadamente 249 segundos em uma GPU, demonstrando tratabilidade mesmo para modelos grandes. Observou-se acelerações de throughput de inferência de até 1,34 $\times$ em 50% de compressão.

5. Significância e Alegações

O artigo posiciona a MFF e a GFWSVD como primitivas algorítmicas fundamentais para a aproximação de redes neurais escalável e consciente de segunda ordem.

Avanço Teórico: O trabalho estabelece uma ligação direta entre a geometria de Fisher e a aproximação de baixo rank ótima, generalizando métodos anteriores baseados em Fisher diagonal para um framework de sensibilidade de matriz completa teoricamente fundamentado.
Impacto Prático: Ao evitar a construção explícita da FIM completa, o método permite o aproveitamento de informações de segunda ordem em grandes redes neurais, oferecendo um caminho prático para compressão eficiente de modelos sem os custos de memória proibitivos da estimativa de curvatura total.
Escopo: Os autores enfatizam que, embora sua avaliação foque na compressão pós-treinamento, a formulação subjacente visa a sensibilidade de parâmetros via perda quadrática ponderada por Fisher, sugerindo aplicabilidade a outras tarefas impulsionadas por sensibilidade. Eles observam que o método assume um ótimo local e uma distribuição MVN, que são conveniências analíticas que se sustentam bem empiricamente, mas podem não refletir perfeitamente a dinâmica complexa do treinamento estocástico.

Os autores declaram não possuir conflitos de interesse financeiros e observam que todos os modelos avaliados (BERT, Llama 2, Llama 3.1) estão disponíveis publicamente.