🤖 machine learning

Learning Fine-grained Parameter Sharing via Sparse Tensor Decomposition

Este artigo apresenta o Compartilhamento de Parâmetros de Alta Granularidade (FiPS), um framework unificado que comprime os MLPs de transformadores ao otimizar conjuntamente o compartilhamento de parâmetros entre blocos, a fatoração de baixo posto e a esparsidade, alcançando uma redução significativa no tamanho do modelo com perda mínima de precisão tanto em Vision Transformers quanto em Grandes Modelos de Linguagem.

Autores originais: Cem Üyük, Mike Lasby, Mohamed Yassin, Utku Evci, Yani Ioannou

Publicado 2026-05-26

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Cem Üyük, Mike Lasby, Mohamed Yassin, Utku Evci, Yani Ioannou

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca massiva de livros (um modelo de IA grande) que é incrivelmente inteligente, mas ocupa tanto espaço que não cabe em uma estante comum (um telefone ou computador pequeno). Você quer reduzir o tamanho da biblioteca sem perder as histórias dentro dela.

Por muito tempo, cientistas tentaram comprimir essas bibliotecas apenas cortando páginas (poda) ou escrevendo os livros em uma fonte menor (quantização). Mas este artigo apresenta uma nova e inteligente estratégia chamada FiPS (Compartilhamento de Parâmetros de Alta Granularidade).

Veja como o FiPS funciona, explicado através de analogias simples:

1. O Problema: Muitos Quartos Idênticos

Pense em um modelo Transformer (como os que alimentam a IA moderna) como um hotel gigante com muitos andares idênticos. Em cada andar, há uma "cozinha" (chamada de camada MLP) onde a culinária acontece.

O Jeito Antigo: Geralmente, cada andar tem seu próprio conjunto exclusivo de 100 chefs, cada um com suas próprias receitas exclusivas. Mesmo que os andares pareçam iguais, os chefs não conversam entre si. Isso desperdiça muito espaço.
A Ideia do FiPS: O FiPS diz: "Por que cada andar precisa de 100 chefs exclusivos? Vamos contratar um Chef Mestre Compartilhado (uma base compartilhada) que conhece as receitas principais e, em seguida, ter alguns Assistentes Locais (matrizes de projeção esparsas) em cada andar que ajustam essas receitas ligeiramente para aquele andar específico."

2. O Segredo: O "Chef Mestre Compartilhado" e os "Assistentes Esparsos"

O FiPS faz três coisas ao mesmo tempo para reduzir o modelo:

O Chef Mestre Compartilhado (Fatoração de Baixo Rango): Em vez de 100 chefs exclusivos por andar, o FiPS cria um "Chef Mestre" que conhece as técnicas fundamentais. Este chef é compartilhado entre um grupo de andares.
Os Assistentes Esparsos (Esparsidade): Os Assistentes Locais em cada andar não precisam saber todas as receitas que o Chef Mestre conhece. Eles só precisam saber algumas específicas para preparar o prato daquele andar. O FiPS força esses assistentes a serem "esparsos", o que significa que eles mantêm apenas as conexões essenciais e ignoram o resto. É como dar a um assistente um cardápio com apenas 3 itens em vez de 100.
O Trabalho em Equipe (Compartilhamento entre Blocos): O FiPS agrupa esses andares juntos. Ele analisa o Chef Mestre e os Assistentes de todo um grupo de andares e descobre a melhor maneira de compartilhar a carga de trabalho para que todo o hotel funcione com eficiência.

3. Como Eles Construíram Isso (O Processo de Construção)

Os pesquisadores não apenas chutaram; eles usaram uma ferramenta matemática chamada SVD (Decomposição em Valores Singulares) para encontrar o "Chef Mestre" automaticamente.

Imagine pegar todas as receitas de um grupo de andares, misturá-las e encontrar os ingredientes mais comuns e essenciais.
Eles então atribuíram esses ingredientes ao Chef Mestre.
Finalmente, eles treinaram os Assistentes Locais para usar apenas os ingredientes específicos de que precisavam, descartando o resto (poda).

4. Os Resultados: Menor, Mais Rápido e Ainda Inteligente

O artigo testou isso em dois tipos de IA:

Transformers de Visão (ViTs): São IAs que olham para imagens.
- Resultado: Eles reduziram o modelo em até 33% (e até 57% com um pouco de ajuste extra) sem que a IA esquecesse como reconhecer objetos. É como reduzir uma mala em um terço, mas ainda cabendo todas as suas roupas.
Modelos de Linguagem Grandes (LLMs): São IAs que escrevem e falam.
- Resultado: Eles reduziram esses modelos em 20% e os tornaram mais inteligentes do que outros métodos de redução.
- O "Truque de Mágica": Quando combinaram o FiPS com uma técnica chamada "Quantização" (escrevendo números em um código muito compacto), alcançaram uma compressão de 8x (tornando o modelo 8 vezes menor) enquanto mantinham as habilidades linguísticas da IA muito melhores do que se tivessem usado apenas compressão.

5. Por Que Isso Importa

O artigo afirma que o FiPS é uma maneira prática, de "plug-and-play", de tornar modelos de IA grandes pequenos o suficiente para rodar em dispositivos como telefones ou laptops sem perder sua inteligência. Ele prova que, ao compartilhar o "poder cerebral" (parâmetros) entre diferentes partes da IA e sendo muito seletivo sobre quais informações são mantidas (esparsidade), podemos construir uma IA eficiente que não precisa de um supercomputador para rodar.

Em resumo: O FiPS é como perceber que, em vez de cada quarto de uma casa precisar de seu próprio conjunto completo de ferramentas, você pode ter uma caixa de ferramentas compartilhada no corredor e apenas algumas ferramentas específicas em cada quarto. A casa funciona tão bem quanto, mas ocupa muito menos espaço.

Resumo Técnico: Compartilhamento de Parâmetros de Alta Granularidade via Decomposição de Tensores Esparsos (FiPS)

Declaração do Problema

Redes neurais grandes, particularmente Transformers, alcançam desempenho de última geração, mas enfrentam barreiras significativas para implantação em dispositivos com recursos limitados devido ao seu tamanho imenso. Embora existam várias técnicas de compressão (por exemplo, quantização, destilação, decomposição de tensores), o compartilhamento de parâmetros entre camadas permanece relativamente inexplorado para modelos Transformer. Métodos existentes frequentemente compartilham blocos inteiros (por exemplo, ALBERT), o que restringe a capacidade representacional, ou dependem de coeficientes densos para compartilhamento, o que limita a eficiência de compressão. Há uma necessidade de um método que reduza significativamente a contagem de parâmetros, mantendo alta flexibilidade representacional e perda mínima de precisão.

Metodologia: Compartilhamento de Parâmetros de Alta Granularidade (FiPS)

FiPS é uma estrutura unificada projetada para comprimir Perceptrons Multicamada (MLPs) de Transformers, combinando compartilhamento de parâmetros entre blocos, fatoração de baixo posto e esparsidade em um único processo de otimização.

Mecanismo Central

O método opera com base na observação de que os MLPs de Transformers consistem em blocos repetidos e homogêneos com camadas totalmente conectadas (FC) de forma idêntica. Em vez de aprender pesos independentes para cada camada, o FiPS:

Concatena matrizes de pesos ( $W_1, \dots, W_N$ ) de um grupo de $N$ blocos de transformadores ao longo de sua dimensão de saída (o "eixo longo").
Fatoriza esse tensor concatenado em uma base compartilhada $U \in \mathbb{R}^{d \times r}$ e matrizes de projeção esparsas específicas da camada $V_i \in \mathbb{R}^{r \times p}$ .
Reconstrói os pesos originais como $W'_i = U V_i$ .

Componentes Técnicos Chave

Inicialização: A base compartilhada $U$ e as matrizes de projeção $V_i$ são inicializadas via Decomposição em Valores Singulares (SVD) Truncada dos pesos concatenados. Se o posto alvo $r$ exceder a dimensão do modelo $d$ (devido a orçamentos de parâmetros elevados), uma "inicialização híbrida" é utilizada: novas dimensões em $U$ são definidas como zero, e as dimensões correspondentes em $V$ são derivadas dos principais vetores singulares escalados por um fator de amortecimento $\tau$ para permitir aprendizado gradual.
Indução de Esparsidade: Uma percepção crítica do artigo é que a imposição de esparsidade nas matrizes de projeção $V$ é essencial. Diferentemente de métodos que usam coeficientes densos, o FiPS poda valores de baixa magnitude em $V$ . O nível de esparsidade ótimo foi encontrado em torno de 75%, particularmente quando aplicado à matriz de fator maior.
Estratégia de Otimização:
1. Inicialização Compartilhada: Decomposição SVD dos pesos concatenados.
2. Minimização de Erro Local: Usando um pequeno conjunto de dados de calibração, $U$ e $V_i$ são otimizados para minimizar o erro de reconstrução $\ell_2$ entre ativações originais e comprimidas. A esparsidade é imposta via Poda Gradual por Magnitude (GMP).
3. Minimização de Erro Global (Opcional): Uma etapa de ajuste fino (fine-tuning) ponta a ponta usando treinamento esparso dinâmico (RigL) para recuperar desempenho em taxas de compressão mais altas.
Estratégia de Agrupamento: O artigo identifica que camadas adjacentes compartilham a maior redundância. O desempenho ótimo é alcançado agrupando blocos consecutivos (por exemplo, grupos de 4 para DeiT-B) e usando uma estratégia de agrupamento "afunilada" para LLMs (grupos menores nas extremidades da rede, maiores no meio).

Contribuições Principais

Análise Sistemática do Compartilhamento entre Blocos: Os autores exploraram sistematicamente a granularidade de compartilhamento, esquemas de concatenação e padrões de esparsidade, identificando que a concatenação no eixo longo e a esparsidade nos fatores de projeção produzem o menor erro de reconstrução.
O Algoritmo FiPS: Um algoritmo inovador que inicializa via SVD e otimiza conjuntamente uma base compartilhada e projeções esparsas específicas da camada. Combina de forma única fatoração de baixo posto com esparsidade nos fatores de projeção, em vez da base.
Resultados de Compressão de Última Geração:
- Transformers de Visão (ViTs): Comprime DeiT-B e Swin-L em até 33% com menos de 1% de perda de precisão top-1 no ImageNet-1k. Com ajuste fino, a compressão atinge 57%.
- Modelos de Linguagem Grandes (LLMs): Comprime Llama-7B e Llama-3.1-8B em até 20%, superando baselines existentes baseadas em SVD (ASVD, SVD-LLM, SVD-LLM V2) em perplexidade e benchmarks downstream.
- Sinergia com Quantização: Quando combinado com Treinamento Consciente de Quantização (QAT), FiPS de 3 bits no Gemma-2-2B alcança a mesma compressão de 8× que o QAT de 2 bits sozinho, mas com perplexidade significativamente menor (35,43 vs. 41,86).
Eficiência de Hardware: O método suporta esparsidade estruturada (por exemplo, padrões 2:4), permitindo acelerações mensuráveis na inferência (1,31× na NVIDIA A4000) e reduções de memória (0,79× de VRAM pico) sem degradação significativa de precisão.

Resultados

Desempenho ViT: No ImageNet-1k, o FiPS supera consistentemente baselines como Mimetismo de Características Atômicas Adaptativas (AAFM) e Mimetismo de Características Globais (GFM) em vários orçamentos de parâmetros (10% a 75%). Por exemplo, com um orçamento de parâmetros de 40%, o FiPS alcança 81,69% de precisão no DeiT-B, superando o GFM (81,28%) apesar do maior custo computacional do GFM.
Desempenho LLM: Nos conjuntos de dados WikiText-2 e C4, o FiPS alcança a menor perplexidade entre métodos baseados em fatoração em 20% de compressão. Também demonstra capacidades superiores de aprendizado por transferência no CIFAR-100, Flowers102 e outros benchmarks de visão em comparação com o GFM.
Estudos de Ablação: O artigo confirma que:
- A esparsidade na matriz de projeção $V$ é crítica; baselines densas colapsam em orçamentos de parâmetros baixos.
- A inicialização SVD supera a inicialização aleatória.
- A poda global (alocando parâmetros adaptativamente entre camadas) produz melhores resultados que a poda local.
- Um nível de esparsidade de 75% é ótimo para as matrizes de projeção.

Significado e Alegações

O artigo estabelece o compartilhamento de parâmetros de alta granularidade como uma abordagem prática e eficaz para compressão de MLPs de Transformers. Os autores afirmam que o FiPS é ortogonal a outras técnicas de compressão, como Treinamento Consciente de Quantização (QAT) e LoRA, o que significa que pode ser combinado com elas para ganhos adicionais.

O significado reside em demonstrar que compartilhar parâmetros entre camadas não exige sacrificar a capacidade representacional se feito com uma base compartilhada e projeções esparsas e aprendíveis. Essa abordagem oferece uma alternativa competitiva às estratégias existentes, alcançando compressão substancial (até 57% em ViTs e 20% em LLMs) com perda mínima de desempenho, facilitando assim a implantação de modelos grandes em dispositivos com recursos limitados. O método é particularmente notável por não depender de destilação ou sinais de supervisão auxiliares, confiando, em vez disso, na minimização do erro de reconstrução bloco a bloco.