🤖 machine learning

UltraSketchLLM: Sub-1-Bit LLM Compression via Sketch and Hardware-Friendly Operators

O UltraSketchLLM introduz um método de compressão baseado em esboço de dados que alcança uma compressão de LLM inferior a 1 bit (0,5 bit por peso) com degradação mínima de desempenho e uma aceleração de 14,9x através de operadores amigáveis ao hardware.

Autores originais: Sunan Zou, Xueting Sun, Ziyun Zhang, Guojie Luo

Publicado 2026-06-15

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sunan Zou, Xueting Sun, Ziyun Zhang, Guojie Luo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca de conhecimento imensa e incrivelmente detalhada (um Grande Modelo de Linguagem, ou LLM). Esta biblioteca é tão grande que requer um armazém gigante e caro (uma GPU de alto desempenho) apenas para armazenar os livros. A maioria das pessoas não tem acesso a um armazém desses, portanto, não conseguem usar essas ferramentas poderosas em seus computadores ou celulares comuns.

O artigo apresenta o UltraSketchLLM, uma nova maneira inteligente de encolher esta biblioteca para que ela caiba em uma pequena mochila sem perder a capacidade de contar boas histórias.

Aqui está como funciona, dividido em conceitos simples:

1. O Problema: O Gargalo "Um-para-Um"

Normalmente, para encolher um modelo, os pesquisadores tentam comprimir cada "livro" (peso) individualmente. Pense nisso como tentar colocar uma biblioteca em uma mala encolhendo cada livro individualmente para o tamanho de um cartão-postal.

O Limite: Você não pode encolhê-los demais, ou as palavras se tornam ilegíveis. Os métodos existentes atingem um muro em cerca de 1 bit (a menor unidade de informação digital) por livro.
A Bagunça: Tentar espremê-los ainda mais muitas vezes faz com que o modelo "esqueça" coisas ou funcione tão lentamente que se torna inútil.

2. A Solução: O "Esboço" (Agrupamento em vez de Encolhimento)

Em vez de encolher cada livro individualmente, o UltraSketchLLM usa uma técnica chamada Sketching (Esboço).

A Analogia: Imagine que você tem 1.000 bolas de gude de cores diferentes. Em vez de tentar descrever o tom exato de cada uma, você as coloca em baldes.
O Truque: Você usa uma regra especial (uma "função de hash") para deixar as bolas de gude caírem nos baldes. Se duas bolas de gude caírem no mesmo balde, você não mantém ambas. Você mantém apenas aquela que é a "mais importante" (neste caso, a que tem o maior tamanho/peso).
O Resultado: Você joga fora as duplicatas e as bolas de gude menores e menos importantes, mantendo apenas um "esboço" da coleção. Isso permite que eles comprimam os dados para 0,5 bits por peso — metade do tamanho dos melhores métodos anteriores.

3. O Sistema de Baldes "Inteligente" (AbsMaxMin & Importância)

Os autores perceberam que nem todos os livros na biblioteca são igualmente importantes. Alguns contêm a lógica central, enquanto outros são apenas detalhes menores.

A Estratégia: Eles construíram um "Sistema de Baldes Inteligente".
- AbsMaxMin: Eles projetaram uma regra onde só mantêm a bola de gude "maior" em um balde se ela for realmente significativa, garantindo que não joguem fora acidentalamente uma peça crucial de informação.
- Consciência de Importância: Eles medem quais partes do modelo são usadas com mais frequência (como verificar quais livros são mais emprestados). Eles dão a essas seções populares mais "espaço de balde" para que permaneçam precisas, enquanto espremem as seções menos usadas em espaços mais apertados.

4. A Magia do Hardware: Transformando "Aleatório" em "Matriz"

Aqui está o maior obstáculo: O método de "Sketching" geralmente funciona jogando itens aleatoriamente em baldes. Em um computador, isso é como um bibliotecário correndo aleatoriamente pelo armazém para pegar livros. É caótico e lento.

A Inovação: A equipe descobriu como traduzir esse "correr de um lado para o outro" caótico em uma Multiplicação de Matrizes organizada e limpa.
A Analogia: Em vez do bibliotecário correndo aleatoriamente, eles alinham todos os livros em uma grade perfeita e os deslizam para os baldes todos de uma vez, como uma esteira rolante.
O Benefício: Isso torna o processo incrivelmente rápido. O artigo afirma que essa mudança torna o sistema 14,9 vezes mais rápido do que uma abordagem de sketching ingênua, com quase nenhum atraso quando você realmente usa o modelo.

5. Fine-Tuning: A Fase de "Treinamento"

Quando você comprime algo tanto assim, a coisa pode ficar um pouco "embaçada". Para corrigir isso, o modelo passa por uma sessão especial de treinamento chamada Fine-Tuning (Ajuste Fino).

O Processo: O modelo aprende a se adaptar ao seu novo estado comprimido. É como um músico praticando em um piano levemente desafinado até aprender a tocar perfeitamente nele de qualquer maneira.
Transfer Learning (Aprendizado por Transferência): Se você quiser usar este modelo comprimido para um novo tópico (como mudar de escrever histórias para escrever código), não precisa treinar tudo novamente. Você pode "congelar" as partes que já são boas (as camadas de lógica) e treinar apenas as partes específicas que precisam mudar. Isso economiza uma quantidade massiva de tempo e energia.

O Resumo Final

O UltraSketchLLM é um método que pega modelos de IA gigantes e os encolhe para 0,5 bits por peso (compressão extrema) ao:

Agrupar dados semelhantes e manter apenas os bits mais importantes (Sketching).
Ser inteligente sobre onde colocar os dados com base na importância.
Organizar o processo para que ele funcione como uma máquina suave, em vez de uma confusão caótica (Operações de matriz).

O Resultado: Você pode rodar esses modelos de IA poderosos em hardwares muito menores e mais baratos (como um computador desktop padrão) com perda mínima de qualidade e quase nenhum atraso. O artigo testou isso em modelos como Llama e Qwen, mostrando que eles podem caber em espaços de memória que eram anteriormente impossíveis.

Resumo Técnico: UltraSketchLLM

Definição do Problema

Os Grandes Modelos de Linguagem (LLMs) enfrentam obstáculos significativos de implantação em ambientes com recursos limitados devido às suas massivas pegadas de memória. Os métodos existentes de compressão de modelos lutam para equilibrar taxas de compressão extremas com eficiência de inferência e retenção de desempenho:

Mapeamento Um-para-Um (OTO): Métodos como a quantização escalar representam cada peso independentemente, mas são teoricamente limitados a um mínimo de 1 bit por peso.
Mapeamento Múltiplo-para-Um (MTO) Indexado: Estes métodos agrupam pesos e compartilham representações via índices de mapeamento. Embora possam alcançar compressão sub-1-bit, introduzem overhead de memória proveniente de tabelas de índices e sofrem degradação de desempenho devido às restrições de agregação de gradiente usadas durante o treinamento.
MTO Livre de Índice: Abordagens que utilizam funções de hash evitam tabelas de índices, mas frequentemente induzem grandes erros de estimativa e sofrem de ineficiência computacional severa devido a padrões de acesso à memória irregulares e geração de endereços aleatórios, que são mal adequados para arquiteturas de GPU modernas.

O desafio central é alcançar a compressão sub-1-bit (especificamente visando 0,5 bits por peso) enquanto se mantém uma degradação de desempenho tolerável e se garante uma inferência amigável ao hardware com baixa latência.

Metodologia

O UltraSketchLLM aborda esses desafios integrando técnicas de data sketching (esboço de dados) com uma implementação baseada em matrizes amigável ao hardware. O framework opera sob um princípio MTO onde grupos de pesos são mapeados para um estado de sketch compartilhado e menor.

1. Design de Sketch AbsMaxMin

Ao contrário dos sketches padrão que podem causar erros de sinal ou grandes erros relativos, o UltraSketchLLM emprega um sketch AbsMaxMin de subestimativa:

Mecanismo: O estado do sketch armazena o peso com o valor absoluto mínimo entre aqueles mapeados para um bucket específico. Durante a descompressão, a operação Max é usada para recuperar o valor.
Design Multi-Linha: Para aumentar a probabilidade de mapear pesos com valores semelhantes juntos e reduzir erros de colisão, o sistema utiliza múltiplas funções de hash independentes (estados de sketch multi-linha) em vez de uma única linha.
Limite Teórico: Este design garante que o peso reconstruído seja o valor original ou um valor com uma magnitude absoluta menor, controlando o limite superior do erro com base na alocação do espaço do sketch.

2. Alocação de Espaço Consciente de Importância

Reconhecendo que diferentes camadas e linhas em um LLM possuem variadas tolerâncias a perturbações induzidas pela compressão, o método aloca espaço de sketch dinamicamente:

Métrica: Utiliza o valor esperado de ativações ao quadrado ( $E[a^2]$ ) como uma métrica de importância.
Estratégia: Linhas ou camadas com maior importância recebem espaços de sketch maiores (mais buckets), enquanto componentes menos críticos são comprimidos de forma mais agressiva. Isso é derivado de resultados de profiling que mostram que as camadas FFN front-end são mais sensíveis a erros do que as camadas de atenção ou as camadas FFN back-end.

3. Ajuste Fino Baseado em Estimador de Passagem Direta (STE)

Para mitigar os erros não negligenciáveis introduzidos pela compressão sub-1-bit, o UltraSketchLLM utiliza ajuste fino consciente da compressão:

Diferenciabilidade: Como o mapeamento de hash é discreto, um Estimador de Passagem Direta (STE) é empregado para permitir a propagação de gradiente através da operação de compressão.
Liberdade de Movimento: Ao contrário de trabalhos MTO anteriores que fixam os parâmetros mapeados como as únicas variáveis treináveis, o UltraSketchLLM mantém o tamanho original do parâmetro treinável. A escolha do mapeamento é decidida dinamicamente pelos resultados de Min/Max durante o processo, oferecendo maiores graus de liberdade para o modelo se adaptar às perturbações induzidas pelo sketch.

4. Mapeamento de Operador de Matriz Amigável ao Hardware

Para resolver os problemas de eficiência dos sketches tradicionais (que dependem de hashing sequencial e acesso irregular à memória), os autores reformulam as operações de sketch como multiplicações de matrizes:

Compressão: As operações de seleção e atualização são fundidas em um único kernel usando uma matriz de projeção $P$ . Isso transforma o processo sequencial de hash-e-atualização em uma multiplicação de matriz (MM) modificada envolvendo uma redução MIN sobre os valores absolutos.
Descompressão: A recuperação de pesos é implementada como uma multiplicação de matriz padrão ( $\hat{W} = S \cdot P^T$ ).
Benefícios: Esta abordagem elimina a irregularidade do acesso à memória, aproveita padrões de acesso à memória coalescidos em GPUs e incorre em overhead de armazenamento negligenciável para a matriz de projeção (especialmente com uma estratégia de cache de dois níveis).

5. Aprendizado por Transferência com Congelamento de Parâmetros

Para reduzir o custo de adaptar modelos comprimidos a novos conjuntos de dados, o artigo propõe uma estratégia de aprendizado por transferência:

Congelamento: As camadas de Atenção (Attn) e as camadas FFN de back-end são congeladas, pois são encontradas como mais robustas aos erros induzidos pelo sketch e preservam as capacidades de raciocínio.
Ajuste Fino: Apenas os parâmetros críticos das FFN front-end são atualizados, reduzindo significativamente o número de parâmetros treináveis e as iterações de treinamento necessárias para novas tarefas.

Principais Contribuições

Compressão de LLM Baseada em Sketch: A introdução de um sketch AbsMaxMin com alocação de espaço consciente de importância, permitindo compressão extrema (até 0,5 bits/peso) enquanto preserva pesos salientes e controla o erro relativo.
Operadores Amigáveis ao Hardware: Um kernel de operação de matriz sob medida que mapeia a compressão e descompressão de sketch para multiplicações de matrizes padrão, eliminando a heterogeneidade e o acesso irregular à memória dos implementações de sketch tradicionais.
Desempenho de Ultra-Baixo Bit: Validação experimental mostrando que o UltraSketchLLM alcança uma taxa de compressão de 0,5 bit por peso com degradação de desempenho tolerável e overhead de latência negligenciável em comparação com soluções de sketch ingênuas.

Resultados Experimentais

O framework foi avaliado nas famílias Llama3 e Qwen3 (variando de 0.6B a 8B parâmetros) usando o framework HuggingFace.

Eficiência de Compressão: O UltraSketchLLM alcança uma taxa de compressão de 0,5 bit por peso quando combinado com quantização de 4 bits.
Métricas de Desempenho:
- Perplexidade (PPL): O modelo mantém uma perplexidade competitiva em comparação com baselines como AQLM (2.7 bits) e VPTQ (2.3 bits), apesar da largura de bits significativamente menor.
- PPB (Perplexity $\times$ Bits): O método mostra uma redução de até 26 $\times$ no PPB em relação ao modelo FP16 original e supera os baselines no trade-off entre compressão e qualidade.
- Tarefas Downstream: O desempenho em tarefas como HellaSwag, PIQA e WinoGrande permanece tolerável.
Pegada de Memória: O método reduz o uso de memória de GPU de pico em até 6.93 $\times$ em comparação com baselines FP16, permitindo que modelos como o Llama-3.1-8B rodem em GPUs de consumo (ex: RTX 3080 Ti) com metade da memória.
Overhead de Latência:
- A implementação baseada em matriz fornece um aceleração de 14.9 $\times$ na descompressão em comparação com uma solução de sketch baseada em hash ingênua.
- O overhead de latência de inferência é negligenciável em vários comprimentos de entrada, superando todos os baselines.
Estudos de Ablação:
- Remover a alocação consciente de importância ou usar sketches ingênuos degrada significativamente o desempenho.
- A implementação baseada em matriz é matematicamente equivalente à versão sequencial, mas vastamente superior em velocidade.
- O aprendizado por transferência com congelamento de parâmetros alcança convergência comparável ao ajuste fino total com significativamente menos recursos.

Significância

O artigo posiciona o UltraSketchLLM como uma solução prática para implantar LLMs em cenários de borda (edge) e com restrição de memória. Ao unir a lacuna entre a compressão sub-1-bit teórica e a eficiência de hardware, demonstra que a compressão extrema não necessita de latência proibitiva ou perda severa de desempenho. O trabalho destaca que o co-design algoritmo-sistema — especificamente o mapeamento de operações de sketch irregulares para operações de matriz regulares — é essencial para realizar o potencial do data sketching na inferência de LLMs. Além disso, a estratégia proposta de aprendizado por transferência aborda a barreira prática dos custos de ajuste fino, tornando a tecnologia mais acessível para a adaptação a diversas tarefas downstream.