🤖 machine learning

Float8@2bits: Entropy Coding Enables Data-Free Model Compression

O artigo apresenta o EntQuant, um framework de compressão pós-treinamento livre de dados que aproveita a codificação de entropia para alcançar a compressão de taxa de bits extrema de estado da arte (abaixo de 4 bits) para modelos grandes como 70B parâmetros em menos de 10 minutos, unificando com sucesso a velocidade e a universalidade dos métodos livres de dados com a alta fidelidade que tipicamente exige dados de calibração.

Autores originais: Patrick Putzky, Martin Genzel, Mattes Mollenhauer, Sebastian Schulze, Thomas Wollmann, Stefan Dietzel

Publicado 2026-06-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Patrick Putzky, Martin Genzel, Mattes Mollenhauer, Sebastian Schulze, Thomas Wollmann, Stefan Dietzel

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca de livros incrivelmente detalhada e massiva (um Large Language Model). Para ler esses livros em um dispositivo pequeno como um smartphone, você precisa encolhê-los. Geralmente, existem duas maneiras de fazer isso:

O Jeito "Rápido e Sujo": Você fotocopia rapidamente os livros em pequenos cartões de índice. É rápido e não exige pesquisa adicional, mas se você encolher demais (abaixo de 4 bits), as palavras tornam-se um emaranhado de letras sem sentido e a história colapsa.
O Jeito "Lento e Perfeito": Você contrata uma equipe de editores para reescrever cuidadosamente cada frase, usando um conjunto específico de livros de referência para garantir que o significado permaneça perfeito. Isso funciona muito bem, mas leva dias, exige computadores caros e você precisa ter acesso aos livros de referência originais (que muitas vezes não existem ou são privados).

Apresentando o EntQuant: O artigo introduz um novo método chamado EntQuant que atua como um "raio encolhedor mágico" que obtém o melhor dos dois mundos. É rápido, não precisa de livros de referência e mantém a história intacta mesmo quando encolhida para um tamanho extremo.

Veja como ele funciona, usando analogias simples:

1. O Problema: A Armadilha da "Caixa Fixa"

Os métodos atuais forçam as palavras da biblioteca para dentro de caixas de tamanho fixo.

Se você quiser economizar espaço, deve usar caixas minúsculas (baixa quantidade de bits).
Mas caixas minúsculas só podem conter algumas palavras específicas. Se a biblioteca precisar expressar uma ideia complexa, ela fica travada porque a caixa é pequena demais. É por isso que os métodos atuais falham ao tentar encolher modelos abaixo de 4 bits; eles ficam sem "poder de expressão".

2. A Solução: O "Sistema de Arquivamento Inteligente"

O EntQuant muda as regras. Em vez de forçar as palavras em caixas minúsculas, ele mantém as palavras em caixas padrão e de alta qualidade (como Float8 ou Int8), mas as organiza de forma tão inteligente que elas ocupam quase nenhum espaço.

Pense nisso como um serviço de embalagem para uma mudança:

O Jeito Antigo: Você tem que encaixar seus móveis em caixas de tamanhos pré-determinados. Se você tem um sofá gigante, terá que cortá-lo em pedaços para caber em uma caixa pequena.
O Jeito EntQuant: Você mantém o móvel inteiro (alta precisão), mas o arranja de forma tão apertada que o caminhão fica quase vazio. Você usa um "algoritmo inteligente" para empacotar os itens de forma tão eficiente que o caminhão está 90% cheio de ar, mas os itens estão perfeitamente preservados.

3. O Ingrediente Secreto: "Codificação de Entropia"

O artigo utiliza uma técnica chamada Codificação de Entropia (especificamente algo chamado ANS).

Imagine que você está escrevendo um código secreto. Se a letra "E" aparece 50% das vezes, você dá a ela um código muito curto (como "1"). Se o "Z" aparece raramente, você dá a ele um código mais longo (como "11010").
O EntQuant primeiro "treina" o modelo para usar certos números com mais frequência do que outros (tornando os dados de "baixa entropia").
Em seguida, ele usa essa codificação inteligente para comprimir os dados. Como os números são previsíveis, o computador pode armazená-los usando menos de 2 bits por parâmetro, em média, mesmo que os números em si ainda sejam armazenados em formatos de alta precisão.

4. Por Que Isso é Algo Grande

Não é Necessária "Calibragem": A maioria dos métodos de compressão de alta qualidade precisa de um "teste de direção" usando um conjunto de dados para ajustar o modelo. O EntQuant é livre de dados (data-free). Você pode pegar um modelo, comprimi-lo em menos de 10 minutos e ele simplesmente funciona. Isso é crucial para modelos privados ou especializados onde você não possui os dados de treinamento.
Compressão Extrema: Ele consegue comprimir modelos massivos (como um modelo de 70 bilhões de parâmetros) para um tamanho que cabe em uma placa gráfica de consumo, mantendo o modelo inteligente o suficiente para seguir instruções complexas e resolver problemas matemáticos.
Velocidade: Embora tenha que "desempacotar" os dados ligeiramente durante a leitura (decodificação), o artigo mostra que isso acontece tão rápido em computadores modernos que a lentidão é insignificante (cerca de 1,5 a 2 vezes mais lento que o original, o que ainda é muito rápido).

O Resumo Final

Os autores, Patrick Putzky e Martin Genzel (e sua equipe na Merantix Momentum), criaram uma ferramenta que permite encolher modelos gigantes de IA ao tamanho de uma pequena mala sem perder sua inteligência, e você pode fazer isso instantaneamente sem precisar de dados extras. É como ser capaz de colocar um iate de 70 pés dentro de uma mochila sem que ele quebre.

Conclusão Principal: Eles quebraram a regra que dizia "para economizar espaço, você deve perder qualidade". Ao usar um sistema de arquivamento inteligente (codificação de entropia) em vez de apenas retalhar os dados, eles mantiveram a qualidade alta enquanto alcançavam uma redução extrema de tamanho.

Resumo Técnico: EntQuant – Codificação de Entropia para Compressão de Modelos Sem Dados

1. Definição do Problema

A quantização pós-treinamento (PTQ) para Grandes Modelos de Linguagem (LLMs) enfrenta atualmente uma dicotomia entre acessibilidade e fidelidade.

Métodos Sem Dados (Nível 1): Técnicas como NF4 e Quantização de Quase-Quadrática (HQQ) são rápidas, agnósticas ao modelo e não requerem dados de calibração. No entanto, elas sofrem de "colapso funcional" quando comprimidas abaixo de 4 bits, falhando em preservar o desempenho do modelo.
Métodos Dependentes de Dados (Níveis 2–4): Abordagens que utilizam dados de calibração ou treinamento de recuperação (ex: QuIP#, EfficientQAT) alcançam fidelidade superior em taxas de bits extremas, mas impõem altos custos computacionais e exigem acesso aos corpora de treinamento. Isso é frequentemente impossível para modelos especializados em instrução ou raciocínio devido à soberania de dados, restrições legais (ex: GDPR) ou indisponibilidade dos dados de treinamento.

Os métodos existentes acoplam estritamente a taxa de compressão com a largura de bits representacional. Para alcançar uma compressão de 8×, os frameworks padrão forçam os pesos para uma representação de 2 bits (4 valores distintos), o que carece de expressividade para modelar distribuições de pesos complexas, levando à degradação do desempenho.

2. Metodologia: EntQuant

Os autores introduzem o EntQuant, um framework que desacopla o custo de armazenamento da precisão representacional ao integrar a codificação de entropia diretamente no pipeline de quantização.

Conceito Central

Em vez de forçar os pesos em um formato de baixo bit rígido (ex: Int2), o EntQuant mantém uma representação de maior precisão (Float8 ou Int8), mas otimiza os valores dos pesos para minimizar sua entropia. Esses pesos de baixa entropia são então comprimidos sem perdas usando um codificador de Sistemas Numerais Assimétricos (ANS). Isso permite que o modelo alcance taxas de bits efetivas arbitrárias (até ~2 bits por parâmetro) enquanto retém toda a faixa dinâmica do formato base durante a inferência.

Componentes Técnicos

Otimização Restrita por Entropia:
- O objetivo é minimizar a entropia empírica dos pesos quantizados $W_q$ sujeita a uma restrição de erro de reconstrução.
- Como a minimização direta da entropia não é diferenciável, os autores formulam um objetivo Lagrangiano relaxado:
  $\min_{W_q} d(W, \hat{W}) + \lambda R(W_q)$
  onde $d$ é a perda $\ell_1$ relativa (robusta a outliers) e $R(W_q) = \|W_q\|_1$ serve como um proxy diferenciável para a entropia.
- A otimização é realizada por camada usando L-BFGS, ajustando apenas os parâmetros de escala por canal $S$ inicializados via algoritmo AbsMax.
Codificação de Pesos:
- Os pesos otimizados são transformados em um fluxo de símbolos e comprimidos usando um codificador ANS otimizado para GPU (via nvCOMP da NVIDIA).
- O armazenamento final consiste no bitstream comprimido, nos parâmetros de escala e nos metadados. O overhead das escalas é negligenciável ( $<1\%$ ).
Decodificação em Tempo de Inferência:
- Ao contrário da compressão offline tradicional, o EntQuant integra a decodificação no pipeline de inferência.
- Os pesos são armazenados como um bitstream compacto na VRAM. Antes da passagem de forward de um bloco transformer, um decodificador ANS paralelizado descomprime os pesos em um buffer on-the-fly.
- Essa estratégia de descompressão por blocos, inspirada no DFloat11, permite uma alternância densa entre descompressão e kernels de forward, mantendo alta utilização da GPU.
Tratamento de Super Pesos:
- Para formatos de base Int8, o método incorpora um mecanismo para detectar e excluir "super pesos" (outliers extremos em camadas iniciais de down-projection), evitando o colapso de desempenho semelhante a métodos que exigem tratamento explícito de outliers.

3. Principais Contribuições

Compressão Extrema Sem Calibração: O EntQuant permite a quantização pós-treinamento até taxas efetivas de 2 bits sem treinamento de recuperação ou dados de calibração. É um método de Nível 1 adequado para modelos onde o acesso aos dados é restrito.
Desacoplamento da Taxa de Compressão da Largura de Bits: O método quebra o acoplamento estrito entre tamanho de armazenamento e precisão de quantização. Ele alcança custos de armazenamento de baixo bit (ex: 2.1 bits/parâmetro) enquanto mantém a expressividade de Float8 ou Int8, evitando o colsa funcional visto na quantização de bit fixo.
Tratamento Simplificado de Outliers: Ao usar escala por canal e otimização de entropia, o EntQuant naturalmente concentra a precisão onde é necessária sem esquemas de agrupamento complexos ou detecção explícita de outliers (embora possa opcionalmente excluir super pesos para Int8).
Otimização de Alta Velocidade: A etapa de compressão é altamente eficiente, levando menos de 10 minutos para um modelo de 70B parâmetros, comparável aos métodos rápidos sem dados como o HQQ.

4. Resultados Experimentais

Os autores avaliaram o EntQuant em mais de 480 execuções em 16 LLMs de pesos abertos (incluindo LLaMA-1/2/3, Qwen3, OLMo e Mistral Large).

Desempenho Sem Dados: O EntQuant supera significativamente os métodos sem dados existentes (HQQ, NF4) no regime de 2–3 bits. Enquanto o HQQ e o NF4 exibem colapso funcional (ex: perplexidade explodindo para $>1000$ ) a 2 bits, o EntQuant mantém um desempenho utilizável (ex: 2.1 bits no LLaMA-2 70B resulta em uma perplexidade de 6.47 vs. 32.24 para o HQQ).
Comparação com Métodos de Calibração: O EntQuant alcança resultados comparáveis aos métodos de estado da arte de calibração e fine-tuning (ex: QuIP#, EfficientQAT) a 3 bits, com apenas uma pequena diferença a 2 bits. Crucialmente, ele alcança isso sem exigir acesso aos dados de treinamento.
Modelos Ajustados por Instrução: O EntQuant retém forte desempenho em benchmarks de seguimento de instrução (IFEval), raciocínio matemático (GSM8K CoT) e raciocínio científico (GPQA), enquanto outros métodos sem dados falham catastroficamente nessas tarefas especializadas.
Overhead de Inferência: O EntQuant é aproximadamente 1.5–2× mais lento que a linha de base BFloat16, mas iguala a velocidade de inferência do NF4. O overhead de descompressão é amortizado ao longo de sequências mais longas.
Eficiência de Memória: Um modelo de 70B parâmetros comprimido para 2.1 bits efetivos cabe em ~18.8 GiB de pesos comprimidos, permitindo a implantação em GPUs de consumo (ex: RTX 5090 de 32 GiB) a 3 bits ou menos.

5. Significância e Alegações

O artigo afirma que o EntQuant representa uma mudança de paradigma ao aplicar princípios clássicos da teoria da informação (separando a discretização da representação eficiente) aos modernos Modelos de Fundação de Grande Escala.

Quebrando a Barreira: É apresentado como o primeiro método a alcançar compressão funcional extrema (abaixo de 3 bits) de maneira puramente sem dados, superando as barreiras de desempenho dos métodos de quantização de largura de bit fixa.
Utilidade Prática: Ao permitir a implantação de modelos massivos (ex: 70B+) em hardware de consumo sem a necessidade de dados de calibração ou retreinamento, o EntQuant aborda o gargalo crítico das restrições de memória em cenários de auto-hospedagem.
Acessibilidade: O método democratiza o acesso a modelos de fronteira, permitindo a adoção imediata de modelos recém-lançados (cadência semanal) sem as pipelines de calibração de várias horas exigidas por outros métodos de alta fidelidade.

Os autores reconhecem que, embora o EntQuant incorra atualmente em um modesto atraso na inferência em comparação com as linhas de base não comprimidas, esta é uma fase de pré-otimização de kernel semelhante às primeiras implementações de GPTQ, sugerindo que ganhos significativos de velocidade são possíveis com kernels dedicados e fundidos.