🤖 machine learning

BiSCo-LLM: Lookup-Free Binary Spherical Coding for Extreme Low-Bit Large Language Model Compression

O BiSCo-LLM introduz um framework de codificação esférica binária livre de busca que alcança uma compressão de Grandes Modelos de Linguagem de baixíssima taxa ao combinar mapeamento hiperesférico binarizado, codificação residual e destilação por categoria para eliminar codebooks explícitos enquanto mantém a fidelidade de reconstrução.

Autores originais: Yuantian Shao, Peisong Wang, Zhilei Liu, Chuangyi Li, Yuanteng Chen, Pengcheng Xie, Yiwu Yao, Zhihui Wei, Jian Cheng

Publicado 2026-07-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yuantian Shao, Peisong Wang, Zhilei Liu, Chuangyi Li, Yuanteng Chen, Pengcheng Xie, Yiwu Yao, Zhihui Wei, Jian Cheng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um cérebro de robô gigante e superinteligente (um Grande Modelo de Linguagem) que sabe quase tudo. Mas há um problema: esse cérebro é tão grande que não cabe no seu bolso, ou mesmo no seu laptop. É como tentar carregar uma biblioteca em sua mochila. Para torná-lo portátil, os cientistas geralmente tentam encolher as "palavras" (pesos) que compõem o conhecimento do cérebro, transformando seus livros detalhados e pesados em esboços pequenos e rudimentares.

A maioria das pessoas tenta encolher esses esboços apenas arredondando os números, como transformar uma medição precisa de 3,14159 em um simples "3". Mas quando você tenta encolher demais esses esboços — até chegar a apenas 2 bits (que é mal um "sim" ou "não") — os esboços tornam-se tão borrados que o robô esquece como falar.

A Grande Ideia: O Mapa "Sem Tabela de Consulta"
Os autores deste artigo, Yuantian Shao e sua equipe, criaram uma nova maneira de encolher esses cérebros chamada BiSCo-LLM. Em vez de usar o método antigo de "arredondamento", eles tratam o conhecimento do cérebro como uma coleção de setas apontando em diferentes direções em uma esfera gigante e invisível.

Aqui está o truque de mágica:

Sem Folhas de Cola: Normalmente, para encolher dados, você precisa de uma "folha de cola" gigante (um codebook/livro de códigos) que diz: "Se você vir este padrão, ele significa esta coisa específica". Mas as folhas de cola ocupam espaço por si só! O BiSCo-LLM joga fora a folha de cola inteira. Em vez disso, ele apenas armazena a direção da seta (uma sequência simples de 1s e -1s) e um decodificador pequeno e inteligente que sabe como desenhar a seta de volta a partir dessa direção. É como dar a alguém uma direção de bússola em vez de uma foto do destino.
O Corretor de "Ops" (Codificação Residual): Os autores descobriram que apenas armazenar a direção principal não era suficiente. Às vezes, a seta aponta ligeiramente para o lado errado. Por isso, eles adicionaram uma segunda etapa: uma etapa "residual" que captura especificamente os pequenos erros que a primeira etapa perdeu. Pense nisso como desenhar um esboço rude de um rosto e, em seguida, um segundo artista vindo apenas para consertar os olhos e o sorriso. Esse processo de duas etapas permite compactar mais detalhes no mesmo espaço minúsculo.
A Lista "VIP": Eles perceberam que algumas partes do cérebro do robô são super sensíveis. Se você mexer nelas, o robô inteiro fica louco. Por isso, eles identificaram uma pequena parte de 1% dos canais mais importantes e deram a eles um "passe VIP" especial para permanecerem em alta precisão (8-bit), enquanto o resto é encolhido para o extremo de 2 bits. É como manter o motor de um carro em perfeitas condições enquanto pinta o restante da carroceria com uma única camada de tinta spray.

O Que Eles Descartaram
O artigo argumenta explicitamente contra apenas aumentar o tamanho da "folha de cola" (o codebook). Eles testaram essa ideia e descobriram que, mesmo que você tenha uma biblioteca massiva de padrões possíveis, o cérebro do robô usa apenas uma fração minúscula deles. Portanto, construir uma biblioteca maior apenas desperdiça espaço sem ajudar o robô a pensar melhor. Eles também mostraram que simplesmente tentar consertar o cérebro camada por camada (um cômodo de cada vez) não funciona bem; você tem que consertar seções inteiras (categorias) de uma vez e depois ensinar todo o robô a trabalhar junto novamente.

Os Resultados: O Quão Bem Funcionou?
A equipe testou isso em um modelo chamado Qwen3-8B.

O Teste: Eles pediram ao modelo para ler uma história e adivinhar a próxima palavra (um teste chamado WikiText-2). O modelo original, de tamanho total, obteve uma pontuação de 9,73 (quanto menor, melhor). O novo modelo comprimido obteve 10,18. Isso é muito próximo!
A Inteligência: Eles também testaram o modelo em sete tarefas diferentes, como responder perguntas e resolver quebra-cabeças de lógica. O modelo original teve uma média de 69,92%. O modelo comprimido teve uma média de 68,05%.
O Veredito: Os autores sugerem que este método funciona muito bem para compressão extrema. Eles descobriram que, ao usar este método de esfera "sem folha de cola", adicionar a etapa do "corretor de ops" e proteger os canais VIP, puderam encolher o modelo para um tamanho extremo de 2 bits sem perder muito de sua capacidade cerebral.

O Que Ainda É Desconhecido?
O artigo é cuidadoso ao dizer que esses resultados baseiam-se em testes específicos no Qwen3-8B e LLaMA-3-8B. Embora os números pareçam ótimos, os autores observam que ainda estão descobrindo a melhor maneira de misturar essas técnicas para cada tipo de modelo. Eles também mencionam que, embora a matemática funcione, rodar o robô de fato em um telefone pode exigir alguma engenharia extra para fazer o "desenho" das setas acontecer rápido o suficiente.

Em resumo, o BiSCo-LLM sugere que, se você parar de tentar memorizar um dicionário gigante de formas e apenas lembrar das direções e corrigir os pequenos erros, você pode carregar um supercérebro no seu bolso sem que ele esqueça como falar.

Resumo Técnico: BiSCo-LLM

Problema
Os Grandes Modelos de Linguagem (LLMs) enfrentam restrições significativas de implantação devido ao armazenamento de checkpoints em escala de terabytes, limitações de largura de banda de memória e custos de latência associados ao carregamento de pesos durante a decodificação autorregressiva. Embora a quantização pós-treinamento (PTQ) tenha avançado para os regimes de 4 bits e 3 bits, estender a compressão para 2 bits ou menos continua sendo um desafio. Os métodos existentes de quantização escalar ou por grupo sofrem com uma capacidade de representação limitada em orçamentos de bits tão baixos, falhando em preservar a estrutura dominante dos vetores de peso. Por outro lado, os métodos de quantização vetorial (VQ) oferecem representações mais ricas, mas tipicamente dependem de codebooks explícitos, buscas de índices e sobrecarga adicional de armazenamento, o que complica a contabilidade de armazenamento e a eficiência de implantação. Há uma necessidade de um framework de compressão que alcance compressão de bits extremamente baixos (visando ~2 bits) sem codebooks explícitos, enquanto contabiliza explicitamente todos os componentes de armazenamento auxiliar (decodificadores, metadados, módulos de compensação) para fornecer uma medida realista do tamanho do modelo comprimido.

Metodologia
O artigo propõe o BiSCo-LLM (Lookup-Free Binary Spherical Coding for Large Language Model Compression), um pipeline consciente do armazenamento projetado para compressão de pesos de bits extremamente baixos. O framework consiste em três componentes principais:

Codificação Esférica Binária Sem Codebook (BSQ - Codebook-Free Binary Spherical Coding):
Em vez de mapear blocos de pesos para centroides explícitos em um codebook, o BiSCo-LLM mapeia blocos de pesos locais em uma hiperesfera unitária e os binariza em códigos esféricos compactos. O codificador normaliza o vetor latente $z$ e aplica uma função de sinal para produzir um código binário $q \in \{-1/\sqrt{b}, +1/\sqrt{b}\}^b$ . Isso elimina a necessidade de armazenar entradas de codebook explícitas. A reconstrução é realizada por um decodificador neural compacto $D_\theta$ . O objetivo de treinamento combina perda de reconstrução, compromisso latente e regularização de entropia para garantir o uso eficiente do espaço de código binário.
BSQ de Resíduo de Segundo Estágio:
Para abordar a ineficiência de simplesmente ampliar um espaço de código binário de estágio único (onde a maioria dos padrões de sinal teóricos permanece desocupada por blocos de pesos finitos), o BiSCo-LLM emprega uma abordagem de dois estágios. O primeiro estágio reconstrói o componente dominante do bloco de peso. O segundo estágio é treinado especificamente no erro residual deixado pelo codec base. Isso aloca capacidade de bits adicional para o erro de reconstrução em vez de expandir o espaço de código primário, fornecendo um caminho prático de taxa-distorção sem aumentar o armazenamento do codebook.
Destilação de Recuperação por Categoria e Proteção de Sensibilidade:
- Proteção de Sensibilidade: Reconhecendo que um pequeno número de canais é altamente sensível à quantização, o método identifica esses canais usando estatísticas de ativação e magnitudes de peso. Um pequeno subconjunto (ex: 1%) desses canais sensíveis é armazenado usando um quantizador de 8 bits auxiliar. Este caminho é contado separadamente da carga útil principal do BSQ.
- Destilação por Categoria: Para alinhar os pesos comprimidos com o comportamento final do modelo, o pipeline substitui módulos Transformer categoria por categoria (ex: todas as camadas q_proj). Após substituir uma categoria, uma etapa de destilação de recuperação é realizada, onde o modelo parcialmente comprimido (aluno) é treado para corresponder ao modelo original (professor). Isso garante que o objetivo de recuperação reflita a interação entre a categoria comprimida e o restante do modelo completo, em vez de apenas minimizar o erro de reconstrução local por camada.
- Compensação LoRA: Adaptadores de Baixo Rank (LoRA) opcionais podem ser aplicados durante a fase de recuperação para mitigar ainda mais os erros, com seu custo de armazenamento explicitamente relatado.

Principais Contribuições

Pipeline BiSCo-LLM: Um novo pipeline de compressão orientado a 2 bits que integra codificação esférica binária sem codebook, alocação de código residual e destilação de recuperação por categoria. Ele otimiza e avalia modelos sob um orçamento de armazenamento de tamanho real.
Design de BSQ Residual: A introdução de um codec residual de segundo estágio que atribui bits extras ao erro de reconstrução do estágio base. Este método mostra-se mais eficaz do que simplesmente aumentar a granularidade de um código de estágio único, pois utiliza melhor o orçamento de bits disponível para informação recuperável.
Otimização por Categoria: Uma estratégia de treinamento e recuperação que opera no nível da categoria de módulo Transformer. Esta abordagem reduz o descompasso entre a reconstrução de peso local e o comportamento global do modelo, superando objetivos de recuperação puramente por camada.
Contabilidade de Armazenamento Abrangente: O framework contabiliza explicitamente todos os componentes de armazenamento, incluindo fluxos BSQ empacotados em bits, parâmetros do decodificador neural, payloads protegidos de 8 bits opcionais, adaptadores LoRA e metadados, fornecendo uma linha de base de comparação justa contra métodos baseados em projeção e VQ explícito.

Resultados Experimentais
O método foi avaliado no modelo Qwen3-8B sob um orçamento de armazenamento real:

Perplexidade: No conjunto de dados WikiText-2, o BiSCo-LLM alcançou uma perplexidade de 10,18, comparado a 9,73 para o modelo de precisão total (FP16/BF16). Isso supera os baselines escalares (ex: GPTQ, SpinQuant) e os baselines vetoriais (ex: AQLM, QuIP#, UniSVQ) reportados no estudo.
Acurácia em Tarefas Downstream: Em um conjunto de avaliação de sete tarefas (incluindo BoolQ, RTE, WinoGrande, ARC, OpenBookQA e PIQA), o modelo comprimido alcançou uma acurácia média de 68,05, comparado a 69,92 do baseline de precisão total. Isso representa uma lacuna de aproximadamente 1,87 pontos percentuais.
Estudos de Ablação:
- Codificação Residual: A adição de um codec residual de segundo estágio melhorou consistentemente a perplexidade em todas as categorias de módulos em comparação com configurações de estágio único.
- Canais Protegidos: O uso de um caminho de canal protegido de 1% (armazenado em 8 bits) reduziu significativamente a perplexidade, particularmente para categorias sensíveis como down_proj.
- Arquitetura do Decodificador: Decodificadores não lineares simétricos compactos mostraram-se superiores aos decodificadores lineares para esta tarefa.
- Granularidade: Diagnósticos mostraram que simplesmente ampliar o espaço de código binário sem estágios residuais não garante ganhos de desempenho monótonos.

Significância e Alegações
O artigo afirma que a codificação esférica sem codebook é uma representação viável para compressão extrema de baixo bit (2 bits) de LLM quando a codificação residual, a proteção consciente de sensibilidade e a destilação de recuperação são consideradas conjuntamente. A significância reside em deslocar o ônus do armazenamento de codebooks vetoriais explícitos para decodificadores neurais compartilhados, eliminando assim o overhead de buscas de índices e o armazenamento de grandes codebooks. Os autores enfatizam que o método preserva o comportamento do modelo sob um orçamento de bits extremamente baixo apenas quando todo o pipeline — incluindo o custo de decodificadores, estágios residuais e módulos de compensação — é explicitamente contabilizado no orçamento de armazenamento. Os resultados sugerem que esta abordagem pode manter o desempenho do modelo dentro de uma margem estreita dos modelos de precisão total, enquanto reduz drasticamente a pegada de armazenamento, tornando-a adequada para cenários de implantação com restrições rigorosas de memória e largura de banda.

Resumo Técnico: BiSCo-LLM

Mais como este