🤖 machine learning

XFP: Quality-Targeted Adaptive Codebook Quantization with Sparse Outlier Separation for LLM Inference

XFP é um método dinâmico de quantização de pesos sem calibração para inferência de LLM que determina automaticamente parâmetros de código com base em limites de qualidade especificados pelo usuário, separando efetivamente outliers esparsos para alcançar alta vazão e precisão, ao mesmo tempo que permite que modelos massivos caibam em memória restrita por meio de sua iteração "H-Process" orientada pela qualidade.

Autores originais: Thomas Witt

Publicado 2026-05-15

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Thomas Witt

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando encaixar um castelo de Lego massivo, com 397 bilhões de peças (um modelo de IA gigante), em uma pequena mochila (um computador de estação de trabalho padrão).

Normalmente, para fazer o castelo caber, você tenta esmagar os tijolos em uma poeira minúscula e uniforme (compressão padrão). Mas isso arruína o castelo; os detalhes ficam borrados e a IA começa a cometer erros.

XFP é uma nova e mais inteligente maneira de empacotar esse castelo. Em vez de esmagar tudo, ele usa uma abordagem "Qualidade em Primeiro Lugar". Veja como funciona, usando analogias simples:

1. O "Piso de Qualidade" em vez de "Largura de Bits"

Da maneira antiga, você diz ao computador: "Empacote isso em 4 bits por tijolo." O computador faz o seu melhor, mas se os tijolos forem de formatos estranhos, o resultado é ruim.

O XFP inverte isso. Você diz ao computador: "Preciso que o castelo pareça pelo menos 96% como o original."
O computador então resolve o resto sozinho. Ele pergunta: "Certo, para manter 96% de qualidade, quantos bits eu realmente preciso para esta parte específica?"

Para algumas partes, ele pode precisar apenas de 2 bits.
Para outras partes, ele pode precisar de 4 bits.
Ele não impõe uma regra de "tamanho único para todos".

2. O Problema dos "Outliers" (Os Tijolos Gigantes)

Imagine que, no seu castelo de Lego, 99% dos tijolos são pequenos e normais, mas 1% são tijolos gigantes, pesados e de formato estranho.

Método Antigo: Você tenta esmagar os tijolos gigantes para caber na caixa pequena. Isso distorce toda a caixa, fazendo com que os tijolos pequenos também pareçam ruins.
Método XFP: Ele diz: "Vamos tirar esses tijolos gigantes e estranhos e colocá-los em um bolso especial e separado."
- O Bolso Especial segura os tijolos gigantes em sua forma original e de alta qualidade (usando um pouco mais de espaço, mas apenas para os poucos que precisam).
- A Caixa Principal segura apenas os 99% dos tijolos normais, que agora são fáceis de comprimir porque são todos semelhantes.

3. O "Dicionário Personalizado" (O Livro de Códigos)

Em vez de usar um dicionário padrão onde todas as palavras têm o mesmo comprimento, o XFP aprende um dicionário personalizado para cada camada individual da IA.

Ele olha para os tijolos em um cômodo específico do castelo e aprende exatamente quais formas aparecem com mais frequência.
Ele cria uma pequena lista (um "livro de códigos") apenas com essas formas.
Então, em vez de armazenar o tijolo inteiro, ele armazena apenas um pequeno número (um índice) apontando para aquela forma na lista.
Como a lista é feita sob medida para aquele cômodo específico, é incrivelmente eficiente.

4. As Duas Regras (Rígido vs. Preguiçoso)

A IA tem diferentes tipos de cômodos:

Os Cômodos "Rígidos": (Como o mecanismo de atenção, que presta atenção aos detalhes). O XFP é muito cuidadoso aqui. Ele usa um dicionário de alta qualidade e mantém mais tijolos gigantes no bolso especial.
Os Cômodos "Preguiçosos": (Como os "especialistas roteados", que são trabalhadores especializados). Esses cômodos são mais flexíveis. O XFP usa um dicionário menor e mais grosseiro aqui, porque essas partes da IA podem tolerar ser esmagadas mais sem quebrar.

Isso permite que o XFP economize quantidades massivas de espaço sem arruinar o cérebro da IA.

5. O "Processo-H" (O Aperto Apertado)

O artigo descreve um desafio específico: encaixar um modelo de 397 bilhões de parâmetros em duas placas gráficas padrão (que normalmente não conseguem segurá-lo).

Eles usaram um processo chamado Processo-H.
Pense nisso como um jogo de "Douradinha". Eles continuaram ajustando as regras "Rígidas" e "Preguiçosas".
- Se eles tornassem as regras muito rígidas, o modelo não caberia na mochila (Memória Esgotada).
- Se eles tornassem as regras muito frouxas, a IA começaria a falar besteira (Saída de Lixo).
Eles encontraram a configuração "Justa" (chamada de H1.5) onde o modelo cabe perfeitamente, roda rápido e ainda fornece boas respostas.

Os Resultados

Velocidade: Em um computador de estação de trabalho de alto nível, o XFP roda 49% mais rápido do que o melhor método padrão atual (Marlin INT4) para um modelo de 122 bilhões.
Qualidade: Ele mantém a inteligência da IA quase exatamente a mesma da versão original, não comprimida.
Acessibilidade: Permite que pesquisadores executem modelos massivos de IA em computadores de desktop padrão e potentes, sem precisar de supercomputadores caros de data center.

Em resumo: O XFP é um sistema de empacotamento inteligente que não força tudo em uma caixa uniforme. Ele separa os itens estranhos e pesados, aprende dicionários personalizados para o resto e permite que você decida quanto de qualidade deseja manter, calculando automaticamente a maneira mais eficiente de fazer tudo caber.

Resumo Técnico: XFP – Quantização Adaptativa de Codificadores com Foco em Qualidade

1. Declaração do Problema

O artigo aborda as limitações das estratégias atuais de quantização de Modelos de Linguagem de Grande Escala (LLM) ao implantar modelos massivos de Mistura de Especialistas (MoE) em hardware de classe workstation (por exemplo, NVIDIA RTX PRO 6000 Blackwell). Os autores identificam três problemas estruturais nas abordagens existentes:

O Problema dos Outliers: As matrizes de pesos dos Transformers exibem distribuições de cauda pesada. A quantização linear uniforme (INT-N) ou os codificadores logarítmicos fixos (como NVFP4) devem acomodar outliers extremos, forçando um único fator de escala que degrada a resolução para o volume central denso de pesos.
O Problema da Heterogeneidade MoE: Diferentes componentes dentro dos modelos MoE (atenção, especialistas compartilhados, especialistas roteados) possuem distribuições de pesos distintas. Os especialistas roteados são empiricamente mais tolerantes à quantização grosseira do que as camadas de atenção. Um único piso de qualidade global ou largura de bits falha em explorar essa assimetria.
O Problema de Armazenamento de Codificadores: Os codificadores aprendidos por canal consomem Memória Compartilhada (SMEM) significativa nas GPUs. Em GPUs de classe workstation (99 KB SMEM/CTA), isso limita o tamanho do cache de linhas de ativação, forçando operações "split-K" que aumentam a latência e limitam o tamanho máximo do modelo implantável em um único fluxo.

Além disso, o artigo observa que, embora o formato NVFP4 da NVIDIA ofereça vazão acelerada por hardware em chips Blackwell de datacenter (SM100+), esse caminho está indisponível ou incompleto em hardware de workstation (SM120/121), deixando os operadores com formatos que ignoram distribuições de pesos específicas.

2. Metodologia: O Framework XFP

O XFP inverte o fluxo de trabalho de quantização convencional. Em vez de o operador selecionar uma largura de bits alvo e aceitar a perda de qualidade resultante, o operador especifica pisos de qualidade de reconstrução baseados na similaridade cosseno por canal. O XFP determina automaticamente o tamanho do codificador necessário, o orçamento de outliers e a estratégia de empacotamento para cada camada.

Mecanismos Principais

Separação Esparsa de Outliers:
Os pesos são decompostos em um resíduo de alta precisão esparso e um volume denso.
- Outliers são definidos como pesos onde $|w - \mu| > k\sigma$ (padrão $k=4.0$ , limitado a 2% dos pesos).
- Esses outliers são armazenados como uma matriz fp16 esparsa em suas posições originais.
- Os pesos restantes do "volume" são substituídos pela sua média de grupo e quantizados.
Codificadores Aprendidos Adaptativos:
A distribuição do volume é quantizada usando um codificador aprendido por grupo via iteração de Lloyd.
- Modo V2 (Por Canal): Armazena um codificador fp16 independente por canal de saída. Suporta larguras de bits $N \in \{2, 3, 4, 5, 6\}$ .
- Modo V2a (Biblioteca Compartilhada): Armazena uma pequena biblioteca de $L$ codificadores (padrão $L=32$ ) por camada. Cada grupo de pesos é atribuído à entrada da biblioteca que melhor se ajusta. Isso reduz o uso de SMEM de $O(\text{output\_dim})$ para uma constante de $\sim 1$ KB, permitindo janelas de contexto maiores em GPUs de workstation.
Seleção Automática com Foco em Qualidade (Dois Limiares):
O sistema utiliza dois limiares distintos de similaridade cosseno para impulsionar a seleção da largura de bits:
- Piso Estrito ( $\tau_{strict}$ ): Aplicado a projeções de atenção e especialistas compartilhados.
- Piso Flexível ( $\tau_{lazy}$ ): Aplicado aos caminhos de especialistas roteados MoE.
- O algoritmo itera através das larguras de bits candidatas ( $N$ ) e seleciona o mínimo $N$ que satisfaz o limiar relevante. Isso permite que especialistas roteados usem quantização mais grosseira (por exemplo, $N=2$ ) enquanto camadas de atenção usam quantização mais fina (por exemplo, $N=4$ ) sem intervenção manual.
Kernel de Decodificação Fundido:
Um kernel personalizado funde quatro operações: desempacotamento de índices, coleta do codificador, dispersão de outliers esparsos e execução do GEMM. Opera nativamente em bf16 e armazena em cache linhas de ativação na SMEM para minimizar o uso de largura de banda da memória global.

3. Contribuições Principais

O artigo delineia três contribuições primárias:

(C1) O Quantizador XFP: Um quantizador dinâmico e com foco em qualidade que converge para larguras de bits efetivas de $\sim 3.97$ no Qwen3.5-122B e $\sim 3.4$ no Qwen3.5-397B sob o "H-Process" (uma iteração de compressão restrita). Não requer computação de Hessiano, dados de calibração ou seleção manual de largura de bits.
(C2) Modos de Armazenamento Duplo com Engine Unificada: Dois modos de armazenamento (V2 e V2a) compartilham um único frontend de seleção automática e kernel de decodificação fundido. Isso cobre a faixa de 30B a 397B parâmetros em GPUs de workstation sem depender dos Tensor Cores NVFP4.
(C3) O H-Process: Uma iteração orientada por qualidade sobre os dois limiares de cosseno que ajusta com sucesso o modelo Qwen3.5-A17B de 397B (512 especialistas roteados/camada) em 2×96 GB de VRAM. Isso é alcançado em $\sim 3.4$ bits efetivos, mantendo toda a população de especialistas, evitando a necessidade de poda de especialistas.

4. Resultados Experimentais

Os experimentos foram conduzidos em hardware de classe workstation (RTX PRO 6000 Blackwell, DGX Spark) usando os modelos Qwen3.5 e GLM-4.7-Flash.

Qwen3.5-122B-A10B (Modo V2):
- Alcançou 138 tokens/s de decodificação em fluxo único em TP=2.
- 49% mais rápido que Marlin INT4 (AutoRound) em TP=1.
- Mantive 94,49% de correspondência estrita GSM8K (3 sementes), comparável a baselines de 4 bits.
- Largura de bits efetiva: $\sim 3.97$ .
Qwen3.5-397B-A17B (H-Process, Modo V2):
- Implantado com sucesso em GPUs de 2×96 GB.
- Alcançou 100,9 tokens/s em decodificação de saída longa.
- Alcançou 66,72% de correspondência estrita GSM8K no conjunto completo de 1.319 problemas (1 semente).
- Largura de bits efetiva: $\sim 3.4$ .
- Comparação com REAP (poda de especialistas): O XFP+H manteve todos os especialistas e alcançou maior precisão (66,72% vs 33–44% para INT4 podado) com uma pegada de memória menor ou comparável.
Sondagens do Modo V2a:
- Demonstrou ganhos de vazão de +47% sobre Marlin INT4 no Qwen3.5-122B, validando a abordagem de biblioteca compartilhada para cenários com restrição de memória.

5. Significado e Alegações

O artigo posiciona o XFP não meramente como um formato de quantização, mas como um mecanismo para implantação de classe appliance. Seu significado reside em:

Inverter o Fluxo de Trabalho: Mudar o papel do operador de selecionar larguras de bits para definir restrições de qualidade, permitindo que o sistema se adapte automaticamente à heterogeneidade do modelo.
Viabilidade em Workstation: Permitir a implantação de modelos MoE massivos (até 397B parâmetros) em hardware de consumidor/workstation (GPUs de 96 GB) sem suporte específico a Tensor Cores de datacenter (NVFP4) ou poda de especialistas.
Compressão Orientada por Qualidade: Demonstrar que "qualidade" (similaridade cosseno) é uma métrica de direção mais eficaz do que larguras de bits fixas, particularmente para modelos MoE onde diferentes componentes têm tolerâncias de quantização vastamente diferentes.
Agnosticismo de Hardware: Fornecer uma vantagem de vazão definida por software em hardware onde caminhos de quantização dedicados (NVFP4) estão indisponíveis ou incompletos, superando os kernels INT4 mais otimizados (Marlin) lendo menos bytes por token.

Os autores afirmam explicitamente que a compensação envolve sobrecarga de codificadores por grupo e iterações de Lloyd no tempo de codificação, o que favorece o XFP no nível de workstation para cargas de trabalho limitadas por memória, embora a escolha permaneça uma decisão de implantação e não um veredito universal de benchmark.