🤖 AI

FOCUS: FP4 Optimization via Coupled-Relaxation and Dual-Granularity Scaling

Este artigo apresenta o FOCUS, um framework de quantização pós-treinamento que melhora a precisão de FP4 para grandes modelos de linguagem ao empregar o Escalonamento de Relaxação Acoplada para desacoplar escalas de quantização aprendíveis de restrições de hardware e o Escalonamento de Dupla Granularidade para uma adaptação de pesos mais fina, alcançando desempenho de estado da arte sem sobrecarga adicional de inferência.

Autores originais: Xianglong Yan, Hong Liu, Chengzhu Bao, Tianao Zhang, Guanghua Yu, Jianchen Zhu, Yulun Zhang

Publicado 2026-08-04

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Xianglong Yan, Hong Liu, Chengzhu Bao, Tianao Zhang, Guanghua Yu, Jianchen Zhu, Yulun Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando encaixar uma biblioteca de conhecimento massiva e intrincada em uma mochila minúscula e portátil. Este é o dilema diário dos "Large Language Models" (LLMs), os cérebros de computador superinteligentes que podem escrever histórias, resolver problemas matemáticos e conversar como humanos. O problema é que esses cérebros são tão grandes que precisam de quantidades enormes de memória e energia para funcionar, tornando-os caros e lentos para usar em dispositivos comuns. Para resolver isso, os cientistas usam um truque chamado "quantização". Pense nisso como traduzir um filme de alta definição, 4K, para um formato de baixa resolução para que ele caiba em um celular antigo. O objetivo é encolher os dados sem perder o enredo. Recentemente, um novo formato superpequeno chamado "FP4" surgiu, suportado por chips de computador modernos, que promete encolher esses modelos ainda mais. No entanto, há uma pegadinha: espremer os dados tão pouco assim costuma fazer com que o modelo "esqueça" coisas ou fique confuso, perdendo precisão. A grande questão é: como encolher o modelo para esse tamanho minúsculo sem arruinar sua inteligência?

Este artigo apresenta um novo método inteligente chamado FOCUS para resolver exatamente esse problema. Os pesquisadores perceberam que a maneira atual de encolher esses modelos era muito rígida. Imagine que você está arrumando uma mala. A regra padrão diz: "Você deve usar exatamente as mesmas caixas pequenas e pré-fabricadas para guardar suas roupas, e deve usar essas mesmas caixas para desempacotá-las mais tarde". O artigo argumenta que isso é bobagem. Embora você precise usar as caixas pequenas para guardar as roupas (porque é o que cabe na mala), você não precisa usar essas mesmas caixas minúsculas para decidir como dobrar as roupas em primeiro lugar. Você poderia usar uma fita métrica gigante e flexível para planejar a organização e, então, apenas encaixar o resultado nas caixas pequenas.

O FOCUS utiliza essa percepção para melhorar a forma como os modelos são preparados para o formato minúsculo FP4. Ele introduz dois truques principais:

Coupled-Relaxation Scaling (CRS): Esta é a "fita métrica flexível". No método antigo, o computador tinha que usar uma régua muito grosseira e de baixa precisão para decidir como encolher os números, e tinha que usar essa mesma régua grosseira para montá-los novamente. O FOCUS diz: "Vamos usar uma régua superprecisa e de tamanho real para fazer a matemática do encolhimento e, depois, espremer o resultado em uma caixa bruta". Isso permite que o computador encontre uma maneira muito melhor de empacotar os dados sem quebrar as regras do formato minúsculo.
Dual-Granularity Scaling (DGS): Isso é sobre empacotar itens menores. O método antigo tratava um grupo inteiro de 32 números como um grande bloco, usando uma única régua para todos eles. Mas e se alguns números nesse grupo forem enormes e outros forem minúsculos? O FOCUS divide esse grupo grande em subgrupos menores (como cortar uma pizza grande em fatias) e dá a cada fatia sua própria régua personalizada. Isso permite que o computador se adapte aos detalhes específicos dos dados, em vez de forçar tudo em uma caixa de tamanho único.

Os resultados são impressionantes. Quando os pesquisadores testaram o FOCUS em vários modelos de IA diferentes (como Qwen e LLaMA), ele superou consistentemente todos os outros métodos. Por exemplo, em um modelo chamado Qwen3-4B, o FOCUS conseguiu recuperar 98,2% da precisão do modelo original ao usar o formato NVFP4, e 96,2% com MXFP4. Este é um salto significativo em comparação com técnicas anteriores, que frequentemente lutavam para permanecer acima de 90% ou 94%.

Crucialmente, o artigo mostra que o FOCUS não torna o modelo mais lento ou mais difícil de usar. Mesmo que o computador faça cálculos extras enquanto prepara o modelo (durante a fase de "treinamento" ou "calibração"), o modelo final roda tão rápido quanto qualquer outro modelo FP4. Leva cerca de 19 minutos para preparar um modelo Qwen3-4B em uma única GPU de alto desempenho, o que é, na verdade, mais rápido do que alguns métodos concorrentes. Os pesquisadores enfatizam que este é um método de "pós-treinamento", o que significa que eles não precisam reensinar o modelo do zero; eles apenas ajustam as instruções de empacotamento.

Em resumo, o FOCUS sugere que, ao afrouxar as regras sobre como calculamos o encolhimento (mantendo o formato de armazenamento final rigoroso), podemos encaixar esses cérebros de IA gigantes em espaços minúsculos sem perder sua inteligência. É um pouco como perceber que você pode dobrar uma camisa perfeitamente usando uma mesa grande, mesmo que só tenha uma gaveta pequena para guardá-la. O artigo prova que essa abordagem funciona melhor do que as formas antigas e rígidas, oferecendo um caminho para rodar IAs poderosas em dispositivos que atualmente não conseguem lidar com elas.

Resumo Técnico: FOCUS – Otimização de FP4 via Relaxação Acoplada e Escalonamento de Dupla Granularidade

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) enfrentam desafios significativos de implantação devido à sua contagem massiva de parâmetros, necessitando de técnicas de compressão eficientes. Embora a Quantização Pós-Treinamento (PTQ) tenha se tornado uma abordagem padrão, levar a quantização para formatos de ponto flutuante de 4 bits (FP4) como MXFP4 e NVFP4 permanece difícil. Esses formatos oferecem suporte de hardware nativo em aceleradores modernos (ex: NVIDIA Blackwell) por meio de esquemas de escalonamento por blocos (ex: grupos de 32 ou 16 valores compartilhando uma escala de baixa precisão).

No entanto, manter a precisão do modelo sob precisão FP4 é um gargalo persistente. Uma limitação crítica nos métodos existentes é o acoplamento estrito entre a escala de quantização ( $S_q$ ) e a escala de desquantização ( $S_{dq}$ ). As abordagens atuais forçam ambas as escalas a obedecer ao mesmo formato de baixa precisão discreto (ex: E8M0 para MXFP4) e à mesma granularidade de bloco. Isso é suboptimal porque:

Restrições Redundantes: Apenas a escala de desquantização ( $S_{dq}$ ) é armazenada e utilizada durante a inferência, exigindo que ela obedeça aos requisitos de hardware. A escala de quantização ( $S_q$ ), usada exclusivamente durante o processo de quantização offline para determinar a melhor atribuição de pesos FP4, é descartada posteriormente e não precisa obedecer a essas restrições.
Espaço de Otimização Discreto: Ao forçar $S_q$ em um formato de baixa precisão discreto, os métodos existentes restringem o panorama de otimização, impedindo que a aprendizagem baseada em gradiente encontre atribuições de pesos ideais.
Desajuste de Granularidade: Uma escala única de nível de bloco não consegue capturar variações locais de peso dentro de um bloco, levando a erros de quantização.

Metodologia

Os autores propõem o FOCUS, um framework de quantização pós-treinamento que aproveita a "liberdade" da escala de quantização para otimizar a precisão FP4 sem introduzir overhead de inferência. O framework opera em duas dimensões principais: Precisão e Granularidade.

1. Linha de Base: Aprendizado de Escala de Ponta a Ponta

Os autores estabelecem primeiro uma linha de base onde os pesos do modelo são congelados e as escalas por bloco são aprendidas de ponta a ponta usando uma perda de destilação de conhecimento (KL-Top). Diferente da PTQ tradicional, esta linha de base otimiza as escalas via gradiente descendente usando o Estimador de Passagem Direta (STE - Straight-Through Estimator) para lidar com operações de quantização não diferenciáveis. No entanto, esta linha de base ainda impõe $S_q = S_{dq}$ , mantendo o acoplamento estrito.

2. Escalonamento de Relaxação Acoplada (CRS)

Para abordar a restrição de precisão, o FOCUS introduz o Escalonamento de Relaxação Acoplada (CRS).

Mecanismo: O CRS desacopla a escala de quantização do formato exigido pelo hardware ao introduzir um coeficiente aprendível de precisão total, $c_i$ .
Formulação: A escala de quantização é definida como $S_q = S_{dq} \cdot c_i$ , onde $S_{dq}$ é a escala compatível com o hardware (quantizada para E4M3 ou E8M0) e $c_i$ é um parâmetro aprendível de precisão total (FP16) inicializado em 1.
Efeito: Isso relaxa o acoplamento estrito, elevando a otimização de $S_q$ de um espaço discreto de baixa precisão para um espaço contínuo de precisão total. Isso permite que o modelo encontre melhores atribuições de pesos FP4, garantindo que $S_{dq}$ permaneça em conformidade com os requisitos de hardware. O coeficiente $c_i$ é descartado após o treinamento.

3. Escalonamento de Dupla Granularidade (DGS)

Para abordar a restrição de granularidade, o FOCUS introduz o Escalonamento de Dupla Granularidade (DGS).

Mecanismo: O DGS subdivide cada bloco de hardware (tamanho 32 para MXFP4, 16 para NVFP4) em sub-blocos menores (ex: tamanho 8). Cada sub-bloco recebe um coeficiente de relaxação de precisão total independente ( $c_k$ ).
Formulação: A quantização para um sub-bloco $k$ torna-se $\bar{W}_k = Q(W_k / (S_{dq} \cdot c_k))$ , enquanto a escala de desquantização $S_{dq}$ permanece compartilhada em todo o bloco.
Efeito: Isso permite que a escala de quantização opere em uma granularidade mais fina do que a escala de desquantização, capturando variações locais de peso dentro de um bloco que uma escala única de nível de bloco não conseguiria representar. Assim como o CRS, esses coeficientes são descartados pós-treinamento.

4. Implantação e Compatibilidade

O FOCUS não depende de transformações estruturais (ex: rotações de Hadamard) que frequentemente acarretam overhead de inferência ou exigem modificações de framework. O modelo implantado final consiste estritamente em pesos FP4 padrão e escalas de desquantização compatíveis com o hardware, garantindo compatibilidade perfeita com motores de inferência existentes e custo adicional de inferência zero.

Principais Contribuições

Identificação de Insight: O artigo identifica que a escala de quantização está livre de restrições de hardware, ao contrário da escala de desquantização, e propõe explorar essa liberdade tanto em precisão quanto em granularidade.
Escalonamento de Relaxação Acoplada (CRS): Uma técnica que introduz um coeficiente de precisão total para relaxar o acoplamento entre as escalas de quantização e desquantização, permitindo a otimização contínua baseada em gradiente.
Escalonamento de Dupla Granularidade (DGS): Um método que atribui escalas de quantização ao nível de sub-bloco, capturando variações de peso intra-bloco que o escalonamento por bloco não consegue representar.
Desempenho de Estado da Arte (SOTA): Experimentos extensivos demonstram que o FOCUS alcança a precisão SOTA para FP4 sob os formatos MXFP4 e NVFP4 em múltiplas famílias de LLMs (Qwen, LLaMA) sem overhead de inferência.

Resultados Experimentais

Os autores avaliaram o FOCUS em cinco LLMs (Qwen3-4B/8B, LLaMA-3.1-8B, LLaMA-3.2-1B/3B) usando WikiText2, C4 e cinco benchmarks de raciocínio zero-shot (ARC, HellaSwag, PIQA, Winogrande).

Recuperação de Precisão: No Qwen3-4B sob NVFP4, o FOCUS recupera 98,2% da precisão zero-shot de FP16, superando significativamente as linhas de base como RTN, GPTQ, MR-GPTQ, 4over6 e RaZeR.
Perplexidade: O FOCUS alcança a menor perplexidade em quase todas as configurações. Para o Qwen3-8B, ele atinge 9,47 de perplexidade no WikiText2 (NVFP4), aproximando-se quase do baseline de FP16 de 9,73.
Capacidades de Raciocínio: Em tarefas de cadeia de pensamento (chain-of-thought) (GSM8K, MMLU), o FOCUS supera consistentemente os métodos concorrentes, preservando melhor as capacidades de raciocínio de múltiplos passos do que outras abordagens de quantização FP4.
Eficiência: O processo de quantização é leve. Em uma única GPU NVIDIA H20, a quantização do Qwen3-4B leva 19 minutos, sendo 34% mais rápida que o método SOTA anterior (MR-GPTQ).

Significância e Alegações

O artigo afirma que o FOCUS representa uma mudança de paradigma na quantização FP4 ao repensar o papel da escala de quantização. Ao reconhecer que a escala de quantização não precisa ser armazenada ou obedecer às restrições de hardware, os autores desbloqueiam um espaço de otimização significativo e anteriormente inexplorado.

A significância reside em alcançar a precisão de estado da arte para inferência FP4 mantendo zero overhead de inferência e compatibilidade total de hardware. Diferente dos métodos baseados em transformação que adicionam custo computacional ou exigem adaptação de framework, o FOCUS opera puramente no espaço de otimização de escala. Os autores afirmam que sua abordagem efetivamente reduz a lacuna de desempenho entre modelos FP4 e de precisão total (FP16), tornando a inferência W4A4 de alta eficiência mais viável para implantação prática.