💬 NLP

LATMiX: Learnable Affine Transformations for Microscaling Quantization of LLMs

Este artigo apresenta o LATMiX, um método que emprega transformações afins invertíveis aprendíveis para otimizar distribuições de ativação para quantização em microescala (MX), melhorando assim significativamente a precisão de modelos de linguagem grandes de baixa precisão em comparação com abordagens existentes baseadas em rotação ou Hadamard.

Autores originais: Ofir Gordon, Lior Dikstein, Arnon Netzer, Idan Achituve, Hai Victor Habi

Publicado 2026-04-27

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Ofir Gordon, Lior Dikstein, Arnon Netzer, Idan Achituve, Hai Victor Habi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca massiva e incrivelmente detalhada (um Modelo de Linguagem de Grande Escala, ou LLM) capaz de responder a qualquer pergunta, escrever código ou contar histórias. O problema é que essa biblioteca é tão enorme e pesada que é cara para armazenar e lenta para consultar. Para torná-la mais rápida e barata, os engenheiros tentam encolher os livros resumindo-os em formatos menores e mais simples. Esse processo é chamado de quantização.

No entanto, há uma pegadinha. Nessas bibliotecas massivas, algumas páginas contêm "outliers"—frases extremamente longas e complexas que não se encaixam bem no formato pequeno e simplificado. Quando você tenta forçar essas frases longas dentro de uma caixinha minúscula, elas são esmagadas e distorcidas, arruinando a história.

O Problema: O Gargalo do "Bloco"

Recentemente, foi introduzida uma nova maneira de organizar esses livros chamada Microescala (MX). Em vez de encolher toda a biblioteca com um único resumo gigante, o MX divide os livros em pequenos blocos e atribui a cada bloco sua própria régua minúscula (fator de escala) para medir as palavras. Isso é ótimo porque lida com diferentes partes do texto de forma mais flexível.

Mas eis o obstáculo: métodos anteriores tentaram resolver o problema dos "outliers" girando toda a biblioteca como um pião. Quando tentaram combinar esse giro com as novas "réguas de bloco", causaram caos. A rotação atrapalhou as medições dos blocos, e a biblioteca ficou ilegível.

Para corrigir isso, pesquisadores anteriores tentaram uma solução alternativa: giraram apenas as páginas dentro de cada pequeno bloco, ignorando o resto da biblioteca. Embora isso tenha parado o caos, foi como tentar resolver um engarrafamento movendo apenas carros dentro de uma única vaga de estacionamento, enquanto ignoravam os carros presos na faixa ao lado. Não resolveu o problema da imagem geral.

A Solução: LATMiX (O Reorganizador Inteligente)

Os autores deste artigo, LATMiX, propõem uma maneira mais inteligente de reorganizar os livros antes de encolhê-los.

Pense nos dados do modelo como uma multidão de pessoas em um quarto. Algumas pessoas estão em um aglomerado enorme e denso (os outliers), enquanto outras estão espalhadas.

Métodos antigos tentavam girar todo o quarto ou apenas misturar pessoas dentro de pequenos grupos.
LATMiX age como um mestre de coreografia. Ele aprende uma dança personalizada e flexível (uma transformação afim) que espalha a multidão densa uniformemente por todo o quarto.

Essa coreografia possui duas características especiais:

É Aprendível: Em vez de usar uma dança pré-definida (como um simples giro), o LATMiX usa ferramentas padrão de IA para aprender os movimentos de dança perfeitos especificamente para os dados que está analisando. Ele descobre exatamente como espalhar a energia para que nenhum ponto fique muito lotado.
Respeita os Blocos: Ele conhece as "réguas de bloco" (formato MX). Não apenas mistura as pessoas aleatoriamente; mistura-as de uma forma que funciona perfeitamente com o sistema de blocos, garantindo que as réguas minúsculas possam medir todos com precisão.

Como Funciona (O Truque de Mágica)

O artigo explica que o LATMiX não realmente desacelera a biblioteca quando ela é consultada posteriormente. É como um mágico que reorganiza as cartas antes do truque começar e depois incorpora essa reorganização ao próprio baralho. Uma vez que o truque está montado, o mágico (o computador) não precisa fazer nenhum trabalho extra para embaralhar; as cartas já estão na ordem perfeita. Isso significa que a velocidade e o uso de memória permanecem tão rápidos quanto antes, mas a qualidade dos livros "encolhidos" é muito maior.

Os Resultados

Os autores testaram isso em vários modelos (como Llama e Qwen) e descobriram que o LATMiX superou consistentemente outros métodos.

Maior Precisão: Os modelos "encolhidos" cometeram menos erros e entenderam perguntas melhor do que modelos usando técnicas de encolhimento mais antigas.
Robustez: Funcionou bem em diferentes tamanhos de modelos, desde os pequenos até os muito grandes.
Eficiência: Alcançou essas melhorias sem adicionar tempo ou custo extra à execução do modelo.

Em resumo, o LATMiX é uma ferramenta inteligente e aprendível que reorganiza os dados da maneira certa antes de comprimi-los, garantindo que até mesmo as informações "outlier" mais extremas sobrevivam ao processo de encolhimento sem se perder, tudo isso interagindo harmoniosamente com formatos modernos de hardware.

1. Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados usando Quantização Pós-Treinamento (PTQ) para reduzir custos de memória e computação. Um formato de dados específico que está ganhando tração é o Microescala (MX), que particiona tensores em blocos, atribuindo um fator de escala único a cada bloco para lidar com faixas dinâmicas de forma mais eficiente do que a escala global.

No entanto, combinar a quantização MX com técnicas existentes de mitigação de outliers (que são cruciais para a quantização de baixa precisão) apresenta desafios significativos:

Outliers de Ativação: As ativações de LLM contêm valores extremos (outliers) que dominam o erro de quantização.
Limitações dos Métodos Atuais: Abordagens existentes usam transformações invertíveis (tipicamente rotações ou transformações de Hadamard) para redistribuir a energia de ativação e suprimir outliers.
- Transformações Globais: Aplicar uma rotação global às ativações antes da quantização MX causa degradação severa de desempenho, pois a transformação global entra em conflito com a estrutura de escala por bloco do MX.
- Transformações em Blocos Diagonais: Trabalhos recentes sugerem aplicar transformações independentemente dentro de cada bloco MX (matrizes em blocos diagonais). Embora isso evite a incompatibilidade, restringe a transformação a subespaços pequenos e isolados, impedindo a redistribuição eficaz da massa de ativação em todo o tensor. Consequentemente, outliers dominantes não podem ser suficientemente difundidos, levando a uma precisão subótima em regimes de baixa precisão (por exemplo, 4 bits).

2. Metodologia: LATMiX

Os autores propõem o LATMiX (Transformações Afins Aprendíveis para Microescala), um método que generaliza a redução de outliers para transformações afins invertíveis de posto completo aprendíveis, otimizadas especificamente para o formato de dados MX.

A. Análise Teórica

Os autores derivam um limite superior teórico para o erro de quantização sob quantização MX. A análise revela que o erro depende de dois fatores concorrentes:

A Norma Espectral da Transformação Inversa ( $||A^{-1}||_\sigma$ ): Uma medida de quanto a transformação amplifica os erros.
O Máximo de Ativação Esperado por Bloco: A média dos valores absolutos máximos dentro de cada bloco MX.

O artigo argumenta que as transformações em blocos diagonais (usadas em trabalhos anteriores) são um caso especial que falha em equilibrar esses fatores globalmente. Em vez disso, uma transformação afim completa (não em blocos diagonais) é necessária para contabilizar explicitamente tanto a estrutura de blocos MX quanto a distribuição global de características.

B. Arquitetura do LATMiX

O LATMiX aprende um conjunto de transformações afins invertíveis ($T(x) = Ax + v$) que podem ser incorporadas nas camadas lineares do modelo, incorrendo em zero sobrecarga de inferência.

Localizações de Transformação:
- $T_1$ : Aplicada globalmente ao caminho residual (embeddings de entrada).
- $T_2$ : Aplicada localmente aos vetores de valor na Atenção Multi-Cabeça (MHA) e dentro das Redes Feed-Forward (FFN).
- $T_3$ : Uma transformação em blocos de Hadamard online (mantida para consistência com as linhas de base anteriores).
Parametrização: Para garantir a invertibilidade e permitir a otimização padrão de aprendizado profundo, os autores propõem duas parametrizações para a matriz $A$ $A$ :
1. Decomposição LU: $A = P(L + \text{diag}(s))$ , onde $L$ é unitriangular inferior.
2. Decomposição QR: $A = Q(R + \text{diag}(s))$ , onde $Q$ é ortogonal (via exponencial matricial de uma matriz antissimétrica) e $R$ é triangular superior.
- Uma regularização de preservação de volume é aplicada para garantir que o determinante permaneça próximo de 1, prevenindo instabilidade numérica enquanto permite que direções individuais se expandam ou contraiam.
Objetivo de Otimização:
- Função de Perda de Distilação: Em vez de impor invariância computacional estrita (que requer matrizes ortogonais), o LATMiX usa uma perda de divergência de Kullback-Leibler (KL) entre o modelo professor de precisão completa e o modelo estudante quantizado transformado. Isso permite que a transformação se desvie da ortogonalidade para se ajustar melhor à distribuição de dados.
- Regularização: Um termo para manter o volume da transformação próximo de 1.

C. Mecanismo de Incorporação (Folding)

Uma contribuição crítica é a capacidade de incorporar as transformações afins aprendidas ( $A$ e $v$ ) diretamente nas matrizes de pesos e vieses do LLM.

A transformação inversa é incorporada nas projeções de entrada (K, Q, V) do mecanismo de atenção.
A transformação direta é incorporada nas projeções de saída das camadas de atenção e FFN.
Isso garante que, durante a inferência, o modelo se comporte exatamente como um modelo quantizado padrão, sem custo computacional adicional.

3. Principais Contribuições

Insight Teórico: Fornecimento de um limite teórico mostrando que o erro de quantização em formatos MX depende tanto da distribuição global de características quanto da estrutura de blocos, provando que transformações em blocos diagonais são insuficientes para redução ótima de erro.
Algoritmo LATMiX: Introdução de um método para aprender transformações afins invertíveis gerais (não restritas a rotações) usando parametrizações LU/QR e perda de distilação.
Implantação sem Sobrecarga: Demonstração de que essas transformações aprendidas complexas podem ser matematicamente incorporadas em camadas lineares existentes, mantendo a velocidade de inferência e o footprint de memória de modelos quantizados padrão.
Avaliação Abrangente: Validação do método em múltiplos tamanhos de modelo (1B a 32B) e arquiteturas (Llama, Qwen) em diversos benchmarks.

4. Resultados Experimentais

Os autores avaliaram o LATMiX em sete benchmarks de raciocínio zero-shot (ARC, HellaSwag, WinoGrande, PIQA, BoolQ, OpenBookQA) e na tarefa de perplexidade WikiText2.

Ganhos de Desempenho: O LATMiX superou consistentemente linhas de base fortes, incluindo:
- Quantização MX padrão (RTN, GPTQ).
- Métodos baseados em rotação (QuaRot, SpinQuant).
- Métodos de rotação em blocos diagonais (MR-GPTQ, OSTQuant).
- Outros métodos baseados em transformação (FlatQuant).
Recuperação de Precisão: Na quantização MXFP4 (4 bits), o LATMiX alcançou até 4% de melhoria na recuperação média de precisão em comparação com as melhores linhas de base. Por exemplo, no Llama-3.2-1B, o LATMiX-LU alcançou 93,88% de recuperação versus 93,07% para o MR-GPTQ.
Robustez: O método mostrou melhorias consistentes em diferentes tamanhos de modelo (1B a 32B) e granularidades de quantização (MXFP4 e MXINT4).
Estudos de Ablação:
- Completo vs. Bloco: Transformações afins completas (por tensor) superaram significativamente as em blocos diagonais.
- Afim vs. Ortogonal: Aprender transformações afins gerais (com viés) foi superior a aprender apenas matrizes ortogonais (rotação).
- Função de Perda: A perda de distilação KL provou ser mais eficaz para generalização zero-shot do que as perdas MSE ou Entropia Cruzada.

5. Significado

Ponte entre Lacunas: O LATMiX conecta com sucesso a necessidade de supressão agressiva de outliers (via transformações globais) e as restrições estruturais dos formatos MX suportados por hardware moderno.
Eficiência de Hardware: Ao incorporar as transformações, o LATMiX permite o uso de operações matemáticas aprendidas poderosas sem sacrificar os ganhos de eficiência de inferência fornecidos pela quantização MX.
Direção Futura: O trabalho sugere que restringir transformações a rotações ou matrizes em blocos diagonais é subótimo. Abre caminho para aprender transformações mais expressivas e dependentes de dados que respeitam os formatos de dados específicos do hardware de IA de próxima geração.

Em resumo, o LATMiX demonstra que, ao analisar teoricamente a interação entre distribuições de ativação e estruturas de blocos MX, e ao aprender transformações afins flexíveis, é possível alcançar quantização quase sem perdas de LLMs em larguras de bits extremamente baixas (4 bits) sem incorrer em sobrecarga de inferência.