🤖 machine learning

ReRound: Reconstructive Rounding to Resolve Midpoint Ambiguity in Calibration-Free LLM Quantization

O ReRound é um método de quantização pós-treinamento livre de calibração que utiliza um modelo de difusão condicional para resolver ambiguidades de arredondamento de ponto médio em pesos de LLM de baixa bitagem, superando consistentemente técnicas padrão para quantização de 3 e 4 bits enquanto mantém a eficiência offline.

Autores originais: He-Yen Hsieh, H. T. Kung

Publicado 2026-08-12

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: He-Yen Hsieh, H. T. Kung

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando encolher uma biblioteca gigante e incrivelmente detalhada de conhecimento para caber dentro de uma mochila pequena e portátil. Este é o mundo dos Grandes Modelos de Linguagem (LLMs), os cérebros de IA superinteligentes que podem escrever histórias, resolver problemas matemáticos e conversar como humanos. Esses cérebros são feitos de bilhões de números minúsculos chamados "pesos", e para torná-los rápidos e baratos de rodar em celulares ou laptops comuns, os cientistas tentam espremer esses números em caixas menores. Esse processo é chamado de quantização.

Pense nos números originais de tamanho total como fotos de alta resolução. Para economizar espaço, queremos transformar essas fotos em pixel art de baixa resolução. A maneira padrão de fazer isso é chamada de "Arredondamento para o Mais Próximo" (RTN). É como olhar para um número e perguntar: "Ele está mais perto de 1 ou de 2?". Se for 1,4, arredondamos para baixo para 1. Se for 1,6, arredondamos para cima para 2. É uma regra simples e automática. Mas há um ponto complicado: e se o número for exatamente 1,5? Ou muito próximo disso, como 1,48? Neste "ponto médio", a decisão é ambígua. Arredondar para baixo ou para cima cria quase a mesma quantidade de erro, então a regra simples apenas escolhe um arbitrariamente. Em uma biblioteca massiva de bilhões de números, fazer milhares dessas pequenas decisões arbitrárias pode acidentalmente embaralhar o significado de todo o livro, tornando a IA mais burra.

É aqui que um novo método chamado ReRound entra em cena. Em vez de adivinhar cegamente os pontos médios complicados, o ReRound age como um detetive que observa a vizinhança de números ao redor para descobrir a melhor escolha. Ele usa um tipo especial de treinamento de IA chamado "modelo de difusão" (a mesma tecnologia usada para gerar imagens a partir de texto) para aprender os padrões ocultos de como os números estão organizados no cérebro da IA. Quando vê um número preso em um ponto médio, ele pergunta: "Com base na companhia que este número mantém, ele deveria realmente ser arredondado para baixo ou pertence para cima?". Ao usar esses padrões aprendidos para guiar o arredondamento, o ReRound pode corrigir os erros do método padrão sem precisar retreinar toda a IA ou fornecer novos exemplos. É uma maneira inteligente de extrair mais precisão de uma mochila menor, tornando a IA poderosa acessível a todos sem a necessidade de supercomputadores caros.

O Guia do Detetive para uma IA Melhor

No mundo da inteligência artificial, a busca para tornar os modelos menores e mais rápidos frequentemente encontra uma barreira: o "problema do ponto médio". Quando os cientistas tentam encolher os números massivos dentro de uma IA (um processo chamado quantização), eles geralmente usam uma regra simples: se um número está mais perto do chão, arredonda para baixo; se está mais perto do teto, arredonda para cima. Mas o que acontece quando um número está bem no meio da sala? As regras padrão apenas jogam uma moeda para o alto. O artigo ReRound: Reconstructive Rounding to Resolve Midpoint Ambiguity in Calibration-Free LLM Quantization argumenta que esse lançamento de moeda é uma oportunidade perdida.

Os autores, He-Yen Hsieh e H. T. Kung, da Universidade de Harvard, propõem uma nova estratégia chamada ReRound. Em vez de arredondar cegamente os números próximos ao meio, o ReRound utiliza um "prior de difusão" — um palpite aprendido sobre como eram os números originais e perfeitos antes de serem encolhidos. Imagine que você tem uma foto de um gato borrada e pixelada. Uma regra de arredondamento padrão poderia apenas adivinhar a cor de um pixel nebuloso com base em seus vizinhos imediatos. O ReRound, no entanto, usa uma IA treinada (especificamente um modelo de difusão U-Net) para "alucinar" ou reconstruir como o inteiro do patch da foto deveria parecer, com base nos padrões que aprendeu da imagem original de alta qualidade.

Aqui está como a mágica acontece, passo a passo:

A Fase de Treinamento: Antes mesmo de a IA ser encolhida, o ReRound dá uma espiada nos pesos de alta precisão e tamanho total do modelo. Ele fatia esses pesos em pequenos patches de 64x64 e treina um modelo de difusão para prever o patch original de tamanho total apenas olhando para uma versão de baixa densidade (low-bit) e borrada dele. Pense nisso como ensinar um detetive a reconhecer a textura de um tecido específico apenas sentindo um pequeno pedaço felpudo.
A Reconstrução: Quando chega a hora de encolher o modelo, o ReRound não apenas arredonda os números. Ele passa os números de baixa densidade (low-bit) por seu detetive treinado (o modelo de difusão) para gerar uma versão "reconstruída" dos pesos. Esta não é a versão final do peso; é um guia. É como o detetive dizendo: "Eu sei que este pixel nebuloso está perto de um ponto médio, mas com base no padrão de todo o patch, ele deveria estar um pouco mais alto".
O Arredondamento Inteligente: O ReRound só usa o conselho deste detetive quando a regra padrão está verdadeiramente confusa (perto do ponto médio). Se o número estiver claramente próximo do chão ou do teto, ele segue a regra padrão. Mas se o número estiver instável perto do meio, o ReRound verifica o valor reconstruído. Se a reconstrução sugerir arredondar para o outro lado, e a "distância" do ponto médio não for muito grande, o ReRound inverte a chave.
A Verificação de Segurança: Para garantir que não está invertendo chaves demais e quebrando o modelo, o ReRound gera algumas versões diferentes do modelo encolhido, cada uma com uma "tolerância" ligeiramente diferente para o quanto confia no detet muchacho. Ele então escolhe o vencedor observando o "esqueleto" da matriz (seus valores singulares). Ele escolhe a versão que mantém intactos os padrões estruturais mais importantes do modelo original de tamanho total.

Os resultados são impressionantes, especialmente para modelos de IA menores. O artigo mostra que o ReRound supera consistentemente o método padrão de "Arredondamento para o Mais Próximo" ao comprimir modelos para precisão de 3 e 4 bits. Por exemplo, em modelos como o Gemma 2 2B e o Gemma 3 1B, o ReRound melhorou a precisão em 0,1 a 1,3 pontos em várias tarefas de linguagem. Em alguns casos, ele até superou métodos que exigem "dados de calibração" (alimentar a IA com milhares de frases de exemplo para aprender como arredondar), embora o ReRound não tenha usado nenhum dado extra. Ele funcionou inteiramente offline, usando apenas os próprios pesos do modelo.

Os autores observam cuidadosamente que isso não é uma solução mágica para todos os problemas. O método funciona melhor quando os parâmetros de quantização (como a escala e o ponto zero) já estão fixos. Também requer o treinamento de um modelo de difusão separado para cada IA específica, o que leva algum tempo e poder computacional inicialmente (cerca de 2 a 3 horas de treinamento e algumas horas de inferência por modelo). No entanto, uma vez feito isso, o processo de encolher o modelo é rápido, levando apenas segundos ou minutos.

Crucialmente, o ReRound não altera a forma como a IA roda no seu telefone ou laptop. Ele apenas altera os números inteiros finais armazenados na memória. Isso significa que a IA roda tão rápido quanto antes, mas com um pouco mais de capacidade cerebral preservada. O artigo sugere que esta abordagem de usar "pesos reconstruídos" como guia para o arredondamento pode ser um novo padrão para tornar a IA menor e mais inteligente, provando que, às vezes, a melhor maneira de tomar uma decisão não é olhar para o número isoladamente, mas sim perguntar à vizinhança o que ela pensa.

Resumo Técnico: ReRound – Arredondamento Reconstrutivo para Resolver a Ambiguidade de Ponto Médio na Quantização de LLMs Sem Calibração

1. Declaração do Problema

A quantização pós-treinamento (PTQ) reduz a pegada de armazenamento e memória de Grandes Modelos de Linguagem (LLMs) ao mapear pesos de precisão total para inteiros de baixa ordem. Uma etapa crítica nesse processo é a atribuição final de arredondamento, onde um peso de ponto flutuante quantizado deve ser atribuído ao seu inteiro adjacente inferior (floor) ou superior (ceiling).

Esquemas padrão de Arredondamento para o Mais Próximo (RTN - Round-to-Nearest) baseiam essa decisão puramente na distância escalar. Embora isso seja inequívoco para pesos próximos de fronteiras inteiras, cria uma ambiguidade de ponto médio para pesos próximos ao centro dos intervalos de quantização (ex: $r \approx 0,5$ ). Nessas regiões, o erro escalar incorrido ao arredondar para cima ou para baixo é quase idêntico. Consequentemente, as decisões do RTN nessas zonas ambíguas são frequentemente arbitrárias, mas um pequeno conjunto de tais decisões pode alterar significativamente o padrão global de arredondamento de uma camada linear, potencialmente degradando a precisão do modelo. Métodos existentes ou otimizam os parâmetros de quantização (escalas, pontos de zero) ou utilizam dados de calibração para aprender atribuições de arredondamento, mas poucos abordam a ambiguidade específica da etapa de arredondamento sem depender de amostras de ativação ou rótulos de downstream.

2. Metodologia: ReRound

O ReRound é uma estrutura sem calibração que revisita as decisões de RTN ambíguas de ponto médio utilizando informações aprendidas diretamente dos próprios pesos do LLM pré-treinado. O método consiste em três estágios primários:

A. Reconstrução Condicional de Pesos via Difusão

O ReRound treina um modelo de difusão condicional (especificamente uma U-Net) nos matrizes de pesos do LLM pré-treinado.

Treinamento: O modelo aprende a reconstruir patches de pesos de precisão total ( $P$ ) condicionada às suas versões de arredondamento estocástico (SR) de baixa ordem ( $P_{low}$ ). O alvo é o patch contínuo de precisão total, enquanto a condição é a observação quantizada.
Inferferência: Durante a fase de PTQ, o modelo gera pesos reconstruídos contínuos ( $W_{rec}$ ) condicionados aos pesos quantizados determinísticos de RTN ( $P_{cond}$ ).
Propósito: Esses pesos reconstruídos não são implantados como parâmetros do modelo. Em vez disso, eles servem como um prior aprendido que reflete a distribuição de pesos dentro daquele LLM específico, fornecendo evidências para resolver ambiguidades de arredondamento.

B. Arredondamento Guiado pela Reconstrução com Tolerância Dependente da Posição

O ReRound utiliza os pesos reconstruídos para propor atribuições de arredondamento alternativas (trocando o floor pelo ceiling ou vice-versa) apenas quando a decisão original do RTN é ambígua.

Condição de Proposta: Uma mudança é proposta apenas se o peso reconstruído ( $\tilde{w}_{rec}$ ) arredondar para o inteiro adjacente oposto ( $q_{alt}$ ) em comparação com a atribuição original do RTN ( $q_{rtn}$ ).
Tolerância Dependente da Posição: Nem todas as propostas são aceitas. O ReRound emprega uma métrica de tolerância $\tau_{pos}(r; \tau)$ $τ_{p os} (r; τ)$ baseada na posição fracionária $r$ $r$ do peso dentro de seu intervalo de quantização.
- Próximo ao ponto médio ( $r \approx 0,5$ ), a tolerância é alta, permitindo mudanças guiadas pela reconstrução.
- Próximo às fronteiras inteiras, a tolerância diminui exponencialmente, preservando a decisão padrão do RTN onde a diferença de erro escalar é significativa.
- Uma mudança é aceita apenas se o desvio entre o peso reconstruído e o original estiver dentro desta tolerância dependente da posição.
Geração de Candidatos: Ao percorrer um parâmetro de tolerância $\tau$ , o ReRound gera um conjunto de matrizes de pesos inteiros candidatas ( $Q_\tau$ ), cada uma representando um conjunto diferente de revisões de arredondamento aceitas.

C. Seleção Espectral

Para selecionar o candidato ideal sem dados de calibração, o ReRound utiliza um critério espectral de apenas pesos.

Cada matriz candidata $Q_\tau$ é desquantizada para formar uma matriz contínua $W_\tau$ .
Os valores singulares principais de $W_\tau$ são comparados aos da matriz original de precisão total $W$ .
O candidato com a menor discrepância espectral (correspondência mais próxima nos modos singulares dominantes) é selecionado como a matriz de pesos quantizados final. Isso garante que o padrão de arredondamento selecionado preserve os modos estruturais dominantes da camada original.

3. Principais Contribuições

Estrutura ReRound: Uma abordagem inovadora sem calibração que utiliza um modelo de difusão condicional treinado nos próprios pesos do modelo para guiar decisões de arredondamento ambíguas de ponto médio.
Tolerância Dependente da Posição: Uma métrica que controla dinamicamente a aceitação de mudanças guiadas pela reconstrução, priorizando a região do ponto médio enquanto preserva o RTN próximo às fronteiras.
Critério de Seleção Espectral: Um método para selecionar a matriz de inteiros quantizados ideal baseando-se na preservação de valores singulares, eliminando a necessidade de amostras de ativação, calibração de texto ou rótulos de downstream.
Compatibilidade: O método opera inteiramente offline, modifica apenas as atribuições de inteiros quantizados (deixando escalas, pontos de zero e procedimentos de inferência inalterados) e pode refinar o RTN ou parâmetros de outros métodos de PTQ.

4. Resultados Experimentais

O artigo avalia o ReRound em uma gama de pequenos LLMs (ex: Gemma 2 2B, Gemma 3 1B, Qwen3 1.7B, OLMo 2 1B) para quantização de pesos de 3 e 4 bits.

vs. Baselines Sem Calibração: O ReRound supera consistentemente o RTN padrão por grupo e outros métodos sem calibração (HQQ, BNB FP4, RTN transformado por Hadamard) em todos os modelos testados. Ele alcança a maior precisão média para quantização de 3 bits para todos os modelos e iguala ou supera os melhores resultados em quantização de 4 bits para a maioria.
vs. Baselines Com Calibração: O ReRound supera métodos dependentes de calibração como GPTQ, AdaRound e SignRound em vários modelos (ex: alcançando 67,4% de precisão média no Gemma 2 2B contra 67,0% para o SignRound) sem utilizar qualquer dado de calibração.
Estudos de Ablação: Remover qualquer componente (guia de reconstrução, tolerância dependente da posição ou seleção espectral) resulta em menor precisão, confirmando a necessidade do pipeline completo.
Generalização: O ReRound melhora as bases de RTN mesmo quando aplicado a parâmetros de quantização gerados por outros métodos (ex: SINQ), demonstrando sua utilidade como ferramenta de refinamento post-hoc.
Eficiência: O método não introduz overhead durante a inferência de baixa ordem. O custo offline envolve uma execução de treinamento de difusão por modelo e um passo de seleção PTQ rápido (segundos por modelo).

5. Significância e Alegações

O artigo posiciona o ReRound como um novo paradigma para quantização de baixa ordem que aproveita padrões estruturais em pesos pré-treinados como um prior eficaz. Sua principal significância reside em:

Resolução de Ambiguidade: Ele ataca especificamente o problema da "ambiguidade de ponto médio", uma limitação conhecida do RTN padrão, usando priors aprendidos em vez de regras heurísticas.
Eficiência Sem Calibração: Alcança precisão de estado da arte entre métodos sem calibração e compete com abordagens dependentes de calibração, removendo a necessidade de conjuntos de dados de calibração dispendiosos.
Preservação de Inferência: Ao alterar apenas as atribuições de inteiros enquanto mantém a grade de quantização e a lógica de inferência idênticas ao RTN, ele garante uma implantação contínua.

Os autores observam limitações, incluindo a necessidade de um modelo de difusão separado por LLM (introduzindo custos offline específicos por modelo) e o foco atual em pequenos LLMs. Eles sugerem que trabalhos futuros possam explorar a transferência de priors de pesos entre modelos e a otimização conjunta de parâmetros de quantização com o arredondamento.