🤖 machine learning

Recover-LoRA for Aggressive Quantization: Reclaiming Accuracy in 2-Bit Language Models via Low-Rank Adaptation with Knowledge Distillation on Synthetic Data

Este artigo apresenta o Recover-LoRA, um método livre de dados que combina a quantização seletiva de 2 bits das camadas de gate e up de MLP com a adaptação de baixo ranking treinada em dados sintéticos para recuperar 80–95% da precisão perdida na compressão agressiva de 2 bits de modelos de linguagem, oferecendo ganhos significativos de vazão para implantação em dispositivos de borda.

Autores originais: Devleena Das, Rajeev Patwari, Elliott Delaye, Ashish Sirasao

Publicado 2026-06-04

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Devleena Das, Rajeev Patwari, Elliott Delaye, Ashish Sirasao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca imensa e incrivelmente inteligente (um Grande Modelo de Linguagem) que contém a soma do conhecimento humano. Esta biblioteca é tão grande que não cabe em uma mochila pequena e portátil (como um smartphone ou um laptop). Para torná-la portátil, você tenta encolher os livros para minúsculas "notas de bolso" de 2 bits.

O Problema:
Quando você encolhe esses livros de forma muito agressiva (de 4 bits para 2 bits), a tinta borra. As histórias ficam truncadas, os fatos se misturam e a biblioteca deixa de fazer sentido. É rápido e leve, mas não é mais inteligente. Geralmente, para consertar isso, você teria que reescrever toda a biblioteca do zero, o que leva anos e exige uma equipe enorme de editores (dados rotulados).

A Solução: "Recover-LoRA"
Este artigo apresenta um conserto inteligente e de baixo custo chamado Recover-LoRA. Pense nisso não como reescrever o livro inteiro, mas como adicionar um pequeno post-it (um "Low-Rank Adapter") às páginas específicas que ficaram mais borradas.

Veja como o método dos autores funciona, dividido em etapas simples:

1. A Estratégia de "Encolhimento Inteligente" (Precisão Mista)

Os autores perceberam que nem todas as partes da biblioteca são igualmente pesadas. Em modelos de IA modernos, as seções "Gate" e "Up" (que atuam como os principais tomadores de decisão no cérebro do modelo) ocupam a maior parte do espaço e são as que mais lentificam o processo.

O Movimento: Eles encolhem apenas esses tomadores de decisão pesados para minúsculas notas de 2 bits. Eles deixam o resto da biblioteca em um tamanho ligeiramente maior e mais seguro de 4 bits.
O Resultado: Isso é como colocar os livros mais pesados nas caixas menores e os livros mais leves em caixas um pouco maiores. Isso torna a mochila significativamente mais leve e rápida de carregar (até 23% mais rápida), mas isso causa algum borrão nessas páginas pesadas específicas.

2. O "Professor Fantasma" (Destilação de Conhecimento)

Agora que a biblioteca está borrada, como consertá-la sem contratar uma equipe de editores?

O Truque: Eles usam a biblioteca original, perfeita e de tamanho total (o "Professor") para ensinar a versão encolhida e borrada (o "Aluno").
O Método: Eles não precisam de perguntas do mundo real ou respostas avaliadas por humanos. Em vez disso, pedem ao Professor perfeito para gerar 10.000 histórias e fatos aleatórios por conta própria (Dados Sintéticos).
A Lição: O Aluno olha para a página borrada, tenta adivinhar a resposta e depois compara seu palpite com a resposta perfeita do Professor. Se eles não coincidirem, o Aluno ajusta seu pequeno post-it (o adaptador LoRA) para chegar mais perto da lógica do Professor.

3. Os Resultados: Tirando as Borrões

O artigo testou isso em um modelo de 4 bilhões de parâmetros (Qwen3-4B).

Antes do conserto: O modelo de 2 bits era terrível, obtendo pontuações baixas em testes de lógica e conhecimento.
Após o conserto: Ao treinar apenas aqueles pequenos post-its por um curto período usando as 10.000 histórias geradas pelo próprio modelo, o modelo recuperou de 80% a 95% de sua inteligência perdida.
A Surpresa: Não importava se eles usavam uma lista curada de perguntas escritas por humanos ou apenas as próprias histórias inventadas pela IA; ambos funcionaram igualmente bem. Isso significa que você não precisa de dados caros rotulados por humanos para consertar o modelo.

4. Por que Isso Importa

Velocidade: Torna a execução desses enormes modelos de IA em dispositivos pequenos (como telefones) muito mais rápida porque as partes de "tomada de decisão" são minúsculas.
Custo: Corrige o problema de precisão sem precisar treinar todo o modelo novamente ou encontrar um enorme conjunto de dados de respostas humanas.
Confiabilidade: Mesmo quando testado em perguntas que o modelo nunca viu antes (fora da distribuição), o conserto funcionou bem, provando que ele realmente aprendeu a lógica, não apenas memorizou as respostas.

Em Resumo:
Os autores descobriram uma maneira de encolher modelos de IA ao extremo (2 bits) para torná-los rápidos e portáteis. Quando isso os tornou "burros", eles não reescreveram tudo. Em vez disso, anexaram um pequeno "patch" inteligente treinado pela própria voz do modelo original, usando apenas 10.000 exemplos criados por ele mesmo. Esse patch conseguiu restaurar a inteligência do modelo, tornando a compressão agressiva prática para o uso no mundo real.

Resumo Técnico: Recover-LoRA para Quantização Agressiva

Declaração do Problema

A quantização agressiva de pesos para precisão de 2 bits oferece benefícios significativos de vazão (throughput) e memória para a inferência de Grandes Modelos de Linguagem (LLMs), particularmente para implantações em borda (edge) e dispositivos locais, onde a largura de banda de memória é uma restrição primária. No entanto, reduzir a precisão para 2 bits normalmente acarreta uma degradação severa de precisão, limitando a adoção prática. Enquanto a quantização de 4 bits (via AWQ, GPTQ, por exemplo) é frequentemente quase sem perdas, a precisão abaixo de 4 bits introduz ruído de quantização substancial. O desafio central abordado por este trabalho é se a precisão perdida para a quantização de 2 bits pode ser recuperada de forma barata — sem o retreinamento total do modelo ou acesso a conjuntos de dados rotulados — permitindo a usabilidade generalizada de modelos de ultra-baixa bitagem.

Metodologia

Os autores propõem uma abordagem de dois estágios combinando quantização de precisão mista seletiva com um mecanismo de recuperação pós-hoc leve:

1. Quantização de Precisão Mista Seletiva (W4/W2-GateUp)

Em vez de quantizar uniformemente todo o modelo para 2 bits, os autores empregam uma estratégia direcionada:

Camadas Alvo: Apenas as camadas de projeção gate (porta) e up dentro dos blocos MLP são quantizadas para 2 bits (INT2). Estas camadas constituem a maioria dos parâmetros nas arquiteturas modernas de gated-MLP e representam o principal gargalo de vazão durante a fase de decodificação.
Demais Camadas: Todas as outras camadas lineares (projeções de atenção, projeções down) permanecem em precisão superior (inicialmente BF16 para experimentos, pretendendo ser INT4 na implantação).
Racional: Esta configuração captura uma parte substancial dos ganhos de vazão de uma quantização W2 total, enquanto confina o erro de quantização a um subconjunto de camadas previsível e conhecido.

2. Recuperação de Precisão via Recover-LoRA

Para restaurar a precisão degradada pela quantização de 2 bits das camadas gate e up, os autores aplicam o Recover-LoRA, um método de recuperação livre de dados (data-free):

Posicionamento do Adaptador: Adaptadores de baixo ranking (LoRA) são anexados diretamente às camadas de projeção quantizadas gate e up.
Objetivo de Treinamento: Os adaptadores são treinados via destilação de logits contra o modelo professor de precisão total. O objetivo minimiza a divergência KL entre as distribuições de logit do aluno (quantizado + LoRA) e do professor.
Fonte de Dados: O treinamento utiliza dados sintéticos gerados via uma estratégia de amostragem híbrida (geração determinística dos primeiros 3 a 5 tokens, seguida de geração estocástica). Isso elimina a necessidade de conjuntos de dados rotulados.
Inicialização: Diferente do Recover-LoRA original que utilizava inicialização OLoRA (baseada em SVD), este trabalho emprega a inicialização LoRA padrão (Kaiming uniform para $A$ , zero para $B$ ) para garantir estabilidade sobre os pesos quantizados.

Principais Contribuições

Recuperação de Precisão Eficaz: Os autores demonstram que o Recover-LoRA pode recuperar de 80% a 95% da precisão perdida em 9 de 12 benchmarks para um modelo Qwen3-4B quantizado para as camadas gate/up de 2 bits, utilizando apenas 10.000 amostras sintéticas e sem dados rotulados.
Análise de Vazão (Throughput): Através de modelagem de roofline em três famílias de modelos (4B–20B) e duas plataformas de hardware, o artigo estabelece que a configuração W4/W2-GateUp entrega melhorias de 7,5–23,3% de TPS (tokens por segundo) sobre a quantização uniforme W4, dependendo do comprimento do contexto e da arquitetura do modelo.
Eficácia de Dados Sintéticos: O estudo valida que dados sintéticos performam de forma comparável a dados rotulados curados (ex: OpenHermes) para recuperação baseada em destilação, removendo a dependência de conjuntos de dados rotulados de alta qualidade.
Generalização: O método de recuperação generaliza para tarefas fora da distribuição (OOD), sugerindo que os adaptadores aprendem a alinhar a distribuição de saída do aluno com a do professor, em vez de memorizar padrões específicos de treinamento.

Resultados Experimentais

Recuperação de Precisão: No estudo de caso do Qwen3-4B, a quantização de 2 bits causou degradação severa (ex: o MMLU caiu de 68,3% para 24,5%). O Recover-LoRA restaurou o MMLU para 60,5–61,2% (82–84% de recuperação). Em 12 benchmarks (incluindo tarefas OOD como LAMBADA e TruthfulQA), 9 atingiram 80–95% de recuperação de precisão.
Ganhos de Vazão: Nos modelos densos (Qwen3-4B/14B), a estratégia W4/W2-GateUp capturou 38–45% do ganho de velocidade total disponível da quantização W2 completa. Os ganhos foram maiores em comprimentos de contexto curtos (20–23% sobre W4) e diminuíram em contextos mais longos (7–12%) devido à dominância da largura de banda do cache KV.
Modelos MoE: Para o modelo GPT-OSS-20B (MoE), os ganhos de vazão foram mais modestos (9–14%) devido aos efeitos de roteamento MoE, onde apenas um subconjunto de especialistas está ativo por token.
Raciocínio Matemático: A recuperação para raciocínio matemático (TinyGSM8k) foi menor (48–55% de recuperação), indicando que domínios de tarefas específicas podem permanecer desafiadores sob quantização agressiva.

Significância e Alegações

O artigo posiciona o Recover-LoRA como uma ferramenta prática de recuperação de precisão pós-quantização que permite a implantação de modelos agressivos de 2 bits sem os custos proibitivos de retreinamento total do modelo ou a necessidade de dados rotulados. Ao combinar uma estratégia de precisão mista otimizada para vazão com um mecanismo de recuperação leve e livre de dados, os autores argumentam que o equilíbrio entre memória/vazão e precisão pode ser efetivamente gerenciado para implantação em borda e dispositivos locais.

O trabalho estende o framework original do Recover-LoRA (projetado para corrupção geral de pesos) para o erro estruturado específico introduzido pela quantização de ultra-baixa bitagem. Os autores observam que, embora o método seja eficaz, ele é mais aplicável como um passo pós-hoc em um pipeline de implantação onde as camadas quantizadas são conhecidas a priori, permitindo o posicionamento direcionado de adaptadores. O artigo conclui que esta abordagem oferece um caminho viável para a "compressão agressiva sub-4-bit" em cenários do mundo real.