🤖 machine learning

Low-Rank Ternary Adaptation for Fine-Tuning Transformers

Este artigo propõe a "adaptação multiplicativa ternária", um novo método de baixo posto que permite o ajuste fino eficiente de transformers ternários ao representar atualizações de pesos discretos por meio de pequenas matrizes ternárias, preservando assim o domínio ternário e permitindo a fusão direta sem desquantização, enquanto recupera significativamente o desempenho em modelos de linguagem e de visão.

Autores originais: Alexandru-Dragos Manolache, Yunqiang Li, Jan van Gemert

Publicado 2026-08-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Alexandru-Dragos Manolache, Yunqiang Li, Jan van Gemert

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A inteligência artificial moderna depende de programas de computador massivos chamados transformers, que se tornaram o motor por trás de tudo, desde assistentes de escrita até geradores de imagens. Esses programas são incrivelmente poderosos, mas também são pesados, exigindo vastas quantidades de memória de computador e energia para funcionar. Para torná-los utilizáveis em dispositivos menores, como telefones ou laptops, pesquisadores passaram anos tentando encolhê-los. Uma estratégia popular é comprimir os números dentro do programa, transformando-os de valores complexos e de alta precisão em versões de baixa precisão e mais simples. Imagine pegar uma fotografia de alta resolução e reduzi-la a apenas algumas cores; a imagem torna-se menor e mais rápida de processar, embora algum detalhe seja inevitavelmente perdido. A forma mais agressiva desta compressão envolve limitar os números internos do programa a apenas três valores possíveis: negativo um, zero e positivo um. Esta abordagem, conhecida como quantização ternária, reduz a memória necessária em um fator de dez, potencialmente transformando um modelo que antes exigia um grande servidor em algo que poderia rodar em um laptop padrão.

No entanto, um problema significativo estagnou o progresso destes modelos ultracompactos. Embora os modelos sejam pequenos e eficientes, eles são difíceis de ensinar novas tarefas. Os métodos padrão para ensinar estes programas envolvem fazer pequenos ajustes contínuos em seus números. Mas quando um modelo é restrito a apenas três valores, ele não pode fazer pequenos ajustes; ele só pode inverter o sinal de um número de negativo para positivo, ou desligá-lo completamente. As técnicas existentes para ensinar estes modelos comprimidos geralmente exigem expandir temporariamente os números de volta ao seu tamanho total e pesado para realizar as mudanças, e depois espremê-los de volta. Este processo de expansão e recompressão introduz erros que degradam o desempenho do modelo, muitas vezes tornando o resultado final pior do que se nenhum ensino tivesse ocorrido.

Uma equipe de pesquisadores da Universidade Tecnológica de Delft e da Amazon desenvolveu uma nova maneira de ensinar estes modelos ultracompactos que evita este ciclo de expansão e erro. Em vez de tentar adicionar pequenos números contínuos ao modelo, o método deles trabalha diretamente dentro do sistema estrito de três valores. Eles projetaram um sistema que atua como um conjunto de interruptores, permitindo que o modelo inverta o sinal de seus números internos ou os desligue completamente, sem nunca deixar o estado comprimido. Para tornar isso eficiente, eles não tentaram ajustar cada número individualmente. Em vez disso, utilizaram uma estrutura matemática que permite que alguns padrões simples e pequenos controlem vastas seções do modelo de uma só vez. Esta abordagem, que eles chamam de adaptação ternária de baixo posto (low-rank ternary adaptation), permite que o modelo aprenda novas habilidades enquanto permanece perfeitamente comprimido.

Os pesquisadores testaram este método em vários tipos diferentes de inteligência artificial, incluindo modelos de linguagem capazes de raciocínio e modelos de visão que reconhecem imagens. Eles começaram com modelos que já haviam sido comprimidos para o limite de três valores e então aplicaram esta nova técnica de ensino. Os resultados mostraram que os modelos recuperaram muito da precisão que perderam durante a compressão inicial. Em testes envolvendo tarefas de linguagem, os modelos adaptados apresentaram um desempenho significativamente melhor do que tentativas anteriores que tentavam forçar o modelo a aprender através da expansão e recompressão. Por exemplo, em um modelo de linguagem com três bilhões de parâmetros, o novo método melhorou a precisão média em nove tarefas diferentes de aproximadamente 32 por cento para 38 por cento, além de tornar as previsões do modelo muito mais confiantes.

Talvez o mais importante seja que o resultado final deste processo é um modelo único e unificado que permanece em sua forma ultracompacta. Ao contrário de outros métodos que deixam para trás um conjunto separado e pesado de instruções que deve ser carregado ao lado do modelo pequeno, esta nova abordagem funde o aprendizado diretamente nos pesos minúsculos. Os pesquisadores descobriram que, para tarefas de visão, como identificar objetos em imagens, o método deles produziu um modelo que era muito mais preciso do que aqueles criados ao recomprimir após o aprendizado. Eles também descobriram que o processo de aprendizado funcionava redistribuindo os sinais dos números existentes, em vez de tentar trazer de volta à vida os números que haviam sido zerados. Isso significa que o modelo aprende reorganizando o que já possui, em vez de tentar criar novas conexões onde elas não existiam.

Este trabalho demonstra que é possível ensinar modelos de inteligência artificial altamente comprimidos sem sacrificar sua eficiência ou precisão. Ao respeitar os limites estritos do sistema de três valores e encontrar uma maneira de aprender dentro desses limites, os pesquisadores mostraram que esses modelos minúsculos podem ser tão capazes quanto seus equivalentes maiores para muitas tarefas. O método não requer memória extra ou poder de computação durante o uso, pois o aprendizado é totalmente integrado à estrutura do modelo. Isso abre as portas para executar inteligência artificial sofisticada em dispositivos com recursos muito limitados, levando capacidades poderosas para lugares onde anteriormente era impossível implantá-las.

Resumo Técnico: Adaptação Ternária de Baixo Rank para Ajuste Fino de Transformers

Declaração do Problema

Modelos Transformer, particularmente Grandes Modelos de Linguagem (LLMs) e Vision Transformers (ViTs), enfrentam desafios significativos de implantação devido aos altos requisitos de memória e computação. A quantização oferece uma solução ao comprimir os pesos, sendo que a quantização ternária (restringindo os pesos a $\{-1, 0, 1\}$ ) representa um nível de compressão extrema (~1,58 bits por peso) adequado para hardware de baixo desempenho. No entanto, realizar o ajuste fino (fine-tuning) desses modelos ternários apresenta um desafio único: os métodos existentes de Ajuste Fino de Parâmetros Eficientes (PEFT), como o Low-Rank Adaptation (LoRA) e suas variantes quantizadas (QLoRA, QA-LoRA), dependem de atualizações aditivas em espaços contínuos de ponto flutuante.

A aplicação de atualizações aditivas a pesos ternários força o modelo para fora do domínio ternário, necessitando de desquantização para precisão total para a atualização e subsequente re-quantização para inferência. Esse processo introduz erros de quantização que degradam o desempenho, particularmente em precisões sub-2 bits. Além disso, os métodos atuais ou falham em preservar a natureza ternária do modelo fundido ou exigem etapas de desquantização que anulam os benefícios de memória e computação da quantização ternária. Há uma falta de um método que possa realizar o PEFT nativamente dentro do domínio ternário discreto enquanto produz um modelo fundido que permaneça estritamente ternário.

Metodologia

Os autores propõem a Adaptação Multiplicativa Ternária, um método projetado para ajustar modelos transformer ternários sem sair do domínio ternário. A inovação central reside na substituição de atualizações aditivas contínuas por atualizações multiplicativas discretas.

1. Atualização Multiplicativa Ternária

Em vez de adicionar uma matriz de baixo rank aos pesos, o método aplica um produto de Hadamard elemento a elemento ( $\odot$ ) entre os pesos ternários pré-treinados ( $W_{tern}$ ) e uma máscara de adaptação ternária ( $\Delta_{tern}$ ):
$W'_{tern} = W_{tern} \odot \Delta_{tern}$
A máscara $\Delta_{tern}$ consiste em valores em $\{-1, 0, 1\}$ , realizando três operações discretas nos pesos base:

$+1$ : Mantém o peso (identidade).
$0$: Zera o peso (poda/pruning).
$-1$: Inverte o sinal do peso.

Esta formulação garante o fechamento dentro do domínio ternário; os pesos fundidos $W'_{tern}$ permanecem estritamente em $\{-1, 0, 1\}$ , eliminando a necessidade de desquantização ou re-quantização.

2. Decomposição de Kronecker de Baixo Rank

Para representar a máscara de adaptação de alta dimensão $\Delta_{tern}$ de forma eficiente, os autores a decompõem usando um produto de Kronecker de duas matrizes ternárias menores, $A$ e $B$ :
$\Delta_{tern} = A \otimes B$
onde $A \in \{-1, 0, 1\}^{p \times q}$ e $B \in \{-1, 0, 1\}^{r \times s}$ . As dimensões são escolhidas de tal forma que $p \cdot r = d_{out}$ e $q \cdot s = d_{in}$ , correspondendo à forma da matriz de peso original. Esta estrutura permite que o modelo alcance uma expressividade de alto rank (rank até $\min(d_{out}, d_{in})$ ) enquanto mantém uma contagem de parâmetros de $O(d)$ para camadas quadradas, significativamente menor do que o $O(d^2)$ exigido para ajuste fino total ou LoRA de alto rank.

3. Treinamento via Proxies de Valor Real e STE

Como as matrizes $A$ e $B$ devem ser discretas, a otimização direta baseada em gradiente é impossível. Os autores otimizam proxies de valor real $\bar{A}$ e $\bar{B}$ e os projetam para o domínio ternário durante o passo de propagação direta (forward pass) usando uma função de limiar (thresholding function, baseada na média absoluta da matriz). Os gradientes passam através desta projeção não diferenciável usando um Estimador de Passagem Direta (STE - Straight-Through Estimator).

4. Inferência e Fusão

Após o treinamento, a adaptação é fundida diretamente nos pesos base via multiplicação elemento a elemento. O modelo resultante é totalmente ternário, exigindo nenhum parâmetro adicional ou sobrecarga de latência durante a inferência.

Contribuições Principais

Adaptador Multiplicativo Ternário: Um novo método de PEFT que modela atualizações ternárias discretas (inversão de sinal e zeramento) diretamente nos pesos ternários, preservando o domínio ternário durante o treinamento e a inferência.
Decomposição de Kronecker: Uma representação compacta e de baixo rank da máscara de atualização ternária que equilibra eficiência de parâmetros com alta expressividade, permitindo que a adaptação cubra todos os pesos em uma camada.
Implantação com Zero de Sobrecarga: O método permite a fusão total do adaptador nos pesos base, resultando em um modelo estritamente ternário que não requer etapas de desquantização ou re-quantização.
Validação Empírica: Avaliação abrangente em seis modelos (LLaMA-3.2 1B/3B, Falcon-E 1B/3B, BitNet b1.58, e ViT-B/16) demonstrando a recuperação do desempenho perdido para a quantização.

Resultados Experimentais

Os autores avaliaram seu método em tarefas de linguagem e visão, comparando-o com baselines de precisão total, baselines de quantização pós-treinamento (PTQ) e variantes de QLoRA.

Desempenho de LLM (Llama-3.2 1B/3B): No modelo Llama-3.2 1B, o método melhorou a pontuação média do benchmark de 33.2 (baseline ternário SpinQuant) para 35.3, superando baselines de 2 bits em sete de nove tarefas. Para o Llama-3.2 3B, o método alcançou uma acurácia média de 38.3, superando o baseline de 2 bits do SpinQuant (32.6) e o baseline de 1.58 bits (31.9) em todos os nove benchmarks.
Perplexidade (PPL): O método reduziu significativamente a perplexidade em comparação com o baseline ternário SpinQuant (ex: de 86.5 para 44.6 para Llama-1B) e superou o QLoRA que foi fundido e re-quantizado para 1.58 bits.
Adaptação Downstream: Ao realizar o ajuste fino de modelos ternários pré-treinados (Falcon-E, BitNet) no GSM8K, o método melhorou a acurácia de correspondência exata (exact-match) em +1.0 a +3.1 pontos sobre os backbones ternários congelados.
Visão (ViT-B/16): No ImageNet-100, o ViT ternário fundido alcançou 83.0% de acurácia Top-1, superando o baseline de QLoRA re-quantizado (78.9%) e diminuindo a lacuna para o ajuste fino ternário total (85.7%).
Análise de Pesos: A análise de transição revelou que os ganhos de acurácia derivam principalmente da redistribuição de sinais entre os pesos não nulos existentes. O método não consegue reativar pesos que foram quantizados para zero, pois a atualização multiplicativa não pode mudar um valor zero para um valor não nulo.

Significância e Alegações

O artigo afirma que este trabalho aborda uma lacuna crítica na adaptação eficiente de modelos: permitir o ajuste fino de modelos de baixíssimo bit (ternários) sem sacrificar os benefícios de memória e computação do formato ternário. Ao evitar a desquantização e a re-quantização, o método previne a degradação de acurácia associada a essas etapas em precisões sub-2 bits.

Os autores enfatem que sua abordagem é a primeira a produzir um modelo fundido que permanece estritamente ternário enquanto utiliza uma estratégia de adaptação de parâmetros eficientes. Isso permite a implantação de modelos altamente comprimidos e ajustados para tarefas específicas em hardware com recursos limitados, sem a sobrecarga de inferência de módulos adaptadores separados ou a perda de precisão da re-quantização. O trabalho demonstra que modelos ternários podem ser efetivamente adaptados para tarefas de domínio, recuperando grande parte do desempenho perdido durante o processo de quantização inicial.