💬 NLP

PoLoRA: A Preconditioned Orthogonalized LoRA Optimizer

O PoLoRA é um novo otimizador para Low-rank Adaptation (LoRA) que combina atualizações espectrais conscientes do produto, precondicionamento de curvatura e uma regra de controle de magnitude para alcançar convergência mais rápida, estabilidade da taxa de aprendizado e redução da sensibilidade à seleção de rank em comparação ao Adam padrão, com sobrecarga computacional mínima.

Autores originais: Nikhil Ghosh, Tetiana Parshakova, Robert M. Gower

Publicado 2026-07-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Nikhil Ghosh, Tetiana Parshakova, Robert M. Gower

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô gigante e superinteligente que já leu quase toda a internet a realizar um novo trabalho específico, como escrever código Python ou resolver problemas matemáticos avançados. O robô é enorme, e retreinar todo o seu cérebro do zero para cada novo trabalho levaria uma eternidade e custaria uma fortuna. Então, cientistas inventaram um truque inteligente chamado "Low-Rank Adaptation" (LoRA). Pense no cérebro do robô como uma biblioteca massiva e congelada. Em vez de reescrever os livros, o LoRA adiciona um pequeno sistema de notas adesivas às prateleiras. Essas notas adesivas são camadas pequenas e ajustáveis que podem ser treinadas rapidamente para ensinar ao robô a nova habilidade, enquanto a biblioteca original permanece intocada.

Normalmente, quando os cientistas treinam essas notas adesivas, eles usam um método padrão e confiável chamado "Adam". É como um trilheiro cauteloso que dá passos pequenos e constantes em todas as direções, checando o chão antes de se mover. Funciona, mas pode ser lento e, às vezes, fica confuso com a forma complexa das notas adesivas. Recentemente, alguns pesquisadores tentaram usar um trilheiro mais "consciente de matrizes" (um que entende que as notas são grades, não apenas uma lista de números) para acelerar as coisas, mas isso não funcionou consistentemente melhor do que o trilheiro cauteloso. Este artigo pergunta: Podemos construir um trilheiro melhor especificamente para essas notas adesivas que seja mais rápido, mais inteligente e mais fácil de usar?

Os autores introduzem um novo otimizador chamado PoLoRA (Preconditioned Orthogonalized LoRA). Eles descobriram que simplesmente tratar as notas adesivas como uma lista plana de números (como o Adam faz) ou apenas usar um trilheiro padrão consciente de matrizes não é suficiente. Em vez disso, o PoLoRA usa uma estratégia de três partes para navegar pelo cenário de treinamento de forma mais eficiente. Primeiro, ele entende que as duas partes da nota adesiva trabalham juntas como um produto, então ele as ajusta como um time, em vez de indivíduos. Segundo, ele usa um "mapa de curvatura" para ver quão íngreme é a colina para cada peça específica de dados, permitindo que ele dê passos mais inteligentes. Terceiro, ele tem uma regra estrita sobre o tamanho de cada passo, garantindo que o robô não tropece ou ultrapasse o alvo.

Quando os pesquisadores testaram o PoLoRA em modelos que variam de 1 bilhão a 8 bilhões de parâmetros, os resultados foram promisentes. Em tarefas envolvendo matemática e codificação, o PoLoRA atingiu o mesmo nível de desempenho do melhor otimizador Adam ajustado em 1,2 a 1,7 vezes menos passos. Em outras palavras, ele terminou a corrida significativamente mais rápido. Por exemplo, em uma tarefa matemática específica, levou 1,63 vezes menos passos para chegar à linha de chegada. Apesar desses ganhos de velocidade, o poder computacional adicional necessário para cada passo foi mínimo, adicionando no máximo 3% ao tempo por passo.

O artigo também descobriu que o PoLoRA é muito mais tolerante do que o método padrão. Enquanto o Adam exige um ajuste muito preciso de sua "taxa de aprendizado" (o tamanho dos passos) e essa taxa muda dependendo do tamanho das notas adesivas, a taxa de aprendizado ideal do PoLoRA permanece estável entre diferentes tamanhos. Isso torna mais fácil para os pesquisadores usá-lo sem passar semanas adivinhando as configurações corretas.

No entanto, os autores são cuidadosos ao notar que isso não é uma bala de prata que resolve tudo. Eles descobriram explicitamente que aplicar diretamente os otimizadores existentes "conscientes de matrizes" (como o Muon) às notas adesivas não melhora consistentemente o desempenho em relação ao Adam. Foi a combinação específica de entender a estrutura do produto, controlar a perda por amostra e gerenciar o tamanho do passo que fez o PoLoRA funcionar. O método depende de aproximações para manter a velocidade, como simplificar o "mapa de curvatura" para ser diagonal, e os resultados baseiam-se no ajuste fino de modelos de linguagem em dados de teste retidos. Embora o ganho de velocidade seja claro nesses experimentos, os autores sugerem que testes adicionais em execuções de treinamento mais longas ou diferentes tipos de adaptadores são necessários para ver se esses ganhos se mantêm em todos os lugares.

Em resumo, o PoLoRA oferece uma maneira nova e mais eficiente de ensinar novas habilidades a modelos de IA gigantes ao tratar suas partes pequenas e ajustáveis com um pouco mais de cuidado geomético, provando que, às vezes, a melhor maneira de seguir em frente é entender a forma do caminho que você está percorrendo.

Resumo Técnico: PoLoRA

Declaração do Problema

A adaptação de baixo posto (LoRA) é uma técnica padrão para o ajuste fino eficiente de grandes modelos de linguagem (LLMs) ao congelar os pesos base $W_0$ e treinar uma atualização de baixo posto $\Delta W = \frac{\alpha}{r} BA$ , onde $B \in \mathbb{R}^{d_{out} \times r}$ e $A \in \mathbb{R}^{r \times d_{in}}$ . A abordagem de otimização padrão aplica o Adam aos fatores $A$ e $B$ de forma independente, tratando os parâmetros como um vetor plano e ignorando a estrutura subjacente de matriz e produto.

Embora otimizadores conscientes de matrizes como o Muon tenham demonstrado desempenho superior ao Adam no pré-treinamento de matrizes de pesos totais, a aplicação ingênua do Muon aos fatores LoRA falha em gerar ganhos consistentes. Além disso, variantes concomitantes "conscientes do produto" (por exemplo, iMuon), que tentam considerar a estrutura de produto $BA$, também falham em superar consistentemente o Adam. O desafio central é que o modelo observa o produto fundido $BA$, enquanto o otimizador atua sobre os fatores individuais $A$ e $B$ . Métodos existentes ou ignoram a estrutura do produto ou falham em controlar efetivamente a magnitude da atualização fundida resultante.

Metodologia

Os autores introduzem o PoLoRA (Preconditioned Orthogonalized LoRA), um otimizador derivado do declive estep de máxima (steepest descent) restrito. O método é construído sobre três ingredientes principais:

1. Direção de Atualização Espectral Consciente do Produto

Em vez de tratar $A$ e $B$ como matrizes independentes, o PoLoRA formula a direção de atualização baseada na mudança linearizada para o peso fundido $\Delta W \approx B\Delta A + \Delta B A$ .

Derivação: Os autores definem um Oráculo de Minimização Linear (LMO) que minimiza a perda linearizada sujeito a uma restrição na mudança da perda por amostra, em vez de uma simples limitação de norma espectral na matriz de peso.
Conjunto de Gradiente Externo: Para tornar isso tratável sem armazenar gradientes por amostra, eles constroem um conjunto de gradiente externo centralmente simétrico $\mathcal{G}$ baseado em aproximações fatoradas de Kronecker da covariância do gradiente.
Resultado: Isso gera uma direção onde a atualização é pré-condicionada por estimativas de curvatura ( $P$ e $Q$ ) e envolve uma função de sinal de matriz (decomposição polar) aplicada aos gradientes pré-condicionados. Isso resulta em uma direção "Product Muon" que respeita a estrutura $BA$.

2. Pré-condicionamento de Curvatura

O PoLoRA incorpora informações de curvatura para escalar as direções de atualização.

Aproximação: Os pré-condicionadores $P$ e $Q$ são aproximados como matrizes diagonais, derivadas dos segundos momentos dos gradientes dos fatores (semelhante ao Adafactor e KL-Shampoo).
Mecanismo: Esses pré-condicionadores escalam adaptativamente as direções do gradiente para levar em conta como diferentes direções alteram a perda, efetivamente branqueando (whitening) o espaço do gradiente em uma métrica consciente do produto.

3. Controle de Magnitude

Um componente crítico do PoLoRA é uma regra explícita para controlar o tamanho das atualizações.

Problema: Direções conscientes do produto (como o Product Muon) controlam a norma espectral da atualização linearizada fundida, mas deixam os passos dos fatores individuais $\|\Delta A\|$ e $\|\Delta B\|$ sem controle. Isso pode levar à instabilidade se um fator possuir valores singulares pequenos.
Solução: O PoLoRA introduz uma regra de magnitude que define as normas espectrais das atualizações dos fatores $\|\Delta A\|_2 = \|\Delta B\|_2 = \rho$ , onde $\rho = \frac{\eta}{\|A\|_2 + \|B\|_2}$ . Isso garante que a atualização fundida $\|\Delta W\|_2$ permaneça limitada pela taxa de aprendizado $\eta$ , prevenindo a desestabilização enquanto mantém o limite espectral no produto fundido.

Principais Contribuições

Otimizador PoLoRA: Um novo otimizador que combina uma direção espectral consciente do produto, pré-condicionamento de curvatura e controle de magnitude explícito.
Derivação Teórica: Uma derivação da direção de atualização a partir de uma restrição de controle de perda por amostra, levando a uma atualização ortogonalizada pré-condicionada para fatores LoRA.
Regra de Magnitude: A identificação e implementação de uma regra de escala específica para fatores LoRA que garante estabilidade e desempenho consistente, distinguindo-o de métodos conscientes do produto anteriores.
Validação Empírica: Avaliação abrangente mostrando que o PoLoRA supera consistentemente o Adam e outras linhas de base conscientes de matriz (Muon, iMuon, LoRA-RITE) através de vários tamanhos de modelo (1B a 8B), conjuntos de dados (código, matemática, línguas de baixos recursos) e ranks.

Resultados Experimentais

Os autores avaliaram o PoLoRA em conjuntos de dados de ajuste fino de instrução para código e matemática usando modelos variando de 1B a 8B parâmetros (OLMo-2-1B, Llama-3.2-1B, Qwen2.5-1.5B, Llama-3-8B).

Eficiência de Passos: O PoLoRA atinge a perda final de retenção (held-out loss) do Adam ajustado em 1.2–1.7 vezes menos passos. Por exemplo, no Llama-3.2-1B ajustado em matemática, ele atinge a perda alvo em 1.63× menos passos.
Eficiência de Tempo de Execução (Wall-Clock): Devido à natureza leve dos pré-condicionadores diagonais e das sub-rotinas numéricas eficientes (iteração de potência, Gram Newton–Schulz), o overhead por passo é de no máximo 3% em comparação ao Adam. Consequentemente, o ganho de velocidade de tempo de execução espelha de perto o ganho de velocidade de passos.
Estudos de Ablação: Remover o pré-condicionamento de curvatura ou o controle de magnitude reduz o PoLoRA ao Product Muon, que não mostra aceleração sobre o Adam. Os autores afirmam que cada componente (curvatura e magnitude) responde por aproximadamente metade do gap total de aceleração.
Estabilidade de Hiperparâmetros: O PoLoRA é menos sensível à taxa de aprendizado do que o Adam. Notavelmente, sua taxa de aprendizado ideal permanece estável através de diferentes ranks LoRA ( $r \in \{32, 64, 128, 256\}$ ), enquanto a taxa de aprendizado ideal do Adam muda significativamente com as mudanças de rank.
Mudança de Distribuição: A aceleração sobre o Adam é mais pronunciada quando o ajuste fino ocorre em distribuições de dados significativamente diferentes do pré-treinamento (ex: línguas de baixos recursos como Bengali) comparado a domínios bem representados como código.

Significância e Alegações

O artigo afirma que o PoLoRA fornece uma aceleração consistente sobre o Adam para o ajuste fino de LoRA, um feito que otimizadores anteriores conscientes de matriz e conscientes de produto falharam em alcançar de forma confiável. A significância reside na mudança de tratar os fatores LoRA como vetores independentes para otimizá-los como um produto acoplado com magnitude controlada.

Os autores enfatizam que sua abordagem não depende de reescalonamento complexo de hiperparâmetros (como LoRA+ ou Rank-stabilized LoRA), mas sim altera a própria regra de atualização. Eles reconhecem limitações, observando que o método depende de aproximações linearizadas (ignorando termos de ordem superior como $\Delta B \Delta A$ ) e utiliza pré-condicionadores diagonais para eficiência. No entanto, eles postulam que a perspectiva de controle de perda por amostra e a regra de magnitude oferecem um framework robusto para otimizar produtos de baixo posto, potencialmente aplicável além de LoRA para outras composições de mapeamento ou cenários de pré-treinamento.