🤖 machine learning

Geometry-Preserving Orthonormal Initialization for Low-Rank Adaptation in RLVR

Este artigo propõe uma inicialização ortonormal de preservação de geometria para a Adaptação de Baixo Posto (LoRA) em Aprendizado por Reforço com Recompensas Verificáveis (RLVR), demonstrando teoricamente que esta abordagem minimiza a lacuna em relação ao ajuste fino completo, estabiliza o treinamento e supera variantes existentes como PiSSA e MiLoRA em benchmarks de raciocínio matemático.

Autores originais: Ruijia Zhang, Jiacheng Zhu, Hanqing Zhu, Laixi Shi

Publicado 2026-07-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ruijia Zhang, Jiacheng Zhu, Hanqing Zhu, Laixi Shi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca gigante e incrivelmente inteligente (um Grande Modelo de Linguagem) que já leu quase tudo no mundo. Você quer ensinar a ela uma nova habilidade específica, como resolver problemas matemáticos complexos.

Existem duas maneiras de fazer isso:

Ajuste Fino Total (Full Fine-Tuning): Você reescreve todo o catálogo da biblioteca e reorganiza cada um de seus livros. Isso é poderoso, mas exige uma quantidade massiva de energia e armazenamento (como se fosse necessário um novo armazém inteiro).
LoRA (Low-Rank Adaptation): Em vez de reescrever tudo, você apenas adiciona um pequeno cartão de índice adesivo na frente da biblioteca. Este cartão contém as novas instruções. É barato, rápido e não exige um novo armazém.

O Problema: O Treino "RLVR"

Recentemente, uma nova maneira de ensinar esses modelos chamada RLVR (Aprendizado por Reforço com Recompensas Verificáveis) tornou-se popular. Pense nisso não como uma aula de sala de aula, mas como um treino de alta intensidade na academia.

Em uma sala de aula (Ajuste Fino Supervisionado), o professor apenas corrige sua lição de casa.
Na academia (RLVR), o modelo tenta várias respostas diferentes, recebe uma pontuação (recompensa) baseada em se acertou ou errou, e aprende com a experiência.

O problema é que os "cartões de índice adesivos" (LoRA) que funcionavam perfeitamente na sala de aula começaram a falhar na academia. Algumas versões avançadas desses cartões (chamadas PiSSA e MiLoRA) na verdade fizeram o modelo colapsar, como um levantador de peso tentando erguer uma barra que estava pesada demais logo de cara. O treinamento tornou-se instável e o modelo parou de aprender.

A Investigação: Por que os Cartões Quebraram?

Os pesquisadores investigaram por que esses cartões avançados falharam. Eles encontraram dois culpados principais:

O Início "Pesado": Os cartões avançados tentavam agarrar as partes "mais importantes" do conhecimento existente da biblioteca (os livros mais pesados e populares) e amplificá-las imediatamente. No cenário da academia, isso foi como tentar dar um sprint antes mesmo de se alongar. Isso fez com que o modelo se movesse rápido demais e longe demais, quebrando as regras do treino.
A Direção Errada: A academia (RLVR) precisa que o modelo explore novas direções, não apenas reforce o que ele já sabe. Os cartões antigos eram focados demais nos caminhos "principais", fazendo com que o modelo ficasse preso ou perdesse o controle.

A Solução: O Cartão de Índice "Preservador de Geometria"

Os pesquisadores perceberam que, para sobreviver à academia, o cartão de índice precisa ser ortonormal.

A Analogia:
Imagine que o conhecimento da biblioteca é um espaço 3D.

O LoRA padrão é como desenhar uma linha aleatória em uma folha de papel. Funciona, mas é um pouco bagunçado.
PiSSA/MiLoRA são como desenhar uma linha que tenta abraçar os livros mais pesados na prateleira. Na academia, essa linha é muito "rígida" e quebra.
O Novo Método (LoRA-RLPO/RLMO): Os pesquisadores projetaram um novo cartão de índice que é perfeitamente rígido e estruturado (ortonormal). Ele não tenta amplificar os livros pesados; em vez disso, ele se alinha perfeitamente com a geometria existente da biblioteca sem adicionar peso extra.

Pense nisso como um par de dança.

Os antigos cartões avançados tentavam liderar a dança com muita força, fazendo o parceiro (o modelo) tropeçar.
O novo método é um parceiro que se move em perfeita sincronia com a música (a estrutura existente da biblioteca), mas não empurra com muita força. Ele preserva a forma da pista de dança para que o modelo possa se mover livremente sem cair.

O Que Eles Fizeram

Eles criaram dois novos tipos de cartões de índice:

LoRA-RLPO: Alinha-se com os caminhos "principais", mas mantém a estrutura leve e equilibrada.
LoRA-RLMO: Alinha-se com os caminhos "menores" (as rotas menos óbvias), mas também mantém a estrutura leve e equilibrada.

Os Resultados

Quando testaram esses novos cartões na "academia" (benchmarks de raciocínio matemático):

Estabilidade: O treinamento não travou. O modelo permaneceu calmo e constante.
Desempenho: O modelo aprendeu mais rápido e obteve pontuações melhores do que o método padrão.
O "Porquê": Eles provaram matematicamente que, ao manter o cartão de índice "ortonormal" (perfeitamente estruturado) e não amplificar o peso do conhecimento existente, o modelo permanece próximo ao desempenho ideal de uma "reescrita total", sem precisar do enorme custo de energia.

Resumo

O artigo diz: "Se você quer treinar uma IA inteligente usando o novo método de 'academia' (RLVR), não use os cartões de índice sofisticados e pesados que funcionavam na sala de aula. Em vez disso, use nossos novos cartões leves e perfeitamente estruturados. Eles mantêm o modelo estável, evitam que ele quebre e o ajudam a aprender problemas matemáticos muito melhor."

Eles também observaram que isso funciona para diferentes tamanhos de modelos e até para tarefas de programação, mas a descoberta central é sobre como iniciar o treinamento para que ele não exploda.

Resumo Técnico: Inicialização Ortonormal Preservadora de Geometria para Adaptação de Baixo Rank em RLVR

Declaração do Problema

Embora a Adaptação de Baixo Rank (LoRA) e suas variantes tenham se tornado o padrão para o ajuste fino eficiente de parâmetros sob o paradigma de Ajuste Fino Supervisionado (SFT), seu comportamento sob Aprendizado por Reforço com Recompensas Verificáveis (RLVR) permanece pouco compreendido. Observações recentes indicam que estratégias de inicialização baseadas em SVD, especificamente PiSSA (Principal Singular values and Singular vectors Adaptation) e MiLoRA (Minor LoRA), que se destacam em SFT, frequentemente apresentam desempenho inferior ao LoRA padrão e exibem instabilidade de treinamento em configurações de RLVR. Esses métodos inicializam os adaptadores usando os componentes singulares superiores (top- $r$ , no caso do PiSSA) ou inferiores (bottom- $r$ , no caso do MiLoRA) dos pesos pré-treinados, incorporando frequentemente o escalonamento de valores singulares. O artigo postula que a dinâmica de otimização distinta do RLVR — caracterizada por restrições implícitas de divergência KL que limitam o desvio da política — torna os princípios de inicialização otimizados para SFT ineficazes ou até prejudiciais. O desafio central é identificar uma estratégia de inicialização que estabilize o treinamento de RLVR enquanto mantém a eficiência da adaptação de baixo rank.

Metodologia

Os autores propõem uma análise teórica das dinâmicas de otimização de LoRA em RLVR para derivar uma estratégia de inicialização fundamentada.

Análise Teórica

O artigo estabelece que a lacuna de aproximação entre LoRA e o ajuste fino total (full fine-tuning) é minimizada quando a matriz de baixo rank $A$ é inicializada com linhas ortonormais e $B$ é inicializada com zero.

Dinâmica de Otimização: Sob a suposição de perda $L$ -suave e gradientes limitados, o artigo prova (Teorema 5.2) que o erro entre a trajetória de LoRA e a trajetória de ajuste fino total é controlado pelo termo $\|I_n - A_0^\top A_0\|_2$ . Este termo atinge seu valor mínimo de 1 se, e somente se, $A_0$ possuir linhas ortonormais ( $A_0 A_0^\top = I_r$ ).
Limites de Estabilidade: Além disso, a Proposição 5.3 demonstra que a inicialização ortonormal com $B_0=0$ garante que a magnitude da atualização de peso do primeiro passo não exceda a do ajuste fino total. Essa atualização limitada é crítica para satisfazer as restrições implícitas de divergência KL no RLVR, evitando mudanças agressivas na política que levam ao colapso do treinamento.

Estratégias de Inicialização Propostas

Guiados por esses insights teóricos, os autores propõem dois métodos de inicialização "Ortonormais Preservadores de Geometria" que retêm a informação espectral dos pesos pré-treinados sem o escalonamento de valores singulares found em PiSSA e MiLoRA:

LoRA-RLPO (Principal): Inicializa $A_0$ usando os vetores singulares à direita superiores ( $V_r^\top$ ) da matriz de peso pré-treinada $W_0$ , com $B_0 = 0$ . Isso alinha o adaptador com as direções principais do modelo pré-treinado enquanto mantém a ortonormalidade.
LoRA-RLMO (Minor): Inicializa $A_0$ usando os vetores singulares à direita inferiores ( $V_{-r}^\top$ ) de $W_0$ , com $B_0 = 0$ . Isso visa o subespaço menor mas, diferentemente do MiLoRA, evita o escalonamento de valores singulares e o $B_0$ não nulo.

Ambos os métodos diferem de PiSSA e MiLoRA ao definir $B_0=0$ e usar um $A_0$ ortonormal sem escalonamento por valores singulares ( $\Sigma^{1/2}$ ).

Resultados Principais

Experimentos foram conduzidos em benchmarks de raciocínio matemático (GSM8K, MATH500, AIME 2022/2023/2024) usando o algoritmo DAPO em modelos DeepSeek-R1-Distill-Qwen-1.5B e Qwen2.5-7B.

Desempenho: O LoRA-RLPO alcançou a maior precisão média (65,03%) entre os benchmarks, superando o LoRA padrão (62,40%), o LoRA-RLMO (63,76%) e superando significativamente o PiSSA (4,57%) e o MiLoRA (51,71%).
Estabilidade de Treinamento: O monitoramento da divergência KL e das normas de gradiente revelou que o PiSSA e o MiLoRA sofrem de crescimento rápido de KL e explosão de gradiente, levando ao colapso da recompensa. Em contraste, o LoRA-RLPO e o LoRA-RLMO mantiveram trajetórias de divergência KL baixas, comparáveis ou até inferiores ao LoRA padrão, indicando uma otimização estável.
Estudos de Ablação:
- Ortonormalidade vs. Geometria: Baselines ortonormais agnósticos ao modelo (DCT-LoRA, Wavelet-LoRA) superaram o LoRA padrão, confirmando o benefício da ortonormalidade por si só. No entanto, o LoRA-RLPO superou significativamente esses métodos agnósticos, demonstrando que preservar a estrutura geométrica dos pesos pré-treinados (via SVD) proporciona ganhos adicionais.
- Análise de Falha: O artigo refuta a hipótesidade de que o MiLoRA falha devido a magnitudes de inicialização próximas de zero, mostrando que sua norma de adaptador inicial é não-negligenciável. Em vez disso, a instabilidade é atribuída à combinação de geometria de subespaço e escalonamento de valor singular, que amplifica as atualizações além do orçamento de KL.
- Generalização: Os métodos propostos também demonstraram melhor convergência e desempenho em tarefas de SFT (GLUE, GSM8K), sugerindo que os benefícios se estendem além do RLVR.

Significância e Alegações

O artigo afirma fornecer a primeira explicação teórica de por que variantes de LoRA baseadas em SVD (PiSSA, MiLoRA) falham em RLVR enquanto têm sucesso em SFT. Os autores identificam dois fatores acoplados que impulsionam essa falha:

Geometria de Subespaço: A escolha do subespaço singular dita a trajetória de otimização.
Escalonamento de Valor Singular: O fator de escalonamento em PiSSA/MiLoRA amplifica as magnitudes de atualização, causando violações rápidas da restrição implícita de divergência KL necessária para o treinamento estável de RLVR.

A significância deste trabalho reside no estabelecimento de que a inicialização ortonormal, combinada com a escolha padrão de $B_0=0$ , é uma solução fundamentada para a adaptação de baixo rank em RLVR. Ao minimizar a lacuna de aproximação para o ajuste fino total e limitar as magnitudes de atualização, a inicialização ortonormal preservadora de geometria (LoRA-RLPO/RLMO) oferece uma base robusta para RL eficiente em parâmetros, resolvendo a instabilidade observada em métodos anteriores baseados em SVD. Os autores enfatizam que sua análise oferece um framework unificado que explica tanto o fracasso das variantes existentes quanto o sucesso de sua abordagem proposta.