GeoRA: Geometry-Aware Low-Rank Adaptation for RLVR

Título: GeoRA: Adaptação de Baixo Rank Consciente de Geometria para RLVR

1. O Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tornou-se um paradigma fundamental para melhorar as capacidades de raciocínio de modelos de linguagem grandes (LLMs), superando o Ajuste Fino Supervisionado (SFT) tradicional. No entanto, métodos existentes de Ajuste Fino Eficiente de Parâmetros (PEFT) enfrentam limitações críticas quando aplicados ao RLVR:

• Desalinhamento Geométrico: Métodos de baixo rank como o PiSSA são projetados para SFT e inicializam adaptadores nas componentes principais (maior energia) da matriz de pesos. O RLVR, por outro lado, tende a operar em um subspace de atualização "fora das principais" (off-the-principals), favorecendo direções de baixa magnitude e ortogonais às características pré-treinadas para preservar a estrutura original e evitar o colapso do comportamento.
• Gargalos de Eficiência: Métodos que tentam simular o padrão de atualização do RLVR através de esparsidade não estruturada (apenas ajustando alguns pesos aleatórios) enfrentam ineficiências em hardware moderno, pois as GPUs não otimizam bem a esparsidade não estruturada, resultando em sobrecarga computacional sem ganhos reais de velocidade.
• Instabilidade: Atualizações agressivas no RLVR podem degradar capacidades gerais do modelo (esquecimento catastrófico) se não houver uma âncora estrutural que preserve a geometria pré-treinada.

2. Metodologia: GeoRA

O GeoRA (Geometry-Aware Low-Rank Adaptation) é um framework de adaptação de baixo rank projetado especificamente para alinhar-se com a geometria de otimização do RLVR. A metodologia consiste em três pilares principais:

A. Construção de Priors Geométricos (Mascaramento)
Em vez de usar a matriz de pesos original $W$ para inicialização, o GeoRA constrói uma matriz restrita geometricamente, $W_{Geo}$, através da união de dois máscaras:

1. Prior Espectral ($M_{Spec}$): Seleciona os componentes de menor magnitude na aproximação de baixo rank da matriz, suprimindo direções de alta curvatura (instáveis).
2. Prior Euclidiano ($M_{Euc}$): Seleciona pesos originais de baixa magnitude, capturando regiões de alta plasticidade.
   A matriz $W_{Geo}$ é formada pela interseção dessas regiões estáveis e plásticas, isolando os parâmetros mais adequados para adaptação nativa do RL.

B. Inicialização Estruturada via SVD
Diferente do LoRA padrão (inicialização aleatória) ou PiSSA (componentes principais), o GeoRA realiza uma Decomposição em Valores Singulares (SVD) na matriz $W_{Geo}$:

• Extrai as $r$ componentes singulares dominantes de $W_{Geo}$.
• Inicializa os adaptadores de baixo rank ($A_{Geo}$ e $B_{Geo}$) para aproximar esse subespaço geométrico específico.
• Isso garante que a adaptação comece já alinhada com a direção de atualização eficiente do RLVR.

C. Âncora de Resíduo (Residual Leash)
Para garantir que o modelo não perca suas capacidades pré-treinadas:

• Calcula-se uma Matriz de Resíduo ($W_{res} = W - \frac{\alpha}{r} B_{Geo}A_{Geo}$).
• Durante o treinamento, $W_{res}$ permanece congelado.
• O forward pass é: $h = W_{res}x + \frac{\alpha}{r} B_{Geo}A_{Geo}x$.
  Isso atua como uma "âncora estrutural", impedindo que o otimizador degrade as representações fundamentais do modelo, enquanto permite atualizações eficientes apenas no subespaço alinhado.

3. Contribuições Principais

1. Novo Paradigma PEFT para RLVR: O GeoRA é o primeiro framework de adaptação de baixo rank explicitamente projetado para a geometria de otimização do RLVR, resolvendo o desalinhamento entre métodos de SFT (como PiSSA) e as necessidades do RL.
2. Descoberta de Estrutura Compressível: O trabalho demonstra empiricamente e teoricamente que o subespaço de atualização efetivo do RLVR é anisotrópico e compressível, não isotrópico.
3. Eficiência de Hardware: Ao utilizar atualizações de baixo rank densas (em vez de esparsas não estruturadas), o GeoRA mantém a compatibilidade com hardware moderno, oferecendo velocidade de treinamento superior à esparsidade.
4. Estabilidade e Generalização: A introdução da "âncora de resíduo" congelada previne o esquecimento catastrófico e melhora a estabilidade da otimização sob taxas de aprendizado agressivas.

4. Resultados Experimentais

Os experimentos foram realizados em modelos Qwen e Llama (de 1.5B a 32B parâmetros) em tarefas de raciocínio matemático, medicina e codificação.

• Desempenho em RLVR Matemático: O GeoRA superou consistentemente baselines fortes (LoRA, PiSSA, MiLoRA, SparseFT) em benchmarks como AIME24/25, MATH-500 e OlymMATH. Em modelos de 8B, atingiu resultados comparáveis ou superiores ao Ajuste Fino Completo (FullFT).
• Generalização (Out-of-Distribution - OOD): O GeoRA demonstrou menor esquecimento em tarefas fora do domínio (HumanEval, GPQA, MMLU, TruthfulQA), preservando melhor as capacidades gerais do modelo em comparação com outros métodos PEFT.
• Estabilidade de Treinamento: Sob taxas de aprendizado agressivas, o GeoRA manteve trajetórias de recompensa estáveis e divergência KL controlada, enquanto métodos como PiSSA sofreram colapsos de desempenho.
• Eficiência Computacional:
  • Redução de 99.5% nos parâmetros treináveis em relação ao FullFT.
  • Redução de ~20% no tempo de iteração e ~28% no uso de VRAM em comparação ao FullFT.
  • Superior ao SparseFT em velocidade, pois evita a sobrecarga de esparsidade não estruturada.
• Robustez: O método mostrou-se robusto a variações em hiperparâmetros (rank, esparsidade, taxa de aprendizado), exigindo menos ajuste fino manual.

5. Significado e Conclusão

O GeoRA preenche uma lacuna crítica entre a eficiência de parâmetros e a otimização geométrica específica do RLVR. Ao reconhecer que o RLVR não apenas "aprende" novas capacidades, mas "amplifica" comportamentos latentes em subespaços específicos, o GeoRA oferece uma estratégia de adaptação que é:

• Estruturalmente alinhada: Respeita a geometria pré-treinada.
• Hardware-eficiente: Utiliza operações densas otimizadas.
• Estável: Previne a degradação do modelo através de uma âncora de resíduo.

Este trabalho sugere que o futuro do ajuste fino de modelos de raciocínio (Reasoning Models) deve considerar a geometria da atualização como um fator central, indo além das heurísticas de inicialização baseadas apenas em SFT. O GeoRA estabelece um novo estado da arte para a adaptação eficiente de modelos grandes em cenários de Recompensas Verificáveis.