💬 NLP

You Only Need Minimal RLVR Training: Extrapolating LLMs via Rank-1 Trajectories

Este artigo apresenta o RELEX, um método eficiente em termos computacionais que aproveita a descoberta de que as trajetórias de pesos do RLVR são altamente previsíveis e de baixo posto para extrapolar checkpoints futuros do modelo por meio de regressão linear, alcançando desempenho comparável ou superior ao treinamento completo com apenas uma fração das etapas ao filtrar o ruído da otimização estocástica.

Autores originais: Zhepei Wei, Xinyu Zhu, Wei-Lin Chen, Chengsong Huang, Jiaxin Huang, Yu Meng

Publicado 2026-05-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhepei Wei, Xinyu Zhu, Wei-Lin Chen, Chengsong Huang, Jiaxin Huang, Yu Meng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: Treinar IA é Como Escalar uma Montanha

Imagine que você quer ensinar um modelo de linguagem grande (uma IA) a resolver problemas complexos de matemática. Atualmente, a melhor maneira de fazer isso é um processo chamado RLVR (Aprendizado por Reforço com Recompensas Verificáveis).

Pense no RLVR como enviar a IA em uma trilha muito longa e cara até o topo de uma montanha para alcançar o pico do "gênio da matemática".

O Custo: Essa trilha leva dias de tempo de computador poderoso (horas de GPU).
O Processo: A IA dá milhares de pequenos passos, verificando seu trabalho em cada ponto de controle.
O Objetivo: Você quer que a IA chegue ao topo (o melhor desempenho), mas a trilha é tão longa e cara que você adoraria parar na metade e apenas "adivinhar" onde está o topo.

A Descoberta: A Trilha é Surpreendentemente Reta

Os pesquisadores deste artigo notaram algo estranho sobre como a IA aprende. Eles observaram as "pegadas" (as mudanças nos pesos do cérebro da IA) deixadas durante essa trilha.

Eles descobriram duas coisas incríveis:

O Caminho é uma Linha Reta: Mesmo que a IA esteja se movendo através de um espaço 3D massivo e complexo, seu caminho real de melhoria é incrivelmente simples. É como caminhar por uma floresta densa, mas movendo-se apenas em uma única direção reta.
O Ritmo é Previsível: A velocidade com que a IA melhora ao longo dessa linha reta é quase perfeitamente linear. Se você desenhar um gráfico de seu progresso, ele parece uma linha reta de régua, não uma curva tortuosa e caótica.

A Analogia: Imagine que você está dirigindo um carro por uma cidade nebulosa. Geralmente, você espera que a estrada faça curvas e voltas. Mas os pesquisadores descobriram que, para esse tipo específico de treinamento de IA, a estrada é na verdade uma rodovia perfeitamente reta, e o carro está acelerando a uma taxa constante e previsível.

A Solução: RELEX (O Método "Bola de Cristal")

Com base nessa descoberta, os autores criaram um método chamado RELEX (Extrapolação de Aprendizado por Reforço).

Em vez de fazer a IA terminar toda a trilha de 500 passos, o RELEX diz: "Vamos apenas observar os primeiros 75 passos (cerca de 15% da viagem). Como sabemos que o caminho é uma linha reta e a velocidade é constante, podemos prever matematicamente exatamente onde o carro estará no passo 500, 1.000 ou até 2.000."

Como funciona (O Truque de "Dessincronização"):
O processo de aprendizado da IA é um pouco ruidoso, como estática em um rádio.

O Ruído: A maioria dos pequenos e aleatórios tremores no cérebro da IA é apenas "estática" ou erros que não ajudam realmente a torná-la mais inteligente.
O Sinal: O verdadeiro "gênio" está escondido naquela única linha reta (chamada de trajetória Rank-1).
A Magia: O RELEX usa um filtro matemático (SVD) para ignorar toda a estática ruidosa e olhar apenas para aquela linha reta. Em seguida, ele desenha uma linha reta através dos primeiros passos e a estende para frente.

Os Resultados: Mais Rápido, Mais Barato e Igualmente Bom

Os pesquisadores testaram isso em três modelos de IA diferentes (Qwen2.5-Math, Qwen3-4B e Qwen3-8B).

A Alegação: Ao treinar apenas por 15% a 20% do tempo usual, o RELEX pode prever um ponto de controle que desempenha tão bem quanto, ou às vezes até melhor do que, o modelo totalmente treinado.
A Prova: Eles testaram esses modelos "previstos" em testes de matemática. Os modelos previstos pontuaram quase exatamente o mesmo que os modelos que realmente terminaram a trilha completa e cara.
O Bônus: Como o método filtra o "ruído", os modelos previstos às vezes generalizam melhor para novos problemas matemáticos não vistos (benchmarks fora do domínio) do que os totalmente treinados.

Por Que Isso Importa (Segundo o Artigo)

Sem Novo Aprendizado Necessário: O RELEX não precisa treinar uma nova IA para prever o futuro. Ele apenas faz um cálculo matemático simples (regressão linear) nos dados que já possui.
É "Minimalista": O artigo prova que você não precisa de previsões complexas e sofisticadas. Uma linha reta simples é suficiente porque o caminho de aprendizado da IA é naturalmente tão simples.
Dessincronização Espectral: O método funciona tão bem porque age como um fone de ouvido com cancelamento de ruído. Ele remove as partes aleatórias e caóticas do treinamento que geralmente atrapalham as previsões, deixando apenas o sinal puro de melhoria.

Resumo

Imagine que você está assistindo ao lançamento de um foguete. Geralmente, você precisa assisti-lo até o espaço para saber se funcionou. Este artigo diz: "Espere, o foguete está voando em uma linha perfeitamente reta a uma velocidade constante. Se o observarmos apenas pelo primeiro minuto, podemos calcular exatamente onde ele estará em uma hora, e será tão bem-sucedido quanto se tivéssemos esperado o tempo todo."

RELEX é essa calculadora. Ele economiza quantidades massivas de tempo e dinheiro ao perceber que o treinamento de IA, apesar de parecer caótico, está na verdade seguindo um caminho muito simples e previsível.

Resumo Técnico: Você Precisa Apenas de Treinamento Mínimo com RLVR: Extrapolando LLMs via Trajetórias de Rank-1

Declaração do Problema

A Aprendizagem por Reforço com Recompensas Verificáveis (RLVR) emergiu como um paradigma dominante para aprimorar as capacidades de raciocínio de Modelos de Linguagem de Grande Escala (LLMs), particularmente em domínios como matemática. No entanto, o pipeline padrão de RLVR é computacionalmente proibitivo, frequentemente exigindo dias de tempo de GPU para atingir platôs de desempenho. O processo envolve gerar uma trajetória de checkpoints ao longo de centenas de etapas de otimização, com custos escalando linearmente com o número de etapas. Embora trabalhos anteriores sugiram que o RLVR amplifica comportamentos latentes em vez de ensinar capacidades inteiramente novas, a estrutura geométrica subjacente dessas trajetórias de parâmetros permanece pouco explorada. A questão central abordada é se checkpoints futuros de RLVR podem ser previstos a partir de um prefixo curto de dinâmicas de treinamento, contornando assim a necessidade de treinamento adicional extensivo.

Metodologia: RELEX

Os autores propõem o RELEX (Extrapolação de Aprendizagem por Reforço), um método livre de treinamento que aproveita a regularidade geométrica das atualizações de pesos de RLVR para prever checkpoints futuros. O método opera sob a hipótese de que as trajetórias de RLVR são extremamente de baixo rank e quase lineares.

O pipeline do RELEX consiste em três etapas, aplicadas aos primeiros $T_{cut}$ checkpoints observados (por exemplo, os primeiros 15–20% das etapas de treinamento):

Estimação do Subespaço de Rank-1:
Para cada tensor de pesos $W^{(\ell)}$ , o método calcula os deltas de parâmetros $\Delta \theta_t = \theta_t - \theta_0$ em relação ao modelo base. Esses deltas são achatados e empilhados em uma matriz de trajetória $M^{(\ell)}$ . Uma Decomposição em Valores Singulares (SVD) é realizada em $M^{(\ell)}$ , e o vetor singular superior-direito $v_1^{(\ell)}$ é extraído. Este vetor define a direção dominante da mudança de parâmetros ao longo da janela de observação.
Extrapolação de Coeficientes Lineares:
Os deltas observados são projetados no vetor singular dominante para obter uma trajetória de coeficientes escalares $c_t = \langle \text{achatado}(\Delta \theta_t), v_1 \rangle$ . A análise empírica mostra que esses coeficientes evoluem quase linearmente com a etapa de treinamento ( $R^2 > 0,98$ ). Uma regressão linear simples ($c(t) = at + b$) é ajustada a esses coeficientes usando o prefixo observado.
Previsão de Pesos Futuros:
Para prever um checkpoint em uma etapa alvo $T$ , o método extrapola o coeficiente $\hat{c}_T = aT + b$ e reconstrói o tensor de pesos como $\hat{W}_T = W_0 + \hat{c}_T \cdot v_1$ . Este processo é repetido para todos os tensores para montar o checkpoint previsto completo $\hat{\theta}_T$ .

Crucialmente, o RELEX não requer preditores aprendidos, nenhum treinamento adicional de RLVR e envolve apenas operações de forma fechada (SVD truncada e ajuste de mínimos quadrados).

Contribuições Principais

Descoberta Empírica de Linearidade de Baixo Rank: Os autores demonstram que as trajetórias de atualização de pesos de RLVR são extremamente de baixo rank e previsíveis. Especificamente, uma aproximação SVD de rank-1 captura a vasta maioria das mudanças de parâmetros relevantes para tarefas downstream, e os coeficientes escalares correspondentes evoluem quase linearmente com as etapas de treinamento em múltiplas famílias de modelos (Qwen2.5-Math-1.5B, Qwen3-4B-Base, Qwen3-8B-Base).
Framework RELEX: A introdução de um método de extrapolação simples e eficiente computacionalmente que prevê checkpoints futuros usando apenas o prefixo inicial de treinamento.
Mecanismo de Desejo Espectral: O artigo identifica que a projeção de rank-1 atua como um "desejador espectral". Ao projetar atualizações no subespaço dominante, o método descarta ruído estocástico de otimização (capturado por componentes de maior rank) que, de outra forma, degradaria o desempenho durante a extrapolação.
Suficiência Minimalista: Estudos de ablação confirmam que aumentar o rank do subespaço (por exemplo, para rank-5 ou rank-10) ou empregar modelagem não linear (polinômios, redes neurais) não produz ganhos adicionais e frequentemente degrada o desempenho, validando a suficiência da abordagem linear de rank-1.

Resultados Experimentais

O método foi avaliado em três modelos baseados no Qwen, abrangendo benchmarks in-domain (MATH) e cinco benchmarks out-of-distribution (OOD) (AIME 2025/2026, HMMT 2025, OlympiadBench, AMC 2023).

Desempenho vs. Custo: Usando apenas 15–20% do custo total de treinamento RLVR (observando os primeiros 75–125 etapas), o RELEX produz checkpoints que igualam ou superam o desempenho de modelos RLVR totalmente treinados.
- Qwen2.5-Math-1.5B: O RELEX alcançou 71,6% no MATH (vs. 71,5% para RLVR completo) e superou o RLVR em 4 de 5 benchmarks OOD.
- Qwen3-4B-Base: O RELEX alcançou 85,6% no MATH (vs. 85,5% para RLVR completo).
- Qwen3-8B-Base: O RELEX alcançou 87,4% no MATH (vs. 88,5% para RLVR completo), permanecendo dentro de 1,1% do desempenho de treinamento completo.
Extrapolação de Longo Horizonte: O RELEX extrapola com sucesso muito além da janela de observação. Por exemplo, observar apenas os primeiros 50 etapas permitiu previsões estáveis até 1000 etapas (20× a janela de observação), com melhoria contínua de desempenho.
Comparação com Baselines: O RELEX superou uniformemente outras baselines de extrapolação, incluindo Extrapolação de Pesos (interpolação linear no espaço de pesos bruto), Extrapolação de Logits, ExPO e AlphaRL. A superioridade sobre a Extrapolação de Pesos destaca a importância da etapa de SVD na filtragem de ruído.

Significado e Alegações

O artigo afirma que o treinamento por RL, apesar de sua natureza estocástica e não convexa, esculpe caminhos surpreendentemente simples no espaço de parâmetros de baixo rank. O significado deste trabalho reside em:

Eficiência: Oferece uma maneira de alcançar desempenho quase ótimo de RLVR com uma fração do custo computacional, efetivamente "pulando" a maioria das etapas de treinamento sem retreinamento.
Insight Teórico: Fornece evidências de que o "sinal" da aprendizagem de RLVR está concentrado em uma única direção dominante, enquanto componentes de maior rank representam principalmente ruído de otimização.
Generalização: O método demonstra que checkpoints extrapolados capturam ganhos de raciocínio transferíveis, conforme evidenciado pelo forte desempenho em benchmarks OOD, sugerindo que o modelo não está meramente superajustando à distribuição de treinamento.

Os autores notam limitações, reconhecendo que o estudo atual é restrito ao GRPO em tarefas de raciocínio matemático com modelos Qwen. Eles sugerem que a janela de observação ótima ( $T_{cut}$ ) é dependente do modelo e que a seleção adaptativa de rank pode ser necessária para uma generalização mais ampla para outros algoritmos (por exemplo, PPO) ou famílias de modelos.