🤖 machine learning

On the Implicit Reward Overfitting and the Low-rank Dynamics in RLVR

Este artigo revela que o Aprendizado por Reforço com Recompensas Verificáveis (RLVR) exibe sobreajuste implícito de recompensa e opera por meio de dinâmicas de baixo posto, onde capacidades aprimoradas de raciocínio estão concentradas em componentes de posto 1 que otimizam um espectro singular específico de cauda pesada, descartando outros conhecimentos do modelo.

Autores originais: Hao Ye, Jisheng Dang, Junfeng Fang, Bimei Wang, Yizhou Zhang, Ning Lv, Wencan Zhang, Hong Peng, Bin Hu, Tat-Seng Chua

Publicado 2026-05-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hao Ye, Jisheng Dang, Junfeng Fang, Bimei Wang, Yizhou Zhang, Ning Lv, Wencan Zhang, Hong Peng, Bin Hu, Tat-Seng Chua

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: A "Magia" do Aprendizado por Reforço

Imagine que você tem um estudante muito inteligente (um Modelo de Linguagem de Grande Escala) que é bom em muitas coisas, mas não é ótimo em resolver quebra-cabeças matemáticos complexos. Você decide usar um método especial de treinamento chamado Aprendizado por Reforço com Recompensas Verificáveis (RLVR). Pense nisso como um treinador rigoroso que dá uma estrela de ouro ao estudante toda vez que ele acerta uma resposta de matemática.

Após o treinamento, o estudante se torna um gênio da matemática. Mas os pesquisadores deste artigo fizeram uma pergunta complicada: O estudante realmente aprendeu nova lógica, ou ele apenas aprendeu a manipular o sistema de pontuação do treinador?

1. O Gênio de "Uma Nota" (Domínio Rank-1)

Os pesquisadores descobriram algo surpreendente: quase toda a melhoria de "gênio da matemática" acontece em apenas uma fatia minúscula do cérebro do estudante.

A Analogia: Imagine que o cérebro do estudante é uma biblioteca massiva com milhões de livros. Quando ele fica bom em matemática, não é porque leu mais livros. É porque encontrou uma marcação mágica específica (chamada de "componente Rank-1") que aponta instantaneamente para a resposta correta.
A Descoberta: Se você pegar o modelo treinado e descartar tudo, exceto essa única marcação mágica, o modelo ainda será tão bom em matemática quanto a versão totalmente treinada. O resto das "atualizações do cérebro" (as outras milhões de páginas) parece fazer muito pouco pelas habilidades matemáticas.

2. O Problema de "Fingir até Conseguir" (Overfitting de Recompensa Implícita)

Aqui está a parte contra-intuitiva. Os pesquisadores criaram um método de treinamento onde forçaram o estudante a manter apenas essa "marcação mágica" e descartaram o resto das atualizações a cada poucos passos.

O Resultado: A pontuação do estudante no teste de treinamento (os problemas de prática que o treinador deu) caiu. O treinador ficou insatisfeito porque o estudante não estava ganhando tantas estrelas de ouro durante a prática.
A Reviravolta: No entanto, quando o estudante fez a prova final (um novo conjunto de problemas que ele nunca tinha visto), ele se saiu tão bem quanto o estudante que manteve todas as atualizações extras.
O Significado: As "atualizações extras" que o estudante geralmente aprende são na verdade ruído. É o estudante tentando memorizar as perguntas de prática específicas para ganhar mais estrelas de ouro, em vez de aprender a lógica real. Os pesquisadores chamam isso de "Overfitting de Recompensa Implícita". O modelo está "fingindo" chegar a uma pontuação alta nos dados de treinamento sem realmente ficar mais inteligente.

3. A "Rede de Segurança" (Por que Precisamos do Resto)

Se as "atualizações extras" são apenas ruído para matemática, por que mantê-las? Os pesquisadores descobriram que essas atualizações extras são, na verdade, a personalidade e o senso comum do estudante.

A Analogia: Se você remover as "atualizações extras" e mantiver apenas a "marcação de matemática", o estudante se torna um gênio da matemática, mas perde sua capacidade de seguir instruções, manter-se seguro ou conhecer fatos gerais sobre o mundo.
A Descoberta: A parte "Rank-1" é para raciocínio. As partes "Não-Rank-1" são para segurança, conhecimento do mundo e seguir regras. Se você as descartar, o modelo pode resolver problemas de matemática perfeitamente, mas começar a dizer coisas grosseiras ou esquecer como falar com humanos.

4. A Forma da Aprendizagem (A Distribuição de Cauda Pesada)

Os pesquisadores analisaram a "forma" das mudanças no cérebro do modelo usando uma ferramenta matemática chamada SVD (que decompõe dados complexos em linhas simples).

O Padrão: Eles encontraram um padrão consistente: um pico gigante (a marcação de matemática) seguido por uma cauda longa e lenta de mudanças menores.
A Metáfora: Imagine uma cadeia de montanhas. Há um pico alto e afiado (o raciocínio matemático). Atrás dele, há uma longa e suave encosta (segurança e conhecimento). O pico é o que torna o modelo um mago da matemática, mas a encosta é o que mantém o modelo firme e seguro.

5. A "Rua de Mão Única" (Assimetria Geométrica)

Finalmente, o artigo explica como o modelo aprende isso. Eles descobriram que o processo de aprendizado é desequilibrado.

A Analogia: Imagine que o modelo é uma fábrica.
- A Saída (A Resposta): A fábrica aprende a alterar o produto final (a resposta) muito facilmente. É como ter uma esteira rolante que pode ser ajustada rapidamente para embalar o item correto. Este é o "lado esquerdo" da matemática, e alinha-se perfeitamente com a "marcação Rank-1".
- A Entrada (A Pergunta): A fábrica luta para mudar como lê as perguntas que chegam. As perguntas são bagunçadas e complexas. O modelo não consegue reorganizar facilmente como entende a entrada com uma simples "marcação".
A Conclusão: O RLVR trata principalmente de otimizar a saída (como o modelo escolhe a resposta certa), e não de reescrever fundamentalmente como o modelo entende o mundo. É como ensinar um estudante a adivinhar a resposta certa em uma prova sem necessariamente ensinar a ele a ler a pergunta melhor.

Resumo

Este artigo nos diz que, quando modelos de IA ficam "mais inteligentes" em matemática através do Aprendizado por Reforço:

A maior parte da magia está concentrada em uma pequena "marcação" unidimensional (Rank-1).
O resto do treinamento frequentemente apenas memoriza o teste de prática (Overfitting) sem adicionar valor real à prova final.
Precisamos do "ruído" (as partes não-Rank-1) para manter o modelo seguro e conhecedor, mesmo que isso não ajude na matemática.
O modelo está aprendendo a produzir melhores respostas, e não necessariamente a entender melhor a entrada.

Os pesquisadores sugerem que, ao entender isso, podemos treinar modelos de forma mais eficiente, focando na "marcação" para o raciocínio enquanto protegemos a "encosta" para segurança e conhecimento.

Resumo Técnico: Overfitting de Recompensa Implícita e Dinâmicas de Baixo Rank em RLVR

Declaração do Problema

Apesar do sucesso de engenharia do Aprendizado por Reforço com Recompensas Verificáveis (RLVR) em aprimorar as capacidades de raciocínio de Modelos de Linguagem de Grande Escala (LLMs), os mecanismos microscópicos pelos quais o RL altera os parâmetros do modelo permanecem pouco compreendidos. Pesquisas existentes focam majoritariamente em dinâmicas de treinamento macroscópicas ou no design de recompensas, deixando uma lacuna na compreensão da estrutura específica e do significado físico das atualizações de parâmetros ( $\Delta W$ ).

Observações recentes sugerem que as melhorias do RLVR estão concentradas em componentes de baixo rank, especificamente atualizações de Rank-1. No entanto, uma descoberta disruptiva indica que o RL pode não estar impartindo nova lógica de raciocínio subjacente, mas sim otimizando estratégias de amostragem para elicitar respostas corretas latentes. Isso levanta questões críticas: O RLVR está genuinamente aprendendo raciocínio, ou está sofrendo overfitting à função de recompensa? Além disso, qual é o papel funcional dos componentes não-Rank-1 na matriz de atualização de parâmetros?

Metodologia

Os autores empregam uma combinação de estudos empíricos e análise teórica centrada nas propriedades espectrais das atualizações de pesos.

Substituição Periódica de Rank-1: Para investigar a contribuição dos componentes não-Rank-1, os autores introduzem uma técnica onde, em intervalos fixos (por exemplo, a cada 10 passos), a atualização de peso acumulada é decomposta via Decomposição em Valores Singulares (SVD). Apenas o componente Rank-1 (associado ao maior valor singular) é retido e adicionado aos parâmetros do modelo base, enquanto os componentes residuais não-Rank-1 são descartados. O modelo então continua o treinamento a partir deste estado "purificado de Rank-1".
Análise Espectral: Os autores realizam SVD nas matrizes de diferença de pesos ( $\Delta W$ ) de modelos treinados com RLVR para analisar a distribuição dos valores singulares (espectros singulares) através das camadas lineares.
Análise de Alinhamento LoRA: Utilizando LoRA com rank $r=1$ , os autores comparam o alinhamento geométrico entre os adaptadores LoRA e o verdadeiro subespaço Rank-1 da atualização completa de pesos. Eles utilizam a Similaridade de Cosseno de Frobenius e Ângulos Principais (Esquerdo e Direito) para quantificar o alinhamento nos espaços de entrada e saída.
Análise Teórica de Gradientes: O artigo deriva a estrutura de gradiente de objetivos de RL (GRPO, DAPO, GSPO), mostrando que podem ser formulados como somas ponderadas de matrizes de rank-1, apoiando a observação empírica de dominância de Rank-1.

Principais Descobertas e Resultados

1. Overfitting de Recompensa Implícita

O estudo revela um fenômeno contra-intuitivo: Overfitting de Recompensa Implícita. Modelos treinados com Substituição Periódica de Rank-1 alcançam desempenho no conjunto de teste comparável a modelos totalmente ajustados (Full RL), apesar de exibir recompensas de treinamento significativamente menores.

Observação: O treinamento padrão de RLVR impulsiona consistentemente as recompensas de treinamento para cima, mas isso não se traduz em generalização superior.
Implicação: Componentes não-Rank-1 aumentam significativamente as recompensas de treinamento, mas falham em melhorar a generalização. O modelo parece estar super-otimizando sua estratégia de amostragem para ajustar a distribuição de recompensas dos dados de treinamento, em vez de aprender lógica de raciocínio robusta.

2. Papel Funcional dos Componentes Não-Rank-1

Enquanto componentes Rank-1 capturam capacidades de raciocínio, componentes não-Rank-1 não são funcionalmente redundantes.

Preservação de Capacidades Gerais: A remoção de componentes não-Rank-1 via extração de Rank-1 leva a uma degradação significativa em habilidades fora de domínio, incluindo seguimento de instruções (IF-Eval), conhecimento de mundo (MMLU, MMLU-Pro) e segurança (SafetyBench).
Esquecimento Catastrófico: Os componentes não-Rank-1 são cruciais para manter o conhecimento geral e o alinhamento de segurança do modelo, prevenindo o esquecimento catastrófico frequentemente observado no ajuste fino supervisionado (SFT).

3. Padrão Espectral Universal

Os espectros singulares das atualizações de parâmetros em modelos treinados com RLVR seguem um padrão consistente:

Pico Dominante: Um primeiro valor singular dominante ( $\sigma_1$ ) correspondente ao componente Rank-1.
Distribuição de Cauda Pesada: Seguindo o pico inicial, os valores singulares restantes exibem um decaimento uniforme, quase linear, formando uma cauda pesada.
Distribuição de Energia: Embora o componente Rank-1 impulsione o raciocínio, a cauda não-Rank-1 contém a maioria da "energia" (norma de Frobenius) da atualização, codificando segurança, robustez e alinhamento sutil de características.

4. Assimetria Geométrica nas Dinâmicas LoRA

A análise das dinâmicas de treinamento LoRA revela uma Assimetria Geométrica entre os subespaços de entrada e saída:

Alinhamento no Espaço de Saída: Os vetores singulares esquerdos (espaço de saída) do componente Rank-1 mostram forte alinhamento com os adaptadores LoRA. Isso alinha-se com a descoberta de que o RLVR otimiza principalmente a estratégia de amostragem (representação de saída).
Desalinhamento no Espaço de Entrada: Os vetores singulares direitos (espaço de entrada) mostram alinhamento mais fraco. Atualizações de entrada envolvem reorganização complexa de características contextuais que são difíceis de capturar com matrizes simples de baixo rank.
Base Teórica: A análise de gradientes mostra que a direção de atualização para o vetor de saída é determinada pelo erro retropropagado (que se alinha bem), enquanto a atualização do vetor de entrada é determinada por ativações altamente dependentes de contexto, tornando o alinhamento difícil.

Significado e Contribuições

O artigo afirma oferecer uma compreensão mecânica mais profunda do RLVR, desafiando a suposição de que o RL inerentemente "aprende" raciocínio no sentido tradicional.

Reenquadramento do RLVR: As descobertas sugerem que o RLVR atua mais como um mecanismo para otimizar a eficiência de amostragem e elicitar capacidades de raciocínio latentes, em vez de alterar fundamentalmente a lógica de raciocínio subjacente do modelo. Isso explica por que aumentar $k$ nas métricas pass@k pode às vezes fazer com que modelos RL padrão performem pior do que modelos base.
Desacoplamento de Capacidades: O trabalho desacopla com sucesso a capacidade de raciocínio (Rank-1) do conhecimento geral e segurança (Não-Rank-1), fornecendo uma base teórica para por que o "overfitting" às recompensas pode ocorrer sem prejudicar a generalização se o componente Rank-1 for preservado.
Insights Espectrais: A identificação do padrão espectral "pico dominante + cauda pesada" fornece uma nova lente para analisar atualizações de RL, sugerindo que o RL induz uma forma espectral altamente estruturada, em vez de uma atualização estritamente de baixo rank.
Implicações Práticas: As descobertas oferecem insights potenciais para melhorar paradigmas de RL, como o design de estratégias de treinamento que mitiguem o overfitting de recompensa implícita, preservando simultaneamente os componentes não-Rank-1 necessários para segurança e conhecimento geral.

Os autores reconhecem limitações, notando que suas observações são baseadas em tamanhos e arquiteturas de modelos específicos, e que mais pesquisas são necessárias para determinar a universalidade dessas descobertas em diferentes escalas de parâmetros e famílias de modelos.