🤖 machine learning

Self-Distilled RLVR

O artigo propõe o RLSD, um método que combina RLVR e auto-distilação para utilizar as diferenças de política em nível de token como magnitudes de atualização e o feedback ambiental como direção, superando assim as limitações de vazamento de informação e instabilidade observadas na auto-distilação puramente on-policy.

Autores originais: Chenxu Yang, Chuanyu Qin, Qingyi Si, Minghui Chen, Naibin Gu, Dingyu Yao, Zheng Lin, Weiping Wang, Jiaqi Wang, Nan Duan

Publicado 2026-04-06

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chenxu Yang, Chuanyu Qin, Qingyi Si, Minghui Chen, Naibin Gu, Dingyu Yao, Zheng Lin, Weiping Wang, Jiaqi Wang, Nan Duan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um aluno muito inteligente (um Modelo de IA) a resolver problemas de matemática complexos ou raciocinar sobre imagens. O objetivo é fazer com que ele aprenda sozinho, mas de forma eficiente e sem "trapacear".

Este artigo apresenta uma nova técnica chamada RLSD (Aprendizado por Reforço com Auto-Distilação) e explica por que uma técnica anterior, chamada OPSD, falhava de uma maneira muito estranha.

Vamos usar uma analogia de um aluno e um professor para entender o que está acontecendo.

1. O Problema: O Aluno que "Vê o Gabarito" (Falha do OPSD)

Antes do RLSD, existia um método chamado OPSD. A ideia era genial: usar o próprio modelo como professor e aluno ao mesmo tempo.

O Aluno: Tenta resolver o problema apenas com a pergunta.
O Professor: É o mesmo modelo, mas ele recebe a pergunta E a resposta correta (o "gabarito" ou pista privilegiada) para ensinar o aluno.

O que deu errado?
Imagine que o professor está no mesmo quarto que o aluno, mas o aluno não sabe disso. O professor diz: "Escreva 'X' aqui". O aluno obedece.
O problema é que, com o tempo, o aluno começa a perceber que o professor só dá instruções específicas quando ele já sabe a resposta. O aluno começa a tentar adivinhar o que o professor está pensando, em vez de aprender a lógica da matemática.

No mundo da IA, isso se chama Vazamento de Informação Privilegiada.

A Analogia: É como se o aluno, durante a prova final (quando o professor não está lá), começasse a falar sozinho: "Espera, o professor me disse para usar 9 valores... ah, mas ele não está aqui! Vou chutar que são 9 valores mesmo!".
O Resultado: O modelo começa a "alucinar" referências a respostas que ele nunca deveria ter visto. Ele melhora rápido no começo, mas depois de um tempo, ele começa a piorar porque está aprendendo a "imitar o professor" em vez de "aprender a matéria".

2. A Solução: O RLSD (O Professor que dá Dicas, não Respostas)

Os autores do artigo perceberam que o erro não era usar o professor, mas como o professor estava sendo usado. Eles criaram o RLSD.

Aqui está a grande mudança de mentalidade:

No método antigo (OPSD): O aluno tentava copiar exatamente o que o professor escrevia (distribuição de probabilidade). Isso forçava o aluno a "ler a mente" do professor.
No novo método (RLSD): O professor não diz o que escrever. Ele apenas avalia o quanto cada palavra escrita pelo aluno foi boa ou ruim, com base na resposta correta que ele tem.

A Analogia do Treinador Esportivo:
Imagine um treinador de futebol (o Professor) e um jogador (o Aluno).

Método Antigo (OPSD): O treinador pega a bola e joga exatamente para onde o jogador deveria chutar, dizendo: "Chute aqui!". O jogador aprende a seguir o treinador, mas não entende o jogo. Se o treinador sumir, o jogador não sabe jogar.
Método Novo (RLSD): O jogador chuta a bola. O treinador, que tem a visão de cima (o "gabarito"), não muda o chute do jogador. Em vez disso, ele grita:
- Se o jogador chutou para o gol (resposta certa): "Ótimo chute! Mas você poderia ter dado mais força na perna esquerda (palavra específica)!" -> Recompensa alta.
- Se o jogador chutou para fora (resposta errada): "Que chute ruim! E você errou feio na direção (palavra específica)!" -> Punição alta.

O treinador não muda a direção do chute (isso é decidido pelo resultado do jogo: gol ou não gol). Ele apenas ajusta a intensidade da recompensa ou punição para cada palavra específica.

3. Por que o RLSD é melhor?

Sem Vazamento: Como o professor nunca diz "escreva X", o aluno nunca tenta adivinhar o que o professor está pensando. Ele foca apenas em acertar o problema.
Aprendizado Fino: O método antigo dava a mesma recompensa para toda a frase se a resposta estivesse certa. O RLSD sabe exatamente qual palavra foi a chave para o acerto e qual palavra foi o erro. É como dar uma nota de 10 para a conclusão e 2 para o cálculo errado, em vez de dar 6 para a folha inteira.
Estabilidade: O aluno continua melhorando por muito mais tempo, sem começar a "alucinar" com pistas que não existem.

Resumo em uma frase

O RLSD é como ter um treinador que não faz o trabalho por você, mas que, ao final de cada jogada, te diz exatamente quais movimentos foram brilhantes e quais foram desastrosos, permitindo que você aprenda a jogar de verdade, sem depender de segredos que só ele conhece.

Isso faz com que a Inteligência Artificial aprenda a raciocinar de forma mais sólida, rápida e estável, superando os métodos anteriores que faziam o modelo "colar na prova" mentalmente.

Título: Self-Distilled RLVR (RLSD): Unificando RLVR e Auto-Destilação para Raciocínio em LLMs

1. O Problema

O treinamento de Grandes Modelos de Linguagem (LLMs) para raciocínio complexo tem sido dominado por duas abordagens principais:

RLVR (Reinforcement Learning with Verifiable Rewards): Métodos como o GRPO (Group Relative Policy Optimization) usam recompensas esparsas do ambiente (ex: resposta correta/errada) para atualizar o modelo. O problema é que o sinal de recompensa é aplicado uniformemente a todos os tokens de uma sequência, ignorando quais passos específicos foram cruciais para o sucesso ou falha.
OPD/OPSD (On-Policy Distillation / Self-Distillation): O modelo (ou um "professor" mais forte) fornece sinais densos e granulares em nível de token. Na Auto-Destilação On-Policy (OPSD), o mesmo modelo atua como professor e aluno, onde o "professor" tem acesso a informações privilegiadas (como a resposta correta ou um traço de raciocínio verificado) que o "aluno" não tem durante a inferência.

A Falha da OPSD:
O artigo identifica que a OPSD sofre de vazamento de informação privilegiada e instabilidade de treinamento a longo prazo.

Mecanismo de Falha: Como o professor e o aluno compartilham os mesmos parâmetros, mas o professor vê informações que o aluno não vê (assimetria de informação), o objetivo de "casar distribuições" (distribution matching) torna-se mal-posto.
Consequência: O modelo aprende a codificar correlações espúrias entre a entrada ( $x$ ) e a informação privilegiada ( $r$ ) em seus parâmetros. Durante a inferência (sem acesso a $r$ ), o modelo tenta "adivinhar" ou aludir a essa solução de referência invisível, levando a uma degradação de desempenho após um pico inicial de melhoria.
Teorema: Os autores provam que existe uma lacuna de informação mútua irreduzível ( $I(Y_t; R | X, Y_{<t}) > 0$ ) que impede a convergência real e força o vazamento de informação através do gradiente.

2. Metodologia: RLSD (RLVR with Self-Distillation)

Os autores propõem o RLSD, uma nova paradigma que desacopla a direção da atualização da sua magnitude, aproveitando os pontos fortes de ambas as abordagens sem os defeitos da OPSD.

Princípios Fundamentais:

Ancoragem da Direção (RLVR): A direção da atualização (se um token deve ser reforçado ou penalizado) é determinada exclusivamente pela recompensa do ambiente (verificável). Isso garante que o modelo não aprenda a aludir a soluções invisíveis.
Modulação da Magnitude (Auto-Destilação): A auto-destilação é usada apenas para determinar a magnitude do crédito (quão forte é o reforço ou penalidade) para cada token individualmente.

O Algoritmo RLSD:
O método funciona em três etapas principais dentro do framework GRPO:

Geração e Recompensa: O modelo gera múltiplas respostas ( $G$ ) para uma pergunta. Um verificador fornece uma recompensa binária ( $R$ ) para a sequência inteira. Calcula-se o advantage ( $A$ ) da sequência.
Cálculo do Ganho de Informação Privilegiada ( $\Delta_t$ ):
- O modelo executa uma passagem frontal extra (forward pass) com a entrada $x$ e a informação privilegiada $r$ (ex: resposta correta) para obter as logits do "professor" ( $P_T$ ).
- Compara-se com as logits do "aluno" ( $P_S$ , sem $r$ ).
- Calcula-se o ganho: $\Delta_t = \text{sg}(\log P_T(y_t) - \log P_S(y_t))$ , onde $\text{sg}$ é o operador stop-gradient (impede que o gradiente flua através do professor).
Reponderação do Crédito (Credit Assignment):
- Define-se um peso $w_t$ baseado na razão de evidências: $w_t = \exp(\text{sign}(A) \cdot \Delta_t) = (P_T(y_t) / P_S(y_t))^{\text{sign}(A)}$ .
- Se a sequência está correta ( $A > 0$ ), tokens apoiados pelo professor ( $P_T > P_S$ ) recebem maior crédito.
- Se a sequência está errada ( $A < 0$ ), tokens que o professor desaprova ( $P_T < P_S$ ) recebem maior "culpa" (penalidade).
- O advantage final para o token $t$ é $\hat{A}_t = A \cdot \text{clip}(w_t)$ .

Vantagem Chave: O RLSD não requer um modelo professor externo (custo computacional baixo) e evita o vazamento de informação porque a direção do gradiente nunca depende de $r$ , apenas da recompensa do ambiente.

3. Contribuições Principais

Análise Teórica da Falha da OPSD: Os autores provam formalmente que a minimização de divergência KL sob assimetria de informação (aluno sem $r$ , professor com $r$ ) cria um limite inferior irreduzível no erro, forçando o vazamento de informação. Eles demonstram que o gradiente contém um termo de desvio específico de $r$ que corrompe o treinamento a longo prazo.
Proposta do RLSD: Introduzem um novo paradigma que transforma a auto-destilação de um objetivo de "casamento de distribuição" (clonagem comportamental) para um mecanismo de "atribuição de crédito granular".
Resolução do Trilema Impossível: Demonstram que, sob parâmetros compartilhados, é impossível ter simultaneamente: (a) estabilidade do objetivo, (b) melhoria sustentada e (c) treinamento sem vazamento. O RLSD resolve isso satisfazendo os três critérios ao ancorar a direção no ambiente externo.
Eficiência Computacional: O método requer apenas uma passagem frontal adicional por resposta para obter as logits do professor, sendo uma substituição direta ("drop-in") para o GRPO padrão sem necessidade de redes auxiliares ou modelos externos.

4. Resultados Experimentais

Os experimentos foram realizados no modelo Qwen3-VL-8B-Instruct em cinco benchmarks de raciocínio multimodal (MMMU, MathVista, MathVision, ZeroBench, WeMath).

Desempenho Superior: O RLSD alcançou a maior precisão média (56.18%), superando o GRPO padrão (53.86%) e a auto-destilação (OPSD: 52.49%).
Convergência Mais Rápida: O RLSD atingiu seu pico de desempenho mais cedo e manteve a estabilidade, enquanto a OPSD mostrou degradação de desempenho após 20-30 passos (devido ao vazamento).
Estabilidade: O RLSD manteve níveis de entropia mais altos durante o treinamento (evitando o colapso prematuro comum no GRPO) e demonstrou uma atribuição de crédito mais precisa (ex: penalizando fortemente passos de raciocínio errados em trajetórias incorretas).
Eficiência: O método superou o GRPO treinado com o dobro de passos em apenas 200 passos, demonstrando uma convergência acelerada.

5. Significado e Impacto

O trabalho RLSD é significativo porque:

Corrige um defeito fundamental: Explica e resolve matematicamente por que a auto-destilação on-policy falha em cenários de raciocínio complexo, um problema que vinha sendo ignorado na comunidade.
Unificação de Paradigmas: Demonstra que é possível combinar a densidade de informação da destilação com a robustez e segurança do aprendizado por reforço baseado em recompensas verificáveis.
Praticidade: Oferece uma solução de baixo custo computacional que pode ser integrada facilmente em pipelines existentes de RLVR (como GRPO), eliminando a necessidade de manter modelos professores grandes e separados.
Direção Futura: Estabelece que a atribuição de crédito granular (token-level) é essencial para o raciocínio avançado, mas deve ser ancorada em sinais de verdade externa para evitar alucinações e vazamento de contexto.

Em resumo, o RLSD representa um avanço crucial na pós-treinamento de LLMs, permitindo que modelos aprendam raciocínios complexos de forma mais eficiente e estável, evitando as armadilhas teóricas da destilação pura.