💻 computer science

Beyond Correctness: Learning Robust Reasoning via Transfer

Este artigo introduz o Aprendizado por Reforço com Recompensa Transferível (RLTR), uma abordagem inovadora que aumenta a robustez e a eficiência de amostragem do raciocínio de LLMs ao treinar modelos para produzir etapas de raciocínio que permaneçam eficazes quando transferidas para guiar modelos distintos, em vez de focar apenas na correção da resposta final.

Autores originais: Hyunseok Lee, Soheil Abbasloo, Jihoon Tack, Jinwoo Shin

Publicado 2026-02-10

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Hyunseok Lee, Soheil Abbasloo, Jihoon Tack, Jinwoo Shin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um aluno a resolver um problema matemático complexo.

O Jeito Antigo (RLVR): "Você chegou à resposta certa?"
Atualmente, a maior parte do treinamento de IA funciona como um professor rigoroso que olha apenas para a resposta final na folha de prova. Se o aluno escreve algo confuso, bagunçado ou um palpite sortudo que por acaso está correto, o professor dá um "A". Se o aluno escreve uma explicação perfeita e lógica, mas comete um erro aritmético minúsculo no final, o professor dá um "F".

O artigo chama isso de RLVR (Reinforcement Learning with Verifiable Rewards - Aprendizado por Reforço com Recompensas Verificáveis). É ótimo para obter a resposta certa, mas não se importa com o como o aluno chegou lá. O resultado? O aluno pode aprender a "manipular" o sistema ou depender de uma lógica frágil que desmorona se você pedir para ele explicar para outra pessoa.

A Nova Ideia (RLTR): "Alguém consegue terminar o seu trabalho?"
Os autores deste artigo, Hyunseok Lee e colegas, propõem uma filosofia diferente. Eles acreditam que o raciocínio verdadeiro é como uma corrida de revezamento. Um bom corredor (a IA) não deve apenas cruzar a linha de chegada; eles devem passar o bastão de uma forma que o próximo corredor possa pegá-lo facilmente e continuar sem tropeçar.

Eles chamam este novo método de RLTR (Reinforcement Learning with Transferable Reward - Aprendizado por Reforço com Recompensa Transferível).

Veja como funciona, usando uma analogia simples:

O Gerador (O Primeiro Corredor): A IA começa a resolver um problema e escreve seus pensamentos (o raciocínio).
A Truncagem (Cortando a Fita): O sistema interrompe a IA no meio do caminho. Ele pega a primeira parte do raciocínio e a corta.
O Receptor (O Segundo Corredor): Uma IA diferente (o "Receptor") recebe esse pedaço de texto cortado. Ela tem que ler o que a primeira IA escreveu e terminar a solução.
A Recompensa:
- Se o Receptor conseguir terminar o problema com sucesso e obter a resposta correta, a primeira IA recebe um ponto bônus.
- Se o Receptor ficar confuso, travado ou der uma resposta errada porque a primeira parte estava bagunçada ou ilógica, a primeira IA recebe nenhum bônus.

Por que isso é melhor?
Pense em escrever uma história.

RLVR só se importa se a história termina com "Fim". Você pode escrever uma história que não faz sentido nenhum, mas se a última palavra for "Fim", você vence.
RLTR se importa se a história é tão clara e lógica que qualquer pessoa lendo a primeira metade poderia facilmente adivinhar como ela termina. Isso força a IA a escrever um raciocínio "robusto" — uma lógica que é estável, clara e reutilizável.

O que eles descobriram?
O artigo testou isso em problemas difíceis de matemática e ciências. Aqui estão as principais conclusões:

Mais Consistente: Quando pediram para a IA resolver o mesmo problema 64 vezes, o método de "Transferência" (RLTR) obteve a resposta correta com mais frequência quando realizaram a votação majoritária. O método antigo (RLVR) era às vezes correto, mas seu raciocínio era tão instável que as diferentes tentativas frequentemente discordavam entre si.
Aprendizado Mais Rápido: O novo método aprendeu mais rápido. Ele atingiu o mesmo nível de desempenho que o método antigo em cerca de 2,5 vezes menos etapas de treinamento. É como receber uma educação melhor na metade do tempo porque as lições são mais claras.
Funciona em Problemas Mais Difíceis: O benefício foi ainda maior em competições matemáticas difíceis (como AIME e AMC). Quando os problemas são complexos, ter um processo de pensamento claro e transferível importa mais do que apenas adivinhar o número correto.
Não é Só Matemática: Eles também testaram isso em questões de ciências, e funcionou lá também, sugerindo que essa habilidade de "pensamento claro" se aplica a muitos tipos de problemas.

Em resumo:
O artigo argumenta que ser "correto" não é suficiente. O raciocínio de uma IA deve ser tão sólido e claro que, se você o entregar a uma IA diferente no meio do caminho, essa segunda IA possa pegar o trabalho e terminá-lo perfeitamente. Ao treinar a IA para ser "transferível", elas se tornam mais inteligentes, mais consistentes e aprendem muito mais rápido.

Resumo Técnico: Além da Correção: Aprendendo o Raciocínio Robusto via Transferência

1. Definição do Problema

Embora o Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tenha melhorado significamente o raciocínio de Grandes Modelos de Linguagem (LLMs) ao substituir modelos de recompensa aprendidos pela verificação baseada em regras da resposta final, ele sofre de uma limitação crítica: otimiza apenas a correção da resposta final. Essa abordagem falha em garantir a robustez do próprio processo de raciocínio.

Em configurações práticas, modelos que produzem respostas corretas de forma esporádica, mas inconsistente entre diferentes caminhos de amostragem ou variações de decodificação, são menos valiosos do que aqueles que geram um raciocínio estável e reproduzível. Trabalhos anteriores indicam que o RLVR pode levar a trajetórias de raciocínio "frágeis", onde o aumento do número de amostras ( $K$ ) não melhora, e pode até degradar, a precisão da votação majoritária (Maj@K). O paradigma atual carece de um incentivo para que os passos intermediários de raciocínio sejam estáveis, interpretáveis ou reutilizáveis por outros modelos.

2. Metodologia: Aprendizado por Reforço com Recompensa Transferível (RLTR)

Os autores propõem o RLTR, um framework que operacionaliza o raciocínio robusto através do conceito de transferibilidade de raciocínio. A filosofia central é que o raciocínio robusto deve permanecer útil além do modelo específico que o produziu; ele deve sobreviver à truncagem, reinterpretação e continuação.

Mecanismo Central

O RLTR aumenta o objetivo padrão do RLVR com uma Recompensa de Transferência. O processo de treinamento envolve dois modelos:

Modelo Gerador ( $M_{gen}$ ): Um modelo treinável que produz um traço de raciocínio completo e a resposta final.
Modelo Receptor ( $M_{rcv}$ ): Um modelo separado e congelado usado para avaliar a qualidade do raciocínio intermediário do gerador.

O Processo de Recompensa de Transferência:

O gerador produz uma sequência de raciocínio $y_{gen}$ .
O traço de raciocínio é truncado em uma razão aleatória $\tau \in (0, 1]$ para criar um prefixo $y_{gen}[:\ell]$ .
Este prefixo é alimentado ao modelo receptor congelado, que tenta completar o raciocínio e gerar uma resposta final.
A Recompensa de Transferência ( $R_{trans}$ ) é binária: é 1 se a resposta completada pelo receptor coincidir com a verdade fundamental (ground truth), e 0 caso contrário.

Função Objetivo:
A recompensa total para o gerador é uma combinação ponderada da recompensa de resposta padrão e da recompensa de transferência:
$R_{RLTR}(y_{gen}, M_{rcv}) = R_{RLVR}(y_{gen}) + t \cdot R_{trans}(y_{gen}, M_{rcv})$
Onde $R_{RLVR}$ inclui a correção da resposta e as recompensas de formato, e $t$ é o peso para o componente de transferência. O gerador é otimizado usando Otimização de Política Relativa de Grupo (GRPO) para maximizar esta recompensa combinada.

3. Principais Contribuições

Framework Inovador: Introdução do RLTR, o primeiro framework de RLVR que incentiva explicitamente os LLMs a produzir traços de raciocínio que sejam transferíveis entre diferentes modelos.
Supervisão ao Nível do Processo: Ao contrário dos Modelos de Recompensa de Processo (PRMs) que exigem anotações densas passo a passo e verificadores aprendidos, o RLTR alcança supervisão de nível de processo usando apenas a verificação da resposta real, sem custos de anotação adicionais ou treinamento de modelos de recompensa auxiliares.
Consistência Aprimorada: Demonstração de que a otimização para a transferibilidade melhora diretamente a consistência de amostragem (Maj@K), abordando a fragilidade observada no RLVR padrão.
Eficiência de Amostragem: O framework alcança desempenho comparável ou superior ao RLVR com significativamente menos etapas de treinamento (aproximadamente 2,5 $\times$ menos no MATH-500).

4. Resultados Experimentais

Os autores avaliaram o RLTR em múltiplos benchmarks de raciocínio matemático e científico, incluindo MATH-500, GSM8K, AMC23, AIME2024 e GPQA.

Precisão e Consistência: O RLTR supera consistentemente tanto o modelo base quanto os modelos treinados com RLVR em métricas de precisão média e Maj@K.
- No MATH-500, o RLTR melhorou o Maj@64 de 82,6% (RLVR) para 84,2%, enquanto também elevou a precisão média de 71,0% para 77,0%.
- No AMC23, o RLTR melhorou o Maj@64 de 61,7% para 67,5%.
- No GPQA (raciocínio científico), o RLTR melhorou a precisão média de 33,0% para 34,8% e o Maj@16 de 36,8% para 37,7%, demonstrando generalização agnóstica de domínio.
Dinâmica de Treinamento:
- Velocidade: O RLTR atinge o nível de precisão do RLVR em aproximadamente 2,5 $\times$ menos etapas de treinamento.
- Correlação: Existe uma forte correlação positiva entre o crescimento da transferibilidade e o Maj@K durante o treinamento. Em contraste, os modelos RLVR frequentemente mostram uma degradação na transferibilidade e no Maj@K em estágios tardios de treinamento, apesar da estabilidade na precisão média.
Estudos de Ablação:
- Razão de Recompensa: Aumentar o peso da recompensa de transferência ( $t$ ) impulsiona significativamente a consistência de alto K (Maj@K), confirmando que a transferibilidade é um sinal distinto e valioso.
- Modelos Receptores: O método permanece eficaz mesmo com modelos receptores menores (ex: 1,5B de parâmetros), embora receptores mais fortes gerem uma melhor consistência de alto K.
- Diversidade: Diferente do RLVR, que tende a reduzir a diversidade (Pass@K) ao se concentrar em padrões de solução específicos, o RLTR mantém ou melhora o Pass@K enquanto aumenta a precisão.
Custo Computacional: Embora o RLTR introduza computação extra via o modelo receptor, ele é mais eficiente computacionalmente no geral. Para alcançar o mesmo desempenho que o RLTR, o RLVR requer aproximadamente 2,3 $\times$ mais custo computacional (FLOPs).

5. Significância e Alegações

O artigo afirma que otimizar para a transferibilidade de raciocínio leva a um raciocínio de LLM mais robusto. Ao tratar o raciocínio como uma forma de "transferência de significado" que deve sobreviver à interrupção e à re-completude, o RLTR incentiva os modelos a gerar caminhos de raciocínio estáveis, interpretáveis e genuinamente generalizáveis.

Os autores posicionam este trabalho como uma solução para o gargalo de "avaliação apenas de resultado" nos métodos atuais de RLVR. Eles argumentam que o raciocínio robusto não é meramente sobre estar correto, mas sobre ser explicável de uma forma que outros possam seguir de forma confiável. Esta abordagem oferece um caminho para agentes de IA mais confiáveis em domínios complexos (como descoberta científica ou codificação), onde a consistência e a reprodutibilidade são tão críticas quanto a precisão bruta, tudo isso reduzindo o fardo computacional do treinamento.