🤖 AI

RL Squeezes, SFT Expands: A Comparative Study of Reasoning LLMs

Este artigo apresenta um novo quadro analítico que examina trajetórias de raciocínio nos níveis de trajetória e de passo, revelando que o Aprendizado por Reforço com Recompensas Verificáveis (RLVR) comprime trajetórias incorretas e concentra o raciocínio em menos passos, enquanto o Ajuste Fino Supervisionado (SFT) expande trajetórias corretas e distribui o raciocínio ao longo de muitos passos, explicando assim o sucesso complementar do atual paradigma de treinamento em duas etapas.

Autores originais: Kohsei Matsutani, Shota Takashiro, Gouki Minegishi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

Publicado 2026-05-28

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kohsei Matsutani, Shota Takashiro, Gouki Minegishi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: Duas Maneiras de Ensinar um Robô a Pensar

Imagine que você tem um robô que é bom em falar, mas não é ótimo em resolver problemas complexos de matemática ou de programação. Para torná-lo mais inteligente, os pesquisadores usam dois métodos principais de treinamento:

SFT (Ajuste Fino Supervisionado): Isso é como imitação. Você mostra ao robô um exemplo perfeito de como um especialista humano resolve um problema, passo a passo, e diz: "Faça exatamente isso".
RL (Aprendizado por Reforço): Isso é como tentativa e erro com um placar. Você deixa o robô tentar resolver o problema sozinho. Se ele acertar a resposta, ganha uma "estrelinha de ouro" (recompensa). Se errar, não ganha nada. Com o tempo, ele aprende a evitar os caminhos que levam ao fracasso.

O artigo pergunta: O que realmente acontece dentro do cérebro do robô quando usamos esses dois métodos diferentes? Eles mudam como o robô pensa ou apenas o que ele responde?

Os autores descobriram que esses dois métodos fazem coisas opostas ao "processo de pensamento" do robô.

Analogia 1: A "Trilha de Raciocínio" (Nível de Trajetória)

Imagine o processo de pensamento do robô como um caminhante atravessando uma floresta enorme e nebulosa para encontrar um tesouro escondido (a resposta correta). Existem muitos caminhos: alguns levam ao tesouro, e muitos levam a becos sem saída ou penhascos.

SFT (O Imitador) "Expande" os Bons Caminhos:
Quando você mostra ao robô um mapa de um especialista (SFT), ele aprende a andar pelo caminho correto. Mas aqui está a pegadinha: ele também começa a andar em muitas variações diferentes desse caminho correto. Ele se torna muito criativo e diversificado na forma como encontra o tesouro.
- A Pegadinha: Ele não para de andar nos caminhos ruins. Se o robô já estava vagando por um pântano (cometendo erros), o SFT ensina a ele novas formas de andar, mas ele ainda pode vagar para o pântano ocasionalmente. Ele "expande" o número de rotas corretas, mas não necessariamente limpa as ruins.
RL (O Pontuador) "Aperta" os Caminhos Ruins:
Quando você deixa o robô jogar o jogo com recompensas (RL), ele percebe rapidamente que os caminhos do pântano levam a zero pontos. Então, ele para de andar por lá. Ele "aperta" todos os caminhos incorretos, confusos ou sem saída, fazendo-os desaparecer.
- A Pegadinha: Ele também tende a "apertar" os bons caminhos. Ele pode parar de explorar variações criativas da resposta correta e apenas se ater ao único caminho que sabe funcionar melhor. Ele se torna muito focado, mas menos diversificado.
A Combinação Vencedora (SFT + RL):
O artigo explica por que a melhor prática atual é fazer SFT primeiro, depois RL.
1. Primeiro, use SFT para ensinar ao robô novas maneiras de encontrar o tesouro (expandindo os caminhos corretos).
2. Depois, use RL para punir o robô por vagar para o pântano (apertando os caminhos incorretos).
- Resultado: Você obtém um robô que conhece muitas maneiras de resolver o problema, mas é muito disciplinado em evitar erros.

Analogia 2: A "Cidade de Pensamentos" (Nível de Passo)

Agora, vamos olhar para o pensamento do robô não como um único caminho, mas como um mapa de cidade. Cada "passo" no raciocínio (como "calcular a área" ou "verificar a fórmula") é um prédio nesta cidade. As conexões entre os passos são as ruas.

RL Cria uma Cidade "Hub-e-Raio":
Após o treinamento com RL, a cidade muda. O robô começa a depender fortemente de alguns prédios específicos, superimportantes (hubs). Ele visita esses passos-chave uma e outra vez.
- O Efeito: A cidade torna-se muito eficiente, mas lotada ao redor desses poucos pontos. O robô concentra seu "poder de pensamento" em um pequeno número de passos críticos. É como um trabalhador que usa apenas três pontes específicas para atravessar o rio, ignorando todas as outras.
SFT Cria uma Cidade "Distribuída":
Após o treinamento com SFT, a cidade parece diferente. O robô espalha seu pensamento. Ele visita muitos prédios diferentes, e nenhum prédio único é visitado de forma tão avassaladora quanto na cidade de RL.
- O Efeito: O pensamento é "homogeneizado" ou espalhado uniformemente. É como uma cidade onde todos usam uma grande variedade de ruas, e nenhuma rua única é um engarrafamento.

A Descoberta Chave:

RL torna o pensamento do robô intenso e focado em alguns passos-chave (Apertando).
SFT torna o pensamento do robô amplo e distribuído entre muitos passos (Expandindo).

A Forma da Cidade (Topologia)

Os pesquisadores também olharam para a "forma" dessas cidades de pensamento usando geometria.

O Modelo Base (Antes do treinamento): A cidade está dividida em bairros isolados (comunidades). É difícil ir de um bairro para outro. O robô fica preso em loops locais.
RL: Ele derruba os muros entre os bairros. Ele cria uma cidade dominada por alguns "hubs" massivos que conectam tudo. Isso torna o robô muito rápido em encontrar a resposta se ele acertar o hub certo, mas ele depende desses hubs específicos.
SFT: Ele também derruba os muros, mas, em vez de criar hubs, ele constrói uma teia onde tudo está conectado a tudo o mais. Isso torna a cidade muito robusta e fácil de navegar de qualquer ponto para qualquer outro ponto.

Resumo das Alegações do Artigo

RL é um "Apertador": Ele esmaga os caminhos de pensamento incorretos e concentra o raciocínio do robô em alguns passos altamente eficientes e de alto tráfego. Ele torna o robô muito bom em obter a resposta correta na primeira tentativa (Pass@1) eliminando opções ruins.
SFT é um "Expansor": Ele ensina ao robô novas e corretas maneiras de pensar e espalha a carga de raciocínio por muitos passos. No entanto, ele não elimina automaticamente os caminhos ruins que o robô pode ter estado usando antes.
Por que SFT + RL Funciona: Os melhores resultados vêm de usar o SFT para ensinar ao robô como pensar corretamente (expandindo os bons caminhos) e, em seguida, usar o RL para forçá-lo a parar de cometer erros (apertando os caminhos ruins).
A Estrutura Importa: O RL cria uma estrutura de raciocínio "pesada em hubs", enquanto o SFT cria uma estrutura "distribuída". Ambas são diferentes da estrutura "fragmentada" de um modelo não treinado.

O artigo conclui que entender essas diferenças mecânicas ajuda a explicar por que a atual receita de treinamento "em duas etapas" (SFT seguido de RL) é tão bem-sucedida na criação de IA de raciocínio inteligente.

Resumo Técnico: RL COMPACTA, SFT EXPANDE: UM ESTUDO COMPARATIVO DE LLMs DE RAZONAMENTO

Declaração do Problema

Embora o Aprendizado por Reforço com Recompensas Verificáveis (RLVR) e o Ajuste Fino Supervisionado (SFT) sejam os paradigmas dominantes para o pós-treinamento de Modelos de Linguagem de Grande Escala (LLMs) visando aprimorar capacidades de raciocínio, os mecanismos específicos pelos quais esses métodos moldam os processos de raciocínio subjacentes permanecem elusivos. Estudos anteriores focaram-se amplamente em métricas baseadas em resultados (por exemplo, Pass@k), concluindo frequentemente que o RL apenas elicita capacidades base pré-existentes ou que o SFT leva à memorização, enquanto o RL promove a generalização. No entanto, esses estudos carecem de uma compreensão granular de como o RL e o SFT alteram fundamentalmente a estrutura dos caminhos de raciocínio e a topologia do espaço de raciocínio. Este artigo aborda a questão: Como o RL e o SFT moldam o processo de raciocínio além das medições de precisão?

Metodologia

Os autores introduzem um novo framework de análise que quantifica caminhos de raciocínio e captura suas mudanças qualitativas sob diferentes regimes de treinamento. O estudo emprega modelos de tamanhos variados (1,5B, 7B e 14B parâmetros) em domínios matemáticos (AIME24, AIME25, AMC23) e de código (HumanEval). A análise é conduzida em dois níveis de granularidade:

Análise em Nível de Trajetória:
- Método: Múltiplas saídas (M=256) são amostradas a partir de modelos Base, RL, SFT e SFT+RL. Trajetórias de raciocínio únicas são identificadas aplicando-se agrupamento hierárquico (UPGMA) às saídas com base na similaridade de n-gramas em nível de caractere (chrF).
- Objetivo: Contar e comparar o número de trajetórias corretas e incorretas únicas antes e depois do treinamento.
Análise em Nível de Passo (Grafos de Raciocínio):
- Construção: As saídas do modelo são segmentadas em sentenças, incorporadas em um espaço vetorial (usando BGE-large-en-v1.5) e agrupadas (K-means) para definir nós. Transições entre sentenças formam arestas direcionadas, criando um "grafo de raciocínio" para cada problema.
- Métricas: O estudo analisa propriedades topológicas globais e locais, incluindo:
  - Taxas de Decaimento Exponencial: Ajuste de gráficos de classificação da frequência de visitação de nós, grau e centralidade de intermediação a uma lei exponencial ( $X(R) \propto e^{-\lambda R}$ ) para determinar a taxa de decaimento $\beta$ .
  - Topologia Global: Densidade de arestas, coeficiente de agrupamento, assortatividade, modularidade, centralização de Freeman, comprimento médio do caminho, eficiência global e conectividade algébrica.
  - Estrutura Local: Análise de grafetos (contagem de subgrafos de 4 nós) para detectar estruturas cíclicas versus acíclicas.

Principais Contribuições

O artigo estabelece uma "perspectiva de caminho de raciocínio" que explica os papéis complementares do SFT e do RL:

Dinâmicas em Nível de Trajetória:
- RL Compacta: O treinamento com RL comprime significativamente o número de trajetórias incorretas únicas, efetivamente podando o espaço de busca de erros. No entanto, também reduz o número de trajetórias corretas únicas, concentrando a massa de probabilidade em menos caminhos.
- SFT Expande: O treinamento com SFT aumenta o número de trajetórias corretas únicas, introduzindo novas estratégias de solução ausentes no modelo base. Crucialmente, o SFT sozinho tende a preservar trajetórias incorretas, falhando em garantir melhorias no Pass@1.
- Sinergia: O sucesso da abordagem em duas etapas SFT+RL é atribuído ao SFT expandir o espaço de soluções corretas, seguido pelo RL comprimindo o espaço de trajetórias incorretas.
Mudanças Estruturais em Nível de Passo:
- Taxas de Decaimento: O RL acentua as taxas de decaimento ( $\beta$ ) das distribuições de frequência de visitação, grau e centralidade de intermediação. Isso indica que o RL consolida a funcionalidade de raciocínio (por exemplo, hubs, nós centrais) em um pequeno subconjunto de passos. Por outro lado, o SFT achata essas taxas de decaimento, homogeneizando a funcionalidade através de muitos passos diversos.
- Topologia Global:
  - Modelos Base: Exibem alta modularidade e baixa eficiência global, indicando que o raciocínio fica preso em comunidades distintas e fracamente conectadas.
  - Modelos RL: Transformam grafos em estruturas centralizadas em hubs, com alta densidade de arestas e baixa modularidade, permitindo travessia eficiente através de alguns nós centrais.
  - Modelos SFT: Enfraquecem as fronteiras de comunidade para formar grafos globalmente conectados com alta robustez e eficiência de alcançabilidade, embora possam reter alguns caminhos incorretos.
- Estrutura Local: Tanto o RL quanto o SFT aumentam a proporção de subgrafos cíclicos (refletindo retrocesso e verificação), sugerindo que estruturas locais cíclicas por si só não podem explicar as diferenças de desempenho; a topologia global é o diferenciador.

Resultados

Domínios Matemáticos e de Código: As descobertas mantêm-se consistentemente em conjuntos de dados matemáticos (AIME, AMC) e em geração de código (HumanEval).
Pass@k vs. Pass@1: A redução de trajetórias corretas únicas pelo RL explica por que modelos Base podem, às vezes, superar modelos RL no Pass@k (em $k$ grande) devido à cobertura mais ampla da distribuição do modelo base, enquanto o RL se destaca no Pass@1 ao concentrar a massa no caminho correto mais provável.
Correlações Topológicas: A eficiência global e a conectividade algébrica estão positivamente correlacionadas com as razões Pass@1/Pass@k, enquanto a modularidade está negativamente correlacionada. Isso sugere que grafos de raciocínio que facilitam a travessia eficiente em todo o espaço de soluções são críticos para alto desempenho.
Estudos de Ablação: Os resultados relativos às taxas de decaimento e deslocamentos topológicos permanecem robustos através de diferentes contagens de agrupamentos ( $K$ ), métricas de distância (Euclidiana vs. Cosseno) e codificadores de sentenças.

Significado e Afirmações

O artigo afirma fornecer suporte empírico para a hipótese "RL compacta, SFT expande", oferecendo uma explicação mecânica para o sucesso da prática atual de treinamento em duas etapas (SFT seguido por RL).

Interpretação do Treinamento: Postula que o SFT atua como um "expansor" do espaço de raciocínio (aprendendo novas estratégias), enquanto o RL atua como um "compressor" (otimizando a distribuição para suprimir erros e focar em caminhos corretos de alta probabilidade).
Curadoria de Dados: As descobertas sugerem que a construção de dados para raciocínio deve considerar métricas de grafos (por exemplo, garantindo baixa modularidade e alta eficiência global) em vez de apenas precisão.
Direções Futuras: Os autores sugerem que aplicar RL apenas em passos funcionais (hubs) poderia melhorar a eficiência e que explorar se bônus de exploração no RL previnem "compactação excessiva" é uma direção valiosa.

O trabalho não afirma inventar novos algoritmos de treinamento, mas sim oferecer um framework diagnóstico para entender os existentes, interpretando por que as receitas atuais de pós-treinamento funcionam e sugerindo direções para abordagens de aprendizado mais eficientes e curadoria de dados.