Learning from Contrasts: Synthesizing Reasoning Paths from Diverse Search Trajectories

1. O Problema

O uso de Monte Carlo Tree Search (MCTS) para explorar espaços de solução e gerar dados de raciocínio para Grandes Modelos de Linguagem (LLMs) tem se tornado uma prática comum. No entanto, os métodos atuais de extração de supervisão (como o Rejection Sampling Fine-Tuning ou RFT) são ineficientes. Eles seguem um paradigma de "filtragem" ou "seleção":

• Mantêm apenas a trajetória de maior recompensa (a resposta correta).
• Descartam a vasta maioria das trajetórias exploradas, incluindo caminhos plausíveis mas incorretos.
• Consequência: Perdem-se sinais comparativos valiosos. O modelo não aprende por que certas estratégias falharam, apenas imita o sucesso. Isso resulta em desperdício computacional e na necessidade de conjuntos de dados massivos (centenas de milhares de exemplos) para obter bom desempenho.

2. Metodologia: CRPS (Contrastive Reasoning Path Synthesis)

O artigo propõe o CRPS, um framework que transforma a extração de supervisão de um processo de filtragem estática para um processo de síntese generativa dinâmica. A abordagem baseia-se em uma arquitetura desacoplada de Explorador e Analista:

A. Arquitetura Desacoplada

1. Explorador ($G_{explorer}$): Um modelo de raciocínio especializado (ex: Qwen2.5-Math-7B) executa o MCTS para mapear o espaço de soluções, gerando diversas trajetórias (corretas, incorretas e ineficientes).
2. Analista ($G_{analyst}$): Um modelo mais capaz (ex: gpt-5-mini) atua como um "professor". Ele não apenas corrige, mas realiza uma análise contrastiva profunda entre trajetórias de alta e baixa qualidade.

B. Coleta de Trajetórias e Amostragem

• Âncora Positiva ($\tau^+$): Seleciona a trajetória correta mais eficiente (menor comprimento).
• Contraste Negativo ($\tau^-$): Em vez de escolher erros aleatórios, o CRPS amostra trajetórias incorretas que o explorador considerou promissoras (alto número de visitas no MCTS). Isso identifica vieses sistemáticos e modos de falha onde o modelo estava confiante, mas errado.
• Contrastes de Eficiência: Trajetórias corretas, mas com passos redundantes, são usadas para ensinar eficiência estratégica.

C. Análise Contrastiva (O Núcleo do Método)

O Analista gera críticas explícitas em linguagem natural em dois níveis:

1. Crítica Estratégica Global: Identifica divergências de alto nível na lógica de decomposição do problema.
2. Crítica Local Passo a Passo: Alinha semanticamente as trajetórias para encontrar o ponto exato de divergência e explica a falha lógica específica.

D. Síntese de Caminhos Informada por Padrões

Com base nas críticas, o Analista sintetiza uma nova cadeia de raciocínio ($\hat{\tau}$).

• Esta nova trajetória incorpora os padrões de sucesso da trajetória positiva.
• Crucialmente: Ela evita explicitamente os modos de falha identificados na trajetória negativa, explicando por que certos caminhos devem ser evitados.
• O resultado é um conjunto de dados onde cada exemplo contém não apenas a resposta, mas o raciocínio otimizado e justificado.

3. Contribuições Principais

1. Mudança de Paradigma: Transição da seleção de dados ("quem venceu") para a síntese de dados baseada em contraste ("por que os outros falharam").
2. Eficiência de Dados Extrema: Demonstra que é possível treinar modelos com 20x menos dados mantendo ou superando o desempenho.
   • Exemplo: 60k exemplos sintetizados pelo CRPS igualam ou superam 590k exemplos obtidos por amostragem de rejeição padrão.
3. Generalização Superior: Modelos treinados com CRPS generalizam melhor para domínios fora do treinamento (Out-of-Domain), sugerindo que aprender com o contraste entre sucesso e falha cria capacidades de raciocínio mais transferíveis do que apenas imitar exemplos de sucesso.
4. Validação em Múltiplos Domínios: O método foi validado em raciocínio matemático, geração de código e raciocínio de senso comum.

4. Resultados Experimentais

Os experimentos foram conduzidos em modelos base como DeepSeekMath, LLaMA-3 e Mistral.

• Desempenho em Raciocínio Matemático:
  • O modelo DeepSeekMath-CRPS-30K alcançou 50.4% de precisão média, superando o RFT-590K (48.3%) e o DART-Math-590K (49.4%), utilizando apenas ~5% dos dados de treinamento.
  • Em benchmarks Out-of-Domain (como TheoremQA e OlympiadBench), o CRPS superou métodos de refinamento local (como SIGMA), indicando uma melhor internalização de estruturas de problemas abstratos.
• Eficiência Computacional:
  • Embora a fase de síntese tenha um custo inicial de inferência mais alto (devido ao MCTS e à análise do Analista), o tempo de fine-tuning do modelo alvo é drasticamente reduzido (de 192 horas GPU para 10 horas GPU para atingir o mesmo nível de desempenho).
• Estabilidade Semântica:
  • Modelos CRPS mostraram maior robustez contra perturbações linguísticas e distrações em problemas, evitando "atalhos" heurísticos frágeis.

5. Significado e Impacto

O trabalho CRPS desafia a crença de que a escala de dados é a única via para melhorar o raciocínio de LLMs. Ele demonstra que a densidade estratégica da supervisão é mais importante que o volume bruto.

• Aprendizado Profundo: Ao forçar o modelo a entender as causas de falhas (não apenas a existência de erros), o CRPS ensina o modelo a navegar ativamente ao redor de armadilhas lógicas, em vez de apenas memorizar caminhos corretos.
• Viabilidade Econômica: Reduzir a necessidade de dados de treinamento em 20x torna o desenvolvimento de modelos de raciocínio avançado mais acessível e sustentável, reduzindo custos de computação e energia.
• Futuro: O framework abre caminho para integrar sinais contrastivos diretamente em aprendizado por reforço online e expandir para domínios multimodais.

Em resumo, o CRPS prova que aprender com o contraste entre o sucesso e o fracasso é uma estratégia pedagógica superior para LLMs, permitindo que modelos menores e treinados com menos dados superem modelos massivos treinados apenas com dados filtrados.