Resumo Técnico: Supervisão de Processo Verificável para Modelos de Linguagem

Declaração do Problema

Treinar modelos de linguagem (MLs) para produzir tanto respostas corretas quanto raciocínios sólidos permanece um desafio significativo. As abordagens atuais de Aprendizado por Reforço com Recompensas Verificáveis (RLVR) otimizam tipicamente apenas a correção do resultado final. Embora isso frequentemente melhore a precisão da tarefa, cria um modo de falha onde o raciocínio intermediário se torna incompleto, impreciso ou internamente inconsistente. O artigo identifica uma tensão crítica: recompensas baseadas em resultados podem levar os modelos a produzir previsões melhores enquanto suas trilhas de raciocínio expostas degradam em qualidade. Isso é particularmente problemático quando a própria trilha de raciocínio é necessária para depuração, auditoria ou reutilização downstream. Os métodos existentes de supervisão de processo frequentemente dependem de modelos de recompensa aprendidos ou juízes baseados em ML, o que introduz custos computacionais, dificuldades de calibração e ruído potencial.

Metodologia: Supervisão de Processo Verificável (VPS)

Os autores propõem a Supervisão de Processo Verificável (VPS), um framework de pós-treinamento projetado para domínios verificáveis que otimiza conjuntamente a precisão da previsão e a qualidade do raciocínio. O framework opera através de três componentes principais:

1. Priori de Raciocínio Estruturado via SFT:
   O processo começa com o Ajuste Fino Supervisionado (SFT) em trilhas construídas sinteticamente que seguem um esquema consistente e específico do domínio. Isso induz um formato de raciocínio estruturado, enviesando o modelo a produzir trilhas onde reivindicações intermediárias aparecem em posições previsíveis. Essa estrutura permite que o verificador a jusante extraia reivindicações usando correspondência de padrões sintáticos simples, em vez de análise semântica cara ou juízes baseados em ML.

2. Verificação Determinística e Cálculo de Recompensa:
   Durante o Aprendizado por Reforço (RL), um verificador extrai reivindicações individuais da trilha estruturada e as avalia contra sinais de verdade fundamental disponíveis no domínio (por exemplo, saídas de motores de xadrez, verificações baseadas em regras). Isso produz um conjunto de recompensas de subtarefa ($r_k$). Estas são agregadas em uma recompensa de raciocínio ($R_{reason}$) usando a fórmula:
   $$R_{reason}(x, \tau) = \sum_{k=1}^{K} w_k \cdot r_k$$
   A recompensa total combina adesão ao formato, precisão da previsão e a recompensa de raciocínio:
   $$R(x, \tau, \hat{y}) = R_{form}(\hat{y}) + R_{acc}(\hat{y}, y^*) + \lambda \cdot R_{reason}(x, \tau)$$

3. Ponderação Adaptativa de Recompensa:
   Para abordar a dificuldade heterogênea das subtarefas de raciocínio, os autores introduzem um mecanismo de ponderação adaptativa. Eles acompanham o desempenho do modelo em cada subtarefa usando uma Média Móvel Exponencial (EMA) das recompensas do lote. Os pesos ($w_k$) são ajustados dinamicamente com base no "espaço disponível" ($1 - \mu_k$) de cada subtarefa, priorizando componentes com os maiores erros remanescentes. Isso cria um currículo implícito que direciona a aprendizagem para as subhabilidades mais difíceis.

Configuração Experimental

O framework é avaliado em xadrez, um campo de testes controlado com regras exatas e sinais de referência fortes baseados em motores. A tarefa envolve prever movimentos ótimos a partir de uma posição dada (FEN) enquanto gera uma trilha de raciocínio.

• Modelos: Qwen3-8B e DeepSeek-R1-Distill-Llama-8B.
• Baselines: Apenas SFT, e SFT seguido por GRPO apenas de precisão (RL apenas de resultado).
• Métricas:
  • Precisão: Precisão do movimento Top-1, classificação Elo, cobertura de candidatos.
  • Qualidade de Raciocínio: Erro Absoluto Médio (MAE) da taxa de vitória, sobreposição da Variação Principal (PV) e consistência lógica interna (se o movimento escolhido corresponde à maior taxa de vitória reivindicada).
  • Juízes: Três juízes independentes baseados em ML (GPT-4o, Claude Opus 4.6, Gemini 3 Flash) avaliaram o raciocínio quanto a relevância, completude, clareza e fluência.

Resultados Principais

Os experimentos demonstram que a VPS desacopla com sucesso os ganhos de precisão da degradação do raciocínio:

• Compromisso Precisão vs. Raciocínio: O GRPO apenas de precisão melhorou a precisão Top-1 (por exemplo, de ~0,21 para ~0,53), mas degradou agudamente a qualidade do raciocínio. Para o DeepSeek-R1-Distill-Llama-8B, a consistência interna caiu de 0,978 para 0,312, e o erro da taxa de vitória aumentou em 112%.
• Desempenho da VPS: A VPS igualou a precisão do GRPO apenas de precisão enquanto melhorava significativamente o raciocínio. Reduziu o erro da taxa de vitória em até 30% e restaurou a consistência interna para níveis próximos à saturação (0,978–0,985).
• Avaliação dos Juízes: Em níveis de precisão iguais, os modelos supervisionados por processo foram consistentemente preferidos por todos os três juízes baseados em ML em relação aos modelos apenas de precisão, mostrando melhorias substanciais em completude, clareza e fluência.
• Ponderação Adaptativa: A ponderação adaptativa superou a agregação fixa, particularmente para modelos com conhecimento de domínio inicial mais forte (1M posições de SFT), ao focar o treinamento nas subtarefas mais difíceis (por exemplo, previsão de PV).
• Análise do Espaço de Raciocínio: Sem um priori estruturado, o RL apenas de precisão convergiu para atalhos dependentes de orçamento (por exemplo, enumeração repetitiva ou heurísticas superficiais) em vez de raciocínio multi-etapa principiado. Trilhas de raciocínio mais longas em modelos apenas de precisão frequentemente correlacionaram-se com menor precisão, sugerindo confusão em vez de profundidade.

Significado e Alegações

O artigo alega que a VPS fornece uma alternativa escalável e eficiente à supervisão de processo baseada em juízes de ML. Ao aproveitar priores estruturados e verificação determinística, permite a supervisão direta de etapas intermediárias de raciocínio sem o custo ou ruído de modelos de recompensa aprendidos.

Os autores concluem que a verificação determinística do raciocínio intermediário, combinada com um currículo adaptativo sobre subhabilidades, é uma abordagem eficaz para treinar modelos que alcançam forte desempenho na tarefa com raciocínio fiel. Os resultados sugerem que a otimização apenas de resultados é insuficiente para garantir raciocínio sólido, e que a VPS pode prevenir a "deterioração do raciocínio" observada em configurações padrão de RLVR. O framework é apresentado como um método generalizável para domínios verificáveis, com o xadrez servindo como um campo de testes rigoroso para verificação granular.