Resumo Técnico: PPC Potencializa o Raciocínio Matemático de LLMs com Pré-Planejamento (PPC)

1. Declaração do Problema

Os métodos atuais de raciocínio baseados em planejamento para Grandes Modelos de Linguagem (LLMs) estabeleceram um paradigma pergunta → plano → CoT. Embora eficazes, os autores identificam uma lacuna fundamental, de nível paradigmático, nessa abordagem: tanto as etapas de planejamento quanto de execução são dedicadas a decidir como resolver um problema (organizando passos e executando-os), enquanto a questão anterior de o que resolver permanece totalmente implícita.

A etapa de "o que resolver" envolve reconhecer o tipo de problema, identificar ferramentas e conceitos aplicáveis, sinalizar condições de contorno e antecipar armadilhas. Os métodos existentes assumem que essa compreensão emerge implicitamente durante a geração do plano. No entanto, a análise de erros (Figura 1) revela que uma parte significativa das falhas nos métodos atuais baseados em planejamento não decorre de erros de cálculo, mas sim de uma falha em compreender corretamente a natureza do problema (por exemplo, identificar erroneamente uma equação quadrática homogênea, levando a um caminho de solução ineficiente).

2. Metodologia: O Framework PPC

Para preencher essa lacuna, os autores propõem o PPC (Pré-Planejamento-Planejamento-CoT), um framework que introduz uma etapa explícita de pré-planejamento, criando um novo paradigma pergunta → pré-planejamento → plano → cot. O pré-planejamento é uma análise abrangente e não computacional que define o que resolver, deixando como resolver para as etapas subsequentes de planejamento e execução.

O framework aborda dois desafios principais através de um pipeline específico:

Desafio 1: Construção de Dados (Prevenção de Vazamento e Spoilers)

Gerar supervisão de pré-planejamento limpa é difícil porque os modelos tendem a recorrer a comportamentos de "como resolver".

• Falha de Vazamento: O pré-planejamento ensaia a sequência de passos do plano subsequente.
• Falha de Spoiler: O pré-planejamento realiza cálculos intermediários sob o disfarce de análise.

Solução: Os autores projetam um pipeline de síntese de três estágios protegido por um detector de pontuação de spoiler.

1. Geração de Três Estágios: As trajetórias são geradas estritamente da esquerda para a direita: $y_{pp} \sim \pi_{pp}(\cdot|q)$, $y_p \sim \pi_p(\cdot|q, y_{pp})$ e $y_e \sim \pi_e(\cdot|q, y_p)$. O prompt de pré-planejamento proíbe explicitamente derivações, fórmulas estendidas e valores computados.
2. Filtragem por Pontuação de Spoiler: Uma pontuação baseada em regras $s(\cdot) \in \{0, \dots, 6\}$ agrega sinais de derivação e revelação de resposta (por exemplo, frases como "simplifica para", alta densidade de equações, longos trechos de matemática inline, constantes com múltiplos dígitos). As trajetórias são mantidas apenas se $s(y_{pp}) \leq \tau_s$ (onde $\tau_s=2$) E a resposta final estiver correta. Isso garante que o pré-planejamento seja pura compreensão do problema, não uma solução disfarçada.

Desafio 2: Adesão Durante o Treinamento (Garantia de Utilidade)

Mesmo com dados limpos, um modelo pode aprender a gerar um pré-planejamento superficialmente correto enquanto o ignora durante a etapa de planejamento.

Solução: Os autores estendem a Otimização de Política Relativa de Grupo (GRPO) com uma função de recompensa composta $R(y)$ que impõe alinhamento estrutural e semântico:
$$R(y) = R_{out}(y) + \lambda_a R_{adh}(y) + \lambda_f R_{fmt}(y) - \lambda_s R_{sty}(y)$$

• $R_{out}$ (Recompensa de Resultado): Usa crédito parcial baseado na proximidade julgada por um LLM do caminho de solução (não apenas correção binária) para fornecer gradientes para trajetórias de quase acerto.
• $R_{adh}$ (Recompensa de Adesão): Um crítico LLM pontua o alinhamento estratégico entre o pré-planejamento e o plano. Crucialmente, um plano de alta qualidade que ignora o pré-planejamento recebe uma pontuação baixa, forçando o modelo a seguir genuinamente a orientação do pré-planejamento.
• $R_{fmt}$ (Guarda de Formato): Garante que a saída contenha exatamente uma instância de cada tag (<preplan>, <plan>, <execute>) na ordem correta com uma resposta em caixa.
• $R_{sty}$ (Penalidade de Estilo): Reutiliza a pontuação de spoiler $s(\cdot)$ como penalidade durante o RL. Se o pré-planejamento voltar a deslizar para conteúdo computacional durante o treinamento, a recompensa é penalizada, mantendo a integridade conceitual estabelecida durante a construção dos dados.

3. Contribuições Principais

• Conceitual: O artigo formaliza uma lacuna de nível paradigmático nos métodos de raciocínio existentes: a modelagem explícita de como resolver versus o tratamento implícito de o que resolver. Propõe o paradigma pergunta → pré-planejamento → plano → cot para abordar isso.
• Metodológica:
  • Construção do primeiro conjunto de dados de raciocínio com supervisão explícita de pré-planejamento, protegido por um detector de pontuação de spoiler contra falhas de vazamento e spoiler.
  • Projeto de uma recompensa GRPO composta que impõe explicitamente o alinhamento plano-pré-planejamento, impedindo que o modelo trate o pré-planejamento como um passo decorativo, mas ignorado.
• Empírica: Avaliação extensa em quatro backbones (Qwen3-4B, Qwen2.5-7B, Qwen2.5-Math-7B, Llama-3.1-8B) e cinco benchmarks matemáticos (AIME25, Minerva-Math, OlympiadBench, MATH-500, GSM8K).

4. Resultados Experimentais

• Desempenho: O PPC alcança os melhores resultados em 39 de 40 métricas em todos os benchmarks e backbones.
• Melhorias: Comparado às melhores linhas de base (Plan-Tuning, PTA-GRPO), o PPC melhora maj@16 em +2,23 e pass@16 em +3,06.
• Eficiência: Apesar de adicionar uma etapa extra, o PPC gera menos tokens que o CoT completo e significativamente menos que o PTA-GRPO. O pré-planejamento e o plano restringem a execução a um único caminho de solução, evitando desvios redundantes comuns no CoT não restrito.
• Fidelidade: Intervenções no tempo de inferência (embaralhar frases do pré-planejamento, usar pré-planejamentos incompatíveis ou marcadores genéricos) causam quedas severas de desempenho (por exemplo, maj@16 caindo de 97,2 para 46,8 no Qwen3-4B com pré-planejamentos incompatíveis). Isso confirma que o modelo depende genuinamente do conteúdo do pré-planejamento, e não apenas de produzi-lo.

5. Significado e Alegações

O artigo alega que a limitação primária do raciocínio baseado em planejamento atual não é a falta de planejamento, mas a falta de uma etapa dedicada para compreensão do problema. Ao tornar explícito o "o que resolver" através do pré-planejamento, o modelo pode selecionar ferramentas e estratégias apropriadas antes de comprometer-se com um caminho de solução.

Os autores enfatizam que essa melhoria não é meramente devido a prompting (como mostrado pela linha de base "Apenas Prompt", que tem desempenho inferior), mas requer o aprendizado do paradigma através da construção específica de dados e do treinamento com recompensa composta. O framework demonstra que a compreensão explícita do problema produz maior precisão e maior eficiência de inferência simultaneamente, sem introduzir sobrecarga adicional de tokens em comparação ao CoT padrão.