Strategy Executability in Mathematical Reasoning: Leveraging Human-Model Differences for Effective Guidance

Título: Executabilidade de Estratégias no Raciocínio Matemático: Aproveitando as Diferenças Humano-Modelo para Orientação Efetiva

1. O Problema

O uso de orientação baseada em exemplos (como exemplos resolvidos, dicas ou sugestões de raciocínio) durante o tempo de inferência é uma técnica comum para melhorar o raciocínio matemático em Grandes Modelos de Linguagem (LLMs). No entanto, a eficácia dessa orientação é altamente instável. Mesmo quando a orientação é correta, relevante para o problema e extraída de soluções bem-sucedidas, ela frequentemente falha em ajudar o modelo-alvo ou, em alguns casos, degrada o desempenho.

O artigo identifica que a causa raiz dessa instabilidade não é apenas a qualidade semântica da orientação, mas uma lacuna fundamental entre dois conceitos:

1. Uso de Estratégia (Strategy Usage): A frequência com que uma estratégia aparece em soluções bem-sucedidas (seja humana ou gerada por modelo).
2. Executabilidade da Estratégia (Strategy Executability): Se a estratégia permanece eficaz quando é instanciada como orientação explícita para um modelo-alvo específico.

A premissa de que uma estratégia observada em uma solução correta pode ser diretamente transferida como orientação para qualquer modelo é falsa. O que funciona para um humano (ou para outro modelo) pode não ser "executável" operacionalmente pelo modelo alvo devido a diferenças estruturais e de domínio.

2. Metodologia

A. Diagnóstico e Análise (HM-ReasoningBench)
Os autores criaram o HM-ReasoningBench, um conjunto de dados pareado contendo 4.850 problemas matemáticos de nível de competição, cada um com uma solução escrita por humanos e uma gerada por modelo.

• Abstração de Estratégias: As soluções foram decompostas em um conjunto de estratégias de alto nível (ex: "construção auxiliar", "análise de casos", "manipulação algébrica").
• Descoberta de Dissociação: A análise revelou uma dissociação sistemática:
  • Soluções Humanas: Tendem a enfatizar insights estruturais, geometria, simetria e decomposições conceituais.
  • Soluções de Modelos: Tendem a favorecer transformações procedimentais, manipulação algébrica e configurações coordenadas.
• Executabilidade Diferencial: Estratégias procedimentais (comuns em modelos) são frequentemente mais executáveis quando usadas como orientação para outros modelos. Estratégias estruturais (comuns em humanos) são mais executáveis quando derivadas de humanos, mas falham se extraídas de modelos. O uso bruto de uma estratégia não garante sua eficácia como guia.

B. Proposta: Seleção Seletiva de Estratégias (SSR)
Para abordar esse problema, os autores propõem o Selective Strategy Retrieval (SSR), um framework leve que opera no tempo de teste (sem re-treinamento do modelo). O SSR não busca apenas a estratégia mais relevante semanticamente, mas sim a mais executável para o modelo alvo.

O processo do SSR envolve:

1. Grafo de Conhecimento de Estratégias: Um grafo heterogêneo que conecta problemas, estratégias e categorias. Ele é treinado para aprender representações que capturam padrões de executabilidade (quais pares problema-estratégia funcionam).
2. Retrieval Multi-Rota: Para um novo problema, o SSR recupera candidatos através de três rotas complementares:
   • Rota A (Condicionada à Categoria): Estratégias robustas para a categoria do problema.
   • Rota B (Transferência de Problema): Estratégias que foram empiricamente eficazes em problemas semanticamente similares no conjunto de treinamento.
   • Rota C (Fallback Semântico): Estratégias semanticamente similares para garantir cobertura quando evidências de executabilidade são escassas.
3. Modelagem de Executabilidade: Um preditor supervisionado estima a utilidade $U(s|x)$ de fornecer uma estratégia $s$ como orientação para o modelo $m$ no problema $x$. Isso é feito aprendendo a probabilidade de sucesso baseada em sinais empíricos de tentativas de decodificação.
4. Seleção e Guia: O sistema seleciona um subconjunto pequeno das estratégias com maior pontuação de executabilidade estimada e as fornece como dicas abstratas (não passos de solução) para guiar o modelo.

3. Principais Contribuições

1. Identificação da Lacuna de Executabilidade: O trabalho formaliza e demonstra empiricamente que o "uso" de uma estratégia em soluções corretas não é um proxy confiável para sua "executabilidade" como orientação.
2. HM-ReasoningBench: A criação de um benchmark padronizado com soluções pareadas (humano vs. modelo) para analisar diferenças estratégicas.
3. Framework SSR: A proposta de um método de inferência que modela explicitamente a executabilidade, combinando estratégias de fontes humanas e de modelo de forma seletiva e dependente do contexto.
4. Evidência de Melhoria Robusta: Demonstração de que a modelagem da executabilidade supera abordagens tradicionais como In-Context Learning (ICL) simples, orientação de fonte única ou métodos que exigem mais computação no tempo de teste (como Tree-of-Thoughts).

4. Resultados

Os experimentos foram realizados em três benchmarks: HM-ReasoningBench, AIME25 (problemas de competição) e Apex (problemas extremamente difíceis), utilizando modelos de raciocínio compactos (Qwen3-8B, Qwen3-14B, DeepSeek-R1-Distill-Qwen-7B).

• Desempenho Geral: O SSR superou consistentemente a resolução direta (DS), o In-Context Learning (ICL) e a orientação de fonte única (apenas humana ou apenas modelo).
• Ganhos de Precisão:
  • No benchmark AIME25, o SSR melhorou a precisão em até +13 pontos para modelos compactos (ex: Qwen3-8B).
  • No benchmark Apex, houve ganhos de até +5 pontos.
  • Em modelos fechados (GPT-4.1, o3-mini), o SSR também mostrou melhorias consistentes (+4 a +13 pontos sobre a orientação direta).
• Eficiência: O SSR reduziu o consumo de tokens de saída em comparação com a resolução direta, indicando que a orientação eficaz evita explorações improdutivas, em vez de apenas alongar o raciocínio.
• Análise de Falhas: O SSR mitigou tanto falhas estruturais (onde a orientação humana foi mais eficaz) quanto erros de manipulação algébrica (onde a orientação de modelo foi mais eficaz), confirmando a vantagem da combinação seletiva.

5. Significado e Impacto

Este trabalho muda a perspectiva sobre como a orientação de raciocínio deve ser avaliada e aplicada:

• Foco na Executabilidade Operacional: A utilidade de uma estratégia não é intrínseca à sua lógica, mas depende da capacidade do modelo-alvo de operacionalizá-la sob condições de inferência específicas.
• Complementaridade Humano-Máquina: As soluções humanas e de modelos possuem forças complementares. Ignorar as diferenças estruturais entre elas leva a orientações ineficazes. O SSR explora essa complementaridade.
• Implicações para Treinamento e Avaliação: O artigo sugere que os dados de treinamento atuais podem estar super-representando padrões procedimentais, enquanto sub-representam estratégias estruturais humanas. A "executabilidade" deve ser uma métrica central para avaliar a capacidade de raciocínio, não apenas a correção da resposta final.
• Eficiência Computacional: O SSR demonstra que melhorar o raciocínio não requer necessariamente mais computação no tempo de teste (como em Tree-of-Thoughts ou Self-Consistency), mas sim uma seleção mais inteligente de orientações.

Em resumo, o artigo estabelece que para orientar modelos de IA em matemática de forma eficaz, é crucial entender o que o modelo consegue executar, e não apenas o que está correto na solução de referência.