Resumo Técnico: Fazer as Perguntas Certas (ARQ)

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham alcançado progresso significativo na resolução de tarefas complexas de raciocínio (matemática, programação) por meio de pós-treinamento e suporte no momento do teste, as abordagens atuais focam principalmente na geração de longas cadeias de pensamento (CoT) para resolver um problema diretamente ou verificar soluções propostas. A capacidade de fazer perguntas relevantes e geradoras de insights que decomponham um problema difícil em etapas intermediárias gerenciáveis — um componente central da inteligência humana — recebeu menos atenção. Métodos existentes no momento da inferência (por exemplo, Auto-Perguntar, Raciocinadores Analógicos) frequentemente dependem de prompts para elicitar perguntas auxiliares, mas esses métodos mostram retornos decrescentes quando aplicados a LLMs de raciocínio modernos que já produzem longas CoTs. Além disso, há uma falta de estudo sistemático sobre se os LLMs podem gerar "pedras de passagem" (subproblemas mais simples e relacionados) que realmente melhorem a taxa de sucesso na resolução da tarefa alvo original, e se tais capacidades de geração podem ser aprendidas via pós-treinamento.

Metodologia: O Framework ARQ

Os autores propõem ARQ (Fazer as Perguntas Certas), um framework composto por dois módulos distintos: um gerador de perguntas ($\phi$) e um resolvedor de problemas ($\pi$).

1. Procedimento de Inferência

Em vez de resolver diretamente um problema alvo $x$ para produzir uma solução $y \sim \pi(x)$, o ARQ introduz um pipeline de inferência multi-etapa:

1. Geração: O gerador $\phi$ produz um problema "pedra de passagem" $z$ condicionado a $x$ ($z \sim \phi(x)$). Uma pedra de passagem é definida como um problema relevante para $x$, mas mais fácil de resolver (por exemplo, um caso especial, uma versão simplificada ou um subproblema relacionado).
2. Resolução da Pedra: O resolvedor $\pi$ gera uma solução $y_z$ para a pedra de passagem ($y_z \sim \pi(z)$).
3. Resolução do Alvo: O resolvedor $\pi$ é acionado com o problema original $x$, a pedra de passagem $z$ e sua solução $y_z$ para gerar a solução final $y$ ($y \sim \pi(x; z, y_z)$).

O framework suporta duas estratégias para múltiplas pedras:

• Sequencial: Gerar pedras $z_i$ condicionadas a $x$ e a todas as pedras anteriores ($z_1, \dots, z_{i-1}$).
• Recursiva: Gerar uma nova pedra $z_i$ para ajudar a resolver a pedra anterior $z_{i-1}$, efetivamente construindo um currículo em ordem inversa.

2. Pós-Treinamento e Curadoria de Dados

Reconhecendo que LLMs prontos geram uma mistura de pedras de passagem úteis e prejudiciais, os autores propõem um pipeline de pós-treinamento para melhorar o gerador $\phi$:

• Função de Pontuação: A qualidade de uma pedra gerada $z$ é avaliada pela recompensa esperada do resolvedor $\pi$ ao resolver o alvo $x$ condicionado a $z$. Formalmente: $S(z, x) = \mathbb{E}_{y_z, y} [R(x, y)]$, estimado via simulações de Monte Carlo.
• Ajuste Fino Supervisionado (SFT): O gerador é ajustado finamente nas pedras de maior pontuação geradas para um conjunto de dados de problemas alvo.
• Otimização Direta de Preferência (DPO): Um conjunto de dados de preferência é construído emparelhando pedras de alta pontuação com pedras de baixa pontuação para o mesmo alvo. O gerador é ajustado finamente adicionalmente usando DPO para maximizar a probabilidade de gerar pedras de alta pontuação em vez de baixa pontuação.
• Dados Sintéticos: Todo o pipeline depende da geração de dados sintéticos usando modelos de ponta (por exemplo, GPT-120B) para criar os pares de treinamento, evitando a necessidade de anotação humana cara de pedras de passagem.

Contribuições Principais

1. Existência e Transferibilidade de Boas Pedras de Passagem: O artigo demonstra que pedras de passagem "boas" existem e são transferíveis. Pedras de alta qualidade geradas por um modelo forte melhoram significativamente a taxa de sucesso de resolvedores com capacidades variadas (incluindo modelos menores), indicando que o benefício não se deve ao sobreajuste aos vieses de um resolvedor específico.
2. Framework ARQ: Um suporte inovador no momento da inferência que separa a geração de perguntas da resolução de problemas, permitindo o estudo da geração de pedras de passagem de forma isolada.
3. Receita de Pós-Treinamento: Um método para ajustar finamente LLMs para se tornarem melhores geradores de pedras de passagem usando dados sintéticos e um sinal de recompensa derivado do desempenho do resolvedor. Isso mostra que a capacidade de fazer as perguntas certas pode ser aprendida.
4. Extensão Multi-Pedra: O framework é estendido para gerar múltiplas pedras de passagem sequencialmente ou recursivamente, mostrando que a geração sequencial produz ganhos de desempenho adicionais.

Resultados Experimentais

Os autores avaliaram o ARQ em três benchmarks desafiadores de matemática: AIME 2024, AIME 2025 e BeyondAIME.

• Desempenho no Momento da Inferência: Usando um modelo forte pronto (GPT-120B) como gerador, o ARQ melhorou a taxa de sucesso do resolvedor em uma média de 13% ao selecionar a melhor pedra de passagem entre 20 candidatos. No entanto, o desempenho médio entre todas as 20 pedras foi menor devido à presença de pedras prejudiciais, destacando a necessidade de melhor geração.
• Transferibilidade: Boas pedras de passagem selecionadas por um resolvedor de referência (GPT-120B) melhoraram o desempenho de resolvedores mais fracos (GPT-20B, Qwen3-4B) em um grau similar ao das pedras selecionadas pelos próprios resolvedores.
• Impacto do Pós-Treinamento: O ajuste fino do Qwen3-8B e do Qwen2.5-32B no conjunto de dados sintético de pedras de passagem resultou em melhorias significativas. Os modelos ajustados finamente geraram pedras que melhoraram o desempenho do resolvedor em 3,1% e 2,9% respectivamente em média, superando a linha de base "Apenas Resolvedor" e as versões pré-treinadas.
• Escalonamento Multi-Pedra: Estender o ARQ para gerar 3 pedras de passagem sequenciais melhorou ainda mais o desempenho. Para o GPT-120B, a pontuação no melhor caso melhorou em 5,2% e a média em 3,9% comparado ao uso de uma única pedra. A geração recursiva mostrou desempenho flutuante ou degradado em comparação com a abordagem sequencial.
• Comparação: O ARQ superou outros métodos de etapa intermediária como Raciocínio Analógico, Menos-para-Mais e Planejar-e-Resolver. Desempenhou ligeiramente pior que Auto-Refinar (refinamento iterativo da solução) em LLMs existentes, provavelmente porque o Auto-Refinar alinha-se mais diretamente com pipelines de treinamento RLVR existentes, mas o ARQ permanece complementar e pode ser combinado com Auto-Refinar para ganhos adicionais.

Significado e Alegações

O artigo alega que o ARQ oferece um passo encorajador em uma direção de pesquisa pouco explorada: identificar quais perguntas valem a pena fazer e treinar LLMs para gerá-las. Os autores enfatizam que:

• Pedras de passagem são uma capacidade de raciocínio distinta: Elas não são meramente CoTs mais longas, mas envolvem a construção de problemas relacionados e mais fáceis para construir intuição e verificar estratégias.
• A capacidade generativa é aprendível: A capacidade de fazer as perguntas certas não é uma propriedade inerente de todos os modelos de raciocínio, mas pode ser significativamente aprimorada através de pós-treinamento direcionado em dados sintéticos.
• Escalabilidade: A abordagem é particularmente promissora para domínios extremamente desafiadores (por exemplo, matemática no nível da Olimpíada Internacional de Matemática, pesquisa científica) onde a geração direta de soluções é difícil, e onde os humanos rotineiramente usam protótipos simplificados para validar ideias.

Os autores permanecem modestos quanto à escala atual de seus experimentos de pós-treinamento (limitados por recursos computacionais e fontes de dados) e sugerem trabalhos futuros em escalonamento para conjuntos de dados maiores, outros domínios como programação, e a exploração de RL online para geração de perguntas.