💬 NLP

QuestA: Expanding Reasoning Capacity in LLMs via Question Augmentation

O artigo apresenta o QuestA, um método que expande a capacidade de raciocínio de modelos de linguagem de grande porte por meio de aumento de questões com soluções parciais durante o treinamento por aprendizado por reforço, alcançando resultados state-of-the-art em benchmarks matemáticos mesmo com modelos de apenas 1,5 bilhão de parâmetros.

Autores originais: Jiazheng Li, Hongzhou Lin, Hong Lu, Kaiyue Wen, Zaiwen Yang, Jiaxuan Gao, Yi Wu, Jingzhao Zhang

Publicado 2026-04-01

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jiazheng Li, Hongzhou Lin, Hong Lu, Kaiyue Wen, Zaiwen Yang, Jiaxuan Gao, Yi Wu, Jingzhao Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um aluno muito inteligente, mas inexperiente, a resolver os problemas de matemática mais difíceis do mundo (como os de Olimpíadas).

O método tradicional de ensino (chamado de Aprendizado por Reforço ou RL) funciona assim: você dá um problema, o aluno tenta resolver, e se acertar, ganha um "ponto". Se errar, ganha zero.

O problema é que, se o problema for muito difícil, o aluno tenta de tudo, erra tudo e nunca ganha pontos. Ele fica frustrado, desanima e para de aprender. É como tentar ensinar alguém a nadar jogando-o no fundo do oceano sem salva-vidas: ele vai beber água e afundar, em vez de aprender a boiar.

Recentemente, pesquisadores descobriram que, ao tentar treinar modelos de IA com problemas difíceis, eles muitas vezes "esquecem" como resolver problemas fáceis e perdem a criatividade, ficando presos em um único jeito de pensar.

A Solução: QUESTA (O "Mapa do Tesouro")

Os autores deste paper criaram uma técnica chamada QUESTA. A ideia é simples e genial: não jogue o aluno no fundo do oceano de uma vez. Dê a ele um mapa parcial.

Aqui está como funciona, usando analogias do dia a dia:

1. O Problema: O "Pulo do Gato"

Imagine que você tem um quebra-cabeça de 1.000 peças. Se você der todas as peças misturadas para uma criança, ela pode desistir. Se você der apenas as peças da borda (uma dica), ela consegue montar a estrutura e se sentir capaz de continuar.

No mundo da IA, a "dica" é uma solução parcial. O QUESTA pega a resposta correta de um problema difícil, corta o final e cola o começo da explicação na pergunta.

Antes: "Resolva esta equação complexa." (O modelo chuta e erra).
Com QUESTA: "Resolva esta equação complexa. Dica: Já sabemos que a primeira parte da resposta é X e a segunda é Y. Agora, complete o resto."

2. O Treinamento: A "Escada"

O método usa uma estratégia de curriculum (como uma escola que vai do básico ao avançado):

Fase 1 (O Andar de Baixo): O modelo recebe problemas difíceis, mas com 50% da solução já escrita. É como se o professor tivesse resolvido metade do exercício na lousa. O modelo aprende a terminar o trabalho e ganha confiança.
Fase 2 (O Andar de Cima): O modelo recebe os mesmos problemas, mas agora com apenas 25% da solução. O professor escreveu menos na lousa. O modelo precisa pensar mais, mas ainda tem um "pé de apoio".

Ao fazer isso, o modelo aprende a "subir a escada" sozinho. Ele internaliza o raciocínio necessário para chegar à resposta final, mesmo que, no teste, ninguém dê a dica.

3. O Resultado: Pequeno, mas Poderoso

O mais impressionante é que eles conseguiram isso com um modelo de IA pequeno (1,5 bilhão de parâmetros).

A Analogia: É como se um estudante do ensino médio, usando esse método de "mapas parciais", conseguisse resolver problemas de matemática de nível universitário, superando até mesmo estudantes de pós-graduação (modelos gigantes de 32 bilhões de parâmetros) que estudaram sem esse método.

Por que isso é importante?

Eficiência: Treinar IA em problemas difíceis sem ajuda é lento e caro (como tentar adivinhar uma senha de 10 dígitos). Com as dicas parciais, o modelo aprende muito mais rápido.
Não "quebra" a criatividade: Muitos métodos de ensino forçam a IA a decorar uma única resposta. O QUESTA, ao dar apenas o começo, força a IA a pensar no resto, mantendo sua capacidade de explorar novas ideias (o que chamam de evitar o "colapso de entropia").
Resultados Reais: Em testes de matemática muito difíceis (como AIME e HMMT), o modelo pequeno com QUESTA bateu recordes, superando modelos muito maiores e mais caros.

Resumo em uma frase

O QUESTA é como dar a um aluno um "ponto de partida" em problemas difíceis, ensinando-o a dar os próximos passos sozinho, transformando um modelo pequeno em um gênio da matemática sem precisar de um computador gigante.

1. O Problema

O treinamento de Grandes Modelos de Linguagem (LLMs) para tarefas de raciocínio complexo (como matemática avançada) tem adotado massivamente o Aprendizado por Reforço com Recompensas Verificáveis (RLVR). No entanto, estudos recentes questionam se o RLVR realmente expande a capacidade intrínseca de raciocínio do modelo ou se apenas explora conhecimento pré-existente.

O artigo identifica duas limitações críticas no estado da arte atual:

Treinamento em Problemas Fáceis: O uso de prompts fáceis durante o RL leva ao overfitting em padrões superficiais e à "colapso de entropia". Embora a métrica pass@1 (precisão na primeira tentativa) possa aumentar, a diversidade de soluções cai drasticamente, resultando em uma degradação severa do desempenho em pass@k (probabilidade de encontrar uma solução correta em $k$ tentativas) para valores altos de $k$ .
Treinamento em Problemas Difíceis: Treinar diretamente em problemas difíceis onde o modelo base falha frequentemente é ineficiente. Devido à esparsidade de recompensas (o modelo raramente acerta), o sinal de gradiente é fraco, tornando o aprendizado extremamente lento ou estagnado.

Existe, portanto, um dilema: prompts fáceis não expandem a capacidade de raciocínio, enquanto prompts difíceis são ineficientes para o treinamento.

2. Metodologia: QUESTA

Para resolver esse dilema, os autores propõem o QUESTA (Question Augmentation), uma estratégia simples e eficaz de aumento de dados que injeta soluções parciais (dicas) nos prompts durante o treinamento por RL.

Mecanismo Principal:

Aumento de Prompt: Para cada problema difícil $q$ com uma trajetória de solução $y = (y_1, ..., y_n)$ , o QUESTA cria um prompt aumentado $\tilde{x}(p)$ que inclui os primeiros $p\%$ da solução como um prefixo (dica).
Foco em Dificuldade: O método é aplicado exclusivamente em problemas onde a taxa de sucesso do modelo base é próxima de zero.
Curriculum Learning Dinâmico: O treinamento segue um currículo em duas etapas para equilibrar a dificuldade e a eficiência:
1. Fase 1 (Partial-50): O modelo é treinado com 50% da solução fornecida como dica. Isso reduz a dificuldade, fornecendo sinais de recompensa mais densos e acelerando o aprendizado inicial.
2. Fase 2 (Partial-25): A quantidade de dica é reduzida para 25%. O modelo é forçado a completar mais do raciocínio, consolidando a capacidade de raciocínio autônomo.
Integração: O QUESTA é ortogonal aos algoritmos de RL existentes (como GRPO ou DAPO). Ele atua apenas no nível de entrada (transformando o prompt), sem alterar a função de recompensa ou o mecanismo de atualização da política.

3. Contribuições Chave

Análise Empírica da Dificuldade: O trabalho demonstra experimentalmente que o treinamento em prompts fáceis reduz a capacidade de raciocínio (medida por pass@k), enquanto prompts difíceis são necessários para expandir essa capacidade, mas são ineficientes sem auxílio.
Estratégia QUESTA: Introdução de um método de aumento de dados que usa soluções parciais como "andaimes" (scaffolding) para tornar problemas difíceis tratáveis durante o RL, mantendo a eficiência amostral.
Fundamentação Teórica: Os autores provam teoricamente que a adição de dicas (hints) melhora a "aprendibilidade" do RL.
- Sem dicas, se o conjunto de capacidade do modelo não intersectar o conjunto de soluções, o RL estagna (Teorema 4.4).
- Com dicas, a probabilidade de encontrar trajetórias corretas aumenta drasticamente, reduzindo o orçamento de amostragem necessário de $O(1/\delta_p)$ para $O(1/\sqrt{\delta_p})$ (Teorema 4.6), onde $\delta_p$ é a probabilidade de sucesso.
Desempenho SOTA em Modelos Pequenos: Demonstra que modelos de apenas 1.5B parâmetros podem superar modelos distilados muito maiores (como o DeepSeek-R1-Distill-32B) em benchmarks matemáticos de elite.

4. Resultados Experimentais

Os experimentos foram conduzidos no modelo Nemotron-1.5B utilizando o dataset OpenR1-Math-220K e avaliados em benchmarks matemáticos desafiadores (AIME24, AIME25, HMMT25, Olympiad Bench, BRUMO25).

Desempenho Geral: O modelo QUESTA-Nemotron-1.5B alcançou novos recordes de estado da arte (SOTA) para modelos de 1.5B parâmetros:
- AIME24: 72.50% (+10.73% sobre o baseline).
- AIME25: 62.29% (+12.79% sobre o baseline).
- HMMT25: 41.67% (+10.11% sobre o baseline).
Comparação com Modelos Maiores: O modelo de 1.5B treinado com QUESTA superou consistentemente o DeepSeek-R1-Distill-32B (um modelo 20x maior) em vários benchmarks, especialmente no AIME25, onde a vantagem foi de +11%.
Estabilidade de Entropia e pass@k: Diferente do RL padrão, que sofre colapso de entropia e queda no pass@k para $k$ grandes, o QUESTA manteve a entropia estável ou crescente e melhorou o pass@k em toda a faixa de amostragem, indicando maior diversidade de soluções e não apenas memorização de um único caminho.
Generalização: O modelo treinado com dicas parciais generalizou bem para a avaliação sem dicas, resolvendo problemas que eram inacessíveis para o modelo base.

5. Significado e Impacto

O QUESTA oferece uma solução elegante para o gargalo de eficiência no treinamento de raciocínio em LLMs. Ao invés de modificar arquiteturas complexas ou funções de recompensa, ele utiliza uma abordagem centrada em dados para "quebrar" problemas difíceis em etapas gerenciáveis.

Eficiência de Custo: Permite que modelos pequenos e acessíveis (1.5B) atinjam níveis de raciocínio competitivos com modelos massivos, reduzindo drasticamente o custo computacional para o desenvolvimento de capacidades de raciocínio avançado.
Validação Teórica: Confirma que a expansão da capacidade de raciocínio depende criticamente da exposição a problemas difíceis, mas que essa exposição deve ser "scaffolded" (apoiada) para ser eficiente.
Aplicabilidade Geral: Embora focado em matemática, a metodologia é generalizável para outras áreas de raciocínio complexo, como programação competitiva e tarefas de agentes, sugerindo um novo paradigma para o treinamento de RL em tarefas de alta complexidade.

Em resumo, o QUESTA demonstra que a qualidade e o nível de dificuldade do dado de treinamento, quando ajustados dinamicamente com dicas parciais, são mais determinantes para o avanço do raciocínio do que simplesmente aumentar o tamanho do modelo ou a quantidade de dados brutos.