$p1$: Better Prompt Optimization with Fewer Prompts

O artigo apresenta o $p1$, um método de filtragem de prompts de usuário que seleciona um pequeno subconjunto de prompts com alta variância para melhorar a otimização de prompts, demonstrando que treinar com menos prompts pode superar o uso de conjuntos de dados completos e superar técnicas de ponta como o GEPA.

O essencial

Imagine que você tem um robô superinteligente (um Modelo de Linguagem, como o Qwen ou o GPT) que sabe resolver problemas de matemática complexa, mas às vezes ele "trava" ou dá respostas erradas.

O que os autores deste artigo descobriram é que, em vez de reprogramar o robô inteiro (o que é caro e difícil), você pode apenas mudar o bilhete de instruções (o "prompt") que você entrega a ele antes de começar. É como dar um novo "manual de instruções" para o robô.

O problema é que, às vezes, tentar encontrar o melhor manual é como tentar achar uma agulha num palheiro, e às vezes é como achar uma agulha num prato de espaguete. O artigo se chama p1 e explica por que isso acontece e como consertar.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: O Ruído vs. O Sinal

Imagine que você é um treinador de futebol tentando escolher o melhor tático para seu time.

• Cenário A (Tarefas Simples): Você pede para o time jogar contra times fracos. Se o tático for bom, o time ganha. Se for ruim, o time perde. A diferença é clara. É fácil ver quem é o melhor treinador.
• Cenário B (Tarefas Difíceis - como Matemática Avançada): Você pede para o time jogar contra o campeão do mundo. Mesmo com o melhor tático do mundo, o time pode perder por sorte, por um erro de um jogador ou porque o jogo foi muito difícil. Às vezes, um tático ruim ganha por sorte, e um tático genial perde por azar.

A descoberta: Em tarefas difíceis (como o AIME, um concurso de matemática), o "ruído" (a sorte, o acaso) é tão alto que você não consegue distinguir se um prompt (tático) é bom ou ruim. O robô gera respostas erradas não porque o prompt é ruim, mas porque a tarefa é instável.

2. A Surpresa: Mais Dados Podem Piorar as Coisas

Aqui está a parte mais contra-intuitiva do artigo. Normalmente, achamos que "mais dados = melhor aprendizado". Mas os autores descobriram que, em tarefas difíceis e variadas, adicionar mais perguntas ao treinamento pode atrapalhar.

A Analogia do "Sabor Misto":
Imagine que você está tentando descobrir qual tempero (prompt) faz o melhor bolo.

• Se você testar o tempero em 100 bolos de chocolate diferentes, você verá claramente qual tempero funciona melhor.
• Mas, se você misturar 100 bolos de chocolate, 100 bolos de limão e 100 bolos de pimenta, e pedir para o robô provar a média de todos... o resultado será um "sabor estranho". O tempero que funciona no chocolate pode estragar o limão.
• Quando você mistura tudo, os efeitos se cancelam. O robô acha que nenhum tempero é melhor que o outro, porque a média de todos os resultados fica parecida. O sinal de "qual é o melhor" desaparece no meio do caos.

O artigo mostra que, em bancos de dados grandes e mistos (como questões de matemática de vários níveis), o "sinal" de qual prompt é o melhor fica diluído.

3. A Solução: O Filtro "p1"

Como resolver isso? Em vez de tentar ensinar o robô com todos os 30 problemas de matemática, o método p1 faz algo simples e brilhante: ele escolhe apenas 2 problemas específicos.

Mas não são problemas aleatórios. O p1 procura os problemas onde a diferença entre um prompt bom e um prompt ruim é gigantesca.

• É como se você dissesse ao robô: "Esqueça os 28 problemas onde a sorte decide o resultado. Vamos focar apenas nestes 2 problemas onde, se você usar a estratégia certa, você ganha de lavada, e se usar a errada, você perde feio."

Ao focar nesses poucos problemas "sensíveis", o robô consegue ver claramente a diferença entre um prompt bom e um ruim. Ele aprende muito mais rápido e com menos esforço.

4. O Resultado: Menos é Mais

Os testes mostraram algo incrível:

• Treinar com todos os 30 problemas de um concurso de matemática não melhorou quase nada o desempenho do robô.
• Treinar com apenas 2 problemas selecionados pelo método p1 fez o robô ficar muito mais inteligente.
• E o melhor: O "manual de instruções" (prompt) que o robô aprendeu com apenas 2 problemas funcionou muito bem em outros concursos de matemática que ele nunca viu antes!

Resumo da Ópera

O artigo ensina que, para ensinar robôs a pensar melhor em tarefas complexas, qualidade vence quantidade.

• O Erro: Tentar ensinar com tudo o que existe, o que cria uma sopa de letrinhas onde nada faz sentido.
• O Acerto (p1): Escolher cuidadosamente os exemplos onde a diferença entre "certo" e "errado" é mais clara, e focar apenas neles. É como um professor que, em vez de dar 100 exercícios aleatórios, dá 2 exercícios perfeitos que ensinam a lição principal de forma cristalina.

No fim, o método p1 é um "filtro de ouro": ele separa o trigo do joio, permitindo que o robô aprenda a pensar como um gênio da matemática usando apenas um punhado de exemplos estratégicos.

Resumo técnico

Título: p1: Melhor Otimização de Prompt com Menos Prompts

Autores: Zhaolin Gao, Yu (Sid) Wang, Bo Liu, Thorsten Joachims, Kianté Brantley, Wen Sun.
Afilições: Cornell University, Microsoft, Harvard University, Databricks AI Research.

---

1. Problema e Motivação

A otimização de prompts (encontrar o melhor prompt de sistema para um Modelo de Linguagem Grande - LLM - sem alterar seus pesos) tornou-se uma alternativa atraente ao treinamento completo de modelos. No entanto, a eficácia dessa otimização varia drasticamente entre tarefas:

• Em algumas tarefas (ex.: seguimento de instruções), a otimização traz ganhos claros.
• Em outras (ex.: raciocínio matemático complexo como AIME), a otimização frequentemente falha, mesmo com grande poder computacional.

O artigo investiga por que essa inconsistência ocorre. A hipótese central é que a otimização falha quando o sinal de recompensa é "ruidoso" ou quando a variância entre diferentes prompts de sistema é ofuscada pela variância inerente à geração estocástica do modelo ou pela heterogeneidade do conjunto de dados.

2. Metodologia e Análise Teórica

Os autores decomõem a variância da recompensa em dois componentes principais para entender a "aprendibilidade" do prompt:

1. Variância entre Respostas (Noise): Captura a estocasticidade da geração do modelo sob um prompt fixo (ex.: o modelo gera soluções diferentes para a mesma pergunta).
2. Variância entre Prompts de Sistema (Sinal): Captura a diferença real de qualidade entre diferentes prompts de sistema.

Descobertas Críticas:

• O Paradoxo do Tamanho do Conjunto de Dados: Contrariando a intuição comum, aumentar o tamanho do conjunto de dados de treinamento (mais prompts de usuário) pode prejudicar a otimização em tarefas heterogêneas (como matemática).
  • Razão: Diferentes perguntas de usuário podem favorecer diferentes prompts de sistema. Ao calcular a média sobre um conjunto grande e heterogêneo, as preferências se cancelam, fazendo com que prompts bons e ruins pareçam estatisticamente idênticos em termos de recompensa esperada. Isso dilui o sinal de otimização.
• Homogeneidade vs. Heterogeneidade: Em tarefas homogêneas (ex.: IFBench), um bom prompt ajuda consistentemente todos os exemplos, permitindo otimização em grandes conjuntos. Em tarefas heterogêneas (ex.: AIME), a otimização requer um subconjunto específico onde a variância entre os prompts de sistema seja alta e distinguível do ruído.

A Solução Proposta: p1

Motivados pela análise acima, os autores propõem o p1, um método simples de filtragem de prompts de usuário:

1. Seleção de Subconjunto: Em vez de treinar em todo o conjunto de dados, o p1 seleciona um pequeno subconjunto de prompts de usuário (ex.: 2 a 4 prompts) que exibem a maior variância de recompensa entre os candidatos a prompts de sistema.
2. Objetivo: Esses prompts são os que melhor distinguem um sistema "bom" de um "ruim".
3. Treinamento: A otimização (via Aprendizado por Reforço - RL) é realizada apenas neste subconjunto filtrado, fortalecendo o sinal de gradiente e evitando o cancelamento de sinais causado pela heterogeneidade.

3. Resultados Experimentais

Os experimentos foram conduzidos em benchmarks de raciocínio (AIME 2024/2025/2026, HMMT) e de seguimento de instruções (IFBench), utilizando modelos da família Qwen (1.7B, 4B e 30B).

• Desempenho em Raciocínio (AIME/HMMT):
  • Métodos padrão (RL em todo o conjunto) e métodos evolutivos (GEPA) falharam em melhorar significativamente sobre o modelo base no AIME.
  • O p1 obteve ganhos substanciais. Notavelmente, treinar o p1 usando apenas 2 prompts do AIME 2024 resultou em um prompt de sistema que generalizou excepcionalmente bem para o AIME 2025, AIME 2026 e HMMT.
  • Generalização Cruzada: O prompt otimizado no modelo menor (Qwen3-4B) melhorou o desempenho do modelo maior (Qwen3-30B) e em benchmarks não vistos durante o treinamento.
• Desempenho em Instruções (IFBench):
  • Como o IFBench é mais homogêneo, métodos padrão funcionam bem. O p1, ao reduzir o conjunto de dados, sofreu um pouco de overfitting (sobreajuste) neste cenário específico, mas ainda mostrou-se competitivo.
• Análise Qualitativa dos Prompts:
  • Prompts gerados pelo GEPA tendiam a memorizar padrões específicos do conjunto de treinamento (ex.: regras específicas de geometria), indicando sobreajuste.
  • Prompts gerados pelo p1 eram mais gerais, focando em comportamentos de raciocínio estruturado e "pensamento em voz alta" (stream of consciousness), o que explica sua melhor capacidade de generalização.

4. Contribuições Principais

1. Análise de Variância: Demonstração teórica e empírica de que a variância entre prompts de sistema é o fator limitante para a otimização e que aumentar o tamanho do dataset em tarefas heterogêneas pode reduzir essa variância, prejudicando o aprendizado.
2. Método p1: Introdução de uma estratégia de filtragem de dados simples e eficaz que seleciona os exemplos mais informativos (alta variância entre prompts) para treinamento, permitindo otimização com menos dados.
3. Evidência de Generalização: Prova de que prompts otimizados em conjuntos de dados muito pequenos (até 2 exemplos) podem generalizar para modelos maiores e tarefas não vistas, desafiando a noção de que grandes conjuntos de dados são sempre necessários para otimização de prompts.

5. Significado e Impacto

O trabalho oferece uma mudança de paradigma na otimização de prompts:

• Qualidade > Quantidade: Para tarefas complexas e heterogêneas, a qualidade e a diversidade seletiva dos dados de treinamento são mais importantes do que o volume bruto.
• Eficiência Computacional: O método p1 permite obter resultados de ponta com uma fração do custo computacional (menos amostras, menos iterações de RL).
• Direção Futura: Sugere que o foco deve estar na seleção de "curriculums" de dados que maximizem o sinal de aprendizado, em vez de apenas escalar o tamanho do dataset.

Em resumo, o p1 resolve o problema da otimização de prompts em tarefas difíceis ao identificar que o "ruído" de grandes datasets heterogêneos esconde o sinal de otimização, e propõe uma solução elegante: treinar em menos dados, mas nos dados certos.