🤖 AI

Optimization before Evaluation: Evaluation with Unoptimised Prompts Can be Misleading

Este artigo argumenta que as atuais estruturas de avaliação de LLMs baseadas em prompts estáticos são enganosas porque a otimização de prompts altera significativamente os rankings dos modelos, tornando necessária a otimização de prompts por modelo para identificar com precisão o melhor modelo para uma tarefa específica.

Autores originais: Nicholas Sadjoli, Tim Siefken, Atin Ghosh, Yifan Mai, Daniel Dahlmeier

Publicado 2026-05-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nicholas Sadjoli, Tim Siefken, Atin Ghosh, Yifan Mai, Daniel Dahlmeier

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: A Armadilha do "Tamanho Único"

Imagine que você é um gerente de contratação tentando encontrar o melhor chef para seu restaurante. Você tem cinco chefs diferentes (vamos chamá-los de Modelo A, B, C, D e E). Para testá-los, você dá a todos o mesmo cartão de receita exato: "Faça um ensopado. Use sal, pimenta e cebola."

Você os observa cozinhando, prova o ensopado e os classifica. O Chef B vence. Você contrata o Chef B.

O problema: O Chef B é ótimo em seguir aquela receita específica, mas talvez o Chef D seja, na verdade, um gênio que só precisa que a receita seja escrita de forma ligeiramente diferente para brilhar. Talvez o Chef D precise que a instrução diga: "Refogue as cebolas primeiro, depois adicione o sal," para fazer seu melhor trabalho.

Este artigo argumenta que as formas atuais de testar modelos de IA (Modelos de Linguagem de Grande Escala) são como aquele gerente de contratação. Eles dão a cada IA exatamente o mesmo prompt estático (o cartão de receita) e as classificam com base em quem se sai melhor com aquele cartão específico.

Os autores afirmam que isso é enganoso. No mundo real, se você contratasse uma IA, não lhe daria apenas um prompt genérico; você ajustaria as instruções para obter o melhor desempenho daquela IA específica. Este artigo chama esse processo de Otimização de Prompt (OP).

O Experimento: Ajuste a Receita, Mude o Vencedor

Os pesquisadores pegaram cinco modelos de IA populares e os testaram em várias tarefas (como resolver problemas de matemática, responder perguntas de negócios ou extrair dados).

Rodada 1 (O Jeito Antigo): Eles deram a cada modelo o mesmo prompt "base". Eles os classificaram.
Rodada 2 (O Novo Jeito): Eles usaram uma ferramenta automatizada para "ajustar" o prompt para cada modelo individualmente. Eles perguntaram à IA: "Como podemos reescrever as instruções para que você as entenda melhor?" e depois reexecutaram os testes.

O Resultado: As classificações mudaram completamente.

Em alguns casos, o modelo que ficou em último lugar na Rodada 1 saltou para o primeiro lugar na Rodada 2.
O modelo que era o "melhor" no teste antigo não era necessariamente o melhor quando recebia instruções adaptadas ao seu cérebro específico.

A Analogia: É como testar corredores em uma pista.

Método Antigo: Você faz todos correrem com botas pesadas. O Corredor A vence porque está acostumado a botas pesadas.
Método Novo: Você dá ao Corredor A tênis leves e ao Corredor B órteses personalizadas. De repente, o Corredor B vence.
Conclusão: Se você os testasse apenas com botas pesadas, teria contratado o corredor errado para uma maratona.

Principais Conclusões do Estudo

1. O "Melhor" Modelo Depende do Prompt
O artigo descobriu que o "vencedor" de uma competição muda dependendo de como as instruções são escritas. Se você quiser escolher a melhor IA para um trabalho específico, deve primeiro otimizar as instruções para aquela IA específica. Se não o fizer, pode escolher um modelo que na verdade é medíocre para suas necessidades.

2. Modelos Diferentes Reagem Diferentemente
Assim como as pessoas, diferentes IAs têm "personalidades" ou sensibilidades diferentes.

Alguns modelos (como o Modelo B no estudo) eram muito sensíveis a mudanças no prompt. Um pequeno ajuste fazia com que eles se saíssem muito melhor.
Outros modelos já eram tão bons em uma tarefa específica (como roteamento simples) que ajustar o prompt não ajudava muito, ou às vezes até os confundia.

3. O "Crítico" Pode Ficar Confuso
Os pesquisadores usaram uma IA "crítica" (GPT-4o) para ajudar a reescrever os prompts para os outros modelos. Geralmente, isso funcionava muito bem. No entanto, às vezes o crítico ficava muito esperto ou as instruções se tornavam complexas demais, fazendo com que o modelo falhasse.

Exemplo: Em um caso, o prompt otimizado dizia à IA para "pensar passo a passo" tantas vezes que ela começou a responder às perguntas de exemplo no prompt em vez da pergunta real do teste. Era como um aluno lendo as respostas do teste de prática em voz alta em vez de fazer a prova.

O Que Isso Significa para Você (O Profissional)

Se você é uma empresa tentando escolher uma IA para fazer um trabalho (como responder e-mails de clientes ou analisar documentos), não execute apenas um benchmark padrão.

O artigo conclui que, para encontrar o modelo verdadeiramente melhor para sua tarefa específica, você deve:

Pegue sua tarefa.
Experimente diferentes modelos.
Otimize o prompt para cada modelo individualmente para ver do que eles são verdadeiramente capazes.
Depois, escolha o vencedor.

Se você pular a etapa 3 e usar apenas um prompt genérico, provavelmente estará tomando uma decisão de contratação ruim com base em um teste enganoso.

Resumo

O artigo é um aviso: Não julgue um peixe pela sua habilidade de subir em uma árvore, e não julgue uma IA pela sua habilidade de seguir um prompt genérico. Para saber quem é verdadeiramente o melhor, você precisa falar a língua deles. Se você não otimizar o prompt para cada modelo, seus resultados de avaliação provavelmente estarão errados, e você pode acabar com a ferramenta errada para o trabalho.

1. Declaração do Problema

As atuais estruturas de avaliação de Modelos de Linguagem de Grande Escala (LLMs) (por exemplo, BigBench, LM Eval Harness, HELM) dependem predominantemente de modelos de prompts estáticos. Nessas estruturas, um único prompt não otimizado é aplicado uniformemente a todos os modelos em avaliação.

Os autores argumentam que essa abordagem é fundamentalmente falha para o desenvolvimento centrado em aplicações porque:

A Qualidade do Prompt é uma Variável: A qualidade e o estilo do prompt impactam significativamente as capacidades de seguimento de instruções de um modelo e seu desempenho geral.
Classificações Enganosas: Ao tratar o prompt como uma constante fixa, os benchmarks falham em capturar o desempenho máximo potencial de um modelo quando emparelhado com um prompt otimizado.
Desconexão com a Indústria: Enquanto os benchmarks acadêmicos utilizam prompts estáticos, os profissionais da indústria utilizam rotineiramente técnicas de Otimização de Prompt (PO) para ajustar prompts para modelos e tarefas específicas, a fim de maximizar o desempenho.

A hipótese central é que avaliar modelos com prompts não otimizados leva a classificações de modelos incorretas e à seleção subótima de modelos para tarefas do mundo real.

2. Metodologia

Os autores conduziram experimentos comparando avaliações padrão com prompts estáticos contra avaliações onde os prompts foram otimizados para cada modelo específico.

Configuração Experimental

Modelos: Cinco LLMs líderes (três multimodais de código fechado, dois de texto apenas com pesos abertos) foram avaliados. Os nomes dos modelos foram anonimizados (Modelo A–E).
Conjuntos de Dados: Uma mistura de benchmarks acadêmicos públicos e conjuntos de dados industriais internos:
- Código aberto: GSM8K (Matemática), OpenbookQA, MMLU (Multitarefa).
- Internos: Roteamento de Assistente Digital, Documentação de Ajuda do Copilot, Consultoria do Copilot, Texto para SQL, EDDE (Extração de Documentos).
Técnicas de Otimização: Dois tipos de Otimização de Prompt (PO) foram implementados usando o GPT-4o como "crítico" ou otimizador:
1. Otimização Apenas de Instruções: Usando o framework TextGrad para otimizar as instruções do sistema e da tarefa ( $I$ ).
2. Otimização de Instruções com Exemplos: Usando o framework MIPRO (via DSPy) para otimizar tanto as instruções quanto os exemplos de poucos disparos ( $I + E$ ).
Métrica de Avaliação: A Tau de Kendall ( $\tau$ ) foi usada para medir a correlação entre as classificações de modelos derivadas de prompts estáticos versus prompts otimizados.

3. Principais Contribuições

Evidência Empírica de Instabilidade de Classificação: O artigo fornece a primeira evidência em grande escala de que a Otimização de Prompt altera drasticamente as classificações de modelos. Modelos que aparecem como "melhores" sob prompts estáticos frequentemente caem na classificação quando prompts otimizados são usados, e vice-versa.
Quantificação da Sensibilidade: O estudo demonstra que diferentes modelos exibem níveis variados de sensibilidade à otimização de prompt, dependendo da complexidade da tarefa.
Recomendação Metodológica: Os autores propõem que a Otimização de Prompt deve ser uma etapa padrão e obrigatória em pipelines de avaliação de modelos centrados em aplicações, em vez de uma etapa opcional de pós-processamento.

4. Principais Resultados

A. Mudanças Significativas na Classificação

Correlação Fraca: A correlação entre as classificações usando prompts estáticos e prompts otimizados é muito fraca.
- PO apenas de instruções: Tau de Kendall médio $\approx 0,23$ .
- PO de instruções com exemplos: Tau de Kendall médio $\approx 0,36$ .
- Um valor de $\tau$ próximo de 0 indica que as classificações são quase não correlacionadas, significando que o "melhor" modelo muda frequentemente.
Exemplos Específicos:
- No GSM8K, prompts estáticos sugeriram que o Modelo B era o melhor, mas após a otimização apenas de instruções, o Modelo D tornou-se o principal desempenho.
- No MMLU, o Modelo B foi o líder com prompts estáticos, mas o Modelo D assumiu a liderança após a otimização.

B. Melhorias de Desempenho

Ganho Geral: A PO geralmente melhorou as pontuações absolutas de desempenho dos modelos em todos os conjuntos de dados.
Desempenho Máximo: Para objetivos centrados em aplicações, a PO permite que os profissionais descubram o teto de desempenho máximo real de uma combinação modelo-prompt. Por exemplo, o Modelo A no conjunto de dados "Documentação de Ajuda do Copilot" viu um aumento de 6,9% na pontuação máxima após a otimização apenas de instruções.

C. Sensibilidade à Tarefa

Tarefas Complexas vs. Simples: A PO produziu os benefícios mais significativos para tarefas complexas e abertas (por exemplo, GSM8K, Consultoria do Copilot).
Retornos Decrescentes: Para tarefas onde os modelos já performam quase perfeitamente (por exemplo, OpenbookQA, Roteamento de Assistente Digital), a PO forneceu ganhos mínimos ou, em alguns casos, degradou o desempenho devido à superotimização ou instruções redundantes.

D. Casos Negativos (Modos de Falha)

O artigo também destaca instâncias onde a PO diminuiu o desempenho:

Confusão de Formato: No OpenbookQA, a otimização adicionou instruções de raciocínio verbosas que confundiram o analisador de métricas, fazendo com que uma resposta correta fosse marcada como errada.
Má Interpretação de Exemplos: No MMLU, um prompt otimizado fez com que um modelo tratasse exemplos de poucos disparos como perguntas reais de teste, levando a uma cascata de erros. Isso sugere a necessidade de verificações de compatibilidade entre o otimizador ("crítico") e o modelo alvo.

5. Significado e Conclusão

O artigo desafia fundamentalmente o status quo da avaliação de benchmarks de LLMs. Ele argumenta que prompts estáticos são insuficientes para selecionar o melhor modelo para uma aplicação específica.

Para Profissionais: Confiar em rankings públicos com prompts estáticos pode levar à seleção de um modelo subótimo. Para garantir o melhor ROI e desempenho, as organizações devem realizar otimização de prompt por modelo antes da avaliação final.
Para Pesquisadores: Futuras estruturas de benchmarking devem integrar a PO automatizada como um componente central do pipeline de avaliação para refletir com precisão cenários de aplicação do mundo real.

Conclusão: Os autores concluem que "Otimização antes da Avaliação" não é apenas uma melhor prática, mas uma necessidade. Ignorar a otimização de prompt leva a benchmarks enganosos e potencialmente a erros custosos na seleção de modelos para sistemas de produção.