Prompt-Induced Waste in Large Reasoning Models: A Preregistered Two-Harness Benchmark of Coding Agents
Este estudo de benchmark pré-registrado demonstra que a redação do prompt e o design do harness inflam significativamente os custos de raciocínio de grandes agentes de codificação — frequentemente de 2,4 a 30 vezes — sem melhorar o sucesso da tarefa, sendo instruções específicas como "desenvolva múltiplas abordagens" e certas arquiteturas de harness os principais impulsionadores dessa ineficiência.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você está contratando um assistente robô superinteligente para consertar uma torradeira quebrada. Você não quer apenas que o robô a conserte; você quer que ele pense sobre como consertá-la primeiro. No mundo da inteligência artificial, esses passos de "pensamento" são chamados de tokens de raciocínio. Assim como um humano pode rabiscar notas, riscar e tentar diferentes ideias antes de resolver um quebra-cabeça, esses modelos de IA gastam tempo e dinheiro "deliberando" antes de lhe dar uma resposta.
Mas aqui está o detalhe: você paga por cada pensamento que o robô tem, inclusive aqueles que ele joga fora. Se você pedir ao robô para "pensar muito bem" ou "tentar cinco maneiras diferentes", ele pode fazer exatamente isso, consumindo seu orçamento enquanto conserta a torradeira não melhor do que se você tivesse apenas pedido para "consertar a torradeira". Este artigo explora um canto estranho da ciência da computação onde pesquisadores agem como detetives, tentando descobrir quais palavras em suas instruções fazem o robô desperdiçar dinheiro e quais palavras o mantêm com um orçamento apertado. Eles não estão apenas adivinhando; eles estão realizando milhares de experimentos controlados para ver exatamente quanto diferentes frases custam.
O Grande Experimento de Prompt: Por Que Suas Palavras Custam Dinheiro
Imagine que você tem uma frota de seis diferentes chefs robôs superinteligentes. Você quer que eles escrevam código (que é como uma receita para um computador) para resolver 24 desafios culinários específicos. Mas há um detalhe: você tem que pagar por cada pensamento que os chefs tiverem enquanto cozinham. Os pesquisadores queriam saber: O modo como você escreve seu pedido muda o quanto os chefs pensam, e esse pensamento realmente ajuda o prato a ficar mais saboroso?
Para descobrir, eles montaram um laboratório de cozinha massivo e superorganizado. Eles não apenas adivinharam; eles escreveram suas regras antes de começarem a cozinhar (isso é chamado de "pré-registro", como escrever um menu antes de ir ao supermercado). Eles usaram dois tipos diferentes de gerentes de cozinha (chamados de "harnesses") para falar com os chefs: um era um gerente direto e sem rodeios, e o outro era um gerente muito falante e detalhista, que enviava uma enorme quantidade de informações de contexto com cada pedido.
Aqui está o que eles descobriram após realizar mais de 4.600 sessões de cozinha:
1. A Armadilha do "Tentar Tudo"
O maior desperdiçador de dinheiro? Dizer ao robô para "desenvolver várias abordagens e compará-las".
Parece inteligente, certo? Como um bom chef provando três molhos antes de escolher um. Mas para esses robôs de IA, essa instrução foi um desastre. Ela fez com que eles pensassem de 2,4 a 7,4 vezes mais do que o normal. E o pior? O prato final (o código) não foi melhor. Eles apenas queimaram dinheiro extra pensando em opções que nunca usaram. É como pagar um chef para escrever três receitas diferentes para um sanduíche, provar todas elas e depois servir você o mesmo sanduíche que ele serviria se você apenas pedisse "um sanduíche".
2. As Palavras Mágicas Que Não Fazem Nada
As pessoas costumam dizer "pense passo a passo" ou "pense profundamente" para obter melhores resultados. Os pesquisadores descobriram que, para esses robôs de programação, essas palavras mágicas de "pensamento profundo" eram apenas puro desperdício. Elas fizeram os robôs pensarem de 1,6 a 2,2 vezes mais tempo sem melhorar o resultado. É como dizer a uma calculadora para "pensar intensamente" antes de somar 2 + 2; a resposta é a mesma, mas você pagou pelo tempo extra de pensamento.
3. O Truque da "Eficiência Delimitada"
Por outro lado, havia um ingrediente secreto que economizava dinheiro. Se você desse ao robô uma caixa estrita para trabalhar — dizendo exatamente qual era o objetivo, quais eram as regras e quando parar — ele na verdade pensava menos. Um robô chegou até a reduzir seu tempo de pensamento pela metade! Este modelo de "eficiência delimitada" era gratuito para usar e tornava os robôs mais rápidos e baratos sem estragar o código.
4. O Gerente Importa Mais do que o Chef
Uma das descobertas mais surpreendentes foi que quem você contrata para gerenciar o robô importa mais do que o próprio robô.
Eles testaram o mesmo robô com dois gerentes diferentes. Um gerente (PI.DEV) era eficiente. O outro (Claude Code) era como um microgerenciador que enviava um "discurso introdutório" 12 a 15 vezes maior com cada mensagem. Mesmo quando os robôs resolviam o problema perfeitamente, a versão do microgerenciador custava de 5 a 30 vezes mais apenas devido à forma como a conversa era conduzida. Acontece que o "gerente" (o software que envolve a IA) é frequentemente a maior parte da conta, não a própria IA.
5. A Ilusão do "Desconto Escondido"
Os pesquisadores também observaram como as empresas cobram por esses robôs. Eles descobriram que as empresas economizam dinheiro automaticamente ao lembrar o "discurso introdutório" que enviam a cada vez. Isso economizou cerca de 61% da conta. Mas os pesquisadores alertaram: Não chame isso de "eficiência". É apenas um desconto no mesmo trabalho de sempre. O robô não trabalhou de fato mais rápido ou de forma mais inteligente; a empresa apenas não cobrou pelas partes que ela já lembrava.
6. Novos Robôs, Velhos Truques
Quando um novo robô superveloz (Kimi-K3) foi lançado, os pesquisadores o testaram imediatamente. Embora este novo robô fosse naturalmente mais barato de operar, as mesmas instruções ruins (como "tente várias abordagens") fizeram com que ele desperdiçasse dinheiro 15 vezes mais do que o normal. A lição? Não importa o quão inteligente ou barato seja o robô, instruções ruins sempre farão com que ele gaste demais.
O Veredito Final
Este artigo prova que a forma como você faz uma pergunta muda o quanto ela custa, mesmo que a resposta seja a mesma.
- Não diga ao robô para "tentar muitas abordagens" ou "pensar profundamente", a menos que você realmente precise que ele faça essas coisas.
- Faça dar a ele limites claros e uma condição de parada.
- Lembre-se de que o software que gerencia o robô pode estar custando mais do que o próprio robô.
Os pesquisadores tornaram todos os seus dados, códigos e receitas de teste públicos. Eles querem que todos saibam que, no mundo dos agentes de IA, menos teatro de pensamento e mais instruções claras é a melhor maneira de economizar dinheiro e realizar o trabalho.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.