When Prompt Under-Specification Improves Code Correctness: An Exploratory Study of Prompt Wording and Structure Effects on LLM-Based Code Generation

1. Declaração do Problema

Embora os Modelos de Linguagem de Grande Porte (LLMs) sejam cada vez mais utilizados para geração de código, a correção de sua saída é altamente sensível à formulação do prompt. Pesquisas anteriores estabeleceram que a subespecificação (requisitos ausentes ou enfraquecidos) e perturbações mínimas no prompt geralmente degradam o desempenho. No entanto, essas conclusões são amplamente derivadas de benchmarks de especificação mínima (por exemplo, HumanEval, MBPP), que apresentam descrições curtas de um único docstring com redundância estrutural limitada.

Os autores hipotetizam que esses benchmarks exageram a fragilidade dos LLMs. Em cenários do mundo real, as tarefas frequentemente incluem especificações ricas e multicamadas (descrições, restrições, formatos de E/S, exemplos). O artigo investiga se os efeitos negativos da subespecificação persistem em ambientes estruturalmente ricos e se, contra-intuitivamente, a remoção de elementos específicos do prompt poderia realmente melhorar a correção do código ao interromper pistas de recuperação enganosas.

2. Metodologia

Benchmarks

O estudo contrasta dois benchmarks com propriedades estruturais distintas:

• HumanEval (HE): 164 problemas simples em Python com docstrings curtos. Carece de restrições separadas, E/S estruturada ou exemplos. Representa "especificação mínima".
• LiveCodeBench (LCB): 1.055 problemas de programação competitiva (LeetCode, Codeforces, AtCoder) com descrições completas em prosa, restrições explícitas, múltiplos pares de amostras de E/S e especificações de formato. Representa "especificação rica".

Modelos

O estudo avalia 10 LLMs em três categorias:

• Open-Source Pequenos (6–7B): CodeLlama-7B, DeepSeek-Coder-6.7B, Qwen2.5-Coder-7B.
• Open-Source Grandes (15–34B): StarCoder2-15B, Codestral-22B, CodeLlama-34B, DeepSeek-Coder-33B, Qwen2.5-Coder-32B.
• Proprietários/Raciocínio: GPT-5-mini, Claude Sonnet 4.

Mutações de Prompt

Os autores geraram sistematicamente 3.651 prompts mutados usando três tipos de transformação:

1. Vaguidão Lexical (LV): Substituição de termos/identificadores precisos por sinônimos mais amplos (por exemplo, "ordenar" $\to$ "arranjar", delimiter $\to$ preenchedor).
2. Subespecificação (US): Remoção de uma única restrição explícita (por exemplo, limites de valor, regras de ordenação, descrições de casos extremos) mantendo o prompt gramaticalmente válido.
3. Sintaxe e Formatação (SF): Introdução de ruído superficial (erros de digitação, erros de indentação, problemas de delimitador) sem alterar a semântica.

Métricas de Avaliação

• Pass@1: A métrica primária para correção.
• Análise de Transição: Rastreamento de transições Pass$\to$Fail (degradação) e Fail$\to$Pass (melhoria) para distinguir entre degradação uniforme e forças opostas.
• Análise de Atenção: Exame dos padrões de atenção do modelo para entender quais regiões do prompt impulsionam as decisões.
• Análise de Causa Raiz: Inspeção manual de casos onde mutações melhoraram a correção para identificar mecanismos linguísticos.

3. Contribuições e Descobertas Principais

Descoberta 1: A Robustez é Estrutural, Não Arquitetural

• HumanEval: Todos os tipos de mutação causaram quedas significativas de desempenho (por exemplo, mutações US causaram uma queda média de -11,8%).
• LiveCodeBench: As mesmas mutações resultaram em impacto líquido próximo de zero (por exemplo, mutações US causaram queda de apenas -0,9%).
• Conclusão: A robustez não é uma propriedade intrínseca do tamanho ou arquitetura do modelo. É governada pela estrutura do prompt. Especificações ricas fornecem redundância (restrições, exemplos, E/S) que atuam como sinais de fallback quando partes do prompt são degradadas. Mapas de atenção confirmam que modelos no LCB dependem fortemente desses componentes auxiliares, enquanto modelos no HE dependem quase exclusivamente da descrição.

Descoberta 2: A Subespecificação Pode Melhorar a Correção

Contrariando a suposição de que "mais especificação é sempre melhor", o estudo descobriu que a subespecificação frequentemente melhora a correção do código no LCB.

• No LCB, a razão de transições Fail$\to$Pass para Pass$\to$Fail foi de quase 1:1 (0,99) para mutações LV, significando que as melhorias cancelaram as degradações.
• No HumanEval, as degradações dominaram fortemente (Razão 0,40).
• Melhorias Consistentes: O estudo identificou 47 tarefas específicas do LCB onde a remoção de restrições ou vaguidão melhorou consistentemente as taxas de aprovação em múltiplos modelos.

Descoberta 3: Mecanismos de Melhoria (Interrupção de Pistas de Recuperação)

A análise manual revelou que prompts originais frequentemente contêm "pistas de recuperação" que ancoram os modelos a soluções memorizadas, mas incorretas. A subespecificação interrompe essas pistas, forçando o modelo a raciocinar a partir da estrutura do problema.

• Vaguidão Lexical (LV):
  • Renomeação de Variáveis: Quebrando associações superajustadas (por exemplo, renomear s para seq impede a recuperação de um algoritmo errado específico).
  • Generalização de Terminologia: Substituir substantivos específicos de domínio (por exemplo, "moeda") por termos genéricos (por exemplo, "recurso") impede que o modelo aplique heurísticas específicas de domínio (como varreduras financeiras reversas) e incentiva o raciocínio algorítmico geral (como DP para frente).
• Subespecificação (US):
  • Remoção de Restrições: Restrições específicas (por exemplo, $C_i \le 10^9$) frequentemente preparam os modelos para usar atalhos otimizados (por exemplo, fórmulas de diâmetro de estrela-grafo) que falham em casos gerais. Remover a restrição força o modelo a usar um algoritmo geral e correto (por exemplo, dois-BFS).
  • Priming de E/S: Restrições às vezes desencadeiam padrões incorretos de análise de entrada (por exemplo, input().split() estilo LeetCode vs. formatos stdin de programação competitiva). Removê-las força a análise correta.

4. Significado e Implicações

• Reavaliação de Benchmarks: Benchmarks mínimos como o HumanEval podem superestimar a fragilidade dos LLMs porque carecem da redundância encontrada em tarefas do mundo real. Eles falham em capturar o "efeito de cancelamento" onde a riqueza estrutural mitiga erros de prompt.
• Engenharia de Prompt: O estudo desafia o dogma de que prompts devem ser maximamente precisos. Em alguns casos, a sobre-especificação (especificamente incluir restrições enganosas ou identificadores específicos de domínio) engana silenciosamente os modelos. Os praticantes devem estar cientes de que remover certas pistas pode, às vezes, produzir melhores resultados.
• Desenvolvimento de Modelos: A sensibilidade a pistas de recuperação indica uma lacuna de generalização que a escala do modelo sozinha não resolve. Mesmo modelos de raciocínio de última geração (GPT-5, Claude) caem vítimas dessas pistas, sugerindo a necessidade de estratégias de treinamento que priorizem o raciocínio estrutural sobre a correspondência de padrões.
• Pesquisa Futura: O artigo pede benchmarks que reflitam a riqueza estrutural do desenvolvimento do mundo real e incentiva a investigação dos gatilhos linguísticos específicos que causam falhas baseadas em recuperação.

Resumo

Este estudo exploratório demonstra que o impacto da subespecificação do prompt não é uniforme. Enquanto degrada o desempenho em benchmarks mínimos, especificações ricas em tarefas do mundo real fornecem redundância que neutraliza esses efeitos. Surpreendentemente, a subespecificação pode melhorar a correção do código ao interromper pistas de recuperação enganosas que fazem os modelos dependerem de padrões memorizados e incorretos. Os autores concluem que a robustez é uma função da estrutura do prompt e que "menos é mais" em contextos específicos onde a precisão desencadeia superajuste.