💻 computer science

Prompt Quality and Pull Request Outcomes: A Stage-Based Empirical Study of LLM-Assisted Development

Este estudo analisa empiricamente 265 interações entre desenvolvedores e o ChatGPT em pull requests de código aberto para demonstrar que características específicas de prompts — Contexto, Especificidade e Verificação — exercem efeitos distintos e dependentes de estágio nos resultados do desenvolvimento de software assistido por IA, onde a Especificidade e o Contexto impulsionam a geração de código acionável, a Verificação prevê a adoção de código e o Contexto determina a profundidade de integração.

Autores originais: Richard Sserunjogi, Daniel Ogenrwot, John Businge

Publicado 2026-06-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Richard Sserunjogi, Daniel Ogenrwot, John Businge

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um chef (o desenvolvedor) tentando cozinhar um prato complexo, mas tem um subchefe (a IA) muito talentoso, porém, às vezes, literal demais. Você não pode simplesmente gritar "Faça o jantar!" e esperar uma refeição com estrela Michelin. Você tem que dar instruções específicas.

Este artigo é um estudo sobre como a maneira como você pede ajuda ao subchefe afeta todo o processo de cozimento, desde o primeiro ingrediente até o prato final sendo servido ao cliente.

Os pesquisadores analisaram 265 exemplos do mundo real onde desenvolvedores compartilharam suas conversas com uma IA (ChatGPT) dentro de projetos de software. Eles queriam ver se a qualidade do "pedido de receita" (o prompt) determinava se o código da IA era útil, aceito e realmente usado no produto final.

Aqui está o detalhamento de suas descobertas, usando analogias simples:

1. Os Três Ingredientes de um Bom Pedido

Os pesquisadores decomporam cada pedido em três partes, como se estivessem verificando um cartão de receita:

Contexto (O Cenário): O desenvolvedor explicou onde esse código se encaixa? (ex: "Isso é para a tela de login do nosso aplicativo bancário.")
Especificidade (Os Detalhes): O desenvolvedor disse exatamente o que queria? (ex: "Faça o botão azul e arredondado," em vez de apenas "Faça parecer legal.")
Verificação (O Teste de Sabor): O desenvolvedor disse como verificar se está correto? (ex: "Se eu clicar nisso, devo conseguir fazer o login sem erro.")

2. As Três Etapas do Fluxo de Trabalho na Cozinha

O estudo descobriu que o "pedido perfeito" muda dependendo de em qual estágio do processo de cozimento você está. Não é um modelo único para todos.

Estágio 1: Obtendo o Primeiro Rascunho (Geração de Código)

O que mais importa: Contexto e Especificidade.
A Analogia: Se você quer que a IA realmente escreva uma receita, você precisa dizer que tipo de comida está fazendo e dar passos claros.
A Descoberta: Se o pedido fosse vago ou carecesse de informações de fundo, a IA frequentemente dava apenas uma explicação genérica em vez de código real. Mas, se o desenvolvedor desse um objetivo claro e algum contexto, a IA quase sempre produzia código utilizável.
O que ainda não importava: Se o pedido incluía um "teste de sabor" (Verificação) não impedia a IA de escrever o código.

Estágio 2: Decidindo Usar o Rascunho (Adoção de Código)

O que mais importa: Verificação.
A Analogia: Agora a IA escreveu uma receita. O desenvolvedor tem que decidir: "Posso confiar nisso?" Se o desenvolvedor incluiu uma maneira de verificar o resultado (como "Deve passar neste teste específico"), o desenvolvedor era muito mais propenso a dizer: "Sim, use isso!"
A Descoberta: Mesmo que o código fosse bem escrito, se o desenvolvedor não fornecesse uma maneira de verificar se estava correto, ele frequentemente o rejeitava. O "teste de sabor" era a chave para o código ser aceito.
O que importava menos: Nesta etapa, ter um objetivo super específico ou informações de contexto extras não era o fator decisivo; a capacidade de provar que funcionava era o que importava.

Estágio 3: Misturando no Prato Final (Profundidade de Integração)

O que mais importa: Contexto novamente.
A Analogia: O código é aceito, mas agora precisa ser misturado na grande panela do software existente. Se o código da IA foi escrito sem saber o "perfil de sabor" do restante do prato, ele pode ter um gosto estranho e precisar de muita reescrita.
A Descoberta: Quanto mais informações de contexto o desenvolvedor deu à IA, mais o código da IA se encaixava perfeitamente no projeto existente. Se a IA tivesse que adivinhar como se encaixar, os desenvolvedores tinham que gastar muito tempo corrigindo depois.
A Lição: Para obter um código que se integre perfeitamente, você deve dizer à IA exatamente onde ele pertence no quadro geral.

3. O Verificador "Robô vs. Humano"

Os pesquisadores também tentaram ver se poderiam usar uma IA para avaliar esses pedidos automaticamente.

O Resultado: Foi um meio-termo. A IA era boa em detectar "Especificidade" (instruções claras), mas era ruim em detectar "Contexto" (frequentemente perdia as informações de fundo) e "Verificação" (tinha dificuldade em ver se um teste estava incluído).
A Lição: Você não pode apenas deixar um robô avaliar todos esses pedidos. Você precisa de um humano para conferir as partes complicadas, especialmente o contexto de fundo.

4. O Resultado Final (O PR foi mesclado?)

Curiosamente, a qualidade do prompt não mudou muito a velocidade com que os gerentes de projeto decidiam mesclar ou fechar o pedido. Isso parecia depender mais do tamanho do pedido e das regras gerais do projeto, não apenas do prompt em si.

Resumo

Pense em trabalhar com IA no desenvolvimento de software como uma corrida de revezamento:

Início: Você precisa de Contexto e Especificidade para fazer o bastão (código) começar a se mover.
Meio: Você precisa de Verificação para provar que o corredor está no caminho certo para que a próxima pessoa pegue o bastão.
Fim: Você precisa de Contexto novamente para garantir que o corredor cruze a linha de chegada na faixa certa sem colidir com os outros corredores.

O artigo conclui que escrever um bom prompt não é apenas sobre obter código; é sobre preparar todo o fluxo de trabalho para o sucesso. Se você pular as etapas de "Contexto" ou "Verificação", o código pode até ser escrito, mas pode ser rejeitado ou exigir muito trabalho extra para ser corrigido depois.

Resumo Técnico: Qualidade de Prompt e Resultados de Pull Requests: Um Estudo Empírico Baseado em Estágios do Desenvolvimento Assistido por LLM

Problema
Embora ferramentas integradas com Modelos de Linguagem de Grande Escala (LLM) estejam cada vez mais presentes em fluxos de trabalho colaborativos de engenharia de software, particularmente nos processos de pull request (PR) de código aberto, a influência específica da estrutura do prompt nos resultados de integração subsequentes permanece insuficientemente compreendida. Pesquisas anteriores concentraram-se amplamente na utilidade conversacional, métricas de adoção ampla ou qualidade de código em granularidade grossa. No entanto, desenvolvedores frequentemente refinam, adaptam ou rejeitam o código gerado por LLM com base em como a solicitação inicial foi formulada. Há uma falta de evidência empírica sobre como dimensões distintas da qualidade do prompt — especificamente sua capacidade de fundamentar tarefas em contexto, definir especificidade e fornecer pistas de verificação — impactam a progressão do código da geração para a adoção e integração profunda. Além disso, a confiabilidade do uso dos próprios LLMs para anotar essas estruturas de prompt em escala, um passo metodológico necessário para estudos empíricos de grande escala, permanece uma questão metodológica em aberto.

Metodologia
O estudo emprega uma abordagem de métodos mistos analisando 265 interações desenvolvedor–ChatGPT validadas manualmente, vinculadas a pull requests de código aberto. Esses casos foram derivados do corpus PatchTrack, que rastreia o uso de ChatGPT autodeclarado (SACU) em repositórios de código aberto.

Operacionalização da Estrutura do Prompt: Os autores definem a qualidade do prompt usando três dimensões fundamentadas em pesquisas prévias de engenharia de software sobre relatórios de bugs e avaliação de PR:
- Contexto (C): A extensão em que o prompt é fundamentado em artefatos técnicos concretos (ex: trechos de código, logs, mensagens de erro).
- Especificidade (S): A clareza e precisão da tarefa pretendida, incluindo objetivos, escopo e restrições.
- Verificação (V): A presença de sinais que permitem aos desenvolvedores avaliar a correção (ex: testes, comportamentos esperados, exemplos de entrada-saída).
- Cada dimensão é pontuada em uma escala ordinal de 0–2.
Estratégia de Anotação (RQ1): Para abordar a escalabilidade da anotação manual, o estudo primeiro avalia a confiabilidade da anotação assistida por LLM em relação a um padrão ouro humano. Um subconjunto estratificado de prompts foi anotado por pesquisadores humanos e um LLM (ChatGPT 5.1/5.2). A concordância foi medida usando o Kappa de Cohen ponderado ( $\kappa_w$ ), Erro Médio Absoluto (MAE) e viés direcional. Esta análise informou uma política de anotação híbrida sensível à classe, onde a pontuação do LLM é aplicada seletivamente apenas a dimensões e contextos de fluxo de trabalho que exibem concordância suficiente, enquanto a supervisão humana é mantida para dimensões instáveis.
Modelagem de Fluxo de Trabalho Baseada em Estágios (RQ2): O processo de desenvolvimento é modelado como uma sequência de portões:
- Portão 0 (Geração de Código): O prompt produz código acionável? (NE vs. PA/PN)
- Portão 1 (Adoção de Código): O código gerado é incorporado ao PR? (PA vs. PN)
- Portão 2 (Profundidade de Integração): Qual fração do código gerado é retida na implementação final? (Variável contínua para casos PA)
- Eixo B (Resultados do Ciclo de Vida): Merge vs. fechamento e tempo de resolução.
- Modelos estatísticos (regressão logística, logit fracionário e riscos proporcionais de Cox) foram usados para estimar os efeitos de Contexto, Especificidade e Verificação nesses estágios, controlando o tamanho do PR.

Principais Resultados
O estudo revela que as características do prompt exercem efeitos distintos e dependentes do estágio ao longo do fluxo de trabalho colaborativo:

Confiabilidade da Anotação: A anotação baseada em LLM mostra concordância moderada com julgamentos humanos para Contexto e Especificidade, mas exibe um viés de sub-pontuação sistemático para Contexto e baixa confiabilidade para Verificação, particularmente quando as pistas de correção são implícitas. A concordância de Verificação varia significativamente pelo tipo de classe de resultado (ex: alta concordância em casos de "Patch Não Aplicado", baixa em "Patch Aplicado"). Isso exige uma estratégia de anotação híbrida humano–LLM em vez de automação uniforme.
Portão 0 (Geração de Código): Especificidade e Contexto são os preditores mais fortes de geração de código acionável. Prompts com objetivos claros e fundamentação técnica são substancialmente mais propensos a gerar código executável. A Verificação não influencia significativamente se o código é gerado.
Portão 1 (Adoção de Código): A Verificação emerge como o principal preditor de adoção de código. Prompts contendo expectativas de correção explícitas ou critérios de validação são significativamente mais propensos a resultar em patches adotados. Especificidade e Contexto perdem seu poder preditivo uma vez que o código foi gerado.
Portão 2 (Profundidade de Integração): O Contexto torna-se o fator dominante para integração mais profunda. Prompts que inserem tarefas dentro de um contexto de implementação rico (código circundante, APIs, lógica do repositório) levam a frações maiores de código retido. Especificidade e Verificação não influenciam significativamente a extensão do reúso após o código ser aceito.
Resultados do Ciclo de Vida: A estrutura do prompt não influencia significativamente a taxa de merge dos PRs. No entanto, uma Verificação mais alta está associada a um fechamento mais rápido sem merge, sugerindo que restrições de correção explícitas podem ajudar os mantenedores a identificar rapidamente incompatibilidades.

Significância e Alegações
O artigo alega que a construção de prompts funciona como um fator crítico upstream na engenharia de software assistida por IA, influenciando não apenas a geração inicial de código, mas também os resultados de adoção e integração downstream. Os achados sugerem que a colaboração eficaz depende do alinhamento das características do prompt com o estágio específico do fluxo de trabalho:

Definição de Tarefa: Contexto e Especificidade são essenciais para gerar código acionável.
Avaliação: Pistas de Verificação são cruciais para ganhar a confiança e a adoção do desenvolvedor.
Alinhamento: A fundamentação contextual é vital para integração profunda e para minimizar a adaptação downstream.

Metodologicamente, o estudo demonstra que a operacionalização confiável da estrutura do prompt requer estratégias de anotação híbridas adaptativas e sensíveis ao contexto. Argumenta-se que a estrutura do prompt deve ser tratada como um "artefato de software de primeira classe" que molda todo o ciclo de vida do desenvolvimento assistido por IA, e não meramente como um input para geração de código. Os resultados indicam que os desafios de integração downstream frequentemente se originam upstream, durante a construção do prompt, destacando a necessidade de os desenvolvedores tratarem o design de prompts como parte integrante do processo de desenvolvimento de software.