Prompt Quality and Pull Request Outcomes: A Stage-Based Empirical Study of LLM-Assisted Development

Resumen Técnico: Calidad de los Prompts y Resultados de los Pull Requests: Un Estudio Empírico Basado en Etapas del Desarrollo Asistido por LLM

Planteamiento del Problema
Si bien las herramientas impulsadas por Modelos de Lenguaje de Gran Escala (LLM) se están integrando cada vez más en los flujos de trabajo colaborativos de ingeniería de software, particularmente dentro de los procesos de pull request (PR) de código abierto, la influencia específica de la estructura del prompt en los resultados de integración posteriores aún no se comprende suficientemente. Las investigaciones previas se han centrado mayoritariamente en la utilidad conversacional, las métricas de adopción general o la calidad del código a nivel grueso. Sin embargo, los desarrolladores frecuentemente refinan, adaptan o rechazan el código generado por el LLM basándose en cómo se planteó la solicitud inicial. Existe una falta de evidencia empírica sobre cómo las distintas dimensiones de la calidad del prompt —específicamente su capacidad para fundamentar las tareas en el contexto, definir la especificidad y proporcionar señales de verificación— impactan en la progresión del código desde su generación hasta su adopción e integración profunda. Además, la fiabilidad de utilizar los propios LLM para anotar estas estructuras de prompt a escala, un paso metodológico necesario para estudios empíricos de gran escala, sigue siendo una cuestión metodológica abierta.

Metodología
El estudio emplea un enfoque de métodos mixtos analizando 265 interacciones desarrollador–ChatGPT validadas manualmente vinculadas a pull requests de código abierto. Estos casos se derivaron del corpus PatchTrack, que rastrea el uso de ChatGPT auto-declarado (SACU) en repositorios de código abierto.

1. Operacionalización de la Estructura del Prompt: Los autores definen la calidad del prompt utilizando tres dimensiones fundamentadas en la investigación previa de ingeniería de software sobre reportes de errores y evaluación de PR:

   • Contexto (C): El grado en que el prompt está fundamentado en artefactos técnicos concretos (p. ej., fragmentos de código, registros, mensajes de error).
   • Especificidad (S): La claridad y precisión de la tarea prevista, incluyendo objetivos, alcance y restricciones.
   • Verificación (V): La presencia de señales que permitan a los desarrolladores evaluar la corrección (p. ej., pruebas, comportamientos esperados, ejemplos de entrada-salida).
   • Cada dimensión se califica en una escala ordinal de 0 a 2.

2. Estrategia de Anotación (RQ1): Para abordar la escalabilidad de la anotación manual, el estudio evalúa primero la fiabilidad de la anotación asistida por LLM frente a un estándar de oro humano. Un subconjunto estratificado de prompts fue anotado por investigadores humanos y un LLM (ChatGPT 5.1/5.2). El acuerdo se midió mediante el Kappa de Cohen ponderado ($\kappa_w$), el Error Absoluto Medio (MAE) y el sesgo direccional. Este análisis informó una política de anotación híbrida sensible a la clase, donde la puntuación del LLM se aplica selectivamente solo a las dimensiones y contextos de flujo de trabajo que exhiben un acuerdo suficiente, mientras que la supervisión humana se retiene para las dimensiones inestables.

3. Modelado de Flujo de Trabajo Basado en Etapas (RQ2): El proceso de desarrollo se modela como una secuencia de puertas:

   • Puerta 0 (Generación de Código): ¿Produce el prompt código accionable? (NE vs. PA/PN)
   • Puerta 1 (Adopción de Código): ¿Se incorpora el código generado en el PR? (PA vs. PN)
   • Puerta 2 (Profundidad de Integración): ¿Qué fracción del código generado se retiene en la implementación final? (Variable continua para casos de PA)
   • Eje B (Resultados del Ciclo de Vida): Merge (fusión) vs. cierre y tiempo de resolución.
   • Se utilizaron modelos estadísticos (regresión logística, logit fraccionario y riesgos proporcionales de Cox) para estimar los efectos del Contexto, la Especificidad y la Verificación en estas etapas, controlando el tamaño del PR.

Resultados Clave
El estudio revela que las características del prompt ejercen efectos distintos y dependientes de la etapa a lo largo del flujo de trabajo colaborativo:

• Fiabilidad de la Anotación: La anotación basada en LLM muestra un acuerdo moderado con los juicios humanos para Contexto y Especificidad, pero exhibe un sesgo de infravaloración sistemático para el Contexto y una baja fiabilidad para la Verificación, particularmente cuando las señales de corrección son implícitas. La Verificación varía significativamente según la clase de resultado (p. ej., alto acuerdo en casos de "Parche No Aplicado", bajo en "Parche Aplicado"). Esto requiere una estrategia de anotación híbrida humano-LLM en lugar de una automatización uniforme.
• Puerta 0 (Generación de Código): La Especificidad y el Contexto son los predictores más fuertes de la generación de código accionable. Los prompts con objetivos claros y fundamentación técnica tienen una probabilidad sustancialmente mayor de producir código ejecutable. La Verificación no influye significativamente en si se genera el código.
• Puerta 1 (Adopción de Código): La Verificación emerge como el principal predictor de la adopción de código. Los prompts que contienen expectativas de corrección explícitas o criterios de validación tienen una probabilidad significativamente mayor de resultar en parches adoptados. La Especificidad y el Contexto pierden su poder predictivo una vez que el código ha sido generado.
• Puerta 2 (Profundidad de Integración): El Contexto se convierte en el factor dominante para una integración más profunda. Los prompts que integran la tarea dentro de un contexto de implementación rico (código circundante, APIs, lógica del repositorio) conducen a mayores fracciones de código retenido. La Especificidad y la Verificación no influyen significentemente en la extensión de la reutilización una vez que el código es aceptado.
• Resultados del Ciclo de Vida: La estructura del prompt no influye significativamente en la tasa de fusión (merge) de los PR. Sin embargo, una mayor Verificación se asocia con un cierre más rápido sin fusión, lo que sugiere que las restricciones de corrección explícitas pueden ayudar a los mantenedores a identificar rápidamente las discrepancias.

Significancia y Reivindicaciones
El artículo sostiene que la construcción de prompts funciona como un factor crítico ascendente en la ingeniería de software asistida por IA, influyendo no solo en la generación inicial de código, sino también en los resultados de adopción e integración posteriores. Los hallazgos sugieren que la colaboración efectiva depende de alinear las características del prompt con la etapa específica del flujo de trabajo:

• Definición de la Tarea: El Contexto y la Especificidad son esenciales para generar código accionable.
• Evaluación: Las señales de Verificación son cruciales para ganar la confianza del desarrollador y la adopción.
• Alineación: La fundamentación contextual es vital para una integración profunda y para minimizar la adaptación posterior.

Metodológicamente, el estudio demuestra que una operacionalización fiable de la estructura del prompt requiere estrategias de anotación híbridas adaptativas y conscientes del contexto. Argumenta que la estructura del prompt debe tratarse como un "artefacto de software de primera clase" que moldea todo el ciclo de vida del desarrollo asistido por IA, en lugar de ser meramente un input para la generación de código. Los resultados indican que los desafíos de integración posteriores a menudo se originan en la fase ascendente durante la construcción del prompt, destacando la necesidad de que los desarrolladores traten el diseño de prompts como una parte integral del proceso de desarrollo de software.