Why Are Agentic Pull Requests Merged or Rejected? An Empirical Study

Resumen Técnico: ¿Por Qué se Fusionan o Rechazan las Solicitudes de Extracción Agenticas? Un Estudio Empírico

Enunciado del Problema
La proliferación de agentes de codificación con IA en el desarrollo de software de código abierto ha provocado un aumento en las Solicitudes de Extracción Agenticas (Agentic-PRs). Sin embargo, las evaluaciones actuales del rendimiento de los agentes dependen predominantemente de métricas basadas en resultados, como tasas de fusión o frecuencias de rechazo. Los autores argumentan que estas etiquetas binarias son indicadores insuficientes de la capacidad del agente porque no capturan los procesos a nivel de interacción —como los comentarios de los revisores, los resultados de la Integración Continua (CI) y las restricciones del flujo de trabajo— que realmente impulsan la toma de decisiones. Sin analizar la racionalidad detrás de estos resultados, existe el riesgo de atribuir erróneamente los rechazos a errores del agente o de asumir que las fusiones representan un éxito autónomo del agente.

Metodología
Para abordar esta brecha, los autores realizaron un estudio empírico orientado a la decisión, fundamentado en evidencia de interacción:

• Construcción del Conjunto de Datos: Partiendo del conjunto de datos AIDev, los investigadores filtraron las Agentic-PRs cerradas en repositorios con al menos 500 estrellas, resultando en un conjunto inicial de 11,048 PRs. Refinaron esto a 9,799 PRs excluyendo envíos que no recibieron comentarios humanos (revisiones solo de bots).
• Muestreo Estratificado: Se seleccionó una muestra estratificada de 717 PRs (353 rechazadas y 364 fusionadas) para garantizar una representación equilibrada entre diferentes agentes (Copilot, Devin, OpenAI Codex, Cursor, Claude Code) y repositorios.
• Codificación Cualitativa Manual: Cuatro anotadores inspeccionaron manualmente los artefactos de interacción (comentarios, registros de CI, historial de commits) de las PRs muestreadas.
  • Para las PRs rechazadas, los casos se categorizaron como: Fallas Agenticas (errores técnicos, pruebas fallidas), Fallas No Agenticas (restricciones del flujo de trabajo, duplicados, inactividad) o Desconocido (falta de racionalidad de decisión observable).
  • Para las PRs fusionadas, los patrones de interacción se clasificaron como: Bucles de Retroalimentación (revisiones del agente tras comentarios del revisor), Intervención Humana (commits aplicados por el revisor antes de la fusión), Sin Bucle de Retroalimentación o Desconocido.
• Fiabilidad: La fiabilidad inter-evaluador se evaluó utilizando el $\kappa$ de Cohen (aproximadamente 0.90 para rechazos y 1.0 para fusiones), resolviendo los desacuerdos mediante discusión.

Resultados Clave
El estudio revela que los resultados de las PRs por sí solos representan erróneamente la naturaleza del rendimiento del agente:

• Análisis de Rechazo (RQ1): Contrario a la suposición de que los rechazos reflejan principalmente la falla del agente, solo el 35.7% de las 353 PRs rechazadas se categorizaron como fallas agenticas claras.
  • El 31.2% fue impulsado por restricciones de flujo de trabajo no agenticas (por ejemplo, duplicados, cambios superados).
  • El 33.1% carecía de cualquier racionalidad de decisión observable (cierres silenciosos), haciendo imposible atribuir el rechazo al agente.
• Análisis de Fusión (RQ2): Las fusiones exitosas no indican uniformemente una finalización autónoma.
  • El 15.4% de las 364 PRs fusionadas requirió participación humana explícita, dividido equitativamente entre bucles de retroalimentación (7.7%) y commits aplicados por el revisor (7.7%).
  • El 79.1% se fusionó sin ningún bucle de retroalimentación observable.
  • El 5.5% tenía evidencia de interacción ambigua o insuficiente.
• Variaciones Específicas por Agente: Se observaron diferencias sistemáticas entre los agentes. Las PRs de Copilot y Devin estaban más frecuentemente integradas en flujos de trabajo mediados por revisores (tasas más altas de intervención humana y rechazos impulsados por el flujo de trabajo). Por el contrario, las PRs de OpenAI Codex y Cursor se fusionaron típicamente con mínima interacción, lo que sugiere que sus resultados reflejan más las prácticas específicas del repositorio que las comparaciones de capacidad entre agentes.

Contribuciones Clave
El artículo hace tres contribuciones principales:

1. Análisis Orientado a la Decisión: Desentraña las fallas agenticas de los resultados de rechazo impulsados por el flujo de trabajo y no documentados, demostrando que las etiquetas de resultados confunden la capacidad del agente con el contexto del repositorio.
2. Caracterización Cuantitativa de la Participación Humana: Proporciona datos empíricos sobre la extensión de la colaboración humana en las Agentic-PRs exitosas, identificando patrones específicos como bucles de retroalimentación y commits directos de revisores.
3. Evidencia para una Evaluación Consciente de la Interacción: Ofrece justificación empírica para ir más allá de las métricas basadas en resultados, argumentando que la evaluación precisa de los agentes de codificación con IA requiere fundamentarse en el comportamiento de revisión y los artefactos de interacción.

Significado y Afirmaciones
Los autores afirman que sus hallazgos rechazan la suposición de que los resultados de las PRs por sí solos capturan el rendimiento del agente. Argumentan que la mayoría de los rechazos no son atribuibles a fallas agenticas identificables y que una parte significativa de las fusiones implica refinamiento colaborativo. En consecuencia, el artículo aboga por una evaluación consciente de la interacción que incorpore evidencia como comentarios de revisión, señales de CI e historiales de commits. El estudio destaca que los resultados observados reflejan el contexto de implementación (por ejemplo, flujos de trabajo del repositorio, control de acceso de CI) tanto como el código generado por el agente, lo que requiere marcos de evaluación que tengan en cuenta esta incertidumbre en lugar de inferir el rendimiento únicamente a partir de las etiquetas de fusión o rechazo.