Why Agentic-PRs Get Rejected: A Comparative Study of Coding Agents
Este artículo analiza 654 solicitudes de extracción (pull requests) rechazadas a través de cinco agentes de codificación y un grupo de control humano para identificar patrones de rechazo únicos y específicos de cada agente, proponiendo al mismo tiempo heurísticas para abordar el desafío de la falta de retroalimentación del revisor en el 67.9% de los casos.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina el desarrollo de software como una enorme y bulliciosa obra de construcción. Normalmente, cuando un trabajador (un desarrollador humano) termina una habitación nueva o arregla una fuga, entrega una "Solicitud de Cambio" (un Pull Request) al jefe de la obra. El jefe la revisa y dice: "Genial, construyamos esto", o "No, esto no funcionará".
Recientemente, ha llegado un nuevo tipo de trabajador: Agentes de IA. Estos son robots que pueden planificar, construir y entregar sus propias Solicitudes de Cambio sin que un humano los lleve de la mano. Este documento investiga qué sucede cuando estos trabajadores de IA presentan su trabajo en comparación con los trabajadores humanos.
Aquí está el desgón de el estudio, utilizando analogías sencillas:
1. El gran problema: El "Rechazo Silencioso"
Los investigadores analizaron 654 Solicitudes de Cambio rechazadas de cinco robots de IA diferentes (como Devin, Claude Code y GitHub Copilot) y las compararon con las solicitudes realizadas por humanos.
¿El hallazgo más impactante? Dos de cada tres rechazos fueron silenciosos.
- La Analogía: Imagina que envías un dibujo a un concurso y lo tiran a la basura. Preguntas "¿Por qué?" y el juez simplemente se encoge de hombros y se va.
- La Realidad: El 67.9% de las solicitudes de IA rechazadas no tuvieron ninguna explicación del revisor. La solicitud simplemente se cerró. Esto hace que sea muy difícil para los investigadores saber por qué falló la IA, porque el "juez" no escribió el motivo.
2. Los errores "Solo de la IA"
Cuando los investigadores sí encontraron razones para el rechazo, descubrieron que los robots de IA cometen errores que los humanos casi nunca cometen. Encontraron siete razones de rechazo específicas que solo ocurrieron con la IA:
- La caja "Demasiado Grande": Los humanos a veces presentan proyectos grandes, pero los robots de IA tienden a presentar cambios masivos y abrumadores de una sola vez. Es como si una IA intentara construir un rascacielos entero en un solo día. Los gerentes los rechazaron porque eran demasiado grandes para revisarlos adecuadamente.
- La insignia de "Desconfianza": Algunos gerentes simplemente no confiaban en el código porque fue hecho por un robot. Lo rechazaron solo porque era generado por IA, temiendo que pudiera ser poco confiable o una "alucinación" (inventado).
- La etiqueta de "Slop": En un caso, el dueño de un proyecto rechazó una solicitud de IA y la etiquetó como "SLOP" (un término coloquial para contenido de baja calidad producido en masa), diciendo esencialmente: "Esto es basura generada por una máquina".
- El fallo del "Experimento": Algunas solicitudes de IA se enviaron solo para ver si el robot podía hacerlo, no porque alguien quisiera realmente el código. Estas fueron rechazadas porque no estaban destinadas a un uso real.
3. Las peculiaridades "Específicas del Robot"
Diferentes robots de IA tienen diferentes personalidades y configuraciones, lo que lleva a patrones de rechazo únicos:
- El efecto "Devin": Un robot específico, llamado Devin, tiene una configuración que cierra automáticamente sus propias solicitudes si estas permanecen inactivas por demasiado tiempo. El estudio encontró que muchos de los rechazos de Devin no fueron porque el código fuera malo, sino porque el propio robot dijo: "Estoy aburrido, voy a cerrar esto", tras 7 días de silencio.
- La trampa del "Contexto": Algunos robots de IA fueron rechazados porque no podían ver archivos o datos "privados" que necesitaban para terminar el trabajo. Es como un robot intentando arreglar una cerradura pero siendo bloqueado fuera de la habitación donde se guarda la llave.
4. La solución: Un "Filtro de Basura"
Dado que tantos rechazos no tenían notas (el problema del "Rechazo Silencioso"), los investigadores se dieron cuenta de que necesitaban una forma de limpiar los datos antes de estudiarlos. Crearon un filtro simple (un conjunto de reglas) para adivinar cuáles rechazos eran verdaderamente "silenciosos" y cuáles podrían tener pistas ocultas.
- Las Reglas del Filtro: Buscaron solicitudes que fueran:
- Cerradas por la persona que las escribió (Cerradas por sí mismas).
- Cerradas muy rápido (por ejemplo, en menos de 7 días).
- Cerradas sin que nadie dejara un comentario.
- El Resultado: Al usar estas reglas, pudieron filtrar el "ruido" (los rechazos silenciosos y poco útiles) y concentrarse en aquellos donde los gerentes realmente explicaron por qué dijeron que "No". Esto ayuda a que futuros investigadores tengan una imagen más clara de qué es lo que está saliendo mal.
Resumen
El documento concluye que, si bien los agentes de IA están construyendo código más rápido que nunca, están siendo rechazados con más frecuencia que los humanos. Esto no es solo porque su código tenga errores; es porque:
- Envían cosas que son demasiado grandes o complejas.
- Provocan una falta de confianza en los gerentes humanos.
- Tienen comportamientos "únicos de robot" (como el cierre automático) que los humanos no tienen.
- A menudo son rechazados sin que nadie explique el motivo, lo que dificulta aprender de los errores.
El estudio proporciona un "filtro" para ayudar a limpiar estos datos para que podamos entender mejor cómo hacer que estos trabajadores de IA sean más confiables en el futuro.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.