On the Use of Agentic Coding: An Empirical Study of Pull Requests on GitHub
Este estudio empírico de 567 pull requests de GitHub generados por el agente Claude Code a través de 157 proyectos de código abierto revela que, si bien el 83,8 % de las contribuciones asistidas por agentes son aceptadas —a menudo sin modificaciones—, estas aún requieren frecuentemente supervisión humana para la corrección de errores, documentación y cumplimiento de los estándares del proyecto.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina el desarrollo de software como un enorme y bullicioso sitio de construcción donde miles de equipos están construyendo rascacielos digitales (proyectos de código abierto). Durante años, los trabajadores (desarrolladores) han estado haciendo todo el trabajo pesado, trazando planos y colocando ladrillos por sí mismos.
Recientemente, un nuevo tipo de asistente robot superinteligente llamado "Agentic Coding" (específicamente una herramienta llamada Claude Code) ha llegado al sitio. A diferencia de una simple calculadora que solo responde preguntas, este robot puede agarrar una llave inglesa, mirar los planos, arreglar una tubería con fugas, escribir un nuevo manual de instrucciones e incluso tramitar el papeleo para que el trabajo sea aprobado, todo por sí mismo.
Este documento es una boleta de calificaciones sobre qué tan bien lo están haciendo realmente estos robots en el mundo real. Los investigadores analizarán 567 proyectos de construcción (Pull Requests) donde este robot realizó el trabajo, los compararon con proyectos realizados por humanos y plantearon cuatro grandes preguntas.
Aquí está lo que encontraron, explicado con analogías sencores:
1. ¿Qué tipo de trabajo realizan los robots? (RQ1)
El Hallazgo: Tanto los humanos como los robots reparan cosas rotas (errores/bugs) y construyen nuevas habitaciones (funcionalidades/features). Sin embargo, los robots tienen un talento especial para las remodelaciones y la limpieza.
- La Analogía: Si a un trabajador humano se le pide "arreglar la casa", podría arreglar el techo o construir un nuevo garaje. Si le pides al robot "arreglar la casa", le encanta reorganizar los muebles (refactorización), poner etiquetas mejores en los gabinetes (documentación) y añadir más cámaras de seguridad (pruebas/testing).
- El Resultado: Los robots son sorprendentemente buenos en el trabajo tedioso y basado en reglas de limpieza que los humanos suelen encontrar aburrido. También tienden a escribir "órdenes de trabajo" (descripciones de PR) mucho más largas y detalladas explicando exactamente lo que hicieron.
2. ¿Los jefes (mantenedores) aceptan el trabajo de los robots? (RQ2)
El Hallazgo: ¡Sí, mayormente! Pero no tan seguido como aceptan el trabajo humano.
- Las Estadísticas: Aproximadamente el 84% del trabajo del robot es aprobado e integrado (merged). En comparación, alrededor del 91% del trabajo humano es aprobado.
- ¿Por qué son rechazados? Rara vez es porque el robot construyó una "pared mala". Usualmente, el trabajo se rechaza porque:
- El Tiempo: Otro miembro del equipo ya arregló el problema de una manera diferente.
- El Tamaño: El robot intentó arreglar toda la casa de una sola vez, haciendo que el plano fuera demasiado grande para revisar.
- Obsolescencia: El proyecto cambió de dirección mientras el robot trabajaba.
- La Conclusión: Los robots son generalmente confiables, pero a veces pierden de vista el contexto de la "imagen general" de lo que el equipo quiere en este momento.
3. ¿Necesitan los robots ayuda para terminar el trabajo? (RQ3)
El Hallazgo: Sorprendentemente, los robots y los humanos necesitan casi la misma cantidad de "pulido" antes de que su trabajo sea perfecto.
- La Analogía: Imagina que pides un pastel personalizado. A veces el panadero (robot) lo hace 100% bien a la primera. A veces lo hace un 90% bien y solo necesitas retocar el glaseado.
- Las Estadísticas: Cerca del 55% de los pasteles de los robots son perfectos tal cual. Esto es casi lo mismo que los panaderos humanos (58.5%).
- El Esfuerzo: Cuando el pastel sí necesita retoques, la cantidad de trabajo requerido para arreglar el pastel de un robot es estadísticamente la misma que para arreglar el de un humano. Los robots no están cometiendo más errores que requieran más trabajo; simplemente cometen tipos diferentes de errores pequeños.
4. ¿Qué es exactamente lo que los humanos tienen que arreglar? (RQ4)
El Hallazgo: Cuando los humanos sí tienen que intervenir para arreglar el trabajo del robot, se trata principalmente de controles de seguridad, instrucciones y estilo.
- Corrección de Errores (48%): A veces el robot intenta ser demasiado optimista. Asume que una puerta nunca se romperá, por lo que no construye un plan de respaldo. Los humanos tienen que añadir ese plan de respaldo.
- Documentación (29%): El robot puede construir una habitación excelente pero olvidar actualizar el mapa de la casa. Los humanos tienen que actualizar el "README" (el manual de instrucciones).
- Refactorización (27%): El robot puede construir una pared que funciona, pero está en un lugar extraño que hace que el resto de la casa sea difícil de navegar. Los humanos tienen que moverla para que encaje con el estilo de la casa.
- Estilo (23%): El robot puede usar el color de pintura equivocado o la fuente equivocada. Los humanos tienen que hacer que luzca como el resto del edificio.
El Panorama General
Piensa en la Programación Agéntica (Agentic Coding) como un aprendiz muy talentoso, rápido y entusiasta.
- Pros: Puede realizar una gran cantidad del trabajo pesado, especialmente las tareas de limpieza y pruebas que son aburridas. Produce un trabajo que a menudo es lo suficientemente bueno para usarse de inmediato.
- Contras: A veces pierde de vista la "vibra" del proyecto, escribe instrucciones que son demasiado largas o demasiado cortas, y ocasionalmente necesita un supervisor humano para verificar la seguridad y el estilo.
La Conclusión: El robot no está reemplazando al capataz humano todavía. En cambio, es una herramienta poderosa que realiza el trabajo pesado, permitiendo que el humano intervenga, revise los planos y tome la decisión final para asegurar que todo sea seguro, elegante y encaje perfectamente con el proyecto. El documento sugiere que, si bien el robot es un excelente punto de partida, la supervisión humana sigue siendo esencial para convertir un "buen borrador" en una "obra maestra terminada".
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.