🤖 AI

How AI Coding Agents Modify Code: A Large-Scale Study of GitHub Pull Requests

Este estudio a gran escala analiza 24.014 solicitudes de extracción (PRs) generadas por agentes de IA frente a 5.081 realizadas por humanos en GitHub, revelando diferencias significativas en la cantidad de commits y una mayor coherencia entre las descripciones y los cambios de código en las contribuciones de los agentes.

Autores originales: Daniel Ogenrwot, John Businge

Publicado 2026-04-07

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Daniel Ogenrwot, John Businge

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que el desarrollo de software es como una gran biblioteca comunitaria donde miles de personas (los programadores humanos) y, recientemente, unos nuevos ayudantes robóticos (las IA o "agentes de codificación") están escribiendo y corrigiendo libros juntos.

Este estudio es como un gran detective que revisó más de 24,000 notas de cambio (llamadas "Pull Requests" o PRs) en GitHub para ver cómo se comportan estos robots comparados con los humanos.

Aquí tienes la explicación sencilla, usando analogías:

1. ¿Quiénes son los protagonistas?

Los Humanos: Son los bibliotecarios veteranos. A veces hacen cambios pequeños, pero a veces reorganizan todo un pasillo entero de libros.
Los Agentes de IA (Robots): Son los nuevos asistentes automáticos. Tienen herramientas como GitHub Copilot, Devin o Claude Code. Su trabajo es escribir código y enviarlo para que los humanos lo aprueben.

2. La Gran Diferencia: ¿Cómo hacen sus cambios? (RQ1)

El estudio descubrió que los robots y los humanos no "piensan" igual cuando hacen cambios.

Los Humanos son como "Maratonistas": Cuando un humano hace un cambio, a menudo lo hace en muchos pasos pequeños (muchos "commits") y toca muchos archivos diferentes a la vez. Es como si un bibliotecario decidiera reorganizar el pasillo de historia, el de ciencia ficción y el de biografía en una sola tarde, haciendo muchas pausas para pensar.
Los Robots son como "Cirujanos de Precisión": La mayoría de los agentes de IA hacen cambios más pequeños y enfocados.
- La analogía: Imagina que un humano arregla una fuga de agua en la cocina y, de paso, pinta la pared y cambia las cortinas. Un robot, en cambio, solo aprieta la tuerca que gotea y se va.
- Excepción: Algunos robots (como Claude Code o OpenAI Codex) son un poco más "caóticos" y hacen cambios más grandes, pero la mayoría (como Copilot) son muy puntuales.

El hallazgo clave: La diferencia más grande no es cuánto código cambian, sino cómo lo organizan. Los humanos hacen "paquetes" grandes y dispersos; los robots hacen "paquetes" pequeños y concentrados.

3. ¿Hablan claro? (RQ2)

Otra pregunta importante fue: ¿Los robots explican bien lo que hicieron?

El problema del lenguaje: A veces, los humanos escriben una nota que dice "Arreglé el sistema" pero en realidad cambiaron 50 archivos. O viceversa.
La sorpresa: El estudio encontró que los robots son incluso un poco mejores explicando sus cambios que los humanos.
- La analogía: Imagina que le pides a alguien que te explique qué arregló en su coche.
  - El humano podría decir: "Bueno, le di un toque al motor..." (un poco vago).
  - El robot dice: "Cambie la bujía número 3 y ajusté el tornillo de la correa" (muy preciso).
- Los robots usan un lenguaje que coincide muy bien con lo que realmente cambiaron en el código. Sus "notas al pie" son muy fieles a la realidad.

4. ¿Qué significa esto para el futuro?

Este estudio nos da un mapa para entender cómo trabajar con estos nuevos compañeros:

No todos los robots son iguales: Algunos son muy pequeños y precisos, otros son más grandes. No podemos tratarlos a todos por igual.
Cambio de enfoque para los revisores: Como los robots hacen cambios más pequeños y organizados, los revisores humanos no deberían preocuparse tanto por la cantidad de código, sino por la estructura.
Confianza: Los robots son bastante honestos al describir lo que hacen. Esto es genial porque significa que podemos confiar más en sus resúmenes automáticos para crear listas de cambios o notas de actualización.

En resumen

Imagina que la programación es un baile.

Los humanos bailan con pasos largos, a veces saltando de un lado a otro de la pista, cambiando de ritmo y tocando varios instrumentos.
Los robots bailan con pasos cortos, muy rítmicos y enfocados en una sola parte de la pista, pero lo hacen con una precisión quirúrgica y explican cada movimiento perfectamente.

El estudio nos dice que, aunque bailan diferente, ambos son necesarios y, de hecho, los robots están aprendiendo a explicar sus pasos mejor que nosotros. ¡Es un futuro prometedor para la colaboración entre humanos y máquinas!

A continuación presento un resumen técnico detallado del artículo "How AI Coding Agents Modify Code: A Large-Scale Study of GitHub Pull Requests" (Cómo los agentes de codificación con IA modifican el código: Un estudio a gran escala de las solicitudes de extracción de GitHub), traducido y estructurado en español.

Resumen Técnico: Estudio a Gran Escala de PRs Generados por IA

1. Planteamiento del Problema

Los agentes de codificación con IA (como GitHub Copilot, OpenAI Codex, Claude Code, Cursor y Devin) están evolucionando de herramientas de asistencia a colaboradores autónomos capaces de generar código, corregir errores y enviar Pull Requests (PRs) directamente a repositorios. A pesar de su adopción creciente, existe una falta crítica de evidencia empírica sobre:

Cómo difieren estructuralmente los PRs generados por agentes de IA en comparación con los escritos por humanos.
La precisión con la que las descripciones de los PRs generados por IA reflejan los cambios reales en el código (diferencias o diffs).
La fiabilidad y el impacto de estas contribuciones autónomas en los flujos de trabajo de desarrollo de software.

El objetivo del estudio es llenar esta brecha analizando grandes volúmenes de datos reales para caracterizar el comportamiento de los agentes de IA en el desarrollo de código abierto.

2. Metodología

Los autores utilizaron el conjunto de datos AIDev (versión del Reto de Minería MSR 2026), que contiene datos de 116,211 repositorios. El proceso de investigación siguió un flujo de trabajo de cuatro pasos:

Recopilación de Datos: Se utilizaron 932,791 PRs de agentes y 6,618 PRs humanos.
Extensión de Datos de PRs Humanos: A diferencia de los PRs de agentes, los datos humanos originales carecían de información a nivel de commit. Los autores recuperaron metadatos y parches de archivos mediante la API de GitHub para reconstruir la estructura de commits y permitir una comparación justa.
Filtrado: Se seleccionaron únicamente los PRs fusionados (merged) que contenían historiales de commits completos y parches válidos (diffs no vacíos).
- Conjunto final: 24,014 PRs de agentes (440,295 commits) y 5,081 PRs humanos (23,242 commits).
Análisis de Datos:
- RQ1 (Características Estructurales): Se calcularon métricas de cambio de código: número de commits, líneas añadidas/eliminadas y archivos tocados. Se utilizó la prueba Mann–Whitney U (debido a la no normalidad de los datos) y el tamaño del efecto Cliff's delta ( $\delta$ ) para comparar los grupos.
- RQ2 (Alineación Descripción-Diff): Se evaluó la consistencia entre el texto descriptivo del PR y el código modificado mediante dos dimensiones:
  - Similitud Léxica: TF-IDF y Okapi BM25.
  - Similitud Semántica: Embeddings generados por CodeBERT y GraphCodeBERT, medidos con similitud del coseno.

3. Contribuciones Clave

Comparación Empírica a Gran Escala: La primera caracterización sistemática de las diferencias estructurales entre PRs de agentes de IA y humanos utilizando un conjunto de datos masivo y curado.
Evaluación de Coherencia: Un análisis cuantitativo de qué tan bien las descripciones de los PRs generados por IA capturan la intención de los cambios de código en comparación con los humanos.
Reproducibilidad: Publicación de un paquete de replicación que incluye datos curados y scripts de análisis para la comunidad científica.

4. Resultados Principales

RQ1: Diferencias Estructurales

Volumen y Alcance: Los PRs humanos tienden a realizar cambios más grandes, variables y distribuidos (más archivos y más commits). Los PRs de agentes son generalmente más pequeños, localizados y compactos.
Tamaño del Efecto (Cliff's $\delta$ ):
- Número de Commits: Diferencia Grande ( $\delta = 0.5429$ ). Los humanos usan muchos más commits para estructurar sus cambios.
- Archivos Tocados y Líneas Eliminadas: Diferencia Media ( $\delta \approx 0.44$ ). Los humanos modifican más archivos y eliminan más código.
- Líneas Añadidas: Diferencia Pequeña ( $\delta = 0.2836$ ). La cantidad de código nuevo introducido es más similar entre ambos grupos.
Variabilidad entre Agentes: No todos los agentes son iguales. Claude Code y OpenAI Codex muestran una variabilidad mayor (más amplia), mientras que Devin, Cursor y Copilot producen cambios altamente localizados y consistentes.

RQ2: Alineación Descripción-Código

Similitud Semántica vs. Léxica: Ambos grupos (humanos y agentes) muestran una similitud semántica muy alta (picos entre 0.9 y 1.0), lo que indica que las descripciones capturan bien el significado de los cambios, incluso si el vocabulario superficial difiere. La similitud léxica es baja para ambos (cerca de cero).
Consistencia de los Agentes: Los PRs de agentes muestran una ligera ventaja en la consistencia descripción-diff en todas las métricas (tanto léxicas como semánticas) en comparación con los humanos. Esto sugiere que los agentes generan descripciones que se alinean muy bien con sus ediciones de código.

5. Significado e Implicaciones

Revisión de Código (Code Review): Los revisores no deben basarse únicamente en el número de líneas cambiadas (LOC) para evaluar el alcance de un PR. El número de commits y la cantidad de archivos tocados son indicadores más fuertes de si un PR es generado por un agente (generalmente más localizados) o por un humano (más distribuidos).
Herramientas de Automatización: La alta coherencia semántica de los PRs de agentes sugiere que son adecuados para tareas automatizadas como la generación de notas de lanzamiento, construcción de registros de cambios (changelogs) y enrutamiento de revisores.
Detección de Anomalías: Se pueden implementar verificaciones automáticas para alertar cuando la alineación descripción-diff de un agente sea inusualmente baja, lo que podría indicar ambigüedad o errores.
Heterogeneidad de Agentes: El comportamiento varía significativamente según el tipo de agente (ej. Copilot vs. Devin), lo que implica que los modelos de predicción de riesgo o esfuerzo de revisión deben considerar la "identidad" del agente y el contexto de la tarea.

6. Limitaciones y Validez

Validez Interna: Depende de la integridad de los datos de la API de GitHub; los diffs muy grandes podrían haber sido truncados, afectando las métricas de similitud.
Validez Externa: Los resultados se generalizan a proyectos de código abierto en GitHub. Podrían diferir en entornos privados o industriales con culturas de revisión distintas.

En conclusión, el estudio revela que, aunque los agentes de IA generan PRs estructuralmente distintos (más compactos y con menos commits), son altamente coherentes en la comunicación de sus cambios, lo que los convierte en colaboradores potenciales fiables, aunque con patrones de contribución que requieren nuevas estrategias de gestión y revisión.