🤖 AI

Will It Survive? Deciphering the Fate of AI-Generated Code in Open Source

Contrario a la hipótesis de que el código generado por IA es desechable, un análisis de supervivencia de 201 proyectos de código abierto revela que el código redactado por agentes persiste en realidad más tiempo que el código escrito por humanos, aunque enfrenta tasas de modificación correctiva ligeramente más altas, lo que sugiere que las prácticas organizativas, en lugar de la calidad de la generación, son el principal cuello de botella para su evolución a largo plazo.

Autores originales: Musfiqur Rahman, Emad Shihab

Publicado 2026-01-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Musfiqur Rahman, Emad Shihab

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el desarrollo de software como un enorme y bullicioso sitio de construcción donde edificios (bases de código) se construyen, renuevan y reparan constantemente. Durante años, la preocupación predominante entre los capataces del sitio (ingenieros de software) era que, si empezaban a usar "constructores robóticos" (agentes de IA) para colocar ladrillos, esos ladrillos serían endebles. El temor era que los robots colocaran una pared rápidamente, el capataz humano la aprobara de inmediato para mantener el proyecto en marcha y, tan pronto como el robot se marchara, la pared se desmoronaría o tendría que ser demolida de inmediato. Esta idea se llama la hipótesis del "código desechable": la creencia de que el código generado por IA es solo un relleno temporal que no durará.

Este artículo, titulado "¿Sobrevivirá? Descifrando el destino del código generado por IA en el código abierto", va al sitio de construcción para revisar los ladrillos después de haber sido colocados. Los investigadores no solo observaron qué tan bien construían la pared los robots mientras trabajaban; observaron la pared durante meses para ver si resistía la prueba del tiempo.

Aquí está lo que encontraron, desglosado en historias sencillas:

1. El fenómeno del "Ladrillo Fantasma" (Supervivencia)

El Mito: La gente pensaba que los ladrillos de IA serían derribados o reemplazados muy rápidamente.
La Realidad: Los ladrillos de IA en realidad duraron más que los ladrillos humanos.

Los investigadores rastrearon más de 200,000 líneas de código (ladrillos individuales) a través de 201 proyectos diferentes. Encontraron que las líneas de código escritas por IA tenían un 16% menos de probabilidad de ser cambiadas o eliminadas que las líneas escritas por humanos.

¿Por qué? La regla de "No toques mi código".
El artículo sugiere una razón psicológica curiosa: los humanos suelen dudar antes de tocar el código que no escribieron. Es como un inquilino que se muda a una casa y tiene miedo de reorganizar los muebles porque no sabe dónde están los cables ocultos.

Código Humano: Cuando un humano escribe una línea, siente propiedad sobre ella. Si ven un pequeño problema más tarde, se sienten obligados a arreglarlo de inmediato.
Código de IA: Cuando una IA escribe una línea, ningún humano se siente responsable de ella. Se convierte un poco en un "ladrillo fantasma". Los humanos son menos propensos a manipularlo a menos que esté completamente roto, por lo que permanece allí, intacto, durante más tiempo.

Nota: Esto no fue cierto para todos los robots. Los robots "estilo Copilot" (que ayudan a los humanos a escribir código) produjeron los ladrillos más estables. Sin embargo, los robots totalmente autónomos (como "Devin", que intenta hacer todo el trabajo solo) produjeron ladrillos que fueron cambiados más a menudo que los ladrillos humanos, probablemente porque eran más experimentales.

2. El "Porqué" de las reparaciones (Intención)

Cuando los ladrillos sí eran finalmente cambiados, los investigadores preguntaron: ¿Por qué?
Examinaron las "órdenes de reparación" (mensajes de commit) para ver si los cambios estaban corrigiendo errores, añadiendo nuevas funciones o simplemente actualizando herramientas viejas.

Ladrillos Humanos: Los humanos tendían a cambiar su código para adaptarse a nuevos entornos (como cambiar el pomo de una puerta porque el nuevo sistema de cerradura lo requiere). Esto se llama mantenimiento "Adaptativo".
Ladrillos de IA: Cuando el código de IA era cambiado, era ligeramente más probable que fuera una corrección de error (Correctiva) o un parche de seguridad (Preventiva).
El detalle: La diferencia no era enorme. No es que el código de IA sea "peor" o "mejor"; simplemente tiene un perfil de reparación ligeramente diferente. Además, diferentes herramientas de IA se comportaban de manera muy distinta. Una herramienta de IA podría producir código que requiere un 44% de correcciones de errores, mientras que otra podría requerir solo un 13%. La herramienta específica importa más que el hecho de que sea "IA".

3. ¿Podemos predecir el futuro? (Pronóstico)

Los investigadores intentaron construir una bola de cristal para predecir dos cosas:

¿Qué ladrillos se romperán? (¿Podemos detectar las líneas débiles?)
¿Cuándo se romperán? (¿Podemos predecir el momento?)

Detectar la debilidad (Éxito): Tuvieron un éxito moderado en esto. Al observar el "vocabulario" del código (las palabras y comandos específicos utilizados), podían adivinar qué líneas eran propensas a ser cambiadas. Por ejemplo, el código que se conecta a servicios externos específicos y cambiantes (como una API en la nube) fue marcado como de "alto riesgo" para futuros cambios.
Predecir el tiempo (Fracaso): Fallaron al predecir cuándo ocurriría un cambio. Saber que un ladrillo podría romperse es fácil; saber si se romperá mañana o dentro de seis meses es imposible usando solo el código mismo.
- La metáfora: Es como saber que una pieza de un coche es propensa al desgaste (el contenido del código), pero no puedes predecir si el mecánico la arreglará la próxima semana o dentro de un año (el tiempo). Ese tiempo depende de la agenda del mecánico (dinámicas organizacionales), no de la pieza en sí.

La gran conclusión

El artículo concluye que el miedo al "código de IA desechable" es en gran medida un mito. El código generado por IA en realidad sobrevive más tiempo que el código humano, principalmente porque los humanos son demasiado tímidos para tocarlo.

Sin embargo, el verdadero cuello de botella no es la calidad del código que la IA escribe. El verdadero problema es cómo las organizaciones lo gestionan. Si una empresa no asigna un "dueño" humano al trabajo de la IA, ese código podría quedarse allí sin ser tocado durante mucho tiempo, no porque sea perfecto, sino porque nadie se siente responsable de él. La clave para que el código de IA dure no es solo tener mejores robots, sino una mejor gestión humana y una propiedad clara.

Resumen Técnico: ¿Sobrevivirá? Descifrando el destino del código generado por IA en el código abierto

Declaración del Problema

La integración de Modelos de Lenguaje de Gran Escala (LLM) y agentes de IA autónomos en el desarrollo de software ha planteado preocupaciones sobre la viabilidad a largo plazo del código que producen. Una hipótesis prevaleciente en la comunidad de ingeniería de software sugiere que el código generado por IA es "desechable": se integra rápidamente pero se descarta o se modifica profundamente poco después de su despliegue. Si esto es cierto, desplazaría la carga de mantenimiento de la generación de código hacia la remediación post-despliegue, lo que podría anular las ganancias de productividad. Mientras que la literatura existente evalúa el código de IA mediante métricas de corrección inmediata (por ejemplo, Pass@k, puntuaciones BLEU) o tasas de rotación agregadas, existe una falta de evidencia longitudinal que rastree la supervivencia de unidades de código individuales de autoría de IA en repositorios de producción. Este estudio aborda esta brecha preguntando: ¿El código de autoría de un agente dura más que el código de autoría humana y, de ser así, bajo qué condiciones y con qué patrones de modificación?

Metodología

Los autores emplean un marco de análisis de supervivencia, un método estadístico utilizado tradicionalmente en medicina e ingeniería de confiabilidad para modelar datos de tiempo hasta un evento, manejando observaciones censuradas por la derecha.

Conjunto de Datos: El estudio utiliza el conjunto de datos AIDev, filtrándolo para obtener una cohorte final de 201 repositorios de código abierto que contienen tanto Pull Requests (PRs) de autoría de agentes como de humanos. Esta comparación dentro del mismo repositorio controla los factores de confusión específicos del proyecto (por ejemplo, estándares de codificación, complejidad del dominio). El conjunto de datos final comprende 5,171 PRs (3,003 de autoría de agentes, 2,168 de autoría humana) y más de 200,000 unidades de código.
Granularidad: El análisis se realiza en dos niveles:
- Nivel de Archivo: Rastrea archivos fuente completos.
- Nivel de Línea (Primario): Rastrea líneas individuales de código. Este es la unidad de análisis primaria para resolver el problema de "autoría mixta", donde un solo archivo puede contener tanto código de IA como humano.
Operacionalización:
- Evento de Nacimiento: Una unidad de código "nace" cuando su PR padre es integrado (merged).
- Evento de Muerte: Una unidad de código "muere" cuando es modificada por un commit subsecuente.
- Censura: Las unidades de código no modificadas hasta la fecha de finalización de la observación (31 de diciembre de 2025) son censuradas por la derecha.
Preguntas de Investigación (RQs):
- RQ1 (Supervivencia): ¿El código de autoría de un agente sobrevive más tiempo que el código de autoría humana? (Usando estimadores de Kaplan-Meier, pruebas de Log-Rank y regresión de riesgos proporcionales de Cox).
- RQ2 (Intención): Cuando se modifica, ¿cuál es la intención? (Clasificando las modificaciones utilizando la taxonomía de mantenimiento de Swanson: Correctiva, Perfectiva, Adaptativa, Preventiva).
- RQ3 (Pronóstico): ¿Se puede predecir el destino del código de autoría de un agente al nacer? (Utilizando características textuales para localización y características de metadatos para predicción temporal).

Resultados Clave

RQ1: Análisis de Supervivencia

Contrario a la narrativa de "código desechable", el código de autoría de un agente sobrevive significativamente más tiempo que el código de autoría humana.

Estadísticas a Nivel de Línea: Las líneas de autoría de agentes exhiben una tasa de muerte 15.4 puntos porcentuales menor (53.9% frente al 69.3% de los humanos).
Razón de Riesgo (Hazard Ratio): El modelo de regresión de Cox indica una Razón de Riesgo (HR) de 0.842 ( $p < 0.001$ ), lo que significa que las líneas de autoría de agentes tienen un 16% menor de riesgo de modificación en cualquier momento dado, controlando por las características del PR y del repositorio.
Variación de Herramientas: Las ventajas de supervivencia varían según el tipo de agente. Los asistentes "estilo Copilot" (Cursor, Claude Code, GitHub Copot, OpenAI Codex) muestran tasas de muerte entre 20 y 30 puntos porcentuales menores que los humanos. Por el contrario, Devin (un agente totalmente autónomo) muestra una tasa de muerte ligeramente mayor (71.7%) que el código humano.

RQ2: Intención de Modificación

Aunque el código de los agentes sobrevive más tiempo, su perfil de modificación difiere ligeramente del código humano, aunque el tamaño del efecto es pequeño (Cramér's V = 0.116).

Correctiva vs. Adaptativa: El código de autoría de agentes muestra una tasa correctiva modestamente elevada (26.3% frente al 23.0% de los humanos), lo que sugiere que es ligeramente más propenso a ser corregido cuando se toca. El código de autoría humana muestra una tasa adaptativa significativamente mayor (12.8% frente al 7.7%), lo que indica que se modifica con mayor frecuencia debido a cambios ambientales (por ejemplo, actualizaciones de dependencias).
Heterogeneidad por Agente: La variación en la intención de modificación entre diferentes agentes de IA (por ejemplo, Claude Code al 44.4% correctivo frente a Cursor al 13.8%) supera la brecha general entre el código de IA y el humano, lo que sugiere que la modalidad de la herramienta y el contexto de uso son más críticos que la distinción binaria IA-vs-humano.

RQ3: Pronóstico

Localización (RQ3a): Predecir qué líneas son propensas a la modificación es factible utilizando características textuales (Bag-of-Words). El mejor modelo (XGBoost) logra un AUC-ROC de 0.671, una mejora del 34.2% sobre el azar. El análisis LIME revela que los tokens específicos del dominio (por ejemplo, integraciones de SDK) son fuertes predictores, mientras que los tokens genéricos suelen generar falsos positivos en código de utilidad estable.
Predicción Temporal (RQ3b): Predecir cuándo se modificará el código es significativamente más difícil. El mejor modelo (Regresión Logística) logra un Macro F1 de 0.285 (solo 14% por encima del nivel base aleatorio).
Impulsores del Tiempo: El análisis de importancia de características muestra que el historial de modificación del archivo y la antigüedad del archivo son los predictores más fuertes del tiempo, mientras que las características del contribuyente (incluyendo la autoría) tienen una influencia mínima. Esto sugiere que el tiempo de modificación está impulsado por la dinámica organizacional y la actividad del proyecto, más que por la calidad o la autoría del código.

Contribuciones y Significado

El artículo realiza cuatro contribuciones principales:

Primer Análisis de Supervivencia de Código de IA: Es la primera aplicación de métodos de tiempo hasta un evento para rastrear unidades de código generadas por agentes desde su nacimiento hasta su modificación en repositorios de producción.
Perfiles de Modificación Divergentes: Demuestra empíricamente que, si bien el código de IA sobrevive más tiempo, exhibe intenciones de modificación distintas (más correctivas, menos adaptativas) en comparación con el código humano.
Línea Base Predictiva: Establece que el contenido del código puede predecir la probabilidad de modificación (AUC-ROC 0.671), ofreciendo una nueva dimensión para evaluar el código de IA más allá de las métricas de corrección inmediata como Pass@k.
Artefactos Reproducibles: Los autores lanzan un paquete de replicación que contiene los datos y los scripts de análisis.

Significado e Implicaciones

El estudio desafía la suposición de que el código generado por IA es inherentemente frágil o desechable. En su lugar, los autores postulan que la ventaja de supervivencia del código de IA puede derivar de las dinámicas de propiedad del código: los desarrolladores pueden ser reacios a modificar el código que no autorizaron ("No toques mi código"), y el código de IA a menudo carece de un propietario humano claro.

Los autores concluyen que el cuello de botella para el código generado por agentes es probablemente no la calidad de la generación, sino las prácticas organizacionales que gobiernan su evolución a largo plazo. Sugieren que:

Las organizaciones deben designar explícitamente propietarios humanos para el código generado por agentes para evitar que se convierta en "huérfano".
La selección de herramientas debe depender del contexto; los asistentes estilo Copilot pueden ser mejores para infraestructura estable, mientras que los agentes autónomos podrían ser adecuados para el prototipado exploratorio.
La longevidad no equivale a robustez; el código puede persistir simplemente porque se encuentra en áreas de baja actividad o es difícil de entender.

El documento enfatiza que la evaluación futura del código de IA debe ir más allá de las métricas de generación para incluir estudios longitudinales de la evolución post-despliegue.