AI Writes Faster Than Humans Can Review: A Longitudinal Study of an Enterprise 2x Mandate

Resumen Técnico: La IA escribe más rápido de lo que los humanos pueden revisar

Declaración del Problema
Las empresas están exigiendo cada vez más la adopción de herramientas de codificación con IA con la expectativa de duplicar la productividad de la ingeniería. Sin embargo, la evidencia longitudinal sobre cómo se desarrollan estos mandatos, los mecanismos que impulsan las ganancias de productividad y los costos organizacionales es escasa. Los estudios de campo existentes reportan resultados contradictorios, que van desde una ralentización del 19% hasta una ganancia del 40%, mientras que la prensa especializada afirma aumentos de producción multiplicativos sin datos públicos robustos. Además, la mayoría de los estudios miden efectos en puntos específicos en el tiempo en lugar de la evolución de un despliegue, dejando abiertas las preguntas sobre si se pueden alcanzar grandes ganancias, cómo se distribuyen entre los desarrolladores y las bases de código, y cómo las organizaciones absorben el rendimiento resultante sin comprometer la calidad o la capacidad de revisión.

Metodología
Este documento presenta un estudio de caso cuantitativo longitudinal de una empresa de software B2B de tamaño medio y orientada a la IA que implementó un "mandato de 2×" documentado en junio de 2025, con el objetivo de duplicar los pull requests (PR) fusionados por ingeniero en doce meses. El estudio utiliza un conjunto de datos de panel de 802 desarrolladores y 196,212 PR que abarcan desde enero de 2024 hasta abril de 20 much 2026.

• Fuentes de Datos: Los autores extrajeron telemetría interna de herramientas comerciales de IA (Cursor y Claude Code), historial de PR (incluyendo marcas de tiempo, tamaños y estados) y datos de roles de RR.HH. Identificaron los PR escritos por IA utilizando una etiqueta interna created-by-ai y bots automatizados mediante señales léxicas y de comportamiento.
• Diseño: El análisis central emplea un diseño de diferencia en diferencias (DiD) escalonado. Al alinear a los desarrolladores en su mes específico de adopción de la IA en lugar de la fecha del mandato, el estudio aísla los cambios en la producción dentro de cada desarrollador. Este enfoque trata el mandato como un catalizador para la adopción en lugar de un motor directo, permitiendo la separación del efecto de adopción inmediata de las ganancias que se acumulan con el tiempo.
• Estimadores: Para abordar posibles sesgos de adopción no aleatoria (donde los adoptantes tempranos pudieron haber sido más productivos), los autores utilizan efectos fijos de desarrollador, agrupan los errores estándar por desarrollador y validan los resultados con múltiples estimadores (Callaway–Sant'Anna y la imputación de Borusyak) que comparan a los adoptantes solo con aquellos que aún no han adoptado la herramienta.
• Descomposición: El estudio descompone las ganancias de productividad en dos canales: un "salto de adopción" inmediato y un efecto de "uso acumulado" (respuesta a la dosis), controlando además las tendencias del calendario y los lanzamientos de generación de modelos (Sonnet 4.5, Opus 4.5, Opus 4.6).

Resultados Clave

1. Ganancias de Productividad: El rendimiento de PR por cápita aumentó 2.09× en relación con la línea base previa al mandato para abril de 2026. Sin embargo, esta ganancia agregada es impulsada casi en su totalidad por las mejoras dentro de cada desarrollador.

   • Adopción vs. Acumulación: La ganancia no es un impulso instantáneo. La descomposición revela que, si bien el salto inicial de adopción es significativo, la mayor parte de la ganancia proviene del uso acumulado. La producción de un desarrollador crece a medida que aumenta su uso acumulado de la IA, alcanzando una ganancia de 1.46× a 1.72× (dependiendo de la rigurosidad del modelo) tras nueve meses de uso de la herramienta.
   • Heterogeneidad: La ganancia se comparte ampliamente entre los niveles de antigüedad (desde Contribuidores Individuales hasta Principales), pero se concentra en repositorios nuevos (posteriores a 2022) y es insignificante en código legado. La ganancia no es separable por generaciones de modelos específicos; el aumento del uso organizacional coincide con los lanzamientos de modelos, lo que hace imposible aislar las mejoras en la capacidad del modelo de la experiencia acumulada del usuario.
   • Impacto en la Gestión: La ganancia proporcional fue mayor para la gestión (+86%), lo que sugiere que la IA reduce la barrera para que los gerentes vuelvan a involucrarse en la codificación práctica.

2. Reestructuración del Proceso de Revisión: El aumento en la producción de código puso a prueba el sistema de revisión.

   • Desplazamiento de la Carga: La carga por revisor aumentó aproximadamente al doble. Para absorber esto, la organización se desplazó fuertemente hacia la revisión automatizada. La proporción de PR que reciben revisión humana cayó del 89% al 68%, mientras que la cobertura de revisión automatizada aumentó de ~19% a ~84%, superando a la revisión humana.
   • Calidad de la Revisión Humana: La revisión humana sustantiva (comentarios) disminuyó, mientras que las aprobaciones "silenciosas" aumentaron. La actividad de revisión humana restante se volvió más superficial, centrándose en la aprobación en lugar de un compromiso profundo.
   • Latencia: Los PR escritos por IA experimentaron un tiempo de ciclo ~20% más largo desde la primera revisión humana hasta la fusión en comparación con los PR escritos por humanos, a pesar de tener tasas de fusión y reversión similares. Esta latencia se atribuye a un cuello de botella donde la capacidad de revisión humana no pudo seguir el ritmo de la velocidad de autoría, provocando una acumulación en la cola de revisión.

3. Proxies de Calidad: Las tasas de fusión se mantuvieron estables y las tasas de reversión disminuyeron ligeramente. Sin embargo, los autores advierten que las tasas de fusión/reversión son proxies de horizonte corto y toscos que no capturan la deuda técnica, la mantenibilidad o la deuda cognitiva.

Significancia y Reivindicaciones
El documento afirma proporcionar uno de los mayores beneficios de campo reportados para las herramientas de codificación con IA (acercándose al objetivo de "2×"), pero con advertencias críticas sobre el mecanismo y la sostenibilidad de estas ganancias:

• Rediseño de Procesos, No Solo de Herramientas: El estudio concluye que un mandato de IA empresarial es un problema de rediseño de procesos. La ganancia de productividad no es un interruptor que se activa con un mandato, sino una acumulación gradual de habilidad e intensidad de uso. El mandato actuó como un catalizador para la adopción, pero el retorno es impulsado por la "respuesta a la dosis" del uso acumulado.
• Desplazamiento del Cuello de Botella: La consecuencia principal del despliegue no fue una entrega más rápida, sino un cambio fundamental en la división del trabajo. La organización absorbió el volumen incrementado delegando la revisión a la automatización, moviendo efectivamente el cuello de botella de la generación de código a la revisión de código.
• Validez Contextual: Los autores posicionan sus hallazgos como un "casi mejor escenario" (una firma joven, permisiva y orientada a la IA con presupuestos sin límite). Expresan explícitamente que estos resultados no deben interpretarse como un promedio típico de la industria o una ganancia inmediata y gratuita.
• Limitaciones: El estudio reconoce que el despliegue no fue aleatorio, lo que significa que la magnitud causal exacta está acotada en lugar de estar identificada puntualmente. El efecto de "uso acumulado" es una asociación que puede reflear que los desarrolladores de alta productividad eligen usar la IA con más frecuencia, más que la IA causando únicamente el incremento de la productividad. Además, el estudio mide el rendimiento hasta el punto de fusión, dejando sin medir los costos posteriores (deuda técnica, mantenimiento).

En resumen, el documento argumenta que, si bien es posible casi duplicar el rendimiento bajo condiciones favorables, esto requiere un largo horizonte para la acumulación de habilidades y resulta en un cambio estructural donde la automatización reemplaza la revisión humana, creando potencialmente nuevos riesgos relacionados con la calidad del código y la deuda cognitiva que no son capturados por las métricas estándar de rendimiento.