GitHub Copilot and Developer Productivity: An Observational Dose-Response Analysis
Utilizando 16.223 ingenieros de Microsoft durante 43 semanas y un diseño de efectos fijos por ingeniero para controlar la habilidad y el esfuerzo individuales, este estudio encuentra que el uso de GitHub Copilot está asociado con un aumento monotónico del 40,5% en las tasas de finalización de pull requests al mismo tiempo de codificación, lo que indica una ganancia genuina de eficiencia en lugar de una correlación con periodos de trabajo inherentemente más ocupados.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que estás intentando averiguar si un nuevo par de zapatillas de running de alta tecnología realmente hace que la gente corra más rápido.
La forma obvia de probarlo es comparar dos grupos: personas que usan las zapatillas y personas que usan zapatillas normales. Pero aquí está el problema: tal vez las personas que eligen usar las zapatillas de alta tecnología ya son atletas profesionales, mientras que los usuarios de zapatillas normales son corredores ocasionales. Si los usuarios de las zapatillas corren más rápido, ¿son las zapatillas o es simplemente que ya son mejores corredores desde el principio?
Este es el mismo rompecabezas que enfrentaron los investigadores de Microsoft con GitHub Copilot, una herramienta de IA que ayuda a los ingenieros de software a escribir código. Querían saber: ¿El uso de la IA realmente hace que los ingenieros sean más productivos, o son los ingenieros que la usan más simplemente personas naturalmente más productivas?
Peor aún, hay una segunda capa de confusión. Tal vez un ingeniero usa la IA mucho durante una semana específica no porque la IA sea mágica, sino porque esa semana fue un momento de "época de máxima actividad" donde trabajaban 80 horas al día en un proyecto enorme. En ese caso, terminarían más trabajo (Pull Requests) simplemente porque trabajaron más tiempo, no porque la IA les ayudara a trabajar más rápido.
La solución: El experimento de "Autocomparación"
Dado que los investigadores no podían obligar aleatoriamente a algunos ingenieros a dejar de usar la herramienta (eso sería poco ético y de hecho interrumpiría su trabajo), utilizaron un truco inteligente llamado análisis "Within-Engineer" (dentante del mismo ingeniero).
Piensa en esto como: En lugar de comparar al Ingeniero A (que usa IA) con el Ingeniero B (que no la usa), compararon al Ingeniero A consigo mismo.
Observaron al mismo ingeniero durante 43 semanas.
- Semana 1: El ingeniero apenas usó la IA.
- Semana 2: El ingeniero usó la IA intensamente.
Al comparar al ingeniero consigo mismo, automáticamente cancelaron todas las cosas que hacen que el Ingeniero A sea diferente del Ingeniero B (como el talento natural, el rol laboral o la cultura del equipo). Se preguntaban: "Cuando esta persona específica usa la IA más, ¿hace más trabajo en comparación con cuando la usa menos?"
La prueba de "Eficiencia": ¿Trabajaron más duro o más inteligentemente?
Todavía había una variable complicada: el Esfuerzo.
Si un ingeniero usa mucho la IA, también podría ser que simplemente esté sentado frente a su computadora programando durante 10 horas en lugar de 5. Si termina más trabajo, podría ser simplemente porque pasó más tiempo en el escritorio.
Para solucionar esto, los investigadores utilizaron un "filtro" estadístico (un modelo llamado PPML) que mantenía constante el tiempo dedicado a programar.
- La pregunta: "Si el Ingeniero A programa exactamente 8 horas, ¿termina más código cuando usa la IA intensamente en comparación con cuando no la usa?"
El resultado: Sí. Incluso cuando el tiempo dedicado a programar era exactamente el mismo, los ingenieros que usaban la IA intensamente completaban aproximadamente un 40% más de proyectos de código (Pull Requests) que en las semanas en las que no la usaban en absoluto.
La batería de "Falsificación": Descartando excusas
Los investigadores sabían que los escépticos plantearían otras razones para este resultado. Por ello, realizaron siete diferentes pruebas de "detector de mentiras" para ver si los resultados eran solo un golpe de suerte.
La prueba de la "IA Genérica": ¿Tal vez los ingenieros que usan mucho la IA son simplemente muy "expertos en tecnología" y usan otras herramientas de IA (como en Word o Excel) lo que los hace sentir más productivos?
- Prueba: Verificaron si el uso de la IA en aplicaciones que no son de programación (como PowerPoint) predecía más código.
- Resultado: No. Usar la IA en Word no ayudó a escribir código. Era específicamente la IA de programación la que importaba.
La prueba del "Hype del Equipo": ¿Tal vez todo el equipo estaba en una semana de "entusiasmo/hype", por lo que todos usaron la IA y todos escribieron más código?
- Prueba: Verificaron si el uso de la IA de un ingeniero predecía la producción de código de sus compañeros de equipo.
- Resultado: No. Si fuera solo entusiasmo del equipo, tu uso de la IA debería predecir la producción de tu vecino. No lo hizo.
La prueba del "Cambio de Tarea": ¿Tal vez en las semanas de mucha IA, los ingenieros simplemente dejaron de revisar el código de otras personas y se concentraron enteramente en escribir su propio código?
- Prueba: Verificaron si escribir más código significaba revisar menos código.
- Resultado: No. Los ingenieros escribieron más código Y revisaron más código cuando usaban la IA. No solo intercambiaron tareas; hicieron más de todo.
La prueba del "Fraccionamiento": ¿Tal vez los ingenieros simplemente estaban dividiendo proyectos grandes en piezas pequeñas y fáciles para que los números se vieran bien?
- Prueba: Observaron el tamaño de los proyectos de código.
- Resultado: No. El mayor aumento fue de hecho en los proyectos más grandes y complejos (7+ archivos), no en los pequeños.
La prueba del "Trabajo Fácil": ¿Tal vez solo estaban haciendo papeleo fácil (como actualizar archivos de texto) en lugar de programación difícil?
- Prueba: Separaron los archivos de configuración "fáciles" de los archivos de código "difíciles".
- Resultado: No. El aumento de productividad fue en realidad más fuerte para los archivos de código difíciles.
La prueba del "Tiempo": ¿Tal vez el uso de la IA en la Semana 1 era solo una señal de que el ingeniero estaba en un "estado de ánimo productivo" que duró hasta la Semana 2?
- Prueba: Verificaron si el uso de la IA de la semana pasada predecía la producción de esta semana.
- Resultado: No. El aumento solo ocurrió en la misma semana exacta en que se usó la IA.
La conclusión
El estudio concluye que GitHub Copilot genuinamente hace que los ingenieros sean más eficientes.
Cuando un ingeniero utiliza la herramienta de manera más intensiva, completa aproximadamente un 40% más de trabajo en el mismo periodo de tiempo. No es solo que las personas productivas usen la herramienta; la herramienta misma parece actuar como un multiplicador de fuerza, ayudando a los ingenieros a hacer más sin necesidad de trabajar más horas.
Sin embargo, los investigadores son cuidadosos al notar: este estudio mide la eficiencia (hacer más por hora). No mide el tiempo total ahorrado. Si la IA te ayuda a terminar una tarea en 30 minutos en lugar de una hora, tu "eficiencia" aumenta, pero podrías también simplemente dejar de trabajar temprano. El estudio demuestra que la velocidad aumenta, pero no nos dice exactamente cómo los ingenieros pasan ese tiempo extra.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.