Beyond the Commit: Developer Perspectives on Productivity with AI Coding Assistants
Este estudio de métodos mixtos en BNY Mellon, que involucra 2.989 respuestas de encuestas y 11 entrevistas, sostiene que la evaluación de los asistentes de codificación de IA requiere un enfoque holístico y multifacético que incorpore factores centrados en el ser humano a largo plazo, como la experiencia técnica y la propiedad del trabajo, en lugar de depender únicamente de las métricas de productividad tradicionales a corto plazo.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que diriges una empresa de construcción masiva. Durante años, has medido la productividad de tus constructores contando cuántos ladrillos colocan por hora o cuántas paredes terminan en un día. Pero recientemente, le has entregado a cada constructor un asistente robot mágico que puede sugerir instantáneamente el siguiente ladrillo, escribir los planos e incluso corregir errores.
Ahora, estás confundido. Los robots son populares, pero ¿están realmente haciendo que la empresa sea más rápida? Y si lo están, ¿significa "más rápido" lo mismo que antes?
Este artículo es como una investigación profunda realizada por un equipo de investigadores (de la Universidad Carnegie Mellon y BNY Mellon) que fueron a hablar con casi 3,000 de estos "constructores" (desarrolladores de software) para descubrir cómo medir el éxito en esta nueva era de los robots de IA.
Aquí está la historia de lo que encontraron, desglosada en partes simples:
1. La gran confusión: Felicidad vs. Velocidad
Los investigadores primero hicieron una pregunta simple: "¿Estás contento con tu robot asistente?" y "¿Cuánto tiempo te ahorra?".
- El resultado: La mayoría de los desarrolladores dijeron: "¡Sí, me encanta el robot! Hace que mi día sea más fácil". (El 86% estaba satisfecho).
- El giro: Pero al preguntarles: "¿Cuánto tiempo ahorraste?", la mayoría dijo: "No mucho. Tal vez 30 minutos a la semana".
La analogía: Imagina que tienes un coche superrápido que te lleva al trabajo en 5 minutos, pero pasas 45 minutos atrapado en el tráfico. Puede que te encante el coche porque es divertido y fiable, pero en realidad no llegas al trabajo más rápido que antes. El estudio encontró que los desarrolladores aman la sensación de usar la IA, pero esto no siempre se traduce en grandes bloques de tiempo ahorrado. Esto demuestra que no puedes usar un solo número (como "tiempo ahorrado") para juzgar si la herramienta está funcionando.
2. Las seis nuevas reglas del juego
Dado que la vieja forma de contar (ladrillos por hora) ya no funciona, los investigadores entrevistaron a 11 desarrolladores para encontrar nuevas formas de medir el éxito. Encontraron seis factores distintos que importan, los cuales agruparon en tres etapas de un proyecto:
Etapa A: Mientras se construye (La sensación "en el momento")
- Autosuficiencia (El superpoder de "Hazlo tú mismo"):
- Antes: Si un constructor no sabía cómo arreglar una tubería con fugas, tenía que detenerse, llamar a un experto sénior o buscar en una gigantesca biblioteca de manuales.
- Ahora: El robot le susurra la respuesta directamente al oído. Se sienten como superhéroes que pueden resolver problemas sin siquiera levantarse de su escritorio.
- Frustración y carga mental (El "Tira y afloja mental"):
- El problema: El robot no es perfecto. A veces sugiere una solución que parece correcta pero que en realidad es errónea. El desarrollador tiene que detenerse, pensar profundamente y verificar todo. Esto puede hacer que se sientan incluso más cansados y frustrados, aunque estén escribiendo más rápido.
Etapa B: Entregar las llaves (La revisión del equipo)
- Velocidad de finalización de tareas (El control de "Rendimiento"):
- Este es el método de la vieja escuela: ¿Qué tan rápido terminamos el trabajo? El estudio encontró que, aunque la IA ayuda, esto no siempre significa que el trabajo se termine más rápido. A veces, solo significa que el trabajo se termina con menos esfuerzo, pero el tiempo ahorrado es pequeño.
- Revisión por pares (La "Inspección de seguridad"):
- Antes, un constructor sénior revisaba el trabajo de un junior. Ahora, si el junior usa el robot, el sénior tiene que preguntar: "¿Lo escribiste tú o lo escribió el robot?". Si el robot lo escribió, el sénior tiene que dedicar tiempo extra a entender el código para asegurarse de que sea seguro. A veces, el robot hace que el código parezca "demasiado perfecto" o confuso, lo que dificulta la inspección de seguridad.
Etapa C: El largo plazo (El futuro del constructor)
- Pericia técnica (La "Curva de aprendizaje"):
- El riesgo: Si un constructor junior depende del robot para que haga todo el pensamiento, es posible que nunca aprenda cómo arreglar una tubería con fugas por sí mismo. Podrían convertirse en expertos en presionar botones, pero terribles en comprender la fontanería. El estudio advierte que, si no tenemos cuidado, podríamos crear una generación de desarrolladores que no pueden trabajar sin el robot.
- Propiedad (El "Orgullo de la creación"):
- El sentimiento: Los desarrolladores aman decir: "Yo construí esto". Si el robot escribió el 90% del código, ¿siguen sintiéndose orgullosos? ¿Se sienten responsables si algo se rompe? El estudio encontró que los desarrolladores se preocupan de que, si no escribieron el código ellos mismos, no sentirán una conexión profunda con él, y podrían ser más lentos para repararlo cuando falle más adelante.
3. Depende de lo que estés haciendo
Los investigadores también descubrieron que la IA ayuda de manera diferente según la tarea:
- Construir algo nuevo: El robot es excelente para dar un punto de partida, pero hay que tener cuidado de no simplemente copiar y pegar a ciegas.
- Reparar código antiguo: La IA tiene dificultades aquí porque necesita mucho contexto. Es como intentar reparar una casa de 50 años con un robot que solo sabe construir casas nuevas.
- Escribir manuales o pruebas: Aquí es donde el robot brilla. Es como tener un robot que puede escribir instantáneamente el manual de instrucciones de la casa que acabas de construir. Esto es lo que más tiempo ahorra.
La conclusión fundamental
El artículo concluye que debemos dejar de buscar un único "número mágico" para medir la productividad.
La analogía: Imagina intentar juzgar la habilidad de un chef solo contando cuántos platos sirve. Si usa un robot para picar verduras, puede que sirva más platos, pero si el robot hace que la comida sepa mal o que el chef olvide cómo cocinar, el restaurante fracasará a largo plazo.
Para entender verdaderamente si los asistentes de codificación por IA están ayudando, necesitamos mirar el panorama completo:
- ¿Están contentos los desarrolladores?
- ¿Están aprendiendo o solo están copiando?
- ¿Se sienten responsables del código?
- ¿Está el equipo revisando el trabajo de manera efectiva?
Los autores dicen que necesitamos una visión "holística": una tarjeta de puntuación equilibrada que valore la experiencia humana y el crecimiento a largo plazo, no solo la velocidad de la producción.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.