Orchestrating human–AI software delivery: a retrospective longitudinal field study of three software modernization programs

En el mundo de la construcción de software, el trabajo se ha entendido durante mucho tiempo como un oficio humano. Equipos de ingenieros se reúnen para comprender un problema, esbozar un plan, escribir el código que hace que un programa funcione y luego pasan un tiempo considerable revisando ese código en busca de errores antes de lanzarlo al público. Durante décadas, la medida del éxito en este campo fue qué tan rápido podía un humano completar estos pasos. Recientemente, un nuevo tipo de ayudante ha entrado al taller: la inteligencia artificial. Estos sistemas pueden leer vastas cantidades de código y sugerir nuevas líneas de texto en segundos. Los informes iniciales sugerían que el simple hecho de entregar estas herramientas a programadores individuales los haría más rápidos, de forma muy similar a darle a un carpintero una sierra eléctrica en lugar de una sierra de mano. Pero construir un gran sistema de software no se trata solo de cortar madera más rápido; se trata de asegurar que cada pieza encaje, que la estructura sea sólida y que el producto final funcione según lo previsto. La pregunta crítica para la industria se ha convertido en si estos ayudantes inteligentes pueden realmente mejorar todo el proceso de construcción de un sistema, o si simplemente aceleran los pasos iniciales mientras crean nuevos problemas más adelante.

Un equipo de investigadores se propuso responder a esta pregunta observando cómo una empresa real utilizaba estas herramientas a lo largo del tiempo. No realizaron un experimento controlado en un laboratorio donde pudieran aislar una sola variable. En su lugar, analizaron tres proyectos de software importantes que la empresa ya había completado. Estas fueron tareas significativas: una consistió en trasladar un sistema bancario de un lenguaje antiguo llamado COBOL a uno moderno, otra fue una actualización masiva de una gran plataforma contable, y la tercera fue una modernización de una aplicación de hipotecas. Los investigadores examinaron cómo se entregaron estos proyectos bajo cinco configuraciones diferentes. Comenzaron con un enfoque tradicional, donde los humanos hacían todo el trabajo, y luego pasaron por cuatro versiones sucesivas de una nueva plataforma que combinaba ingenieros humanos con agentes de inteligencia artificial.

La primera versión de esta nueva plataforma era esencialmente una colección de herramientas. En esta configuración, los agentes de inteligencia artificial actuaban como asistentes para ingenieros individuales. Podían analizar código antiguo, escribir documentación e incluso ejecutar tareas específicas por su cuenta. Los resultados aquí fueron mixtos. El equipo encontró que las etapas tempranas de los proyectos, como la comprensión del código antiguo y la planificación del nuevo, se volvieron mucho más rápidas. Sin embargo, esta velocidad tuvo un costo. Debido a que el flujo de trabajo carecía de un sistema central para verificar el trabajo a medida que progresaba, la calidad del resultado final se vio afectada. Más errores se filtraron hacia las etapas posteriores de las pruebas, y el equipo tuvo que dedicar más tiempo a corregirlos. Era como si los constructores hubieran aprendido a colocar ladrillos dos veces más rápido, pero los estaban colocando en los lugares equivocados, lo que requería mucho tiempo para derribarlos y empezar de nuevo.

La historia cambió a medida que los investigadores avanzaban hacia las versiones posteriores de la plataforma. La diferencia clave no fue solo que la inteligencia artificial se volviera más inteligente, sino que la forma en que los humanos y las máquinas trabajaban juntos se reorganizó por completo. En la configuración más avanzada, la inteligencia artificial ya no era solo una herramienta para individuos; se convirtió en parte de un equipo coordinado. El sistema creó un espacio de trabajo compartido donde el plan, el código y el proceso de revisión estaban todos conectados. Los agentes de inteligencia artificial ahora podían verificar su propio trabajo contra reglas específicas antes de que un humano siquiera lo viera, y podían enviar su código para revisión de la misma manera que lo haría un humano. Esta versión también introdujo un enfoque híbrido donde humanos y máquinas trabajaban codo a codo en las mismas tareas, compartiendo la responsabilidad.

Cuando los investigadores compararon la configuración final, la más avanzada, con el enfoque tradicional solo de humanos, los resultados fueron sorprendentes. El tiempo total para completar los tres proyectos cayó de treinta y seis semanas a poco más de nueve semanas. Esto no fue solo una cuestión de trabajar más rápido; la calidad del trabajo también mejoró. El número de errores encontrados durante la fase final de pruebas disminuyó drásticamente, de más de ocho problemas por cada cien tareas a solo dos. Además, el porcentaje de requisitos que se cumplieron correctamente en la primera entrega aumentó del setenta y siete por ciento a más del noventa por ciento. El estudio también modeló el esfuerzo requerido, estimando que el trabajo del nuevo equipo, que incluía agentes de inteligencia artificial, era equivalente al ochenta y siete por ciento menos de esfuerzo de expertos humanos de nivel sénior en comparación con la antigua forma de trabajar.

Los investigadores fueron cuidadosos al señalar que estos hallazgos describen lo que sucedió en esta empresa específica con estos proyectos específicos. No afirmaron que la inteligencia artificial por sí sola causara estos resultados. En cambio, sugirieron que la magia residía en la orquestación. Las versiones tempranas, que simplemente daban herramientas a los individuos, mejoraron la velocidad pero perjudicaron la calidad. Las versiones posteriores, que integraron la inteligencia artificial en un flujo de trabajo estructurado con contexto compartido y controles rigurosos, mejoraron tanto la velocidad como la calidad simultáneamente. El estudio implica que el futuro de la entrega de software no reside en reemplazar a los humanos con máquinas, ni en simplemente dar máquinas a los humanos para que las usen a su antojo. Más bien, las mayores ganancias provienen cuando los humanos y las máquinas se entrelazan en un sistema único y coordinado donde las fortalezas de uno compensan las debilidades del otro.

Esta investigación ofrece una imagen clara de cómo la inteligencia artificial está madurando en el mundo real. Va más allá de la simple idea de un asistente de escritura más rápido para mostrar cómo un equipo de humanos y máquinas puede operar como un todo unificado. Los datos sugieren que cuando la inteligencia artificial se integra en un flujo de trabajo que incluye planificación, validación y revisión, puede ayudar a los equipos a entregar sistemas complejos mucho más rápido y con menos errores. Si bien el estudio se limita a una organización y no puede probar que esto suceda en todas partes, proporciona un registro descriptivo sólido de lo que es posible cuando la tecnología se trata no solo como una herramienta, sino como un socio en un proceso cuidadosamente diseñado. El camino a seguir, sugiere la evidencia, no se trata de qué tan rápido puede la máquina escribir código, sino de qué tan bien puede el equipo organizar el trabajo para que la máquina y el humano puedan construir algo mejor juntos.