Orchestrating human–AI software delivery: a retrospective longitudinal field study of three software modernization programs

No mundo da construção de software, o trabalho tem sido compreendido há muito tempo como um ofício humano. Equipes de engenheiros se reúnem para entender um problema, esboçar um plano, escrever o código que faz um programa rodar e, então, passam um tempo considerável verificando esse código em busca de erros antes de lançá-lo ao público. Por décadas, a medida de sucesso neste campo era a rapidez com que um humano conseguia completar essas etapas. Recentemente, um novo tipo de ajudante entrou na oficina: a inteligência artificial. Esses sistemas podem ler vastas quantidades de código e sugerir novas linhas de texto em segundos. Relatos iniciais sugeriam que simplesmente entregar essas ferramentas a programadores individuais os tornaria mais rápidos, de forma muito semelhante a dar a um carpinteiro uma serra elétrica em vez de uma serra manual. Mas construir um grande sistema de software não é apenas sobre cortar madeira mais rápido; é sobre garantir que cada peça se encaixe, que a estrutura seja sólida e que o produto final funcione conforme o pretendido. A questão crítica para a indústria tornou-se se esses ajudantes inteligentes podem realmente melhorar todo o processo de construção de um sistema, ou se eles meramente aceleram as etapas iniciais enquanto criam novos problemas mais adiante.

Uma equipe de pesquisadores partiu para responder a essa pergunta observando como uma empresa real utilizou essas ferramentas ao longo do tempo. Eles não realizaram um experimento controlado em um laboratório onde pudessem isolar uma única variável. Em vez disso, analisaram retrospectivamente três grandes projetos de software que a empresa já havia concluído. Eram empreitadas significativas: uma envolvia a migração de um sistema bancário de uma linguagem antiga chamada COBOL para uma moderna, outra era uma atualização massiva de uma grande plataforma de contabilidade e a terceira era uma modernização de uma aplicação de hipoteca. Os pesquisadores examinaram como esses projetos foram entregues sob cinco configurações diferentes. Eles começaram com uma abordagem tradicional, onde humanos faziam todo o trabalho, e depois passaram por quatro versões sucessivas de uma nova plataforma que combinava engenheiros humanos com agentes de inteligência artificial.

A primeira versão desta nova plataforma era essencialmente uma coleção de ferramentas. Nesta configuração, os agentes de inteligência artificial atuavam como assistentes de engenheiros individuais. Eles podiam analisar códigos antigos, escrever documentação e até executar tarefas específicas por conta própria. Os resultados aqui foram mistos. A equipe descobriu que as fases iniciais dos projetos, como a compreensão do código antigo e o planejamento do novo, tornaram-se muito mais rápidas. No entanto, essa velocidade teve um custo. Como o fluxo de trabalho carecia de um sistema central para verificar o trabalho conforme ele progredia, a qualidade do resultado final sofreu. Mais erros escaparam para as fases posteriores de teste, e a equipe teve que gastar mais tempo corrigindo-os. Era como se os construtores tivessem aprendido a assentar tijolos duas vezes mais rápido, mas estivessem assentando-os nos lugares errados, exigindo muito tempo para derrubá-los e recomeçar.

A história mudou conforme os pesquisadores avançavam para as versões posteriores da plataforma. A diferença fundamental não era apenas que a inteligência artificial estava ficando mais inteligente, mas que a maneira como humanos e máquinas trabalhavam juntos foi completamente reorganizada. Na configuração mais avançada, a inteligência artificial não era mais apenas uma ferramenta para indivíduos; ela se tornou parte de uma equipe coordenada. O sistema criou um espaço de trabalho compartilhado onde o plano, o código e o processo de revisão estavam todos conectados. Os agentes de inteligência artificial agora podiam verificar seu próprio trabalho contra regras específicas antes que um humano sequer o visse, e podiam submeter seu código para revisão da mesma forma que um humano faria. Esta versão também introduziu uma abordagem híbrida, na qual humanos e máquinas trabalhavam lado a lado nas mesmas tarefas, compartilhando responsabilidades.

Quando os pesquisadores compararam a configuração final, a mais avançada, com a abordagem tradicional apenas humana, os resultados foram impressionantes. O tempo total para concluir os três projetos caiu de trinta e seis semanas para pouco mais de nove semanas. Não se tratava apenas de trabalhar mais rápido; a qualidade do trabalho também melhorou. O número de erros encontrados durante a fase final de testes caiu drasticamente, de mais de oito problemas para cada cem tarefas para apenas dois. Além disso, a porcentagem de requisitos atendidos corretamente na primeira entrega subiu de setenta e sete por cento para mais de noventa por cento. O estudo também modelou o esforço necessário, estimando que o trabalho da nova equipe, que incluía agentes de inteligência artificial, equivalia a oitenta e sete por cento menos esforço de especialistas humanos de nível sênior em comparação com a antiga forma de trabalhar.

Os pesquisadores foram cuidadosos ao notar que essas descobertas descrevem o que aconteceu nesta empresa específica com esses projetos específicos. Eles não alegaram que a inteligência artificial sozinha causou esses resultados. Em vez disso, sugeriram que a magia residia na orquestração. As versões iniciais, que simplesmente davam ferramentas a indivíduos, melhoraram a velocidade, mas prejudicaram a qualidade. As versões posteriores, que integraram a inteligência artificial em um fluxo de trabalho estruturado com contexto compartilhado e verificações rigorosas, melhoraram tanto a velocidade quanto a qualidade simultaneamente. O estudo implica que o futuro da entrega de software não reside em substituir humanos por máquinas, nem em simplesmente dar máquinas para os humanos usarem como bem entenderem. Em vez disso, os maiores ganhos vêm quando humanos e máquinas são tecidos juntos em um sistema único e coordenado, onde as forças de um compensam as fraquezas do outro.

Esta pesquisa oferece um quadro claro de como a inteligência artificial está amadurecendo no mundo real. Ela vai além da simples ideia de um assistente de digitação mais rápido para mostrar como uma equipe de humanos e máquinas pode operar como um todo unificado. Os dados sugerem que, quando a inteligência artificial é incorporada em um fluxo de trabalho que inclui planejamento, validação e revisão, ela pode ajudar equipes a entregar sistemas complexos muito mais rapidamente e com menos erros. Embora o estudo seja limitado a uma organização e não possa provar que isso acontecerá em todos os lugares, ele fornece um registro descritivo robusto do que é possível quando a tecnologia é tratada não apenas como uma ferramenta, mas como uma parceira em um processo cuidadosamente desenhado. O caminho a seguir, sugere a evidência, não é sobre o quão rápido a máquina pode escrever código, mas sobre o quão bem a equipe pode organizar o trabalho para que a máquina e o humano possam construir algo melhor juntos.