Orchestrating human–AI software delivery: a retrospective longitudinal field study of three software modernization programs

Dans le monde de la création de logiciels, le travail a longtemps été compris comme un métier artisanal humain. Des équipes d'ingénieurs se réunissent pour comprendre un problème, esquisser un plan, écrire le code qui fait fonctionner un programme, puis passent un temps considérable à vérifier ce code pour détecter des erreurs avant de le rendre public. Pendant des décennies, la mesure du succès dans ce domaine était la rapidité avec laquelle un humain pouvait accomplir ces étapes. Récemment, un nouveau type d'assistant est entré dans l'atelier : l'intelligence artificielle. Ces systèmes peuvent lire de vastes quantités de code et suggérer de nouvelles lignes de texte en quelques secondes. Les premiers rapports suggéraient que le simple fait de confier ces outils à des programmeurs individuels les rendrait plus rapides, un peu comme si l'on donnait à un charpentier une scie électrique au lieu d'une scie à main. Mais construire un système logiciel complexe ne consiste pas seulement à couper du bois plus rapidement ; il s'agit de s'assurer que chaque pièce s'ajuste parfaitement, que la structure est solide et que le produit final fonctionne comme prévu. La question cruciale pour l'industrie est de savoir si ces assistants intelligents peuvent réellement améliorer l'ensemble du processus de construction d'un système, ou s'ils se contentent d'accélérer les étapes initiales tout en créant de nouveaux problèmes par la suite.

Une équipe de chercheurs s'est donné pour mission de répondre à cette question en observant comment une entreprise réelle utilisait ces outils au fil du temps. Ils n'ont pas mené une expérience contrôlée en laboratoire où ils auraient pu isoler une seule variable. Au lieu de cela, ils ont examiné trois projets logiciels majeurs que l'entreprise avait déjà achevés. Il s'agissait d'entreprises significatives : l'une consistait à transférer un système bancaire d'un ancien langage appelé COBOL vers un langage moderne, une autre était une mise à jour massive d'une grande plateforme comptable, et la troisième était une modernisation d'une demande de prêt hypothécaire. Les chercheurs ont examiné comment ces projets ont été livrés selon cinq configurations différentes. Ils ont commencé par une approche traditionnelle, où les humains effectuaient tout le travail, puis sont passés par quatre versions successives d'une nouvelle plateforme combinant des ingénieurs humains et des agents d'intelligence artificielle.

La première version de cette nouvelle plateforme était essentiellement une collection d'outils. Dans cette configuration, les agents d'intelligence artificielle agissaient comme des assistants pour les ingénieurs individuels. Ils pouvaient analyser l'ancien code, rédiger de la documentation et même exécuter des tâches spécifiques de manière autonome. Les résultats ici ont été mitigés. L'équipe a constaté que les premières étapes des projets, telles que la compréhension de l'ancien code et la planification du nouveau, devenaient beaucoup plus rapides. Cependant, cette vitesse avait un coût. Parce que le flux de travail manquait d'un système central pour vérifier le travail au fur et à mesure de sa progression, la qualité du résultat final en pâtissait. Plus d'erreurs s'infiltraient dans les étapes ultérieures de test, et l'équipe devait passer plus de temps à les corriger. C'était comme si les bâtisseurs avaient appris à poser des briques deux fois plus vite, mais qu'ils les posaient au mauvais endroit, nécessitant un temps considérable pour les abattre et recommencer.

L'histoire change lorsque les chercheurs passent aux versions ultérieures de la plateforme. La différence clé n'était pas seulement que l'intelligence artificielle devenait plus intelligente, mais que la façon dont les humains et les machines travaillaient ensemble était complètement réorganisée. Dans la configuration la plus avancée, l'intelligence artificielle n'était plus seulement un outil pour les individus ; elle devenait partie intégrante d'une équipe coordonnée. Le système créait un espace de travail partagé où le plan, le code et le processus de révision étaient tous connectés. Les agents d'intelligence artificielle pouvaient désormais vérifier leur propre travail par rapport à des règles spécifiques avant même qu'un humain ne le voie, et ils pouvaient soumettre leur code pour révision de la même manière qu'un humain le ferait. Cette version introduisait également une approche hybride où les humains et les machines travaillaient côte à côte sur les mêmes tâches, partageant la responsabilité.

Lorsque les chercheurs ont comparé la configuration finale, la plus avancée, à l'approche traditionnelle uniquement humaine, les résultats ont été frappants. Le temps total pour mener à bien les trois projets est passé de trente-six semaines à un peu plus de neuf semaines. Il ne s'agissait pas seulement de travailler plus vite ; la qualité du travail s'est également améliorée. Le nombre d'erreurs trouvées lors de la phase de test finale a chuté de manière spectaculaire, passant de plus de huit problèmes pour cent tâches à seulement deux. De plus, le pourcentage d'exigences satisfaites correctement dès la première version est passé de soixante-dix-sept pour cent à plus de quatre-vingt-dix pour cent. L'étude a également modélisé l'effort requis, estimant que le travail de la nouvelle équipe, qui comprenait des agents d'intelligence artificielle, équivalait à quatre-vingt-sept pour cent de moins d'effort de la part d'experts humains de haut niveau par rapport à l'ancienne méthode de travail.

Les chercheurs ont pris soin de noter que ces conclusions décrivent ce qui s'est passé dans cette entreprise spécifique avec ces projets spécifiques. Ils n'ont pas affirmé que l'intelligence artificielle seule était la cause de ces résultats. Ils ont plutôt suggéré que la magie résidait dans l'orchestration. Les premières versions, qui se contentaient de donner des outils aux individus, amélioraient la vitesse mais nuisaient à la qualité. Les versions ultérieures, qui intégraient l'intelligence artificielle dans un flux de travail structuré avec un contexte partagé et des vérifications rigoureuses, amélioraient à la fois la vitesse et la qualité. L'étude implique que l'avenir de la livraison de logiciels ne réside pas dans le remplacement des humains par des machines, ni dans le simple fait de donner des machines aux humains pour qu'ils les utilisent comme bon leur semble. Au contraire, les gains les plus importants surviennent lorsque les humains et les machines sont tissés ensemble dans un système unique et coordonné où les forces de l'un compensent les faiblesses de l'autre.

Cette recherche offre un portrait clair de la manière dont l'intelligence artificielle mûrit dans le monde réel. Elle dépasse l'idée simple d'un assistant de saisie rapide pour montrer comment une équipe d'humains et de machines peut opérer comme un tout unifié. Les données suggèrent que lorsque l'intelligence artificielle est intégrée dans un flux de travail comprenant la planification, la validation et la révision, elle peut aider les équipes à livrer des systèmes complexes beaucoup plus rapidement et avec moins d'erreurs. Bien que l'étude soit limitée à une seule organisation et ne puisse prouver que cela se produira partout, elle constitue un compte rendu descriptif solide de ce qui est possible lorsque la technologie est traitée non pas comme un simple outil, mais comme un partenaire dans un processus soigneusement conçu. La voie à suivre, suggère l'évidence, n'est pas de savoir à quelle vitesse la machine peut écrire du code, mais de savoir comment l'équipe peut organiser le travail afin que la machine et l'humain puissent construire quelque chose de meilleur ensemble.