Orchestrating human–AI software delivery: a retrospective longitudinal field study of three software modernization programs

In de wereld van het bouwen van software werd het werk lang beschouwd als een menselijk ambacht. Teams van ingenieurs komen samen om een probleem te begrijpen, een plan te schetsen, de code te schrijven die een programma laat draaien, en besteden vervolgens aanzienlijke tijd aan het controleren van die code op fouten voordat ze deze aan het publiek vrijgeven. Decennialang was de maatstaf voor succes in dit vakgebied hoe snel een mens deze stappen kon voltooien. Onlangs is er een nieuw soort helper de werkplaats binnengekomen: kunstmatige intelligentie. Deze systemen kunnen enorme hoeveelheden code lezen en in enkele seconden nieuwe regels tekst suggereren. Vroege rapporten suggereerden dat het simpelweg geven van deze tools aan individuele programmeurs hen veel sneller zou maken, vergelijkbaar met het geven van een cirkelzaag aan een timmerman in plaats van een handzaag. Maar het bouwen van een groot softwaresysteem gaat niet alleen over het sneller zagen van hout; het gaat erom dat elk stuk precies past, dat de structuur stevig is en dat het eindproduct werkt zoals de bedoeling is. De cruciale vraag voor de industrie is geworden of deze intelligente helpers het hele proces van het bouwen van een systeem werkelijk kunnen verbeteren, of dat ze slechts de eerste stappen versnellen terwijl ze later in het proces nieuwe problemen creëren.

Een team van onderzoekers zette zich in om deze vraag te beantwoorden door te observeren hoe een echt bedrijf deze tools door de tijd heen gebruikte. Ze voerden geen gecontroleerd experiment uit in een laboratorium waar ze een enkele variabele konden isoleren. In plaats daarvan keken ze terug op drie grote softwareprojecten die het bedrijf al had voltooid. Dit waren significante ondernemingen: één betrof het verplaatsen van een banksysteem van een oude taal genaamd COBOL naar een moderne taal, een ander was een enorme update van een groot boekhoudplatform, en de derde was een modernisering van een hypotheekaanvraag. De onderzoekers onderzochten hoe deze projecten werden opgeleverd onder vijf verschillende opstellingen. Ze begonnen met een traditionele aanpak, waarbij mensen al het werk deden, en bewogen zich vervolgens door vier opeenvolgende versies van een nieuw platform dat menselijke ingenieurs combineerde met kunstmatige intelligentie-agenten.

De eerste versie van dit nieuwe platform was in essentie een verzameling hulpmiddelen. In deze opstelling fungeerden de kunstmatige intelligentie-agenten als assistenten voor individuele ingenieurs. Ze konden oude code analyseren, documentatie schrijven en zelfs specifieke taken zelfstandig uitvoeren. De resultaten hier waren gemengd. Het team merkte op dat de vroege stadia van de projecten, zoals het begrijpen van de oude code en het plannen van de nieuwe, veel sneller verliepen. Deze snelheid ging echter gepaard met een prijs. Omdat de workflow geen centraal systeem had om het werk naarmate het vorderde te controleren, leed de kwaliteit van de uiteindelijke output eronder. Meer fouten sloopten door naar de latere stadia van testen, en het team moest meer tijd besteden aan het oplossen ervan. Het was alsof de bouwers hadden geleerd om twee keer zo snel bakstenen te leggen, maar ze legden ze op de verkeerde plaatsen, waardoor er veel tijd nodig was om ze weer af te breken en opnieuw te beginnen.

Het verhaal veranderde toen de onderzoekers overgingen naar de latere versies van het platform. Het belangrijkste verschil was niet alleen dat de kunstmatige intelligentie slimmer werd, maar dat de manier waarop mensen en machines samenwerkten volledig werd geherorganiseerd. In de meest geavanceerde opstelling was de kunstmatige intelligentie niet langer slechts een hulpmiddel voor individuen; het werd onderdeel van een gecoördineerd team. Het systeem creëerde een gedeelde werkruimte waar het plan, de code en het reviewproces allemaal met elkaar verbonden waren. De kunstmatige intelligentie-agenten konden nu hun eigen werk controleren tegen specifieke regels voordat een mens het überhaupt te zien kreeg, en ze konden hun code indienen voor beoordeling op dezelfde manier als een mens dat zou doen. Deze versie introduceerde ook een hybride aanpak waarbij mensen en machines zij aan zij aan dezelfde taken werkten en de verantwoordelijkheid deelden.

Toen de onderzoekers de definitieve, meest geavanceerde opstelling vergeleken met de traditionele menselijke aanpak, waren de resultaten opmerkelijk. De totale tijd om de drie projecten te voltooien daalde van zesendertig weken naar net over negen weken. Dit was niet alleen een kwestie van sneller werken; de kwaliteit van het werk verbeterde ook. Het aantal fouten dat tijdens de laatste testfase werd gevonden, daalde drastisch, van meer dan acht problemen per honderd taken naar slechts twee. Bovendien steeg het percentage vereisten dat bij de allereerste release correct werd opgeleverd van zeventendertig procent naar meer dan negentig procent. De studie modelleerde ook de benodigde inspanning en schatte dat de arbeid van het nieuwe team, dat kunstmatige intelligentie-agenten bevatte, gelijk stond aan achtenentachtig procent minder inspanning van ervaren menselijke experts vergeleken met de oude manier van werken.

De onderzoekers merkten er zorgvuldig bij op dat deze bevindingen beschrijven wat er gebeurde in dit specifieke bedrijf met deze specifieke projecten. Ze beweerden niet dat de kunstmatige intelligentie alleen deze resultaten veroorzaakte. In plaats daarvan suggereerden ze dat de magie lag in de orchestratie. De vroege versies, die simpelweg tools aan individuen gaven, verbeterden de snelheid maar schaadden de kwaliteit. De latere versies, die de kunstmatige intelligentie integreerden in een gestructureerde workflow met gedeelde context en strikte controles, verbeterden zowel de snelheid als de kwaliteit. De studie impliceert dat de toekomst van softwarelevering niet ligt in het vervangen van mensen door machines, noch in het simpelweg geven van machines aan mensen om naar eigen goeddunken te gebruiken. In plaats daarvan komen de grootste winsten voort uit het feit dat mensen en machines in elkaar worden geweven tot één enkel, gecoördineerd systeem waarbij de sterktes van de een de zwaktes van de ander compenseren.

Dit onderzoek biedt een duidelijk beeld van hoe kunstmatige intelligentie volwassen wordt in de echte wereld. Het gaat verder dan het eenvoudige idee van een snellere typassistent om te laten zien hoe een team van mensen en machines als een eenheid kan opereren. De gegevens suggereren dat wanneer kunstmatige intelligentie is ingebed in een workflow die planning, validatie en beoordeling omvat, het teams kan helpen complexe systemen veel sneller en met minder fouten op te leveren. Hoewel de studie beperkt is tot één organisatie en niet kan bewijzen dat dit overal zal gebeuren, biedt het een sterk, beschrijvend verslag van wat mogelijk is wanneer de technologie niet alleen als een hulpmiddel, maar als een partner in een zorgvuldig ontworpen proces wordt behandeld. De weg vooruit, zo suggereren de bewijzen, gaat niet over hoe snel de machine code kan schrijven, maar over hoe goed het team het werk kan organiseren zodat de machine en de mens samen iets beters kunnen bouwen.