Orchestrating human–AI software delivery: a retrospective longitudinal field study of three software modernization programs

In der Welt der Softwareentwicklung wurde die Arbeit lange Zeit als ein menschliches Handwerk verstanden. Teams von Ingenieuren kommen zusammen, um ein Problem zu verstehen, einen Plan zu skizzieren, den Code zu schreiben, der ein Programm zum Laufen bringt, und verbringen dann beträchtliche Zeit damit, diesen Code auf Fehler zu prüfen, bevor sie ihn der Öffentlichkeit zugänglich machen. Jahrzehntelang war das Maß für den Erfolg in diesem Bereich, wie schnell ein Mensch diese Schritte abschließen konnte. Vor kurzem ist ein neuer Typ von Helfer in die Werkstatt eingetreten: künstliche Intelligenz. Diese Systeme können riesige Mengen an Code lesen und in Sekundenschnelle neue Textzeilen vorschlagen. Frühe Berichte deuteten darauf hin, dass das bloße Überlassen dieser Werkzeuge an einzelne Programmierer sie viel schneller machen würde, ganz so, als würde man einem Zimmermann eine Kreissäge statt einer Handsäge geben. Aber der Bau eines großen Softwaresystems besteht nicht nur daraus, Holz schneller zu schneiden; es geht darum, sicherzustellen, dass jedes Stück zusammenpasst, dass die Struktur solide ist und dass das Endprodukt wie beabsichtigt funktioniert. Die entscheidende Frage für die Branche ist nun, ob diese intelligenten Helfer den gesamten Prozess des Systembaus wirklich verbessern können oder ob sie lediglich die ersten Schritte beschleunigen, während sie später neue Probleme verursachen.

Ein Forscherteam setzte sich zum Ziel, diese Frage zu beantworten, indem es beobachtete, wie ein echtes Unternehmen diese Werkzeuge im Laufe der Zeit einsetzte. Sie führten kein kontrolliertes Experiment in einem Labor durch, bei dem sie eine einzelne Variable isolieren konnten. Stattdessen blickten sie auf drei große Softwareprojekte zurück, die das Unternehmen bereits abgeschlossen hatte. Dies waren bedeutende Unterfangen: Eines beinhaltete die Migration eines Bankensystems von einer alten Sprache namens COBOL zu einer modernen, ein weiteres war eine massive Aktualisierung einer großen Buchhaltungsplattform, und das dritte war eine Modernisierung einer Hypothekenanwendung. Die Forscher untersuchten, wie diese Projekte unter fünf verschiedenen Setups geliefert wurden. Sie begannen mit einem traditionellen Ansatz, bei dem Menschen die gesamte Arbeit erledigten, und bewegten sich dann durch vier aufeinanderfolgende Versionen einer neuen Plattform, die menschliche Ingenieure mit künstlichen Intelligenz-Agenten kombinierte.

Die erste Version dieser neuen Plattform war im Wesentlichen eine Sammlung von Werkzeugen. In diesem Setup fungierten die künstlichen Intelligenz-Agenten als Assistenten für einzelne Ingenieure. Sie konnten alten Code analysieren, Dokumentationen schreiben und sogar spezifische Aufgaben eigenständig ausführen. Die Ergebnisse hier waren gemischt. Das Team stellte fest, dass die frühen Phasen der Projekte, wie das Verständnis des alten Codes und die Planung des neuen, viel schneller verliefen. Dieser Geschwindigkeit war jedoch ein Preis gegenübergestellt. Da dem Arbeitsablauf ein zentrales System fehlte, das die Arbeit im Verlauf überprüfte, litt die Qualität des Endergebnisses. Mehr Fehler schlichen sich in die späteren Phasen der Testung ein, und das Team musste mehr Zeit aufwenden, um diese zu beheben. Es war, als hätten die Baumeister gelernt, Ziegel doppelt so schnell zu legen, aber sie legten sie an den falschen Stellen, was viel Zeit erforderte, um sie wieder abzureißen und von vorne zu beginnen.

Die Geschichte änderte sich, als die Forscher zu den späteren Versionen der Plattform übergingen. Der entscheidende Unterschied war nicht nur, dass die künstliche Intelligenz klüger wurde, sondern dass die Art und Weise, wie Menschen und Maschinen zusammenarbeiteten, komplett neu organisiert wurde. In dem fortschrittlichsten Setup war die künstliche Intelligenz nicht länger nur ein Werkzeug für Einzelpersonen; sie wurde Teil eines koordinierten Teams. Das System schuf einen gemeinsamen Arbeitsraum, in dem der Plan, der Code und der Überprüfungsprozess miteinander verbunden waren. Die künstlichen Intelligenz-Agenten konnten nun ihre eigene Arbeit gegen spezifische Regeln prüfen, bevor ein Mensch sie überhaupt sah, und sie konnten ihren Code auf dieselbe Weise zur Überprüfung einreichen, wie es ein Mensch tun würde. Diese Version führte auch einen hybriden Ansatz ein, bei dem Menschen und Maschinen Seite an Seite an denselben Aufgaben arbeiteten und die Verantwortung teilten.

Als die Forscher das finale, fortschrittlichste Setup mit dem traditionellen, rein menschlichen Ansatz verglichen, waren die Ergebnisse beeindruckend. Die Gesamtzeit für den Abschluss der drei Projekte sank von sechsunddreißig Wochen auf etwas mehr als neun Wochen. Dies war nicht nur eine Frage des schnelleren Arbeitens; auch die Qualität der Arbeit verbesserte sich. Die Anzahl der Fehler, die während der finalen Testphase gefunden wurden, sank drastisch von mehr als acht Problemen pro hundert Aufgaben auf nur zwei. Darüber hinaus stieg der Prozentsatz der Anforderungen, die beim ersten Release korrekt erfüllt wurden, von siebundensiebzig Prozent auf über neunzig Prozent. Die Studie modellierte auch den erforderlichen Aufwand und schätzte, dass die Arbeit des neuen Teams, das künstliche Intelligenz-Agenten einschloss, einer Reduktion des Aufwands durch hochqualifizierte menschliche Experten um siebenundachtzig Prozent gegenüber der alten Arbeitsweise entsprach.

Die Forscher betonten sorgfältig, dass diese Ergebnisse beschreiben, was in diesem spezifischen Unternehmen mit diesen spezifischen Projekten geschah. Sie behaupteten nicht, dass die künstliche Intelligenz allein diese Ergebnisse verursacht hat. Stattdessen deuteten sie an, dass die Magie in der Orchestrierung lag. Die frühen Versionen, die lediglich Werkzeuge für Einzelpersonen bereitstellten, verbesserten die Geschwindigkeit, beeinträchtigten aber die Qualität. Die späteren Versionen, die die künstliche Intelligenz in einen strukturierten Arbeitsablauf mit gemeinsamem Kontext und strengen Kontrollen integrierten, verbesserten sowohl die Geschwindigkeit als auch die Qualität gleichzeitig. Die Studie impliziert, dass die Zukunft der Softwarebereitstellung nicht darin liegt, Menschen durch Maschinen zu ersetzen, noch darin, Maschinen einfach den Menschen zur freien Verfügung zu geben. Vielmehr ergeben sich die größten Gewinne daraus, wenn Menschen und Maschinen zu einem einzigen, koordinierten System verwoben werden, in dem die Stärken des einen die Schwächen des anderen kompensieren.

Diese Forschung zeichnet ein klares Bild davon, wie sich künstliche Intelligenz in der realen Welt reift. Sie geht über die einfache Idee eines schnelleren Tipp-Assistenten hinaus und zeigt, wie ein Team aus Menschen und Maschinen als eine Einheit operieren kann. Die Daten legen nahe, dass künstliche Intelligenz, wenn sie in einen Arbeitsablauf eingebettet ist, der Planung, Validierung und Überprüfung umfasst, Teams dabei helfen kann, komplexe Systeme viel schneller und mit weniger Fehlern zu liefern. Obwohl die Studie auf eine einzige Organisation beschränkt ist und nicht beweisen kann, dass dies überall so geschehen wird, bietet sie ein starkes, beschreibendes Zeugnis dessen, was möglich ist, wenn die Technologie nicht nur als Werkzeug, sondern als Partner in einem sorgfältig gestalteten Prozess behandelt wird. Der Weg nach vorn liegt laut der Evidenz nicht darin, wie schnell die Maschine Code schreiben kann, sondern wie gut das Team die Arbeit organisieren kann, damit Mensch und Maschine gemeinsam etwas Besseres erschaffen können.