Orchestrating human–AI software delivery: a retrospective longitudinal field study of three software modernization programs

Nel mondo della creazione di software, il lavoro è stato a lungo inteso come un mestiere umano. Team di ingegneri si riuniscono per comprendere un problema, delineare un piano, scrivere il codice che rende operativo un programma e poi trascorrere un tempo considerevole a controllare che tale codice non contenga errori prima di rilasciarlo al pubblico. Per decenni, la misura del successo in questo campo è stata la velocità con cui un essere umano poteva completare questi passaggi. Recentemente, un nuovo tipo di aiutante è entrato nel laboratorio: l'intelligenza artificiale. Questi sistemi possono leggere enormi quantità di codice e suggerire nuove righe di testo in pochi secondi. I primi rapporti suggerivano che consegnare semplicemente questi strumenti ai singoli programmatori li avrebbe resi più veloci, proprio come dare a un carpentiere una sega elettrica invece di una sega a mano. Ma costruire un grande sistema software non significa solo tagliare il legno più velocemente; significa assicurarsi che ogni pezzo si incastri correttamente, che la struttura sia solida e che il prodotto finale funzioni come previsto. La domanda critica per il settore è diventata se questi aiutanti intelligenti possano davvero migliorare l'intero processo di costruzione di un sistema, o se stiano semplicemente accelerando i passaggi iniziali creando nuovi problemi in seguito.

Un team di ricercatori si è posto l'obiettivo di rispondere a questa domanda osservando come un'azienda reale utilizzasse questi strumenti nel tempo. Non hanno condotto un esperimento controllato in laboratorio dove potessero isolare una singola variabile. Inveve, hanno esaminato a ritroso tre grandi progetti software che l'azienda aveva già completato. Si trattava di imprese significative: una riguardava il passaggio di un sistema bancario da un vecchio linguaggio chiamato COBOL a uno moderno, un'altra era un aggiornamento massiccio di una grande piattaforma contabile e la terza era la modernizzazione di una richiesta di mutuo. I ricercatori hanno esaminato come questi progetti sono stati consegnati sotto cinque diverse configurazioni. Sono partiti da un approccio tradizionale, in cui gli esseri umani svolgevano tutto il lavoro, e poi sono passati attraverso quattro versioni successive di una nuova piattaforma che combinava ingegneri umani con agenti di intelligenza artificiale.

La prima versione di questa nuova piattaforma era essenzialmente una collezione di strumenti. In questa configurazione, gli agenti di intelligenza artificiale agivano come assistenti per i singoli ingegneri. Potevano analizzare il vecchio codice, scrivere documentazione e persino eseguire compiti specifici autonomamente. I risultati qui sono stati contrastanti. Il team ha scoperto che le fasi iniziali dei progetti, come la comprensione del vecchio codice e la pianificazione del nuovo, sono diventate molto più veloci. Tuttavia, questa velocità aveva un costo. Poiché il flusso di lavoro mancava di un sistema centrale per controllare il lavoro durante il progresso, la qualità dell'output finale ne ha risentito. Più errori sono scivolati nelle fasi successive di test, e il team ha dovuto dedicare più tempo alla loro risoluzione. Era come se i costruttori avessero imparato a posare i mattoni due volte più velocemente, ma li stavano posando nei posti sbagliati, richiedendo molto tempo per abbatterli e ricominciare da capo.

La storia è cambiata mentre i ricercatori passavano alle versioni successive della piattaforma. La differenza chiave non era solo che l'intelligenza artificiale fosse diventata più intelligente, ma che il modo in cui umani e macchine lavoravano insieme era stato completamente riorganizzato. Nella configurazione più avanzata, l'intelligenza artificiale non era più solo uno strumento per i singoli; era diventata parte di un team coordinato. Il sistema creava uno spazio di lavoro condiviso in cui il piano, il codice e il processo di revisione erano tutti connessi. Gli agenti di intelligenza artificiale potevano ora controllare il proprio lavoro rispetto a regole specifiche prima che un essere umano lo vedesse, e potevano sottoporre il proprio codice alla revisione nello stesso modo in cui farebbe un essere umano. Questa versione ha anche introdotto un approccio ibrido in cui umani e macchine lavoravano fianco a fianco sugli stessi compiti, condividendo la responsabilità.

Quando i ricercatori hanno confrontato la configurazione finale, la più avanzata, con l'approccio tradizionale basato solo sull'uomo, i risultati sono stati sorprendenti. Il tempo totale per completare i tre progetti è sceso da trentasei settimane a poco più di nove settimane. Non si trattava solo di lavorare più velocemente; anche la qualità del lavoro è migliorata. Il numero di errori riscontrati durante la fase finale di test è diminuito drasticamente, da oltre otto problemi ogni cento attività a soli due. Inoltre, la percentuale di requisiti soddisfatti correttamente al primo rilascio è salita dal settanta-sette per cento a oltre il novanta per cento. Lo studio ha anche modellato lo sforzo richiesto, stimando che il lavoro del nuovo team, che includeva agenti di intelligenza artificiale, fosse equivalente all'ottantasette per cento in meno di sforzo da parte di esperti umani di livello senior rispetto al vecchio modo di lavorare.

I ricercatori sono stati attenti a sottolineare che questi risultati descrivono ciò che è accaduto in questa specifica azienda con questi specifici progetti. Non hanno affermato che l'intelligenza artificiale da sola abbia causato questi risultati. Al contrario, hanno suggerito che la magia risiedesse nell'orchestrazione. Le prime versioni, che fornivano semplicemente strumenti ai singoli, miglioravano la velocità ma danneggiavano la qualità. Le versioni successive, che integravano l'intelligenza artificiale in un flusso di lavoro strutturato con contesto condiviso e controlli rigorosi, miglioravano sia la velocità che la qualità insieme. Lo studio implica che il futuro della consegna del software non risiede nel sostituire gli umani con le macchine, né nel dare semplicemente le macchine agli umani affinché le usino a piacimento. Piuttosto, i maggiori guadagni derivano quando umani e macchine sono intrecciati in un unico sistema coordinato, dove i punti di forza di uno compensano le debolezze dell'altro.

Questa ricerca offre un quadro chiaro di come l'intelligenza artificiale stia maturando nel mondo reale. Va oltre la semplice idea di un assistente alla digitazione più veloce per mostrare come un team di umani e macchine possa operare come un insieme unificato. I dati suggeriscono che quando l'intelligenza artificiale è inserita in un flusso di lavoro che include pianificazione, validazione e revisione, può aiutare i team a consegnare sistemi complessi molto più velocemente e con meno errori. Sebbene lo studio sia limitato a un'unica organizzazione e non possa provare che questo accadrà ovunque, fornisce un registro descrittivo molto forte di ciò che è possibile quando la tecnologia viene trattata non solo come uno strumento, ma come un partner in un processo attentamente progettato. La strada da seguire, suggerisce l'evidenza, non riguarda quanto velocemente la macchina possa scrivere codice, ma quanto bene il team possa organizzare il lavoro affinché la macchina e l'umano possano costruire qualcosa di migliore insieme.