AI-assisted Script Management for Requirements Elicitation Interviews
Questo articolo presenta e valuta un flusso di lavoro per la gestione degli script assistito dall'IA per le interviste di elicitazione dei requisiti, dimostrando attraverso uno studio quasi-sperimentale che esso supera gli approcci basati solo sulla formazione nel generare script di qualità superiore, consentire domande di approfondimento più intense e produrre modelli di obiettivi più raffinati nonostante tratti meno argomenti.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di essere un detective che cerca di risolvere un mistero, ma invece di una scena del crimine, stai intervistando un testimone per capire di cosa ha bisogno di un nuovo videogioco o di un'app di shopping. Nel mondo dell'ingegneria del software, questo lavoro investigativo è chiamato "elicitation dei requisiti". L'obiettivo è porre le domande giuste per scoprire esattamente cosa vuole l'utente prima che i programmatori inizino a costruire. Se perdi un indizio o poni la domanda sbagliata, il prodotto finale potrebbe essere rotto, confuso o semplicemente inutile.
Per farlo bene, gli intervistatori di solito preparano uno "script" — un elenco di domande progettato per coprire tutti i punti importanti. Ma ecco la parte complicata: le conversazioni reali sono disordinate. Il testimone potrebbe andare fuori tema, o il detective potrebbe diventare così nervoso da dimenticare di porre la domanda più importante. È un equilibrio tra il seguire il piano e l'ascoltare ciò che la persona sta effettivamente dicendo. Per molto tempo, gli esperti hanno cercato di addestrare gli esseri umani per diventare più bravi in questo, ma e se potessimo dare al detective un assistente intelligente e invisibile che gli sussurra suggerimenti nell'orecchio mentre parla? Questa è la grande domanda che questo articolo esplora: l'intelligenza artificiale può aiutare gli esseri umani a porre domande migliori e a ottenere risposte migliori durante queste interviste?
I ricercatori della Carnegie Mellon University hanno deciso di testare questo approccio costruendo un "co-pilota" digitale per gli intervistatori. Hanno creato un sistema in due fasi. Primo, l'IA agisce come un pianificatore, leggendo gli obiettivi aziendali macroscopici di un'azienda (come "far guardare più video alle persone") e trasformandoli in un elenco intelligente di domande per l'intervista. Secondo, durante l'intervista vera e propria, l'IA agisce come un assistente in tempo reale. Ascolta la conversazione, tiene traccia di quali domande dell'elenco sono state poste e appare sullo schermo con suggerimenti per domande di approfondimento se l'intervistatore si blocca o ha bisogno di scavare più a fondo.
Per vedere se questo funzionasse, hanno organizzato una sfida tra due gruppi di intervistatori. Un gruppo era composto da un gruppo di brillanti studenti laureati che avevano seguito un corso su come intervistare le persone (il gruppo "Solo Formazione"). L'altro gruppo era un gruppo simile di studenti che non avevano alcuna formazione speciale, ma che ricevevano l'aiuto del co-pilota IA (il gruppo "Assistito da IA"). Era come confrontare un detective veterano che conosce tutte le regole contro un detective esordiente che ha un GPS super intelligente e una guida di riferimento.
I risultati sono stati sorprendenti e hanno dimostrato che l'IA non si è limitata ad aiutare; ha cambiato l'intero stile dell'intervista. Gli script generati dall'IA erano di qualità molto superiore, con un punteggio di 92,8 su 100 rispetto ai 74,8 di quelli scritti dagli umani. Ma la vera magia è accaduta durante le interviste. Gli intervistatori assistiti dall'IA non hanno cercato di sbrigare velocemente un lungo elenco di argomenti. Invece, si sono concentrati su meno argomenti ma sono andati molto più a fondo. Hanno posto circa 3,4 domande di approfondimento per ogni argomento trattato, mentre gli umani formati ne hanno poste solo 1,15.
Pensa di scavare alla ricerca di un tesoro. Gli umani formati erano come persone con una rete larga, che la lanciavano su un'area enorme catturando pochi pesci in molti punti diversi. Gli intervistatori assistiti dall'IA erano come persone con un unico buco profondo; rimanevano in un posto e scavavano verso il basso, scoprendo un "tesoro" molto più dettagliato e specifico (quello che i ricercatori chiamano "requisiti di basso livello"). Poiché hanno scavato più a fondo, la mappa finale di ciò che gli utenti volevano era più dettagliata e utile.
Tuttavia, l'articolo fa attenzione a non dire che l'IA sia una bacchetta magica che risolve tutto. I ricercatori hanno scoperto che i suggerimenti delle "domande di approfondimento" dell'IA non erano sempre perfetti; gli intervistatori spesso ignoravano le parole specifiche suggerite dall'IA perché le sentivano un po' stanche o lente. Invece, il vero superpotere dell'IA era il "tracciatore di argomenti". Era come una dashboard amichevole che diceva all'intervistatore: "Ehi, non hai ancora chiesto della schermata di accesso" oppure "Hai parlato di pagamenti per un po', forse dovresti approfondire qui?". Gli intervistatori hanno adorato questa funzione, considerandola la parte più utile del sistema.
Quindi, qual è la conclusione? Lo studio suggerisce che dare a una persona non addestrata un assistente IA intelligente può in realtà produrre risultati migliori rispetto a dare a una persona formata nessun aiuto. L'IA ha aiutato gli intervistatori a rimanere concentrati, a porre più domande di approfondimento e a scoprire dettagli più profondi su ciò di cui gli utenti hanno realmente bisogno. Ma ha anche dimostrato che l'IA non è un sostituto del giudizio umano; i risultati migliori sono arrivati quando l'IA si è occupata del lavoro pesante di tracciamento e pianificazione, mentre l'intervistatore umano ha usato quel supporto per avere una conversazione più naturale e profonda. Non si tratta di far fare il lavoro all'IA; si tratta dell'IA che tiene la torcia affinché tu possa vedere meglio gli indizi.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.