ARQM: A Tool for Requirements Quality Analysis

Immaginate di essere l'editor di una biblioteca enorme e caotica dove ogni libro è un progetto per costruire qualcosa di nuovo: un ponte, un videogioco o un'astronave. Prima che venga posato un singolo mattone o scritta una singola riga di codice, gli architetti devono scrivere esattamente ciò di cui hanno bisogno. Questi appunti vengono chiamati "requisiti". Ma ecco il problema: gli esseri umani sono terribili nello scrivere questi appunti in modo perfetto. Si stancano, usano parole vaghe come "forse" o "veloce" e, a volte, scrivono accidentalmente cose che si contraddicono tra loro. Se il progetto è disordinato, l'edificio crolla o il gioco va in crash. Questo è il mondo dell'Ingegneria dei Requisiti (Requirement Engineering): il processo disordinato e ad alta posta in gioco di trasformare le idee umane in istruzioni chiare e rigorose per le macchine.

Per risolvere questo problema, gli scienziati costruiscono "correttori di bozze" digitali da decenni. Tradizionalmente, questi correttori erano come bibliotecari severi con una penna rossa e un elenco di regole semplici: "Se vedi la parola 'deve', è un requisito. Se vedi la parola 'processo', non lo è". Ma queste vecchie regole spesso perdevano le sfumature del linguaggio umano. Entrano in gioco l'Intelligenza Artificiale (IA) e l'Apprendimento Automatico (ML). Pensate a questi non come a seguaci di regole, ma come a apprendisti superosservatori che hanno letto milioni di documenti. Invece di limitarsi a cercare parole specifiche, imparano la vibrazione di una frase, comprendendo il contesto e il significato in un modo che i semplici elenchi non potrebbero mai fare. La grande domanda che i ricercatori si pongono è: questi apprendisti intelligenti possono fare un lavoro migliore rispetto ai vecchi bibliotecari basati su regole nel individuare cattivi progetti prima che la costruzione inizi?

Questo articolo presenta un nuovo apprendista digitale chiamato ARQM (Automated Requirements Quality Management). I ricercatori della Pennsylvania State University hanno costruito questo strumento affinché agisse come un editor instancabile e iper-attento per i documenti dei requisiti. A differenza dei suoi predecessori, che si affidavano a regole obsolete e rigide, ARQM utilizza l'IA moderna per "leggere" i documenti ed eseguire due compiti principali. Primo, agisce come un filtro di screening, setacciando un mucchio disordinato di testo per decidere: "Questa frase è effettivamente un requisito o è solo rumore di fondo?". Secondo, agisce come un ispettore della qualità, controllando se i requisiti che superano il filtro siano effettivamente buoni. Cerca specifici "odori" o violazioni basandosi sullo standard IEEE 29148 — un manuale globale su cosa renda un requisito chiaro, verificabile e non ambiguo.

Il team non si è limitato a costruire lo strumento; lo ha sottoposto a un rigoroso campo di addestramento. Hanno nutrito l'IA con migliaia di frasi provenienti da un dataset pubblico chiamato PURE (PUblic REquirements) per insegnarle a individuare i requisiti. Poi, lo hanno testato su un set speciale di documenti che erano stati accuratamente etichettati da esperti umani per controllare quattro tipi specifici di problemi di qualità: Ambiguità (è confuso?), Fattibilità (può essere fatto davvero?), Singolarità (cerca di fare troppe cose contemporaneamente?) e Verificabilità (possiamo provare che funziona?).

I risultati suggeriscono che l'apprendista IA sia effettivamente un nuovo assunto potente. Quando si è trattato di identificare semplicemente cosa è e cosa non è un requisito, il suo modello più avanzato, DistilBERT, ha performato meglio di quasi tutti gli altri metodi testati, raggiungendo un alto livello di accuratezza. Ha imparato che i requisiti spesso suonano formali e rigidi (usando parole come "dovrebbe" o "deve"), mentre i non-requisiti suonano spesso come chiacchiere amministrative. Tuttavia, l'articolo nota che l'IA non è magica; fatica ancora un po' con le sfumature più sottili e umane. Ad esempio, mentre l'IA è diventata molto brava a individuare requisiti "singolari" (focalizzati su una sola cosa), ha trovato più difficile concordare con gli umani su cosa contasse come "ambiguo" o "verificabile". Ciò suggerisce che, sebbene l'IA possa catturare gli errori ovvi, gli errori più complicati e soggettivi richiedono ancora un tocco umano.

Una delle caratteristiche più interessanti di ARQM è l'uso dell'IA Spiegabile (XAI). Invece di dire semplicemente "Questa frase è sbagliata", lo strumento evidenzia le parole specifiche che lo hanno portato a dirlo. È come un insegnante che circonda l'esatta frase con la penna rossa e scrive: "Questa parola è troppo vaga". Questo aiuta lo scrittore umano a capire perché il suo requisito debba essere corretto, invece di ricevere solo un messaggio di errore criptico.

I ricercatori sottolineano con cautela che il loro strumento non è ancora un problema risolto e perfetto. Hanno scoperto che i loro dati di addestramento presentavano alcune lacune; ad esempio, c'erano pochissimi esempi di requisiti "infattibili", il che ha reso difficile per l'IA imparare quella specifica lezione. Hanno anche notato che gli esperti umani che hanno etichettato i dati non sempre concordavano tra loro, il che significa che l'IA a volte ha dovuto imparare da istruzioni contrastanti. Nonostante queste limitazioni, lo studio suggerisce che i moderni metodi di IA sono un passo avanti significativo. Possono apprendere schemi generali che i vecchi strumenti basati su regole hanno mancato, offrendo un modo più veloce e olistico per pulire i progetti del nostro mondo digitale. L'articolo conclude che, sebbene ARQM sia un ottimo inizio, il futuro di questa tecnologia risiede nell'addestrarla su dati ancora più diversificati e nell'aiutarla a comprendere il contesto più profondo dei progetti che sta aiutando a costruire.