Applying a Requirements-Focused Agile Management Approach for Machine Learning-Enabled Systems

Sintesi Tecnica: Applicazione di un approccio di gestione Agile focalizzato sui requisiti per sistemi abilitati dal Machine Learning

Problematica
I sistemi abilitati dal Machine Learning (ML) presentano sfide uniche rispetto alla tradizionale Ingegneria dei Requisiti (RE) e alla gestione Agile. A differenza del software deterministico, i sistemi ML dipendono dalla natura dei dati, dalla sperimentazione e dall'incertezza del comportamento del modello, rendendo i risultati dipendenti dalla qualità dei dati e dalle scelte di modellazione. Sebbene la gestione Agile sia concettualmente allineata con la natura iterativa del ML, la sua applicazione diretta spesso fallisce a causa di:

• Aspettative irrealistiche dei clienti e disallineamento tra gli stakeholder aziendali e i professionisti del ML.
• Difficoltà nella pianificazione degli sprint e nella stima dello sforzo a causa della natura sperimentale dei compiti ML (ad es., pre-elaborazione dei dati, ingegneria delle caratteristiche).
• Mancanza di linee guida ben definite per adattare le pratiche agile ai progetti ML, portando a lacune comunicative e ambiguità nei requisiti.
  Gli approcci esistenti spesso non riescono ad affrontare pienamente come le preoccupazioni specifiche del ML debbano essere identificate e rese operative in requisiti azionabili sin dall'inizio del progetto.

Metodologia: L'approccio RefineML
Gli autori propongono e valutano RefineML, un approccio focalizzato sui requisiti per il raffinamento continuo e agile di sistemi abilitati dal ML. RefineML integra tre componenti principali derivanti dalla letteratura allo stato dell'arte e da uno studio di mappatura sistematica:

1. PerSpecML: Un approccio di specifica dei requisiti che struttura le preoccupazioni del ML in cinque prospettive: Obiettivi del Sistema, Esperienza Utente, Infrastruttura, Modello e Dati.
2. Agile4MLS: Un framework di gestione agile che adatta Scrum per il ML, introducendo doppi backlog (Software e ML), "Data Stories" e "Model Stories", e un principio di "due sprint di anticipo" per disaccoppiare la sperimentazione ML dallo sviluppo del software.
3. Concetti di Lean R&D: Nello specifico, il Minimal Valuable Model (MVM) (un modello vitale, non ottimale, per la consegna precoce di valore) e i Layers of Done (LoD) (milestone che definiscono la robustezza e la validazione del modello).

Fasi del processo RefineML
L'approccio struttura il ciclo di vita del progetto in quattro fasi:

• Specifica Iniziale: Utilizzando PerSpecML, il team definisce i requisiti attraverso le cinque prospettive per stabilire una comprensione comune di obiettivi e criteri di valutazione.
• Concezione: Il Product Owner struttura due backlog complementari: un Software Backlog (User Story convenzionali) e un ML Backlog (Data e Model Stories). Vengono definiti gli "Enablers" per gestire le dipendenze infrastrutturali e architettoniche.
• Fattibilità Tecnica: Il team conduce la Fattibilità dei Dati (valutando disponibilità/qualità dei dati), la Fattibilità del Modello (valutando l'idoneità dell'algoritmo) e implementa una Demo API. La Demo API emula l'output previsto del ML, consentendo al team software di procedere con l'integrazione mentre il team ML continua la sperimentazione.
• Sviluppo Agile: Seguendo Agile4MLS, il team esegue iterazioni sincronizzate. Il team ML lavora "due sprint in anticipo", evolvendo la Demo API in un MVM e successivi LoD, mentre il team software implementa le funzionalità basandosi sull'interfaccia emulata.

Contesto di Valutazione e Raccolta Dati
RefineML è stato applicato in una collaborazione Industria-Accademia (IAC) di sei mesi tra PUC-Rio ed EXA, un'azienda brasiliana di cybersecurity. Il progetto mirava a sviluppare funzionalità ML per la protezione dalle frodi online, inclusi il rilevamento di messaggi truffaldini, l'analisi degli URL e l'analisi degli screenshot.

• Partecipanti: Un team di dieci professionisti (sviluppatori e scienziati dei dati), un Project Lead e i Business Owner.
• Raccolta Dati: Un questionario basato sul Technology Acceptance Model (TAM) è stato somministrato al team di sviluppo per valutare l'Utilità Percepita, la Facilità d'Uso e l'Intenzione d'Uso. Sono state condotte interviste semi-strutturate con il Project Lead e il Business Owner.
• Analisi: I dati quantitativi sono stati analizzati tramite statistica descrittiva, mentre i dati qualitativi sono stati sottoposti ad analisi tematica.

Risultati Chiave e Conclusioni

• Capacità di Risoluzione dei Problemi: RefineML ha consegnato con successo una suite di componenti ML pronti per la produzione entro sei sprint. Il team ha consegnato un MVM funzionante precocemente nel ciclo, che ha superato la soluzione esistente di prevenzione delle frodi. L'approccio ha facilitato l'orchestrazione del lavoro a doppio binario (sperimentazione ML vs consegna del prodotto), riducendo le dipendenze bloccanti.
• Idoneità delle Fasi:
  • Specifica Iniziale: Percepita come efficace per allineare le aspettative, sebbene alcuni l'abbiano trovata "lunga" in assenza di una forte facilitazione.
  • Concezione e Fattibilità: La struttura a doppio backlog e il concetto di "Enablers" sono stati considerati cruciali per separare la sperimentazione dall'integrazione. La Fattibilità dei Dati e del Modello sono state ritenute passaggi "indispensabili" per evitare la paralisi da analisi.
  • Sviluppo: Il principio dei "due sprint di anticipo" e l'approccio MVM sono stati molto apprezzati per fornire "tranquillità" ai data scientist e prevenire la trappola della "ricerca del 99% di accuratezza".
• Accettazione Complessiva: Gli stakeholder hanno riportato un'alta utilità percepita e l'intenzione di continuare a usare RefoneML. Il Business Owner ha notato che l'approccio "ha senso" ed ha espresso l'intenzione di adottarlo per iniziative future.
• Limitazioni:
  • Operazionalizzazione: Tradurre le preoccupazioni di PerSpecML in elementi di backlog ML azionabili (Data/Model Stories) si è rivelato difficile per i professionisti meno esperti e ha richiesto una forte facilitazione esperta.
  • Stima: La natura stocastica del ML ha reso la stima dello sforzo una sfida persistente e non risolta. I professionisti hanno notato che prevedere i risultati (ad es., miglioramenti dell'accuratezza) rimane inaffidabile.
  • Complessità: Gli sviluppatori junior hanno trovato l'approccio complesso senza una guida esperta, mentre gli stakeholder senior lo hanno trovato "genuinamente semplice".

Significatività e Rivendicazioni
L'articolo sostiene che RefineML offre un framework pratico, focalizzato sui requisiti, che colma il divario tra la gestione agile e la natura sperimentale del ML. La sua primaria significatività risiede in:

1. Miglioramento della Comunicazione: Rendendo espliciti i requisiti, i vincoli e i progressi del ML attraverso artefatti come gli LoD e i doppi backlog, l'approccio riduce la percezione del ML come una "scatola nera" e migliora l'allineamento tra i team di business e quelli tecnici.
2. Scaffolding di Fattibilità: Le fasi iniziali di fattibilità (Dati/Modello) fornisiscono un quadro strutturale per ancorare i progetti alla realtà tecnica, facendo emergere i rischi precocemente e prevenendo fallimenti nelle fasi avanzate.
3. Governance della Co-evoluzione: La struttura a doppio binario consente il raffinamento continuo dei modelli ML senza ritardare la consegna del software, permettendo la consegna incrementale di valore attraverso il concetto di MVM.

Gli autori concludono modestamente che, sebbene RefineML gestisca efficacementamente la comunicazione e la governance, non risolve l'incertezza intrinseca della stima dello sforzo del ML. Suggeriscono che i miglioramenti futuri dovrebbero concentrarsi sull'abbassamento delle barriere d'ingresso per i professionisti meno esperti e sullo sviluppo di meccanismi migliori per la stima dello sforzo consapevole del ML.