Applying a Requirements-Focused Agile Management Approach for Machine Learning-Enabled Systems

Technische Samenvatting: Het toepassen van een eisen-georiënteerde Agile Management-aanpak voor Machine Learning-ondersteunde systemen

Probleemstelling
Machine Learning (ML)-ondersteunde systemen brengen unieke uitdagingen met zich mee voor traditioneel Requirements Engineering (RE) en Agile management. In tegenstelling tot deterministische software, zijn ML-systemen afhankelijk van data, experimentatie en onzeker modelgedrag, waardoor resultaten afhankelijk zijn van datakwaliteit en keuzes in modellering. Hoewel Agile management conceptueel aansluit bij de iteratieve aard van ML, faalt de directe toepassing ervan vaak door:

• Onrealistische verwachtingen van klanten en een gebrek aan afstemming tussen zakelijke belanghebbenden en ML-praktijkexperts.
• Moeilijkheden bij sprintplanning en inspattingsschattingen vanwege het experimentele karakter van ML-taken (bijv. data-preprocessing, feature engineering).
• Een gebrek aan goed gedefinieerde richtlijnen voor het afstemmen van agile praktijken op ML-projecten, wat leidt tot communicatiekloven en ambiguïteit in eisen.
  Bestaande benaderingen slagen er vaak niet in om volledig te adresseren hoe ML-specifieke zorgen geïdentificeerd en geoperationaliseerd moeten worden tot actiegerichtbare eisen vanaf de start van het project.

Methodologie: De RefineML-aanpak
De auteurs stellen RefineML voor en evalueren dit: een eisen-georiënteerde aanpak voor de continue en agile verfijning van ML-ondersteunde systemen. RefineML integreert drie kerncomponenten afgeleid van state-of-the-art literatuur en een systematische mapping-studie:

1. PerSpecML: Een methode voor het specificeren van eisen die ML-zorgen structureert in vijf perspectieven: Systeemdoelstellingen, Gebruikerservaring, Infrastructuur, Model en Data.
2. Agile4MLS: Een agile managementframework dat Scrum aanpast voor ML, waarbij dubbele backlogs worden geïntroduceerd (Software en ML), "Data Stories" en "Model Stories", en een "twee-sprints-vooruit"-principe om ML-experimentatie te ontkoppelen van softwareontwikkeling.
3. Lean R&D-concepten: Specifiek het Minimal Valuable Model (MVM) (een levensvatbaar, niet-optimaal model voor vroege waardeverlevering) en Layers of Done (LoD) (mijlpalen die de robuustheid en validatie van het model definiëren).

RefineML Procesfasen
De aanpak structureert de projectlevenscyclus in vier fasen:

• Initiële Specificatie: Met behulp van PerSpecML definieert het team eisen over de vijf perspectieven om een gemeenschappelijk begrip van doelen en evaluatiecriteria te vestigen.
• Conceptie: De Product Owner structureert twee complementaire backlogs: een Software Backlog (conventionele User Stories) en een ML Backlog (Data en Model Stories). "Enablers" worden gedefinieerd om infrastructuur en architecturale afhankelijkheden te beheren.
• Technische Haalbaarheid: Het team voert Data Feasibility uit (beoordeling van beschikbaarheid/kwaliteit van data), Model Feasibility (beoordeling van algoritme-geschiktheid) en implementeert een Demo API. De Demo API emuleert de verwachte ML-output, waardoor het softwareteam kan doorgaan met integratie terwijl het ML-team doorgaat met experimentatie.
• Agile Ontwikkeling: Volgens Agile4MLS voert het team gesynchroniseerde iteraties uit. Het ML-team werkt "twee sprints vooruit", waarbij de Demo API evolueert naar een MVM en daaropvolgende LoDs, terwijl het softwareteam functies implementeert op basis van de geëmuleerde interface.

Evaluatiecontext en Dataverzameling
RefineML werd toegepast in een zes maanden durende Industrie-Academische Samenwerking (IAC) tussen PUC-Rio en EXA, een Braziliaans cybersecuritybedrijf. Het project had als doel ML-functies te ontwikkelen voor online fraudebestrijding, inclusief detectie van scam-berichten, URL-analyse en screenshot-analyse.

• Deelnemers: Een team van tien professionals (ontwikkelaars en data scientists), een Project Lead en Business Owners.
• Dataverzameling: Een vragenlijst gebaseerd op het Technology Acceptance Model (TAM) werd afgenomen bij het ontwikkelteam om de Waargenomen Bruikbaarheid, Gebruiksgemak en Gebruiksintentie te beoordelen. Semi-gestructureerde interviews werden gehouden met de Project Lead en de Business Owner.
• Analyse: Kwantitatieve data werd geanalyseerd met descriptieve statistiek, terwijl kwalitatieve data onderging aan thematische analyse.

Belangrijkste Resultaten en Bevindingen

• Probleemoplossend vermogen: RefineML leverde succesvol een productie-klaar pakket aan ML-componenten binnen zes sprints. Het team leverde vroeg in de cyclus een werkend MVM dat de bestaande fraudepreventieoplossing overtrof. De aanpak faciliteerde de orkestratie van dual-track werk (ML-experimentatie versus productlevering), waardoor blokkerende afhankelijkheden werden verminderen.
• Geschiktheid van Fasen:
  • Initiële Specificatie: Werd gezien als effectief voor het afstemmen van verwachtingen, hoewel sommigen het zonder sterke facilitatie als "langdurig" ervoeren.
  • Conceptie & Haalbaarheid: De dubbele backlog-structuur en het "Enablers"-concept werden gezien als cruciaal voor het scheiden van experimentatie en integratie. Data en Model Feasibility werden beschouwd als "must-have" stappen om analyse-verlamming te voorkomen.
  • Ontwikkeling: Het "twee-sprints-vooruit"-principe en de MVM-aanpak werden zeer gewaardeerd omdat ze "gemoedsrust" boden aan data scientists en de "zoektocht naar 99% nauwkeurigheid"-val voorkomen.
• Algehele Acceptatie: Stakeholders rapporteerden een hoge waargenomen bruikbaarheid en een intentie om RefineML te blijven gebruiken. De Business Owner merkte op dat de aanpak "zin heeft" en uitte de intentie om het voor toekomstige initiatieven te adopteren.
• Beperkingen:
  • Operationalisering: Het vertalen van PerSpecML-zorgen naar actiegerichtbare ML-backlogitems (Data/Model Stories) bleek moeilijk voor minder ervaren professionals en leunde zwaar op ervaren facilitatie.
  • Schatting: De stochastische aard van ML maakte inspattingsschatting een hardnekkig, onopgelost probleem. Professionals merkten op dat het voorspellen van uitkomsten (bijv. verbeteringen in nauwkeurigheid) onbetrouwbaar blijft.
  • Complexiteit: Junior ontwikkelaars vonden de aanpak complex zonder ervaren begeleiding, terwijl senior stakeholders het als "werkelijk eenvoudig" ervoeren.

Betekenis en Claims
Het artikel claimt dat RefineML een praktische, eisen-georiënteerde framework biedt die de kloof overbrugt tussen agile management en de experimentele aard van ML. De primaire betekenis ligt in:

1. Verbeterde Communicatie: Door ML-eisen, beperkingen en voortgang expliciet te maken via artefacten zoals LoDs en dubbele backlogs, vermindert de aanpak de perceptie van ML als een "black box" en verbetert het de afstemming tussen zakelijke en technische teams.
2. Scaffolding van Haalbaarheid: De vroege haalbaarheidsfasen (Data/Model) bieden een structureel kader om projecten te funderen in de technische realiteit, waardoor risico's vroegtijdig aan het licht komen en laat-fase mislukkingen worden voorkomen.
3. Co-evolutie Governance: De dual-track structuur maakt continue verfijning van ML-modellen mogelijk zonder de softwarelevering te vertragen, wat incrementele waardeverlevering mogelijk maakt via het MVM-concept.

De auteurs concluderen bescheiden dat hoewel RefineML communicatie en governance effectief beheert, het de intrinsieke onzekerheid van ML-inspattingsschattingen niet oplost. Ze suggereren dat toekomstige verbeteringen zich moeten richten op het verlagen van de instapdrempel voor minder ervaren professionals en het ontwikkelen van betere mechanismen voor ML-bewuste inspattingsschattingen.