Evidence-based stakeholder identification: Managing conflict and its impact on requirements prioritisation

In de complexe wereld van softwareontwikkeling zijn de mensen die er het meest toe doen vaak het moeilijkst te vinden. Deze individuen, bekend als stakeholders, zijn de klanten, managers en gebruikers wier behoeften het uiteindelijke product vormgeven. Als een team een sleutelfiguur mist, kan de software er niet in slagen om de juiste problemen op te lossen of kritieke risico's te negeren. Decennialang was het vinden van deze mensen een kwestie van menselijke intuïtie, waarbij werd vertrouwd op de ervaring van projectmanagers om te raden wie de meeste invloed had. Echter, naarmate projecten groter en globaler worden, is raden niet langer voldoende. De uitdaging is niet alleen het vinden van deze mensen, maar ook het begrijpen van hoe men hun tegenstrijdige meningen moet wegen. De één kan zeggen dat een specifieke gebruiker essentieel is, terwijl een ander volhardt dat diegene irrelevant is. Wanneer deze subjectieve visies botsen, worstelen traditionele methoden vaak om een duidelijk pad naar voren te vinden, waardoor teams onzeker blijven over wie er werkelijk toe doet.

Een team van onderzoekers van de Universiteit van Almería heeft een nieuwe manier voorgesteld om dit puzzelstuk op te lossen, door af te stappen van onderbuikgevoelens en over te gaan op een wiskundige benadering die ontworig is om met onenigheid om te gaan. Hun werk richt zich op een concept genaamd "salience" (opvallendheid), wat simpelweg een maatstaf is voor hoe belangrijk of invloedrijk iemand wordt geacht te zijn binnen een groep. In hun studie behandelden ze de meningen van verschillende mensen als bewijsstukken, vergelijkbaar met een jury die getuigenissen weegt. Ze gebruikten een raamwerk dat bekend staat als bewijstheorie, een methode die oorspronkelijk is ontwikkeld om met onzekerheid om te gaan, om deze subjectieve beoordelingen te combineren tot één helder beeld. De onderzoekers zochten niet alleen naar overeenstemming; ze bouwden een systeem dat specifiek is ontworpen om conflict te beheren. Door te analyseren hoeveel de aanbevelers het met elkaar oneens waren, kon hun methode bepalen welke stakeholders werkelijk centraal stonden in het project en welke slechts perifere ruis waren.

Om hun idee te testen, pasten de onderzoekers hun methode toe op een real-world dataset van een project bij University College London genaamd RALIC. Dit project hield in dat toegangscontrolesystemen voor bibliotheken en fitnesscentra werden samengevoegd, en het oorspronkelijke team had al een lijst opgesteld van 18 sleutelfiguren en 28 rollen. De onderzoekers namen een netwerk van aanbevelingen waarbij honderden mensen de invloed van anderen beoordeelden op een schaal van nul tot tien. Ze voedden deze beoordelingen aan hun systeem, dat de scores omzette in een gedeeld geloof over wie het belangrijkst was. De resultaten waren opmerkelijk. In één versie van het netwerk verminderde hun methode de initiële pool van potentiële stakeholders met bijna 85 procent, waardoor de lijst werd teruggebracht tot slechts 15 of 19 sleutelfiguren, afhankelijk van de specifieke wiskundige regel die werd gebruikt. In een andere versie was de reductie ongeveer 70 procent. Het systeem filterde de ruis succesvol uit en identificeerde een kern groep die ook mensen bevatte die het oorspronkelijke team over het hoofd had gezien, terwijl het tegelijkertijd het belang bevestigde van degenen die zij al hadden vermoed.

De studie onthulde een fascinerende relatie tussen conflict en helderheid. De onderzoekers ontdekten dat wanneer de mensen die aanbevelingen deden minder van mening verschilden, het systeem tot een kleinere, preciezere groep sleutelstakeholders kon komen. Omgekeerd, wanneer het netwerk vol conflict was, werd het systeem voorzichtiger en identificeerde het een iets grotere groep om er zeker van te zijn dat er niets essentieels werd gemist. Dit gedrag suggereert dat het niveau van onenigheid binnen een team een nuttig signaal op zichzelf is. De onderzoekers ontdekten ook dat de manier waarop mensen hun voorkeuren uiten, enorm veel uitmaakt. Ze testten drie verschillende manieren om input te verzamelen: het rangschikken van items in volgorde, het geven van een score, of het verdelen van een vast aantal punten. Ze vonden dat deze verschillende methoden significant verschillende resultaten opleverden. Zo veranderde in een netwerk met veel conflict het overstappen van een rangschikkingssysteem naar een scoresysteem de belangrijkste kenmerken volledig.

Misschien wel de meest significante bevinding was dat de specifieke groep mensen die input leverde, de uitkomst van de prioriteiten van het project veranderde. Wanneer de onderzoekers de prioriteiten bepaald door de gehele groep stakeholders vergeleken met die bepaald door de "sleutelstakeholders" die door hun methode waren geïdentificeerd, waren de resultaten vaak statistisch verschillend. Dit betekent dat het vertrouwen op de meningen van iedereen kan leiden tot een andere set doelen dan het vertrouwen op de meningen van de meest invloedrijke mensen. In sommige gevallen gaf de "menigte" prioriteit aan functies waar de sleutelstakeholders niet om gaven, en vice versa. De studie suggereert dat als een team niet zorgvuldig filtert naar wie ze luisteren, ze het risico lopen software te bouwen die de massa tevreden stelt, maar faalt voor de enkelingen die het succes van het project werkelijk aandrijven.

De onderzoekers concludeerden dat hun benadering een praktische, geautomatiseerde manier biedt om de juiste mensen te identificeren waar naar geluisterd moet worden, door een rommelig, subjectief proces om te zetten in een gestructureerd, kwantitatief proces. Ze beweerden niet elk probleem in softwareontwikkeling te hebben opgelost, maar ze toonden aan dat het managen van conflict niet alleen gaat over het gladstrijken van zaken; het gaat over het gebruiken van dat conflict om de lijst van wie belangrijk is te verfijnen. Door de meningen van stakeholders te behandelen als data die gecombineerd en geanalyseerd kunnen worden, kunnen teams verder gaan dan intuïtie en beslissingen nemen op basis van een duidelijke consensus. Dit werk benadrukt dat in het complexe web van moderne softwareprojecten weten naar wie je luistert even cruciaal is als weten wat je moet bouwen. De studie dient als een herinnering dat de weg naar een succesvol project vaak niet begint met een lijst met functies, maar met een precies begrip van het menselijke netwerk dat erachter staat.