Team Diversity Promotes Software Fairness: An Experiment on Fairness-Aware Requirements Prioritization

Probleemstelling

Er is een groeiende bezorgdheid over de eerlijkheid (fairness) en bias in softwaresystemen, vooral in AI-gedreven toepassingen die beslissingen nemen die invloed hebben op toegang tot essentiële diensten zoals gezondheidszorg, financiën en justitie. Hoewel veel onderzoek zich richt op algoritmen en data, is er beperkt inzicht in hoe eerlijkheid wordt aangepakt in de vroege fasen van softwareontwikkeling, specifiek tijdens het prioriteren van requirements.

De kernvraag is hoe teamdiversiteit de besluitvorming beïnvloedt. Hoewel diversiteit vaak wordt aangeprezen als een middel voor creativiteit, ontbreekt er empirisch bewijs over hoe specifieke dimensies van diversiteit (zoals seksuele geaardheid) de bewustwording van en reactie op eerlijkheidsrisico's beïnvloeden tijdens technische taken. Bestaande studies focussen vaak op demografische representatie op organisatieniveau, maar onderzoeken zelden de link tussen teamcompositie en eerlijkheidsbewuste besluitvorming in de praktijk.

Methodologie

De auteurs voerden een gecontroleerd experiment uit om de relatie tussen teamdiversiteit (specifiek seksuele geaardheid) en eerlijkheidsbewustzijn te onderzoeken.

• Deelnemers: 27 paren software-engineeringstudenten (totaal 54 studenten).
  • Groep 1: 13 "LGBTQ-diverse" paren (waarbij minstens één persoon zich identificeerde als LGBTQIA+).
  • Groep 2: 14 "niet-diverse" paren (beide personen identificeerden zich als heteroseksueel).
• Opdracht: De paren kregen een lijst van 24 gebruikersverhalen (user stories) voor een fictief AI-systeem voor kredietrisico-evaluatie. Deze verhalen waren vooraf geclassificeerd door onderzoekers in drie categorieën:
  1. Eerlijkheids-gericht (Fairness-aligned): Features die gelijke behandeling bevorderen.
  2. Eerlijkheids-risicovol (Fairness-risking): Features die bias of uitsluiting kunnen veroorzaken.
  3. Neutraal: Features zonder directe link tot eerlijkheid.
• Proces: De paren moesten elk verhaal prioriteren op een schaal van 1 (niet implementeren) tot 4 (hoogste prioriteit) en hun redenering schriftelijk toelichten.
• Data-analyse:
  • Kwantitatief: Beschrijvende statistieken om prioriteringsgedrag te analyseren (bijv. aantal correcte prioriteringen, aantal fouten).
  • Kwalitatief: Thematische analyse van de geschreven rechtvaardigingen om de onderliggende redenering te begrijpen.
• Ethiek: Demografische data (inclusief seksuele geaardheid) werden na de taak anoniem verzameld om bias in de koppeling te voorkomen en privacy te waarborgen.

Belangrijkste Bijdragen

1. Operationalisering van eerlijkheidsbewustzijn: Het paper definieert en meet eerlijkheidsbewustzijn in de context van requirements-engineering, niet alleen als een technisch probleem maar als een sociaal-cognitief proces.
2. Empirisch bewijs voor diversiteit: Het biedt een van de eerste gecontroleerde studies die aantonen dat teams met LGBTQIA+-leden systematisch anders omgaan met eerlijkheidsrisico's dan homogene teams.
3. Koppeling aan vroege fasen: Het benadrukt dat eerlijkheid moet worden aangepakt tijdens de requirements-fase, voordat bias in het systeem wordt ingebouwd, en dat teamdiversiteit hierbij een preventieve rol speelt.

Resultaten

De analyse toonde significante verschillen in gedrag en redenering tussen de twee groepen:

• Prioriteringsgedrag:

  • Beide groepen toonden over het algemeen een alignement met eerlijkheidsprincipes.
  • LGBTQ-diverse paren waren echter consistenter in het afwijzen van eerlijkheids-risicovolle verhalen. Ze gaven gemiddeld 5,23 van deze verhalen een lage prioriteit (score 1), tegenover 4,29 bij de niet-diverse groep.
  • De LGBTQ-diverse groep behaalde een hogere totale "pro-fairness score" (6,92 vs. 6,50 per paar), gedreven door hun scherper vermogen om schadelijke features te filteren.
  • Fouten (Misprioritization): De LGBTQ-diverse groep maakte minder fouten (2,15 per paar vs. 2,29), wat betekent dat ze minder vaak eerlijkheids-gerichte features afwezen of risicovolle features accepteerden.

• Redenering en Thematische Analyse:

  • LGBTQ-diverse paren: Hun redenering was expliciet gericht op inclusie, non-discriminatie en ethische verantwoordelijkheid. Ze zagen eerlijkheid als een leidend principe. Ze waren besluitvaardiger in het afwijzen van schadelijke opties en meer voorzichtig bij het evalueren van positieve opties.
  • Niet-diverse paren: Hun redenering was meer pragmatisch en doelgericht. Ze focusten op projectscope, winstgevendheid, technische haalbaarheid en juridische compliance. Hoewel ze ethische overwegingen maakten, was dit vaak reactief of in balans met zakelijke doelen, wat leidde tot meer twijfel (neutrale scores) bij het afwijzen van risicovolle verhalen.

Betekenis en Conclusie

De studie concludeert dat teamdiversiteit, specifiek in termen van seksuele geaardheid, de kwaliteit van softwareontwikkeling verbetert door de identificatie en interpretatie van eerlijkheidsrisico's te versterken.

• Voor de praktijk: Organisaties moeten diversiteit niet alleen zien als een kwestie van representatie, maar als een cruciaal mechanisme voor risicobeheer en kwaliteitsborging. Inclusieve teams zijn beter in staat om onbewuste aannames te challenge en bias te voorkomen voordat deze in het systeem terechtkomen.
• Voor onderzoek: Het paper pleit voor het integreren van eerlijkheid als een "first-class requirement" in de vroege fasen van het ontwikkelproces. Het suggereert dat eerlijkheid niet alleen een technisch probleem is dat met audits opgelost kan worden, maar een sociaal proces dat afhankelijk is van wie er aan de tafel zit.
• Toekomst: De auteurs benadrukken dat dit een eerste stap is en dat toekomstig onderzoek zich moet richten op intersektionaliteit (de combinatie van ras, geslacht, etc.) en de generaliseerbaarheid naar professionele teams.

Kortom, de studie levert bewijs dat inclusieve teamcompositie direct bijdraagt aan de eerlijkheid en betrouwbaarheid van AI-systemen door een meer reflectieve en ethisch onderbouwde besluitvorming tijdens de requirements-analyse.