A Multi-Objective Evaluation Framework for Analyzing Utility-Fairness Trade-Offs in Machine Learning Systems

Probleemstelling

De evaluatie van eerlijkheid (fairness) in Machine Learning (ML) systemen, met name in de biomedische beeldvorming, staat voor complexe uitdagingen. Traditionele benaderingen evalueren modellen vaak op basis van één enkele metriek of een enkelvoudig compromis tussen nut (utility, zoals diagnose-accuraatheid) en eerlijkheid. Dit leidt tot de volgende problemen:

• Meervoudige conflicterende doelen: Eerlijkheid is multidimensionaal (bijv. ras, geslacht, leeftijd). Het optimaliseren van één aspect kan negatieve gevolgen hebben voor een ander.
• Gebrek aan vergelijkbaarheid: Bestaande tools (zoals Fairlearn) evalueren vaak individuele modellen, maar bieden geen gestructureerde manier om het geheel van mogelijke compromisoplossingen (de trade-off ruimte) van verschillende systemen met elkaar te vergelijken.
• Abstractie vs. Realiteit: Het reduceren van eerlijkheid tot één scalair getal kan de nuance van demografische dispariteiten verliezen, vooral in kritieke domeinen zoals medische beeldvorming waar bias levensbedreigend kan zijn.

Er is een behoefte aan een raamwerk dat het volledige spectrum van utility-fairness trade-offs kan analyseren, waarbij meerdere eerlijkheidscriteria en nutsmetriken gelijktijdig worden beschouwd.

Methodologie

Het artikel introduceert een model-agnostisch multi-objectief evaluatiekader gebaseerd op principes van Multi-Objective Optimization (MOO). In plaats van één "beste" model te zoeken, analyseert het kader de verzameling van niet-gedomineerde oplossingen (de Pareto Front) die een ML-systeem kan genereren.

Kerncomponenten van het kader:

1. Evaluatie Scenario's:

   • Black-box: Evaluatie van een reeds ingezet model zonder aanpassingsmogelijkheden.
   • White-box: Evaluatie waarbij het model kan worden getuned (bijv. via drempelwaarden of hyperparameters) om verschillende punten op de trade-off curve te bereiken.
   • Hybride: Een combinatie van beide.

2. MOO Prestatie-indicatoren:
   Het kader gebruikt vier complementaire metrieken om de kwaliteit van de benaderde Pareto Front (PF) te kwantificeren:

   • Convergentie-Diversiteit (Hypervolume - HV): Meet het volume in de objectieve ruimte dat wordt bedekt door de oplossingen ten opzichte van een referentiepunt. Een hogere HV geeft aan dat het systeem zowel dicht bij de ideale oplossing ligt als een goede spreiding heeft.
   • Diversiteit:
     • Uniform Distribution (UD): Meet hoe gelijkmatig de oplossingen over de ruimte zijn verdeeld.
     • Average Spread (AS): Een variant van de "Overall Pareto Spread" (OS) die minder gevoelig is voor extreme waarden; meet hoe goed de oplossingen de uiterste punten van de PF benaderen.
   • Capaciteit (Cardinality):
     • ONVG/ONVGR: Het aantal niet-gedomineerde oplossingen. Meer oplossingen bieden meer flexibiliteit voor besluitvorming.

3. Visualisatie en Aggregatie:

   • Radargrafiek (Radar Chart): De vier indicatoren worden visueel samengevat in een radargrafiek. Dit maakt een snelle kwalitatieve vergelijking mogelijk tussen verschillende systemen.
   • Oppervlakte-metriek ($\Delta$): De oppervlakte van de polygonen in de radargrafiek wordt berekend (via de Surveyor's formule) en genormaliseerd. Dit levert één kwantitatieve score op die de algehele prestatie van het systeem samenvat (analoog aan AUC bij ROC-curves).

4. Data-voorbereiding:

   • Deduplicatie: Om te voorkomen dat identieke of zeer vergelijkbare modellen de metrieken vertekenen, wordt een DBSCAN-clustering toegepast om dubbele punten binnen een $\epsilon$-omgeving te verwijderen.
   • A priori vs. A posteriori: Het kader ondersteunt zowel evaluatie op een validatieset (voor het selecteren van operationele punten) als directe evaluatie op de testset.

Belangrijkste Bijdragen

1. Een nieuw evaluatiekader: Een uniek, model-agnostisch framework dat ML-systemen vergelijkt op basis van hun volledige utility-fairness trade-off spectrum, in plaats van op individuele modelprestaties.
2. Integratie van MOO-metrieken: De toepassing van geavanceerde MOO-indicatoren (HV, UD, AS, ONVG) op het domein van eerlijkheid in ML, wat een dieper inzicht geeft in de geometrie en kwaliteit van de trade-offs.
3. Visuele en kwantitatieve samenvatting: De combinatie van een meettabel en een radargrafiek biedt een compacte manier om complexe, multidimensionale data voor besluitvormers toegankelijk te maken.
4. Empirische validatie: Uitgebreide simulaties en een empirische studie op drie real-world medische datasets.
5. Open-source implementatie: Het framework is beschikbaar als Python-pakket (fairical) voor reproduceerbaarheid en hergebruik.

Resultaten

De auteurs hebben het kader getest op drie medische beeldvormingsdatasets:

1. Harvard Glaucoma Fairness (HGF): Focus op glaucoomdetectie met biasanalyse op ras en geslacht.
2. Shenzhen Chest X-ray: Focus op tuberculose-screening met biasanalyse op geslacht.
3. mBRSET Retinal Dataset: Focus op diabetische retinopathie met biasanalyse op obesitas.

Vergelijkingsstrategie:
Er werden twee systemen vergeleken per dataset:

• System1: Een baseline (bijv. DenseNet) die focust op één specifiek eerlijkheidsdoel (bijv. geslacht).
• System2: Een geavanceerdere configuratie (bijv. LoRA-ViT-Small of Pareto HyperNetworks) die focust op een ander of meerdere eerlijkheidsdoelen (bijv. ras of obesitas).

Kernbevindingen:

• Het kader kon systemen onderscheiden die visueel moeilijk te vergelijken waren in 3D-ruimtes (zoals bij HGF met twee eerlijkheidsdimensies).
• In de mBRSET-studie presteerde System2 (LoRA-ViT) beter in termen van Hypervolume en Uniformiteit, wat aangeeft dat het een bredere en betere reeks van trade-offs biedt voor obesitas-eerlijkheid.
• In de Shenzhen-studie bleek System1 (DenseNet) een betere algehele trade-off structuur te hebben voor geslachtseerlijkheid, ondanks dat System2 een bredere spreiding (AS) had.
• De radargrafieken en de $\Delta$-scores leverden een eenduidige rangschikking op die de complexe interacties tussen nut en meerdere eerlijkheidscriteria samenvatte.
• Het kader toonde aan dat het selecteren van een model puur op basis van één metriek (bijv. alleen accuracy) kan leiden tot suboptimale eerlijkheidsresultaten, en dat het kader helpt bij het vinden van het juiste compromis.

Betekenis en Impact

Dit onderzoek is significant voor het veld van AI in de gezondheidszorg en daarbuiten:

• Besluitvorming: Het biedt beleidsmakers en artsen een gestructureerde manier om te kiezen tussen verschillende ML-modellen op basis van hun specifieke behoeften aan eerlijkheid en diagnose-accuraatheid.
• Generaliseerbaarheid: Hoewel getest op medische beeldvorming, is het kader toepasbaar op elk hoog-risico domein (zoals financiën, justitie of werving) waar meerdere eerlijkheidsdoelen conflicteren.
• Transparantie: Door de trade-offs visueel en kwantitatief in kaart te brengen, maakt het de "black box" van eerlijkheidstransacties transparanter.
• Toekomstig onderzoek: Het legt een basis voor standaardisatie in de evaluatie van eerlijkheid, waarbij het niet langer gaat om het vinden van één "perfect" model, maar om het begrijpen van het volledige spectrum van mogelijke oplossingen.

Het artikel concludeert dat eerlijkheid in ML beter wordt begrepen als een multidimensionaal evaluatieprobleem, en dat dit framework een essentieel hulpmiddel is om die complexiteit te beheersen zonder de nuance te verliezen.