Technische Samenvatting: Naar Fairness onder Labelbias in Beeldsegmentatie

Probleemdefinitie

Algoritmische bias in AI manifesteert zich vaak als prestatieverschillen tussen demografische subgroepen. Hoewel labelbias—systematische groepsvoorwaardelijke labelfouten—goed bestudeerd is in classificatie, blijft dit onderbelicht in beeldsegmentatie. In veiligheidskritieke domeinen zoals medische beeldvorming kunnen bevooroordeelde annotaties (bijvoorbeeld systematische onder- of oversegmentatie van tumoren voor specifieke patiëntenpopulaties) direct doorwerken in klinische beslissingen.

Een kritieke uitdaging is dat standaard segmentatiemetrics (Dice, IoU) complexe ruimtelijke fouten reduceren tot enkele scalars, waardoor de directionele aard van bias vaak wordt gemaskeerd. Bovendien vereist het detecteren en mitigeren van deze bias doorgaans toegang tot schone, onbevooroordeelde ground-truth-labels, die zelden beschikbaar zijn in real-world scenario's waar annotatieprotocollen inherent subjectief zijn en vatbaar voor demografisch specifieke vervormingen. Bestaande mitigerende tools gaan vaak uit van schone labels of bekende biasstructuren, waardoor er een gat blijft voor het aanpakken van labelbias wanneer ware labels onbekend zijn.

Methodologie

Het paper stelt een data-centric raamwerk voor voor het auditen en mitigeren van labelbias in segmentatie zonder dat schone ground-truth vereist is. De aanpak bestaat uit twee hoofdfasen:

1. Auditen via Aangepaste Confident Learning (CL)

De auteurs passen Confident Learning (CL), traditioneel gebruikt voor dataset-auditing in classificatie, toe op de dichte voorspellingstak van segmentatie.

• Mechanisme: In plaats van het model te diagnosticeren, behandelt het raamwerk de dataset als het onderwerp van de rechtszaak. Een segmentatiemodel fungeert als proxy om niet-geobserveerde ware labels ($y_{true}$) te schatten door zelfverzekerde voorspellingen ($\hat{y}$) te genereren via K-voudige kruisvalidatie.
• Schatting van de Gezamenlijke Verdeling: De methode berekent een pixel-level matrix van de gezamenlijke verdeling $Q(y_{obs}, \hat{y})$, waarbij $y_{obs}$ de geobserveerde (potentieel bevooroordeelde) label is. Deze matrix isoleert niet-diagonale entries die fouten vertegenwoordigen waarbij de geobserveerde label afwijkt van de zelfverzekerde voorspelling van het model.
• Directionele Metrics: Om de beperkingen van Dice/IoU te overwinnen, projecteert het raamwerk $Q$ op twee directionele assen:
  • Omissiepercentage (OmR): Pixels die als achtergrond worden geobserveerd maar zelfverzekerd als voorgrond worden voorspeld (underssegmentatie).
  • Commissiepercentage (CoR): Pixels die als voorgrond worden geobserveerd maar zelfverzekerd als achtergrond worden voorspeld (oversegmentatie).
• Biasindicatoren: Het raamwerk maakt gebruik van statistische tests om systematische bias te onderscheiden van willekeurige ruis:
  • Chi-kwadraat Onafhankelijkheidstest: Controleert of fouttypes onafhankelijk zijn van de subgroep.
  • Relatief Risico (RR): Kwantificeert de waarschijnlijkheid dat een bevooroordeelde groep fouten vertoont in vergelijking met een schone groep.
  • Symmetriescore (S): Meet of de foutverdeling evenredig is met de groepsgrootte (een hoge S impliceert uniforme ruis; een lage S impliceert bias).

2. Mitigatie via Subgroep-voorwaardelijke Decoding

De auteurs observeren dat labelbias scheidbaarheid in de feature-ruimte induceert, waarbij de encoder leert subgroepen te onderscheiden op basis van de verontreinigde annotatiepatronen in plaats van alleen visuele features. In plaats van deze scheidbaarheid te onderdrukken (zoals traditionele invariance-gebaseerde methoden doen), maakt het raamwerk hier constructief gebruik van.

• Subgroep-voorwaardelijke Decoder: De methode injecteert leerbare subgroep-conditionering in de encoder-decoder-pijplijn met behulp van Feature-wise Linear Modulation (FiLM). Tijdens training moduleren subgroep-specifieke parameters de encoder-features.
• Inferentiestrategie: Tijdens inferentie wordt het model gedwongen om voor alle inputs te conditioneren op de "schone" referentiegroep ($g_c$), ongeacht de daadwerkelijke subgroepidentiteit. Dit onderdrukt systematisch de geleerde annotatiebias.
• Asymmetrische Boundary Maskering: Om te voorkomen dat het model de bevooroordeelde boundary-stijlen leert, wordt fijne boundary-supervisie uitsluitend geleid vanuit de schone subgroep-annotaties, terwijl het interieure objectmassa wordt benut uit alle samples.
• Auto-Conditioning (Ongecontroleerde Variant): Wanneer de bevooroordeelde subgroep onbekend is, identificeert een warm-upfase de "schone" groep als die met het laagste gemiddelde verlies (stabiele verlies-aantrekkers), waardoor het systeem automatisch kan overgaan op asymmetrisch verlies.

Belangrijkste Bijdragen

1. Aanpassing van Confident Learning aan Segmentatie: Het paper introduceert een raamwerk om labelbias direct in trainingsdata te detecteren zonder schone ground-truth, met gebruikmaking van directionele metrics (Omissie/Commissie-percentages) die standaard overlap-metrics niet kunnen vastleggen.
2. Empirisch Bewijs van Feature-ruimte Scheidbaarheid: De studie toont aan dat labelbias de scheidbaarheid van subgroepen in de latente ruimte van de encoder verhoogt. Cruciaal is dat deze scheidbaarheid een artefact is van verontreinigde input en constructief kan worden benut voor mitigatie in plaats van onderdrukt.
3. Mitigatiestrategie voor Bias: Er wordt een nieuwe subgroep-voorwaardelijke decodingstrategie voorgesteld die eerlijke prestaties bereikt zonder schone labels, en die betere resultaten oplevert dan bestaande fairness-baselines (Adversarial Debiasing, Domain-Invariant Alignment, Fairness Regularization) die de oorzaak van annotatiebias niet aanpakken.

Resultaten

Het raamwerk werd geëvalueerd op drie datasets:

• CelebAMask-HQ: Gecontroleerde demografische bias (erosie/dilatatie toegepast op vrouwelijke/mannelijke maskers).
• PhC-U373: Semi-synthetische bias in annotatiestijl (gedetailleerde versus grove boundaries).
• ISIC Skin Lesions: Real-world klinische bias (systematische over-annotatie op lichte huidtinten).

Belangrijkste Bevindingen:

• Detectie: Standaard metrics (Dice/IoU) slagen er vaak niet in om bias te detecteren of leveren omgekeerde fairness-diagnoses (bijvoorbeeld: de groep met het hoogste geobserveerde Dice was eigenlijk het meest getroffen door annotatiefouten). Daarentegen identificeerde de CL-audit correct de bevooroordeelde subgroep en de aard van de fouten (omissie versus commissie) over alle datasets, zelfs zonder schone labels.
• Mitigatie: Traditionele invariance-gebaseerde methoden (Adversarial, MMD, CORAL) leverden verwaarloosbare verbeteringen op, omdat ze het demografische signaal onderdrukken zonder de onderliggende annotatiestijl te corrigeren. De voorgestelde subgroep-voorwaardelijke aanpak verkleinde prestatiekloven aanzienlijk (bijvoorbeeld het verkleinen van de Dice-kloof van ~12% naar ~0,3% op CelebAMask-HQ bij 100% bias) en herstelde symmetrie in foutpercentages.
• Feature-scheidbaarheid: Experimenten bevestigden dat naarmate labelbias toeneemt, de subgroupscheidbaarheid in de feature-ruimte monotoon toeneemt, wat de hypothese valideert dat bias de representatieruimte corrumpeert.

Betekenis en Claims

Het paper claimt een kritiek gat in algoritmische fairness voor segmentatie aan te pakken door de focus te verschuiven van model-centric fairness (uitgaande van schone data) naar data-centric bias-auditing. Het betoogt dat:

• Standaard metrics ontoereikend zijn voor fairness-evaluatie in segmentatie omdat ze de directionele aard van annotatiefouten maskeren.
• Labelbias niet louter willekeurige ruis is, maar een systematische, groepsvoorwaardelijke geometrische corruptie die de representatieruimte van het netwerk verandert.
• Constructief gebruikmaken van subgroupscheidbaarheid via conditionele decoding een effectievere strategie voor mitigatie is dan het afdwingen van invariance, wat kan leiden tot "leveling down" van prestaties.
• Het voorgestelde raamwerk betrouwbare detectie en mitigatie van bias mogelijk maakt in real-world scenario's waar schone ground-truth niet beschikbaar is, en een principiële aanpak biedt voor het auditen van annotatiepijplijnen in veiligheidskritieke toepassingen.

De auteurs erkennen beperkingen, waarbij zij noteren dat de audit vatbaar is voor extreme (100%) uniforme bias waarbij de onenigheid tussen geobserveerde en voorspelde labels afneemt, en dat de mitigatiestrategie afhankelijk is van de aanname dat ten minste één subgroep relatief onbevooroordeelde labels behoudt. Voor toekomstig werk wordt voorgesteld het raamwerk uit te breiden naar niet-uniforme morfologische operaties en andere dichte voorspellingstaken.