📊 statistics

A Distribution Mapping Approach to Counterfactually Fair Reinforcement Learning

Dit artikel stelt een nieuw datapreprocessingsalgoritme voor dat gebruikmaakt van kwantielverdelingsmapping om counterfactual rechtvaardigheid in reinforcement learning te bereiken door counterfactual toestanden en beloningen te schatten zonder te vertrouwen op strikte additiviteitsaannames, terwijl het theoretische grenzen biedt voor onrechtvaardigheid en suboptimaliteit en de aanpak valideert via numerieke en real-world digitale gezondheidsexperimenten.

Oorspronkelijke auteurs: Jianhan Zhang, Jitao Wang, John D. Piette, Donglin Zeng, Chengchun Shi, Zhenke Wu

Gepubliceerd 2026-08-11

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jianhan Zhang, Jitao Wang, John D. Piette, Donglin Zeng, Chengchun Shi, Zhenke Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een reeks beslissingen te nemen, zoals een arts die over vele weken behandelingen kiest voor een patiënt of een zelfrijdende auto die door een drukke stad navigeert. Dit vakgebied wordt Reinforcement Learning (RL) genoemd. Zie het als een videogame waarin de robot leert door middel van vallen en opstaan: de robot onderneemt een actie, ziet wat er gebeurt, krijgt een "score" (beloning) en probeert uit te vogelen hoe hij over een langere periode de hoogste totale score kan halen. Het doel is meestal om zoveel mogelijk mensen te helpen.

Echter, er is een lastig probleem. Soms leert de robot om oneerlijk te zijn. Het kan beginnen met mensen anders te behandelen op basis van zaken als ras, geslacht of achtergrond, niet omdat het "kwaadwillend" is, maar omdat het patronen in de data heeft opgemerkt die deze kenmerken koppelen aan bepaalde uitkomsten. Dit is als een robot die leert dat "mensen uit Groep A meestal minder vaak ziek worden", waardoor de robot besluit hen minder controles te geven, waarbij de groep onbedoeld negeert dat Groep A in het verleden misschien een betere toegang had tot voedsel of medicijnen. Dit wordt oneerlijkheid genoemd.

Om dit op te lossen, gebruiken wetenschappers een concept genaamd Counterfactual Fairness (Contrafactische Rechtvaardigheid). Stel je voor dat je op "ongedaan maken" kunt drukken op het leven van een persoon en jezelf afvraagt: "Als deze persoon een andere afkomst of geslacht had gehad, maar de rest van zijn of haar levensverhaal precies hetzelfde was gebleven, zou de robot dan nog steeds dezelfde beslissing hebben genomen?" Als het antwoord "ja" is, is de robot contrafactisch eerlijk. Het gaat niet alleen om het kijken naar groepen mensen; het gaat erom te waarborgen dat de robot elke individuele persoon eerlijk behandelt, ongeacht hun gevoelige kenmerken.

Het Grote Idee van het Papier: Een Tijdreisende Kaart voor Robots

Dit papier introduceert een slim nieuw hulpmiddel genauld CFSMDM (Counterfactually Fair Sequential Marginal Distribution Mapping). Denk aan dit als een speciale "data-vertaler" of een "tijdreisende kaart" die de robot helpt om eerlijk te leren voordat hij zelfs maar begint met het nemen van beslissingen.

De auteurs realiseerden zich dat eerdere methoden om robots eerlijk te maken een beetje te rigide waren. Ze gingen ervan uit dat de wereld op een eenvoudige, rechte manier werkt (zoals het optellen van getallen). Maar het echte leven is rommelig en gebogen. Soms verandert de achtergrond van een persoon de manier waarop zij de wereld ervaren op complexe, niet-lineaire manieren. De oude tools zouden hierdoor breken of in de war raken.

Wat CFSMDM doet:
In plaats van te proberen te raden hoe de exacte wiskunde van de wereld werkt, gebruikt CFSMDM een techniek genaamd Quantile Distribution Mapping (Kwantielverdeling-mapping). Hier is een eenvoudige manier om dit te visualiseren:

Stel je voor dat je een enorme pot met knikkers hebt die alle mogelijke uitkomsten voor een patiënt vertegenwoordigen. Sommige knikkers zijn rood (slechte uitkomsten), sommige zijn blauw (goede uitkomsten). De robot moet weten welke knikker een specifieke patiënt zal krijgen.

De Oude Manier: De robot probeert de gemiddelde kleur van de knikker te voorspellen.
De CFSMDM-Manier: De robot kijkt naar waar de knikker van de patiënt zich in de pot bevindt. Zit hij in de bovenste 10%? De onderste 50%? Dit is het "kwantiel".
De Magische Stap: Het algoritme vraagt: "Als deze patiënt een andere achtergrond had gehad (bijvoorbeeld een ander geslacht), maar met exact hetzelfde levensverhaal, waar zou hun knikker zich dan in die nieuwe pot bevinden?"
De Vertaling: Het vindt vervolgens de knikker in de "nieuwe pot" die op exact dezelfde plek (hetzelfde kwantiel) zit als de oorspronkelijke knikker.

Door dit stap voor stap te doen voor elke week van de reis van de patiënt, creëert CFSMDM een nieuwe, "eerlijke" versie van de trainingsdata. Het verwijdert de oneerlijke invloed van gevoelige kenmerken terwijl de rest van het verhaal intact blijft. De robot leert vervolgens zijn beleid (zijn beslisregels) met behulp van deze eerlijke, vertaalde data.

Wat ze vonden:
De auteurs testten dit idee op twee belangrijke manieren:

Simulaties: Ze creëerden een gesimuleerde wereld op een computer waarin ze precies wisten hoe de oneerlijkheid werkte. Ze testten CFSMDM tegen andere methoden. De resultaten lieten zien dat CFSMDM veel beter was in het eerlijk houden van de robot, vooral wanneer de wereld rommelig en niet-lineair was (waar de oude, rigide methoden faalden). Het slaagde erin om de "oneerlijkheidsscore" zeer laag te houden terwijl het nog steeds goede beslissingen nam.
Real-World Data: Ze pasten hun methode toe op een echte dataset van een studie genaamd PowerED, die betrokken was bij het helpen van patiënten bij het beheren van opioïde pijnmedicatie over een periode van 12 weken. Ze keken naar gevoelige kenmerken zoals ras, geslacht en opleidingsniveau.
- Het Resultaat: Wanneer ze CFSMDM gebruikten, werden de beslissingen van de robot veel eerlijker over bijna al deze groepen. Bijvoorbeeld, het verminderde de oneerlijkheid gerelateerd aan "opleiding" en "etniciteit" effectiever dan andere methoden.
- De Trade-off: Er was een kleine kost. De algemene "score" van de robot (hoe goed het patiënten in het algemeen hielp) was iets lager dan wanneer het de oneerlijkheid volledig zou negeren. Dit is te verwachten: een systeem eerlijk maken vereist vaak het opgeven van een klein beetje pure efficiëntie om ervoor te zorgen dat iedereen een eerlijke kans krijgt.

Waar ze tegen pleiten:
Het papier voert expliciet argumenten aan tegen het idee dat je de effecten van achtergrondkenmerken gewoon kunt "optellen" om oneerlijkheid te herstellen (de "additive noise" aanname die door eerdere methoden wordt gebruikt). Ze toonden via wiskunde en simulaties aan dat de echte wereld vaak complexer is dan eenvoudige optelling, en dat methoden die ervan uitgaan dat het eenvoudig is, zullen falen om alle oneerlijkheid te vangen.

Hoe zeker zijn ze?
De auteurs zijn zeer zelfverzekerd over hun wiskundige bewijs dat hun methode werkt onder bepaalde redelijke omstandigheden. Ze hebben bewezen dat de "oneerlijkheidskloof" en het "verlies aan prestaties" begrensd zijn, wat betekent dat ze niet oneindig slecht kunnen worden. In hun simulaties en real-world tests presteerde de methode consistent goed, waarbij ze lieten zien dat naarmate ze de robot meer data gaven, de oneerlijkheid afnam. Ze merken echter op dat de verbetering in de real-world studie niet perfect was voor elke groep (bijvoorbeeld vertoonde "geslacht" een klein beetje resterende oneerlijkheid), waarschijnlijk omdat de echte data klein was en de wiskunde moeilijk exact kloppend te krijgen is in elke situatie.

Kortom, dit papier biedt een robuuste, flexibele nieuwe manier om robots te leren eerlijke beslissingen te nemen in complexe, real-world scenario's, waarbij wordt gewaarborgd dat de "tijdreisende kaart" die ze gebruiken om te leren niemand achterlaat.

Technische Samenvatting: Een Distributie-mapping Benadering voor Counterfactueel Eerlijke Reinforcement Learning

Probleemstelling

Reinforcement Learning (RL) wordt steeds vaker gebruikt voor sequentiële besluitvorming in domeinen met een hoog belang, zoals de gezondheidszorg. Echter, standaard RL-agenten kunnen onbedoeld beleid aanleren dat specifieke subpopulaties, gedefinieerd door gevoelige attributen (bijv. ras, geslacht), systematisch benadeelt. Deze oneerlijkheid ontstaat vaak niet omdat het gevoelige attribuut expliciet als kenmerk wordt gebruikt, maar omdat staat- en beloningsvariabelen impliciete informatie bevatten die gecorreleerd is met deze attributen.

Bestaande criteria voor eerlijkheid, zoals demografische pariteit, opereren op groepsniveau en vertrouwen op statistische associaties in plaats van causale mechanismen. Counterfactual Fairness (CF), geïntroduceerd door Kusner et al. [19] en uitgebreid naar RL door Wang et al. [31], biedt een rigoureuzer kader. CF vereist dat de beslissingsdistributie van een individu onveranderd blijft als hun gevoelige attribuut hypothetisch zou worden gewisseld naar een andere waarde, waarbij alle historische exogene variabelen constant worden gehouden.

Hoewel Wang et al. [31] een algoritme voor gegevenspreverwerking voorstelden om CF af te dwingen in offline RL, rust hun methode op een strikte additieve ruis-aanname (d.w.z. de staat en beloning zijn lineaire functies van het gevoelige attribuut plus onafhankelijke ruis). Deze aanname is vaak restrictief in realistische scenario's waar de relatie tussen variabelen niet-lineair of niet-additief is.

Methodologie: Counterfactually Fair Sequential Marginal Distribution Mapping (CFSMDM)

Dit artikel stelt CFSMDM voor, een nieuw algoritme voor gegevenspreverwerking dat counterfactueel eerlijk beleidsleren mogelijk maakt zonder de additieve ruis-aanname te vereisen. De methode werkt in twee stadia:

1. Theoretische Fundering

De benadering steunt op Structurele Causale Modellen (SCM's) en het concept van counterfactuals. De auteurs introduceren Aanname 1 (strikte monotoniciteit van de staat ten opzichte van de ruisvariabele) en Aanname 2 (strikte monotoniciteit van de beloning ten opzichte van de ruisvariabele). Deze aannames zijn strikt zwakker dan de additieve ruis-aanname die in eerder werk [31] werd gebruikt.

Onder deze aannames bewijzen de auteurs (Theorema 1 en 2) dat het kwantielniveau van een geobserveerde staat (of beloning) ten opzichte van de conditionele distributie invariant blijft over verschillende waarden van het gevoelige attribuut, mits de historische exogene variabelen constant worden gehouden. Dit maakt het mogelijk om counterfactuele staten en beloningen te herstellen via kwantiel-matching.

2. Het Algoritme

CFSMDM volgt een tweestaps procedure:

Gegevenspreverwerking (SMDM):
- Het algoritme schat de conditionele kwantielfuncties voor staten en beloningen gegeven het gevoelige attribuut en de historische context.
- Voor elke geobserveerde traject wordt het kwantielniveau ( $\tau$ ) van de geobserveerde staat/beloning berekend onder het werkelijke gevoelige attribuut.
- Vervolgens wordt dit kwantielniveau gemapt naar de conditionele distributies onder counterfactuele gevoelige attribuutwaarden om de counterfactuele staten en beloningen te schatten.
- Deze schattingen worden geaggregeerd om geaugmenteerde staten ( $\tilde{S}_t$ ) en geaugmenteerde beloningen ( $\tilde{R}_t$ ) te construeren, die invariant zijn voor het geobserveerde gevoelige attribuut.
Beleidsleren (Policy Learning):
- Standaard offline RL-algoritmen (bijv. Fitted Q Iteration) worden toegepast op de voorverwerkte dataset die de geaugmenteerde staten en beloningen bevat.
- Aangezien de geaugmenteerde data geen informatie bevat over het gevoelige attribuut (behalve residuele schattingsfouten), is het resulterende beleid theoretisch counterfactueel eerlijk.

Belangrijkste Bijdragen

Gegeneraliseerd Algoritme: Het artikel introduceert CFSMDM, dat de reikwijdte van counterfactueel eerlijke RL uitbreidt naar een strikt grotere klasse van contextuele Markovbeslissingsprocessen (CMDP's) door de additieve ruis-aanname te versoepelen naar een strikte monotoniciteitsaanname.
Theoretische Garanties: De auteurs leiden grenzen af voor zowel de suboptimaliteitskloof (het verschil tussen het geleerde beleid en het optimale beleid) als het niveau van counterfactuele oneerlijkheid. Deze grenzen laten zien dat de oneerlijkheid en suboptimaliteit worden gecontroleerd door de schattingsfouten van de conditionele kwantielfuncties en het aantal Fitted Q Iteration (FQI) stappen.
Empirische Validatie: De methode wordt geëvalueerd via numerieke experimenten op synthetische data met niet-additieve ruis en toegepast op een real-world dataset uit de PowerED-studie (een interventie om opioïd-misbruik te verminderen).

Resultaten

Numerieke Experimenten

Simulaties werden uitgevoerd op CMDP's met niet-additieve ruis, waarbij CFSMDM werd vergeleken met verschillende baselines:

Full: Gebruikt gevoelige attributen (oneerlijk).
Unaware: Sluit gevoelige attributen uit (vaak onvoldoende voor eerlijkheid).
Random: Baseline voor eerlijkheid (perfect eerlijk maar lage bruikbaarheid).
FLAP_M, ECOCF_M: Adaptaties van single-stage fairness methoden.
CFSDP: De voorheen state-of-the-art methode [31] die additieve ruis vereist.

Bevindingen:

Eerlijkheid: CFSMDM bereikte significant lagere metrieken voor counterfactuele oneerlijkheid dan "Full", "Unaware", "FLAP_M" en "ECOCF_M". Het presteerde vergelijkbaar met of beter dan CFSDP, met name in omgevingen met niet-additieve ruis waar de prestaties van CFSDP verslechterden door schendingen van de aannames.
Bruikbaarheid (Utility): Zoals verwacht leidde het afdwingen van eerlijkheid tot een trade-off; CFSMDM behaalde lagere beleidswaarden dan de "Full" en "Unaware" methoden. Het behield echter een concurrerende bruikbaarheid vergeleken met andere eerlijke methoden.
Robuustheid: CFSMDM bleef robuust naarmate de impact van het gevoelige attribuut op de omgeving toenam.

Real-World Toepassing (PowerED Studie)

Het algoritme werd toegepast op een dataset van 207 patiënten in een 12-weekse opioïd-interventiestudie.

Metrieken: CFSMDM behaalde de beste counterfactuele eerlijkheid over de meeste gevoelige attributen (Opleiding, Etniciteit, Leeftijd) vergeleken met de baselines.
Nuance: Voor het attribuut "Geslacht" was CFSMDM iets minder eerlijk dan CFSDP en "Unaware". De auteurs schrijven dit toe aan het feit dat het uitsluiten van het gevoelige attribuut uit de besluitvorming in dit specifieke geval al de meeste oneerlijkheid had verwijderd, waardoor de door eindige steekproeven veroorzaakte schattingsfouten van CFSMDM de marginale winst in eerlijkheid licht overtrof.

Betekenis en Claims

Het artikel claimt dat CFSMDM een meer generaal en robuust instrument biedt voor het waarborgen van counterfactuele eerlijkheid in RL vergeleken met bestaande methoden zoals CFSDP. Door te vertrouwen op kwantiel-matching in plaats van additieve ruis, adresseert het een bredere klasse van real-world omgevingen waar causale relaties complex en niet-lineair zijn.

De auteurs benadrukken dat hoewel hun methode een trade-off introduceert tussen eerlijkheid en bruikbaarheid, het een fundamentele manier biedt om systematische discriminatie in sequentiële besluitvorming te mitigeren. Ze erkennen dat de prestaties van CFSMDM afhangen van de nauwkeurigheid van de conditionele kwantielschatting; als de kwantielmodellen verkeerd gespecificeerd zijn, kunnen de garanties voor eerlijkheid in gevaar komen. Het werk positioneert zich als een stap naar de inzet van RL-agenten in gevoelige domeinen waar causale eerlijkheid een vereiste is voor ethische implementatie.