📊 statistics

A Distribution Mapping Approach to Counterfactually Fair Reinforcement Learning

Dieses Papier schlägt einen neuartigen Datenvorverarbeitungsalgorithmus unter Verwendung von Quantilverteilungsmappings vor, um durch die Schätzung kontrafaktischer Zustände und Belohnungen ohne Abhängigkeit von strengen Additivitätsannahmen kontrafaktische Fairness in der Reinforcement Learning zu erreichen, während gleichzeitig theoretische Schranken für Unfairness und Suboptimalität bereitgestellt und der Ansatz durch numerische sowie reale digitale Gesundheitsexperimente validiert werden.

Ursprüngliche Autoren: Jianhan Zhang, Jitao Wang, John D. Piette, Donglin Zeng, Chengchun Shi, Zhenke Wu

Veröffentlicht 2026-08-11

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jianhan Zhang, Jitao Wang, John D. Piette, Donglin Zeng, Chengchun Shi, Zhenke Wu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, eine Reihe von Entscheidungen zu treffen, wie etwa ein Arzt, der über viele Wochen hinweg Behandlungen für einen Patienten auswählt, oder ein selbstfahrendes Auto, das durch eine belebte Stadt navigiert. Dieses Feld wird Reinforcement Learning (RL) genannt. Betrachten Sie es als ein Videospiel, in dem der Roboter durch Versuch und Irrtum lernt: Er führt eine Aktion aus, sieht, was passiert, erhält eine „Belohnung“ (Reward) und versucht herauszufinden, wie er über die Zeit hinweg die höchste Gesamtpunktzahl erreichen kann. Das Ziel ist in der Regel, so vielen Menschen wie möglich zu helfen.

Es gibt jedoch ein kniffliges Problem. Manchmal lernt der Roboter, unfair zu sein. Er könnte beginnen, Menschen basierend auf Dingen wie ihrer Hautfarbe, ihrem Geschlecht oder ihrem Hintergrund unterschiedlich zu behandeln – nicht, weil er „böse“ ist, sondern weil er Muster in den Daten bemerkt hat, die diese Merkmale mit bestimmten Ergebnissen verknüpfen. Das ist so, als würde ein Roboter lernen: „Menschen aus Gruppe A werden normalerweise seltener krank“, und entscheidet sich deshalb dazu, ihnen weniger Kontrolluntersuchungen anzubieten, wobei er versehentlich ignoriert, dass Gruppe A in der Vergangenheit vielleicht besseren Zugang zu Nahrungsmitteln oder Medizin hatte. Dies wird als Unfairness bezeichnet.

Um dies zu beheben, nutzen Wissenschaftler das Konzept der Counterfactual Fairness (kontrafaktische Fairness). Stellen Sie sich vor, Sie könnten auf „Rückgängig“ drücken bei einem Leben und fragen: „Wenn diese Person eine andere Hautfarbe oder ein anderes Geschlecht gehabt hätte, aber alles andere in ihrer Lebensgeschichte exakt gleich geblieben wäre, würde der Roboter dann immer noch dieselbe Entscheidung treffen?“ Wenn die Antwort „Ja“ lautet, handelt der Roboter kontrafaktisch fair. Es geht nicht nur darum, Gruppen von Menschen zu betrachten; es geht darum, sicherzustellen, dass der Robot jeden einzelnen Menschen unabhängig von seinen sensiblen Merkmalen fair behandelt.

Die große Idee des Papers: Eine zeitreisende Karte für Roboter

Dieses Paper stellt ein cleveres neues Werkzeug namens CFSMDM (Counterfactually Fair Sequential Marginal Distribution Mapping) vor. Denken Sie an einen speziellen „Daten-Übersetzer“ oder eine „zeitreisende Karte“, die einem Roboter hilft, fair zu lernen, noch bevor er überhaupt mit der Entscheidungsfindung beginnt.

Die Autoren erkannten, dass bisherige Methoden, um Roboter fair zu machen, etwas zu starr waren. Sie gingen davon aus, dass die Welt auf eine einfache, geradlinige Weise funktioniert (wie das Addieren von Zahlen). Aber das echte Leben ist chaotisch und kurvig. Manchmal verändert ein Hintergrund eines Menschen die Art und Weise, wie er die Welt erlebt, auf komplexe, nicht-lineare Arten. Die alten Werkzeuge würden in solchen Situationen versagen oder verwirrt werden.

Was CFSMDM macht:
Anstatt zu versuchen zu erraten, wie die exakte Mathematik der Welt funktioniert, nutzt CFSMDM eine Technik namens Quantile Distribution Mapping. Hier ist ein einfacher Weg, dies zu visualisieren:

Stellen Sie sich vor, Sie haben ein riesiges Glas voller Murmeln, die alle möglichen Ergebnisse für einen Patienten repräsentieren. Einige Murmeln sind rot (schlechte Ergebnisse), einige sind blau (gute Ergebnisse). Der Roboter muss wissen, welche Murmel ein spezifischer Patient erhalten wird.

Der alte Weg: Der Roboter versucht, die durchschnittliche Farbe der Murmel vorherzusagen.
Der CFSMDM-Weg: Der Roboter schaut, wo die Murmel des Patienten im Glas liegt. Liegt sie in den obersten 10 %? In den untersten 50 %? Dies ist das „Quantil“.
Der magische Schritt: Der Algorithmus fragt: „Wenn dieser Patient einen anderen Hintergrund hätte (zum Beispiel ein anderes Geschlecht), aber dieselbe Lebensgeschichte beibehalten hätte, wo würde seine Murmel in diesem neuen Glas liegen?“
Die Übersetzung: Er findet dann die Murmel im „neuen Glas“, die sich an exakt derselben Stelle (demselben Quantil) befindet wie die ursprüngliche Murmel.

Indem er diesen Schritt Schritt für Schritt für jede Woche der Reise des Patienten durchführt, erstellt CFSMDM eine neue, „faire“ Version der Trainingsdaten. Es entfernt den unfairen Einfluss sensibler Merkmale, während der Rest der Geschichte intakt bleibt. Der Roboter lernt seine Policy (seine Entscheidungsregeln) dann mithilfe dieser fairen, übersetzten Daten.

Was sie herausgefunden haben:
Die Autoren testeten diese Idee auf zwei Hauptarten:

Simulationen: Sie erschufen eine künstliche Welt in einem Computer, in der sie genau wussten, wie die Unfairness funktionierte. Sie testeten CFSMDM gegen andere Methoden. Die Ergebnisse zeigten, dass CFSMDM viel besser darin war, den Roboter fair zu halten, insbesondere wenn die Welt chaotisch und nicht-linear war (wo die alten, starren Methoden scheiterten). Es gelang ihm, den „Unfairness-Score“ sehr niedrig zu halten und gleichzeitig gute Entscheidungen zu treffen.
Reale Daten: Sie wandten ihre Methode auf einen echten Datensatz aus einer Studie namens PowerED an, bei der es darum ging, Patienten beim Management ihrer Opioid-Schmerzmedikation über 12 Wochen zu unterstützen. Sie untersuchten sensible Merkmale wie Rasse, Geschlecht und Bildung.
- Das Ergebnis: Als sie CFSMDM verwendeten, wurden die Entscheidungen des Roboters über fast alle diese Gruppen hinweg wesentlich fairer. Zum Beispiel reduzierte es die Unfairness in Bezug auf „Bildung“ und „Ethnizität“ effektiver als andere Methoden.
- Der Trade-off: Es gab einen winzigen Preis. Der allgemeine „Score“ des Roboters (wie gut er Patienten im Allgemeinen half) war etwas niedriger, als wenn er Unfairness komplett ignoriert hätte. Dies ist zu erwarten: Ein System fair zu machen, erfordert oft, ein kleines Stück an roher Effizienz aufzugeben, um sicherzustellen, dass jeder eine faire Chance erhält.

Was sie kritisieren:
Das Paper argumentiert explizit gegen die Vorstellung, dass man die Auswirkungen von Hintergrundmerkmalen einfach „aufaddieren“ kann, um Unfairness zu beheben (die „Additive Noise“-Annahme, die von früheren Methoden verwendet wurde). Sie zeigten durch Mathematik und Simulationen, dass die reale Welt oft komplexer ist als eine einfache Addition, und dass Methoden, die davon ausgehen, dass es einfach ist, die Unfairness nicht vollständig erfassen werden.

Wie sicher sind sie sich?
Die Autoren sind sehr zuversichtlich in ihrem mathematischen Beweis, dass ihre Methode unter bestimmten vernünftigen Bedingungen funktioniert. Sie haben bewiesen, dass die „Unfairness-Lücke“ (unfairness gap) und der „Leistungsverlust“ (loss in performance) begrenzt sind, was bedeutet, dass sie nicht unendlich schlecht werden können. In ihren Simulationen und realen Tests zeigte die Methode konsistent eine gute Leistung und zeigte, dass mit zunehmender Datenmenge die Unfairness abnahm. Sie merken jedoch an, dass die Verbesserung in der realen Studie nicht für jede einzelne Gruppe perfekt war (zum Beispiel blieb bei „Geschlecht“ eine winzige Unfairness zurück), was wahrscheinlich daran liegt, dass die realen Daten klein waren und die Mathematik es schwierig ist, jedes Mal exakt richtig zu liegen.

Kurz gesagt bietet dieses Paper einen robusten, flexiblen neuen Weg, um Roboter beizubringen, faire Entscheidungen in komplexen, realen Szenarien zu treffen, und stellt sicher, dass die „zeitreisende Karte“, die sie zum Lernen verwenden, niemanden zurücklässt.

Technisches Resümee: Ein Ansatz zur Verteilungsabbildung für kontrafaktisch faire Reinforcement Learning

Problemstellung

Reinforcement Learning (RL) wird zunehmend für die sequentielle Entscheidungsfindung in hochsensiblen Bereichen wie dem Gesundheitswesen eingesetzt. RL-Agenten können jedoch unbeabsichtigt Strategien erlernen, die bestimmte Subpopulationen, die durch sensible Attribute (z. B. Rasse, Geschlecht) definiert sind, systematisch benachteiligen. Diese Unfairness entsteht oft nicht, weil das sensible Attribut explizit als Merkmal verwendet wird, sondern weil Zustands- und Belohnungsvariablen implizite Informationen kodieren, die mit diesen Attributen korrelieren.

Bestehende Fairness-Kriterien, wie etwa die demografische Parität, operieren auf Gruppenebene und stützen sich auf statistische Assoziationen statt auf kausale Mechanismen. Kontrafaktische Fairness (CF), eingeführt von Kusner et al. [19] und von Wang et al. [31] auf RL ausgeweitet, bietet einen strengeren Rahmen. CF erfordert, dass die Entscheidungsverteilung eines Individuums unverändert bleibt, wenn sein sensibles Attribut hypothetisch auf einen anderen Wert geändert würde, während alle historischen exogenen Variablen konstant gehalten werden.

Während Wang et al. [31] einen Datenvorverarbeitungsalgorithmus zur Durchsetzung von CF in Offline-RL vorschlugen, beruht deren Methode auf einer strikten additiven Rauschannahme (d. h. der Zustand und die Belohnung sind lineare Funktionen des sensitiven Attributs plus unabhängigem Rauschen). Diese Annahme ist oft restriktiv für reale Szenarien, in denen die Beziehung zwischen den Variablen nicht-linear oder nicht-additiv ist.

Methodik: Kontrafaktisch faire sequentielle marginale Verteilungsabbildung (CFSMDM)

Dieses Paper schlägt CFSMDM vor, einen neuartigen Datenvorverarbeitungsalgorithmus, der kontrafaktisch faires Policy-Learning ermöglicht, ohne die additive Rauschannahme vorauszusetzen. Die Methode arbeitet in zwei Stufen:

1. Theoretische Grundlage

Der Ansatz stützt sich auf Strukturkausale Modelle (SCMs) und das Konzept der Kontrafakten. Die Autoren führen Annahme 1 (strikte Monotonie des Zustands in Bezug auf die Rauschvariable) und Annahme 2 (strikte Monotonie der Belohnung in Bezug auf die Rauschvariable) ein. Diese Annahmen sind streng schwächer als die additive Rauschannahme der vorangegangenen Arbeit [31].

Unter diesen Annahmen beweisen die Autoren (Theorem 1 und 2), dass das Quantilniveau eines beobachteten Zustands (oder einer Belohnung) im Verhältnis zu seiner bedingten Verteilung invariant gegenüber verschiedenen Werten des sensitiven Attributs bleibt, sofern die historischen exogenen Variablen konstant gehalten werden. Dies ermöglicht die Rekonstruktion kontrafaktischer Zustände und Belohnungen mittels Quantil-Matching.

2. Der Algorithmus

CFSMDM folgt einem zweistufigen Verfahren:

Datenvorverarbeitung (SMDM):
- Der Algorithmus schätzt bedingte Quantilsfunktionen für Zustände und Belohnungen gegeben das sensitive Attribut und den historischen Kontext.
- Für jede beobachtete Trajektorie berechnet er das Quantilniveau ( $\tau$ ) des beobachteten Zustands/der beobachteten Belohnung unter dem tatsächlichen sensitiven Attribut.
- Er bildet dieses Quantilniveau dann auf die bedingten Verteilungen unter kontrafaktischen Werten des sensitiven Attributs ab, um die kontrafaktischen Zustände und Belohnungen zu schätzen.
- Diese Schätzungen werden aggregiert, um augmentierte Zustände ( $\tilde{S}_t$ ) und augmentierte Belohnungen ( $\tilde{R}_t$ ) zu konstruieren, die gegenüber dem beobachteten sensitiven Attribut invariant sind.
Policy Learning:
- Standardmäßige Offline-RL-Algorithmen (z. B. Fitted Q Iteration) werden auf den vorverarbeiteten Datensatz angewendet, der die augmentierten Zustände und Belohnungen enthält.
- Da die augmentierten Daten keine Informationen über das sensitive Attribut enthalten (außer Restschätzfehlern), ist die resultierende Policy theoretisch kontrafaktisch fair.

Zentrale Beiträge

Generalisierter Algorithmus: Das Paper führt CFSMDM ein, welches den Anwendungsbereich kontrafaktisch fairer RL zu einer strikt größeren Klasse von kontextuellen Markov-Entscheidungsprozessen (CMDPs) erweitert, indem es die additive Rauschannahme durch eine strikte Monotonieannahme ersetzt.
Theoretische Garantien: Die Autoren leiten Schranken sowohl für die Suboptimalitätslücke (die Differenz zwischen der gelernten Policy und der optimalen Policy) als auch für das Niveau der kontrafaktischen Unfairness ab. Diese Schranken zeigen, dass Unfairness und Suboptimalität durch die Schätzfehler der bedingten Quantilsfunktionen und die Anzahl der Fitted Q Iteration (FQI) Schritte kontrolliert werden.
Empirische Validierung: Die Methode wird durch numerische Experimente mit synthetischen Daten mit nicht-additivem Rauschen und auf einen realen Datensatz aus der PowerED-Studie (eine Intervention zur Reduzierung von Opioidmissbrauch) angewendet.

Ergebnisse

Numerische Experimente

Simulationen wurden auf CMDPs mit nicht-additivem Rauschen durchgeführt, wobei CFSMDM gegen mehrere Baselines verglichen wurde:

Full: Verwendet sensitive Attribute (unfair).
Unaware: Schließt sensitive Attribute aus (oft unzurereichend für Fairness).
Random: Baseline für Fairness (perfekt fair, aber geringer Nutzen).
FLAP_M, ECOCF_M: Adaptionen von einstufigen Fairness-Methoden.
CFSDP: Die bisherige State-of-the-Art-Methode [31], die additivem Rauschen bedarf.

Ergebnisse:

Fairness: CFSMDM erreichte signifikant niedrigere Metriken der kontrafaktischen Unfairness als "Full", "Unaware", "FLAP_M" und "ECOCF_M". Es schnitt vergleichbar zu oder besser als CFSDP ab, insbesondere in Settings mit nicht-additivem Rauschen, in denen die Leistung von CFSDP aufgrund von Verletzungen der Annahmen abnahm.
Nutzen (Utility): Wie erwartet führte die Durchsetzung von Fairness zu einem Trade-off; CFSMDM erzielte geringere Policy-Werte als die "Full"- und "Unaware"-Methoden. Es behielt jedoch einen wettbewerbsfähigen Nutzen im Vergleich zu anderen fairen Methoden bei.
Robustheit: CFSMDM blieb robust, wenn die Stärke des Einflusses des sensitiven Attributs auf die Umgebung zunahm.

Anwendung in der realen Welt (PowerED-Studie)

Der Algorithmus wurde auf einen Datensatz von 207 Patienten einer 12-wöchigen Opioid-Interventionsstudie angewendet.

Metriken: CFSMDM erreichte die beste kontrafaktische Fairness über die meisten sensitiven Attribute (Bildung, Ethnizität, Alter) hinweg im Vergleich zu den Baselines.
Nuance: Für das Attribut "Geschlecht" war CFSMDM etwas weniger fair als CFSDP und "Unaware". Die Autoren führen dies darauf zurück, dass der Ausschluss des sensitiven Attributs aus der Entscheidungsfindung in diesem spezifischen Fall bereits den Großteil der Unfairness entfernt hat, sodass die durch CFSMDM eingeführten Schätzfehler bei endlichen Stichproben die marginalen Fairnessgewinne leicht überstiegen.

Bedeutung und Ansprüche

Das Paper behauptet, dass CFSMDM ein generalisierteres und robusteres Werkzeug zur Gewährleistung kontrafaktischer Fairness in RL im Vergleich zu bestehenden Methoden wie CFSDP bietet. Durch die Nutzung von Quantil-Matching anstelle von additivem Rauschen adressiert es eine breitere Klasse von realen Umgebungen, in denen kausale Beziehungen komplex und nicht-linear sind.

Die Autoren betonen, dass ihre Methode zwar einen Fairness-Utility-Trade-off einführt, aber einen fundierten Weg bietet, um systematische Diskriminierung in sequentiellen Entscheidungsprozessen zu mildern. Sie räumen ein, dass die Leistung von CFSMDM von der Genauigkeit der bedingten Quantilschätzung abhängt; Wenn die Quantilsmodelle falsch spezifiziert sind, können die Fairness-Garantien beeinträchtigt werden. Die Arbeit positioniert sich als Schritt hin zum Einsatz von RL-Agenten in sensiblen Domänen, in denen kausale Fairness eine Voraussetzung für einen ethischen Einsatz ist.