📊 statistics

Doubly-Regressing Approach for Subgroup Fairness

Diese Arbeit adressiert die Herausforderungen der Rechenkomplexität und Datensparsamkeit bei der Subgruppen-Fairness mit multiplen sensiblen Attributen durch den Vorschlag des DRAF-Algorithmus, welcher eine neuartige Subgruppen-Teilmengen-Fairness-Formulierung sowie eine Surrogat-Fairness-Lücke nutzt, um effizient Fairness-Garantien zu erreichen und dabei bestehende Baselines zu übertreffen.

Ursprüngliche Autoren: Kunwoong Kim, Kyungseon Lee, Jihu Lee, Dongyoon Yang, Yongdai Kim

Veröffentlicht 2026-01-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Kunwoong Kim, Kyungseon Lee, Jihu Lee, Dongyoon Yang, Yongdai Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Richter, der versucht, sicherzustellen, dass ein Einstellungsalgorithmus fair ist.

Das alte Problem: Die „Zu viele Gruppen“-Falle
Früher bedeutete Fairness, zu prüfen, ob Männer und Frauen gleichermaßen eingestellt wurden. Das ist einfach. Aber was ist, wenn Sie auch nach Geschlecht, ethnischer Zugehörigkeit, Alter und Bildungsstand prüfen müssen? Plötzlich prüfen Sie nicht mehr nur zwei Gruppen, sondern tausende winzige Kombinationen (z. B. „ältere Frauen einer bestimmten ethnischen Zugehörigkeit mit einem Hochschulabschluss“).

Dies führt zu zwei großen Problemen:

Das „Leere-Raum-Problem“: Einige dieser winzigen Gruppen haben in den Daten fast keine Menschen. Es ist, als würde man die Qualität eines Restaurants basierend auf einer einzigen Bewertung beurteilen. Man kann das Ergebnis nicht vertrauen.
Das „Mathematik-Überlastungsproblem“: Das gleichzeitige Überprüfen von tausenden Gruppen erfordert so viel Rechenleistung, dass es unmöglich wird, dies effizient durchzuführen.

Die Lösung des Papers: Der „Smarte Filter“ (DRAF)
Die Autoren, Kunwoong Kim und sein Team, schlagen eine neue Methode namens DRAF (Doubly Regressing Adversarial learning for Fairness) vor. Denken Sie an DRAF als einen smarten Filter, der beide Probleme gleichzeitig löst.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Ignorieren der „Geisterstädte“ (Lösung der Datensparsamkeit)

Anstatt zu versuchen, jede einzelne winzige Gruppe zu überprüfen (selbst die mit nur ein oder zwei Personen), sagt DRAF: „Lass uns nur die Gruppen überprüfen, die genug Menschen haben, um uns eine zuverlässige Antwort zu geben.“

Die Analogie: Stellen Sie sich vor, Sie prüfen die Wasserqualität der Flüsse einer Stadt. Sie testen nicht die winzigen, trockenen Pfützen, die nach einem Sturm entstehen, weil diese nicht viel aussagen. Sie testen nur die großen Flüsse und die großen Nebenflüsse. DRAF konzentriert sich auf diese „großen Flüsse“ (Gruppen mit genügend Daten), um sicherzustellen, dass das Wasser sauber ist.

2. Das „Doppelcheck“-System (Lösung der Rechenbelastung)

Normalerweise benötigt man, um Fairness zu prüfen, für jede einzelne Gruppe, die man testet, einen eigenen „Inspektor“ (ein Computerprogramm namens Diskriminator). Wenn Sie 1.000 Gruppen haben, brauchen Sie 1.000 Inspektoren. Das ist langsam und teuer.

DRAF nutzt einen cleveren Trick namens „Doubly Regressing“.

Die Analogie: Anstatt 1.000 verschiedene Inspektoren einzustellen, stellt DRAF einen Super-Inspektor ein, der sehr flexibel ist. Dieser Inspektor trägt eine spezielle „verstellbare Linse“.
- Wenn er auf die Gruppe „Männer“ blickt, passt sich die Linse an, um diesen spezifischen Winkel zu sehen.
- Wenn er auf die Gruppe „Frauen einer bestimmten ethnischen Zugehörigkeit“ blickt, verschiebt sich die Linse sofort, um diesen Winkel zu sehen.
- Der Computer muss nicht für jede Gruppe einen neuen Inspektor bauen; er passt einfach die Einstellungen des bestehenden Inspektors an. Dies macht den Prozess unglaublich schnell, selbst mit tausenden Gruppen.

3. Das „Sicherheitsnetz“ (Gewährleistung der Rand-Fairness)

Es besteht das Risiko, dass man, wenn man nur die großen Gruppen überprüft, versehentlich die Regeln für die Hauptkategorien (wie einfach „Männer“ vs. „Frauen“) ignoriert.

Die Analogie: DRAF baut ein Sicherheitsnetz. Es zwingt das System, die großen Gruppen und die Hauptkategorien gleichzeitig zu überprüfen. Es stellt sicher, dass die Gruppe „Männer“ fair ist, die Gruppe „Frauen“ fair ist und die spezifischen Kombinationen fair sind – und das alles zur gleichen Zeit.

Was haben sie herausgefunden?

Das Team hat dies mit realen Daten getestet (wie bei Einstellungen, Kreditgenehmigungen und Kriminalstatistik).

Wenn die Daten unordentlich sind: In Datensätzen, in denen viele Gruppen winzig und spärlich waren (wie der „Communities“-Datensatz mit 18 verschiedenen Attributen), war DRAF wesentlich besser als bestehende Methoden. Es schaffte es, fair zu sein, ohne den Computer zu überlasten oder schlechte Vermutungen basierend auf winzigen Daten anzustellen.
Wenn die Daten sauber sind: Selbst wenn die Daten nicht spärlich waren, schnitt DRAF genauso gut ab wie die besten bestehenden Methoden.

Zusammenfassend
Das Paper führt eine neue Art ein, KI fair zu machen, die schlauer darüber entscheidet, welche Gruppen sie prüft (die winzigen, unzuverlässigen ignoriert) und effizienter beim Prüfen dieser Gruppen ist (einen flexiblen Inspektor anstelle von tausenden zu verwenden). Dies ermöglicht es uns, sogar bei komplexen Daten mit vielen verschiedenen Arten von Menschen fairere KI-Systeme zu bauen.

Technisches Resümee: Doubly-Regressing-Ansatz für Subgruppen-Fairness

1. Problemstellung

Die Arbeit adressiert die Herausforderung, Subgruppen-Fairness in maschinellem Lernen zu erreichen, wenn mehrere sensible Attribute (z. B. Geschlecht, ethnische Zugehörigkeit, Alter) vorhanden sind. Während marginale Fairness (Fairness über einzelne Attribute hinweg) gut untersucht ist, verhindert sie nicht das Phänomen des „Fairness Gerrymandering“, bei dem schwerwiegende Diskriminierung an den Schnittstellen mehrerer Attribute fortbesteht (Kearns et al., 2018a;b).

Formal gesehen gibt es bei $q$ binären sensiblen Attributen $2^q$ Subgruppen. Die Durchsetzung von Verteilungsfairness über all diese Subgruppen hinweg stößt auf zwei kritische Barrieren:

Datensparsamkeit (Data Sparsity): Mit steigendem $q$ enthalten viele Subgruppen nur sehr wenige Stichproben, was zu einer instabilen Modellschätzung und ungenauen Fairness-Garantien führt (Molina & Loiseau, 2023).
Rechenaufwand: Die Anzahl der Fairness-Constraints skaliert exponentiell mit $q$ . Bestehende adversarielle Ansätze, die versuchen, Fairness über alle Subgruppen hinweg zu messen, werden rechnerisch unhandlich.

Darüber hinaus versagen bestehende Methoden oft dabei, gleichzeitig marginale Fairness (Fairness für jedes einzelne Attribut) und Subgruppen-Fairness zu gewährleisten, oder sie verlassen sich auf schwächere Fairness-Begriffe (z. B. Demographic Parity), die keine Verteilungsfairness sicherstellen.

2. Methodik

2.1 Subgruppen-Teilmengen-Fairness (Subgroup-Subset Fairness)

Um die Datensparsamkeit zu lösen, schlagen die Autoren vor, sich nur auf „aktive“ Subgruppen zu konzentrieren – also jene mit ausreichender Stichprobengröße – während sie gleichzeitig marginale Subgruppen (Subgruppen, die durch einzelne sensible Attribute definiert sind) explizit einschließen, um marginale Fairness zu gewährleisten.

Sie formalisieren die Subgruppen-Teilmengen-Fairness, wobei eine „Subgruppen-Teilmenge“ $W$ die Vereinigung spezifischer Subgruppen ist. Das Ziel ist es, Verteilungsfairness über eine vorab ausgewählte Sammlung von Subgruppen-Teilmengen $\mathcal{W}$ durchzusetzen, deren Stichprobengrößen nicht zu gering sind.

2.2 Supremum Integral Probability Metric (supIPM)

Die Autoren führen ein Maß für Verteilungsfairness namens Supremum Integral Probability Metric (supIPM) ein. Für eine Sammlung von Subgruppen-Teilmengen $\mathcal{W}$ ist die Fairness-Lücke definiert als:
$\Delta_{\psi, \mathcal{W}}(f) = \sup_{W \in \mathcal{W}} \psi(P_{f,W}, P_{f,W^c})$
wobei $\psi$ ein Abweichungsmaß (speziell IPM) ist. Die Autoren beweisen, dass der Schätzfehler des empirischen supIPM von der minimalen Stichprobengröße innerhalb der Teilmengen ( $n_W$ ) abhängt und nicht von der Gesamtzahl der Teilmengen $|\mathcal{W}|$ , was den Fokus auf aktive Teilmengen rechtfertigt.

2.3 Doubly Regressing Adversarial Learning (DRAF)

Die direkte Optimierung von supIPM ist rechenintensiv, da für jedes $W \in \mathcal{W}$ ein separater Diskriminator gefunden werden muss. Um dies zu umgehen, schlagen die Autoren eine Surrogat-Fairness-Lücke basierend auf Doubly Regressing $R^2$ (DR2) vor.

Theoretische Grundlage: Sie etablieren eine Beziehung zwischen IPM und dem Bestimmtheitsmaß ( $R^2$ ) in einem Regressionsszenario, bei dem der Input die Modellvorhersage und der Output ein Label ist, das die Zugehörigkeit zur Teilmenge angibt.
Das Surrogat: Sie definieren ein Doubly Regressing $R^2$ -Maß, $DR^2(f, v, g)$ , das gleichzeitig den Output des Diskriminators $g(f(x))$ und eine gewichtete Kombination von Teilmengen-Indikatoren $v^\top c_i$ regrediert.
Kerninnovation: Der vorgeschlagene Algorithmus, DRAF (Doubly Regressing Adversarial learning for Fairness), optimiert eine Surrogat-Lücke, die definiert ist als:
$DR_{n, \mathcal{W}, \mathcal{G}}(f) := \sup_{g \in \mathcal{G}, v \in S_M} \tilde{z}\text{-}DR^2(f, v, g)$
Entscheidend ist, dass diese Formulierung unabhängig von der Anzahl der Subgruppen-Teilmengen $|\mathcal{W}|$ nur einen einzigen Diskriminator $g$ und einen Gewichtungsvektor $v$ erfordert. Dies reduziert die Komplexität von exponentiell auf linear bezüglich der Anzahl der Teilmengen.
Optimierung: Der Algorithmus trainiert den Prädiktor $f$ und das Diskriminator-/Gewichtungs-Paar $(g, v)$ in einem alternierenden Min-Max-Verfahren. Die theoretische Analyse beweist, dass diese Surrogat-Lücke eine obere Schranke für das wahre supIPM darstellt.

3. Zentrale Beiträge

Formalisierung der Subgruppen-Teilmengen-Fairness: Ein neuer Fairness-Begriff, der die Notwendigkeit von intersektionaler Fairness mit den praktischen Einschränkungen der Datensparsamkeit ausbalanciert, indem er sich auf aktive Subgruppen-Teilmengen und marginale Gruppen konzentriert.
Einführung von supIPM: Ein Maß für Verteilungsfairness bei Subgruppen-Teilmengen, begleitet von einer theoretischen Schranke für dessen Schätzfehler.
DRAF-Algorithmus: Ein effizienter adversarieller Lernalgorithorithmus, der mittels eines Doubly Regressing $R^2$ -Surrogats ein einzelnes Diskriminator-Modell nutzt, um supIPM zu approximieren. Die Autoren beweisen, dass dieses Surrogat eine obere Schranke des Zielmetrik darstellt.
Empirische Validierung: Nachweis, dass DRAF Baseline-Methoden (Regularisierung, GerryFair, Sequential Mapping) insbesondere in Szenarien mit hochdimensionalen sensiblen Attributen und spärlichen Subgruppen übertrifft.

4. Experimentelle Ergebnisse

Die Autoren evaluierten DRAF auf vier Benchmark-Datensätzen: ADULT, DUTCH, CIVILCOMMENTS und COMMUNITIES (letzterer weist $q=18$ und extreme Spärlichkeit auf).

Performance bei spärlichen Daten: Auf dem COMMUNITIES-Datensatz, in dem die meisten Subgruppen extrem klein sind, übertraf DRAF die Baselines sowohl in der Subgruppen-Fairness (SP) als auch in der marginalen First-Order-Fairness (MP(1)) signifikant. Baseline-Methoden wie GerryFair (fokussiert auf Worst-Case-Subgruppen-Disparität) oder Regularisierung (fokussiert auf marginale Disparität) konnten nicht beide gleichzeitig erreichen.
Genauigkeits-Fairness-Trade-off: DRAF erreichte über alle Datensätze hinweg wettbewerbsfähige Genauigkeits-Fairness-Abwägungen. In weniger spärlichen Datensätzen (ADULT, DUTCH) performte es vergleichbar zu oder besser als die Baselines.
Korrelationsanalyse: Experimente zeigten, dass DRAF sowohl Subgruppen- als auch marginale Fairness effektiv gleichzeitig kontrolliert, während Methoden, die sich nur auf eine Dimension konzentrieren, oft die andere verschlechtern.
Robustheit: Die Methode zeigte Robustheit gegenüber verrauschten (fehlenden) sensiblen Attributen, da sie Fairness-Constraints nur auf beobachtbare Subgruppen-Teilmengen anwenden kann, ohne Stichproben zu verwerfen.
Erweiterungen: Es wurde gezeigt, dass sich der Ansatz auf Multi-Class-Klassifikation und Equalized Odds (EO) Fairness-Constraints erweitern lässt.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass DRAF eine praktische Lösung für den „Fluch der Dimensionalität“ bei der Subgruppen-Fairness bietet. Durch die Verschiebung des Fokus von allen $2^q$ Subgruppen auf eine kuratierte Menge an aktiven Subgruppen-Teilmengen und die Nutzung eines Single-Discriminator-Surrogats löst die Methode die dualen Probleme der Datensparsamkeit und der rechnerischen Unhandlichkeit.

Die Autoren betonen, dass ihr Ansatz Verteilungsfairness (den stärksten Begriff von Fairness) gewährleistet, ohne auf schwächere Metriken wie Demographic Parity zurückzugreifen. Sie argumentieren, dass das Ignorieren kleiner Subgruppen statistisch fundiert für die populationsweite Fairness ist, sofern die marginale Fairness explizit durchgesetzt wird. Die Arbeit schließt mit der Feststellung, dass DRAF den Einsatz fairer KI-Modelle in komplexen, realen Szenarien mit multiplen sensiblen Attributen ermöglicht, in denen bisherige Methoden entweder rechnerisch prohibitiv oder statistisch instabil waren.