Fairness May Backfire: When Leveling-Down Occurs in Fair Machine Learning

Die Studie zeigt, dass Fairness-Maßnahmen im maschinellen Lernen je nach Verfügbarkeit sensibler Attribute entweder die Ergebnisse benachteiligter Gruppen verbessern oder zu einem „Leveling Down" führen können, bei dem beide Gruppen schlechter dastehen.

Das Wesentliche

Stellen Sie sich vor, Sie sind der Chef einer großen Firma, die entscheiden muss, wer einen Kredit bekommt oder wer einen Job erhält. Früher haben Sie das einfach nach Bauchgefühl oder nach alten Regeln gemacht. Heute nutzen Sie einen hochmodernen Computer (einen KI-Algorithmus), der aus Daten lernt, wer wahrscheinlich erfolgreich sein wird.

Das Problem: Dieser Computer hat vielleicht unbewusst Vorurteile gelernt. Zum Beispiel lehnt er Bewerber aus einer bestimmten Gruppe (nennen wir sie "Gruppe A") öfter ab als andere, obwohl sie eigentlich genauso gut qualifiziert sind. Das ist unfair.

Jetzt wollen Sie die Situation korrigieren. Sie sagen dem Computer: "Hey, mach es fair!" Aber die Frage ist: Was passiert eigentlich, wenn wir den Computer zwingen, fair zu sein?

Dieses wissenschaftliche Papier untersucht genau das. Es stellt fest, dass Fairness nicht immer das Ergebnis bringt, das man erwartet. Manchmal wird es sogar schlimmer für alle. Die Autoren unterscheiden dabei zwei Szenarien, die wir uns mit einfachen Bildern vorstellen können.

Szenario 1: Der "Allwissende Richter" (Attribute-Aware)

Stellen Sie sich vor, der Computer darf wissen, zu welcher Gruppe ein Bewerber gehört (z. B. Geschlecht oder Herkunft), um die Entscheidung zu treffen. Das ist wie ein Richter, der den Namen und den Hintergrund des Angeklagten kennt, bevor er urteilt.

• Was passiert? Der Computer sagt: "Okay, ich muss Gruppe A mehr Chancen geben."
• Die Folge: Er senkt die Hürde für Gruppe A (sie kommen leichter durch) und hebt die Hürde für Gruppe B (sie müssen mehr leisten).
• Das Ergebnis:
  • Gruppe A (die Benachteiligten): Bekommen mehr Chancen. Das ist gut!
  • Gruppe B (die Privilegierten): Bekommen weniger Chancen. Das ist für sie etwas schlechter.
  • Aber: Es ist ein "Nullsummenspiel". Niemand wird schlechter gestellt als vorher, nur die Verteilung ändert sich. Es ist wie ein Umverteilen von Kuchenstücken: Gruppe A bekommt ein größeres Stück, Gruppe B ein kleineres, aber niemand hungert.

Szenario 2: Der "Blinde Richter" (Attribute-Blind)

Jetzt wird es spannend. In vielen Ländern (z. B. bei Krediten oder Jobs) ist es verboten, den Computer über die Gruppe zu informieren. Er darf nur die Fähigkeiten sehen, nicht den Namen oder das Geschlecht. Das ist wie ein Richter, der nur die Akte sieht, aber das Gesicht des Angeklagten nicht kennen darf.

• Das Problem: Der Computer sieht nur die Fähigkeiten. Aber die Fähigkeiten sind oft mit der Gruppe verknüpft. Wenn Gruppe A historisch benachteiligt wurde, haben sie vielleicht im Durchschnitt weniger "perfekte" Daten, obwohl sie talentiert sind.
• Was passiert, wenn wir Fairness erzwingen? Da der Computer die Gruppen nicht kennt, kann er nicht einfach "Gruppe A" begünstigen. Stattdessen muss er die Regeln für alle ändern, basierend auf den Mustern in den Daten.
• Die "Maskierten" Kandidaten: Hier kommt der Clou. Es gibt Bewerber, die auf dem Papier so aussehen, als gehörten sie zur privilegierten Gruppe (sie haben gute Noten), aber eigentlich gehören sie zur benachteiligten Gruppe. Und umgekehrt. Wir nennen sie "maskierte Kandidaten".
• Die zwei möglichen Ausgänge (Leveling Up vs. Leveling Down):
  1. Leveling Up (Alle gewinnen): Der Computer erkennt, dass er zu streng war. Er senkt die Hürde für alle. Sowohl Gruppe A als auch Gruppe B bekommen mehr Chancen. Das ist der Traum!
  2. Leveling Down (Alle verlieren): Das ist die Gefahr, auf die das Papier hinweist. Um die Fairness zu erreichen, muss der Computer vielleicht die Hürde für alle senken, aber in einer Weise, dass er viele qualifizierte Leute aus beiden Gruppen ausschließt, weil er die "falschen" Muster korrigiert.
     • Beispiel: Stell dir vor, du musst einen Korb mit Äpfeln (gute Kandidaten) und Birnen (schlechte Kandidaten) sortieren. Du darfst nicht wissen, welche Sorte es ist. Wenn du versuchst, die Verteilung "fair" zu machen, könntest du am Ende so viele Früchte wegwerfen, dass am Ende weniger gute Äpfel übrig bleiben – für alle Sorten.

Die große Erkenntnis

Die Autoren sagen im Grunde:

1. Wenn du die Gruppe kennst (Szenario 1): Fairness ist vorhersehbar. Die Benachteiligten gewinnen, die Privilegierten verlieren etwas, aber niemand wird "heruntergedrückt".
2. Wenn du die Gruppe nicht kennst (Szenario 2): Fairness ist ein Glücksspiel. Es hängt davon ab, wie die Daten verteilt sind.
   • Manchmal hilft es beiden Gruppen.
   • Manchmal hilft es nur einer.
   • Und manchmal führt es zum "Leveling Down": Das Ziel war Fairness, aber das Ergebnis ist, dass alle Gruppen schlechtere Ergebnisse erzielen als vorher. Die Qualität der Entscheidungen sinkt, weil der Computer im Dunkeln tappend versucht, eine Balance zu finden, die eigentlich nicht existiert.

Fazit für den Alltag

Wenn wir KI-Systeme fair machen wollen, müssen wir genau wissen, wie wir das tun.

• Wenn wir die sensiblen Daten (wie Geschlecht) nutzen dürfen, um die Ungleichheit direkt auszugleichen, funktioniert das gut.
• Wenn wir diese Daten aus rechtlichen Gründen verstecken müssen, müssen wir vorsichtig sein. Ein blindes "Fairness-Update" kann dazu führen, dass wir die Messlatte für alle so hoch oder so tief legen, dass am Ende niemand mehr gewinnt – und die benachteiligten Gruppen sogar noch mehr leiden, weil die Qualität der Entscheidungen insgesamt sinkt.

Es ist wie beim Reparieren eines undichten Daches: Wenn du weißt, wo das Loch ist (Szenario 1), legst du einfach ein Brett drauf. Wenn du das Loch nicht siehst (Szenario 2) und versuchst, das ganze Dach neu zu streichen, um es "fair" zu machen, könntest du am Ende das Dach so schwer machen, dass es einstürzt.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Fairness May Backfire: When Leveling-Down Occurs in Fair Machine Learning" auf Deutsch:

1. Problemstellung

Der Einsatz von Machine-Learning (ML)-Systemen in sensiblen Bereichen wie Kreditvergabe, Einstellungen und Justiz wirft dringende Fragen zur algorithmischen Fairness auf. Obwohl das Ziel von Fairness-Maßnahmen darin besteht, benachteiligte Gruppen zu schützen, zeigen empirische Studien, dass die Durchsetzung von Fairness-Constraints oft zu einem Phänomen führt, das als „Leveling Down" (Nivellierung nach unten) bezeichnet wird: Die Fairness wird erreicht, indem die Ergebnisse für eine oder beide Gruppen verschlechtert werden, anstatt sie zu verbessern.

Die zentrale Forschungsfrage dieses Papers lautet: Unter welchen Bedingungen führt die Erzwingung von Fairness tatsächlich zu besseren Ergebnissen für benachteiligte Gruppen, und wann führt sie systematisch zu „Leveling Down"?

Das Paper unterscheidet dabei zwei entscheidende Einsatzszenarien (Deployment Regimes), die durch rechtliche und governance-bezogene Rahmenbedingungen bestimmt werden:

1. Attribute-Aware (Attribut-bewusst): Sensible Attribute (z. B. Geschlecht, Ethnie) sind zum Entscheidungszeitpunkt verfügbar und dürfen zur Vorhersage genutzt werden (z. B. in der medizinischen Diagnostik).
2. Attribute-Blind (Attribut-blind): Sensible Attribute sind zum Entscheidungszeitpunkt nicht verfügbar oder dürfen gesetzlich nicht verwendet werden (z. B. aufgrund des „Equal Credit Opportunity Act" oder der DSGVO). Hier müssen Vorhersagen ausschließlich auf nicht-sensiblen Merkmalen basieren.

2. Methodik

Die Autoren verwenden einen einheitlichen, populationsbasierten theoretischen Rahmen, der auf Bayes-optimalen Klassifikatoren basiert.

• Bayes-Optimalität: Anstatt sich auf spezifische Algorithmen oder endliche Stichproben zu konzentrieren, analysieren sie den theoretisch besten möglichen Klassifikator (denjenigen mit dem minimalen erwarteten Risiko). Dies isoliert die intrinsischen Effekte von Fairness-Constraints von Rauschen durch endliche Daten oder spezifische Trainingsverfahren.
• Modellierung: Das Problem wird als binäre Klassifikation mit einer gemeinsamen Verteilung $D$ über nicht-sensible Merkmale $X$, ein sensibles Attribut $S$ und ein Ground-Truth-Label $Y$ formuliert.
• Fairness-Maße: Es werden drei gängige Gruppen-Fairness-Konzepte analysiert:
  • Demographic Parity (DP): Gleiche Auswahlraten für alle Gruppen.
  • Equal Opportunity (EO): Gleiche True-Positive-Raten.
  • Predictive Equality (PE): Gleiche False-Positive-Raten.
• Analyse: Die Autoren leiten die Form der Bayes-optimalen fairen Klassifikatoren unter den genannten Constraints ab und untersuchen, wie sich diese auf die Notion-Target-Rates (NTR) (die Zielgröße der jeweiligen Fairness-Metrik) und die Präzision (Qualität der Akzeptanzentscheidungen) der Gruppen auswirken.

3. Wichtige Beiträge

1. Theoretischer Rahmen: Entwicklung eines distributionsfreien und algorithm-unabhängigen Rahmens zur Bewertung der Auswirkungen fairer ML-Entscheidungen auf die betroffenen Gruppen.
2. Unterscheidung der Regimes: Theoretischer Nachweis, dass Fairness in den beiden Einsatzszenarien (Aware vs. Blind) fundamental unterschiedlich wirkt und unterschiedliche Verteilungseffekte hat.
3. Mechanismus-Identifikation: Aufklärung der zugrunde liegenden Mechanismen, insbesondere der Rolle von „Masked Candidates" (maskierten Kandidaten) im attribut-blinden Szenario, die zu unerwarteten Ergebnissen führen.

4. Ergebnisse

A. Im Attribute-Aware Regime (Sensible Attribute verfügbar)

In diesem Szenario führt die Durchsetzung von Fairness zu einer deterministischen und vorhersehbaren Umverteilung:

• Wirkung: Die Schwelle (Threshold) für die benachteiligte Gruppe wird gesenkt, während sie für die privilegierte Gruppe erhöht wird.
• Ergebnis:
  • Die Auswahlrate (NTR) der benachteiligten Gruppe steigt (oder bleibt gleich).
  • Die Auswahlrate der privilegierten Gruppe sinkt (oder bleibt gleich).
  • Die Präzision der benachteiligten Gruppe sinkt (da weniger qualifizierte Kandidaten aufgenommen werden), während die der privilegierten Gruppe steigt.
• Fazit: Hier führt Fairness nie zu einem „Leveling Down" für die benachteiligte Gruppe im Sinne einer Verschlechterung ihrer Chancen; sie verbessert deren Zugang, auch wenn die durchschnittliche Qualität der Akzeptanz leicht sinken kann.

B. Im Attribute-Blind Regime (Sensible Attribute nicht verfügbar)

Hier ist die Wirkung verteilungsabhängig (distribution-dependent) und kann zu „Leveling Down" führen:

• Mechanismus: Da das sensible Attribut fehlt, wird die Fairness-Korrektur basierend auf den nicht-sensiblen Merkmalen $X$ berechnet. Dies führt dazu, dass Kandidaten basierend auf ihrem „Aussehen" (ähnlich der privilegierten oder benachteiligten Gruppe) behandelt werden, nicht basierend auf ihrer tatsächlichen Gruppenzugehörigkeit.
• Maskierte Kandidaten: Es gibt Kandidaten, die aufgrund ihrer Merkmale $X$ wie Mitglieder der privilegierten Gruppe aussehen, aber tatsächlich zur benachteiligten Gruppe gehören (und umgekehrt).
• Mögliche Szenarien:
  1. Leveling Down (Beide Gruppen verlieren): Wenn die Fairness-Korrektur dazu führt, dass Kandidaten von der „privilegiert-ähnlichen" Seite ($Q_h$) entfernt werden, und diese Seite einen signifikanten Anteil an maskierten Kandidaten der benachteiligten Gruppe enthält, sinkt die Auswahlrate beider Gruppen.
  2. Leveling Up (Beide Gruppen gewinnen): Wenn die Korrektur Kandidaten von der „benachteiligt-ähnlichen" Seite ($Q_l$) hinzufügt und diese Gruppe viele maskierte Kandidaten der privilegierten Gruppe enthält, steigen die Raten beider Gruppen.
  3. Gegensätzliche Richtung: Wie im Aware-Regime, wenn die Verteilung der Merkmale $X$ eine klare Trennung zulässt.
• Ergebnis: Im blinden Regime kann Fairness die benachteiligte Gruppe schädigen, auch wenn sie die privilegierte Gruppe ebenfalls schädigt (oder beide verbessert). Es gibt keine Garantie, dass die benachteiligte Gruppe profitiert.

5. Signifikanz und Implikationen

Die Studie liefert strukturelle Leitlinien für das Design und die Implementierung fairer ML-Systeme:

• Warnung vor blindem Einsatz: Die bloße Anwendung von Fairness-Constraints in Szenarien, in denen sensible Attribute nicht verfügbar sind (Attribute-Blind), kann kontraproduktiv sein und zu einem systematischen „Leveling Down" führen, bei dem die benachteiligten Gruppen schlechter gestellt werden als ohne Fairness-Constraint.
• Rolle der Datenverteilung: Die Autoren zeigen, dass die Auswirkungen von Fairness nicht nur von der gewählten Metrik abhängen, sondern stark von der zugrunde liegenden Datenverteilung (insbesondere der Korrelation zwischen Merkmalen und Gruppenzugehörigkeit) bestimmt werden.
• Design-Entscheidungen: Entscheidungsträger müssen verstehen, ob sie im „Aware"- oder „Blind"-Modus operieren. Im Blind-Modus reicht es nicht aus, nur die Metrik zu optimieren; es muss geprüft werden, ob die Verteilung der Merkmale „maskierte" Kandidaten enthält, die durch die Fairness-Maßnahme unbeabsichtigt benachteiligt werden.
• Politische Relevanz: Die Ergebnisse unterstreichen die Komplexität regulatorischer Anforderungen (wie die DSGVO), die den Zugriff auf sensible Daten verbieten. Während dies Diskriminierung verhindern soll, kann es unbeabsichtigt dazu führen, dass faire Algorithmen die Gruppen, die sie schützen sollen, tatsächlich schädigen.

Zusammenfassend demonstriert das Paper, dass Fairness kein universelles Gut ist, das automatisch zu besseren Ergebnissen führt, sondern ein technischer Eingriff ist, dessen Erfolg stark vom Kontext (Verfügbarkeit von Attributen) und der Datenstruktur abhängt.