Measuring Perceptions of Fairness in AI Systems: The Effects of Infra-marginality

Die Studie zeigt, dass menschliche Fairnessurteile in KI-Systemen nicht nur von den Ergebnissen, sondern maßgeblich von den wahrgenommenen Ursachen für Leistungsunterschiede zwischen Gruppen abhängen, was die Notwendigkeit unterstreicht, den Verteilungskontext bei der Definition und Gestaltung algorithmischer Fairness zu berücksichtigen.

Das Wesentliche

Titel: Warum „Gleichheit" nicht immer „Fairness" bedeutet – Eine einfache Erklärung

Stellen Sie sich vor, Sie sind der Chef eines großen Krankenhauses. Sie haben zwei Abteilungen: Abteilung A und Abteilung B. Beide sollen einen neuen KI-Assistenten nutzen, um Krebs frühzeitig zu erkennen. Aber es gibt ein Problem: Die Patienten in Abteilung A sehen anders aus als die in Abteilung B, und die Daten, die Sie haben, sind nicht perfekt gleich verteilt.

Die Forscher dieses Papers haben sich gefragt: Wie bewerten normale Menschen, ob ein KI-System fair ist, wenn die Ausgangslage für die Gruppen unterschiedlich ist?

Hier ist die Geschichte, wie sie es herausgefunden haben, mit ein paar einfachen Vergleichen.

1. Das Grundproblem: Der „Infra-Marginalitäts"-Effekt

Der Begriff „Infra-Marginalität" klingt kompliziert, ist aber eigentlich ganz einfach. Stellen Sie sich vor, Sie lassen zwei Läufer laufen:

• Läufer A läuft auf einer flachen, asphaltierten Straße.
• Läufer B läuft auf einem steilen, steinigen Bergpfad.

Wenn Sie beide Läufer auf die gleiche Zeit rennen lassen, wird Läufer A viel schneller sein. Das ist nicht unfair, weil er schneller ist – es ist unfair, weil die Strecke unterschiedlich war.

In der KI-Welt passiert genau das: Manchmal haben Gruppen unterschiedliche „Grundraten" (z. B. wie häufig eine Krankheit in einer Gruppe wirklich vorkommt). Wenn eine KI versucht, beide Gruppen exakt gleich gut zu behandeln (z. B. gleiche Fehlerquote), ignoriert sie oft diese natürlichen Unterschiede. Das kann dazu führen, dass die KI auf dem steinigen Pfad (der schwierigeren Gruppe) völlig versagt, weil sie versucht, die Bedingungen der asphaltierten Straße zu erzwingen.

2. Das Experiment: Was dachten die Leute?

Die Forscher haben 85 Menschen gebeten, sich in diese Situation hineinzuversetzen. Sie bekamen Szenarien gezeigt, bei denen eine KI entweder:

1. Beide Gruppen gleich behandelt (egal wie schwer die Aufgabe für jede Gruppe war).
2. Die Unterschiede beibehielt (wenn eine Gruppe es einfach hatte, war sie besser; wenn eine Gruppe es schwer hatte, war sie schlechter).

Das Überraschende:
Die Leute waren nicht dumm. Sie wollten nicht einfach nur „mathematische Gleichheit".

• Szenario 1: Alles ist unklar oder gleich.
  Wenn die Leute nicht wussten, ob eine Gruppe es schwerer hatte, oder wenn beide Gruppen gleich gut waren, sagten sie: „Mach beide Gruppen gleich gut!" Das entspricht dem, was wir normalerweise unter Fairness verstehen.

• Szenario 2: Es gibt klare Unterschiede.
  Wenn die Leute sahen, dass eine Gruppe (z. B. Gruppe A) einfach mehr Daten hatte oder die Aufgabe für sie leichter war, sagten sie: „Es ist okay, wenn die Ergebnisse unterschiedlich sind!"

  Der Vergleich: Wenn Sie sehen, dass Läufer A auf der Asphaltstraße läuft und Läufer B auf dem Berg, sagen Sie: „Okay, Läufer A ist schneller. Das ist fair, weil die Strecke anders war." Wenn Sie aber versuchen, Läufer B zu zwingen, genauso schnell zu sein wie Läufer A, dann ist das für Läufer B unfair, weil er überfordert wird.

3. Die Rolle der Datenmenge

Die Forscher haben auch geschaut, wie viel „Trainingsmaterial" (Daten) jede Gruppe hatte.

• Wenn eine Gruppe viel mehr Daten hatte und deshalb besser war, dachten die Leute: „Na ja, das ist logisch. Sie hatten mehr Übung."
• Aber wenn eine Gruppe weniger Daten hatte und trotzdem besser war, dachten die Leute: „Wow, das ist beeindruckend!"
• Das Wichtigste: Die Leute konnten zwischen echten Unterschieden (die Aufgabe ist einfach schwerer) und schlechter Vorbereitung (zu wenig Daten) unterscheiden. Sie wollten keine starre Gleichheit, wenn die Gründe für die Unterschiede legitim waren.

4. Was bedeutet das für uns?

Bisher haben viele KI-Entwickler gedacht: „Fairness bedeutet, dass alle Gruppen exakt die gleichen Zahlen liefern müssen." Dieses Paper sagt: Nein, das ist nicht immer richtig.

• Der Fehler: Wenn wir KI-Systeme zwingen, alle Gruppen exakt gleich zu behandeln, ignorieren wir die Realität. Wir machen die Systeme vielleicht für die „schwierige" Gruppe unbrauchbar, nur um die Zahlen schön gleich zu machen.
• Die Lösung: Wir müssen die Kontexte verstehen. Wenn eine Gruppe es objektiv schwerer hat, ist es fairer, das System so zu gestalten, dass es diese Schwierigkeit anerkennt, anstatt sie zu ignorieren.

Fazit in einem Satz

Fairness ist nicht wie ein Lineal, das bei allen Gruppen exakt den gleichen Wert anzeigt. Fairness ist eher wie ein Schneider, der für jeden Kunden ein Maßanzug anfertigt: Einem großen Mann passt ein großer Anzug, einem kleinen Mann ein kleiner. Wenn Sie beiden den gleichen Anzug geben, ist das nicht fair – dann passt er keinem richtig.

Die KI muss also nicht alle gleich behandeln, sondern gerecht auf die unterschiedlichen Bedürfnisse und Umstände eingehen. Nur so gewinnen wir das Vertrauen der Menschen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Measuring Perceptions of Fairness in AI Systems: The Effects of Infra-marginality" auf Deutsch:

1. Problemstellung

Das Paper adressiert das Problem der Infra-Marginalität (Infra-marginality) im Kontext der algorithmischen Fairness. Infra-Marginalität beschreibt die Situation, in der Unterschiede in den Datenverteilungen zwischen demografischen Gruppen (z. B. unterschiedliche Basisraten oder „Base Rates" für ein Ereignis) zu Unterschieden in den Leistungsmetriken von KI-Modellen führen, selbst wenn das Modell nicht diskriminierend trainiert wurde.

• Herausforderung: Herkömmliche Gruppen-Fairness-Metriken (wie Demographic Parity oder Equalized Odds) streben oft eine statistische Gleichheit der Ergebnisse oder Fehlerraten zwischen Gruppen an.
• Konflikt: Wenn die zugrunde liegenden Datenverteilungen jedoch legitim unterschiedlich sind (z. B. unterschiedliche Krankheitsprävalenzen oder unterschiedliche Schwierigkeitsgrade der Aufgabe für verschiedene Gruppen), führt das Erzwingen einer strikten Parität oft zu verzerrten oder suboptimalen Entscheidungen.
• Forschungsfrage: Wie bewerten Nutzer die Fairness eines Modells, wenn ihnen Informationen über diese zugrunde liegenden Verteilungsunterschiede (operationalisiert durch gruppenspezifische Leistungen und Datenverfügbarkeit) vorliegen? Unterscheidet sich ihre Wahrnehmung von rein statistischen Fairness-Definitionen?

2. Methodik

Die Autoren führten eine User-Studie mit 85 Teilnehmern durch, um die menschliche Wahrnehmung von Fairness unter den Bedingungen der Infra-Marginalität zu untersuchen.

• Szenario: Ein hypothetisches medizinisches Szenario (KI-gestützte Krebsvorhersage) mit zwei fiktiven ethnischen Gruppen („Race A" und „Race B").
• Experimental Design (Faktoren):
  1. Gruppenspezifische Leistung (Group-Specific Performance): Die Teilnehmer erhielten Informationen über die Genauigkeit von Modellen, die separat für jede Gruppe trainiert wurden. Es gab 7 Varianten: keine Information, gleiche Genauigkeit (90% bzw. 70%), und verschiedene 10%-Unterschiede (z. B. 95% vs. 85%).
  2. Datenverfügbarkeit (Data Availability): Die relative Menge an Trainingsdaten für jede Gruppe wurde variiert (unbekannt, gleich viel, Race A hat 3x mehr Daten, Race A hat 20x mehr Daten).
• Aufgabe: Für jede Kombination von Faktoren mussten die Teilnehmer drei alternative Modelle bewerten (auf einer 7-Punkte-Likert-Skala):
  • Option 1: Das Modell gleicht die Leistung an die besser performende Gruppe an (Maximierung der Genauigkeit bei Parität).
  • Option 2: Das Modell gleicht die Leistung auf den Durchschnitt beider Gruppen an (Kompromiss bei Parität).
  • Option 3: Das Modell behält die ursprünglichen, unterschiedlichen Leistungen der Gruppen bei (Respektierung der Verteilungsunterschiede).
• Teilnehmer: 85 Personen mit technischem Hintergrund (Informatik/Data Science), rekrutiert über Universitätsnetzwerke und LinkedIn.

3. Wichtige Beiträge

• Operationalisierung von Infra-Marginalität: Das Paper übersetzt das abstrakte Konzept der Infra-Marginalität (unterschiedliche Basisraten) in ein für Nutzer verständliches Format, indem es gruppenspezifische Modellgenauigkeiten als Proxy für Verteilungsunterschiede nutzt.
• Untersuchung des Kausalzusammenhangs: Es wird gezeigt, dass Fairness-Urteile nicht nur von den Ergebnissen abhängen, sondern stark von den wahrgenommenen Ursachen der Diskrepanzen (z. B. legitime Aufgabenunterschiede vs. verzerrte Datenerhebung).
• Kritik an reinen Paritäts-Metriken: Die Studie liefert empirische Belege dafür, dass strikte statistische Parität nicht immer mit menschlichen Fairness-Erwartungen übereinstimmt, insbesondere wenn Verteilungsunterschiede als legitim wahrgenommen werden.

4. Ergebnisse

Die Analyse der Studiendaten ergab folgende zentrale Erkenntnisse:

• Einfluss der Leistungsunterschiede:
  • Wenn keine Informationen über Leistungsunterschiede vorlagen oder die Gruppen gleiche Leistungen zeigten, bevorzugten die Teilnehmer Modelle mit gleichen Ergebnissen (Option 1 oder 2). Dies entspricht klassischen Fairness-Definitionen.
  • Wenn jedoch unterschiedliche Leistungen zwischen den Gruppen sichtbar waren (insbesondere wenn sie mit Datenungleichgewichten konsistent waren), bewerteten die Teilnehmer Modelle, die diese Unterschiede beibehielten (Option 3), als fairer.
• Rolle der Datenverfügbarkeit:
  • Teilnehmer integrierten Informationen über die Datenmenge in ihre Urteile. Wenn eine Gruppe eine höhere Leistung bei weniger Daten zeigte, wurde dies eher als gerechtfertigte Folge von „Aufgabenschwierigkeit" interpretiert.
  • Wenn eine Gruppe mehr Daten hatte, wurde dies nicht automatisch als Ausrede für schlechtere Leistung akzeptiert, aber die Wahrnehmung hing stark vom Kontext ab.
• Referenzabhängigkeit (Anchoring):
  • Die Fairness-Bewertung erfolgte relativ zu den ursprünglichen, gruppenspezifischen Leistungen (Anker-Effekt). Teilnehmer bewerteten Änderungen nicht absolut, sondern im Vergleich zu diesem Baseline.
  • Das Erzwingen von Parität (Option 1 oder 2) wurde oft als unfair empfunden, wenn es legitime Verteilungsunterschiede ignorierte, selbst wenn dies die Gesamtgenauigkeit erhöhte.

5. Bedeutung und Implikationen

Die Studie hat weitreichende Konsequenzen für die Entwicklung und Bewertung von KI-Systemen:

• Lücke zwischen Metrik und Wahrnehmung: Es besteht eine signifikante Diskrepanz zwischen formalen Fairness-Metriken (die oft Parität fordern) und menschlichen Erwartungen. Metriken, die Verteilungskontexte ignorieren, riskieren, als unfair wahrgenommen zu werden und das Vertrauen in KI-Systeme zu untergraben.
• Kontextsensitive Fairness: Fairness-Frameworks müssen den Verteilungskontext (Distributional Context) berücksichtigen. Nicht alle Leistungsunterschiede sind Diskriminierung; einige sind eine Folge legitimer Datenunterschiede.
• Design-Empfehlungen:
  • Systemdesigner sollten nicht blind Parität anstreben, sondern die Ursachen von Disparitäten analysieren.
  • Erklärungen (Explainability) sollten nicht nur die Ergebnisse, sondern auch die Datenverteilung und die Gründe für Leistungsunterschiede transparent machen, um das Vertrauen der Stakeholder zu stärken.
  • Die Forschung sollte sich von reinen Paritäts-Interventionen hin zu Frameworks bewegen, die sowohl statistische Strenge als auch die soziale Legitimität von Unterschieden in heterogenen Datenlandschaften berücksichtigen.

Zusammenfassend zeigt das Paper, dass algorithmische Fairness nicht nur ein mathematisches Optimierungsproblem ist, sondern stark von menschlichen Urteilen über die Ursachen von Ungleichheit abhängt. Das Ignorieren der Infra-Marginalität kann zu Interventionen führen, die die betroffenen Gruppen eher schädigen als schützen.