💻 computer science

Do Counterfactually Fair Image Classifiers Satisfy Group Fairness? -- A Theoretical and Empirical Study

Diese Arbeit untersucht die Beziehung zwischen kontrafaktischer und Gruppenfairness in der Bildklassifizierung durch die Konstruktion neuer Datensätze mit von Menschen gelabelten Kontrafakten, wobei aufgezeigt wird, dass kontrafaktische Fairness aufgrund latenter Attributkorrelationen nicht inhärent Gruppenfairness garantiert, und schlägt eine Methode der kontrafaktischen Wissensdestillation vor, um dieses Problem zu mildern.

Ursprüngliche Autoren: Sangwon Jung, Sumin Yu, Sanghyuk Chun, Taesup Moon

Veröffentlicht 2026-07-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sangwon Jung, Sumin Yu, Sanghyuk Chun, Taesup Moon

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen Manager für ein Unternehmen ein. Sie möchten sicherstellen, dass Ihr Einstellungsalgorithmus fair ist. Aber was bedeutet „fair“ eigentlich?

Dieses Paper untersucht zwei verschiedene Definitionen von Fairness und stellt fest, dass diese nicht immer harmonieren, insbesondere wenn es um Fotos von Menschen geht. Hier ist die Geschichte ihrer Erkenntnisse, einfach erklärt.

Die zwei Definitionen von Fairness

Stellen Sie sich Fairness wie zwei verschiedene Regeln für ein Spiel vor:

Gruppenfairness (Die „Team-Score“-Regel): Diese Regel besagt, dass der Algorithmus zwei verschiedenen Gruppen von Menschen (z. B. Männern und Frauen) im Durchschnitt gleich behandeln sollte. Wenn 90 % der Männer eingestellt werden, sollten auch 90 % der Frauen eingestellt werden. Es geht um die Statistik des großen Ganzen.
Counterfactual Fairness (Die „Was-wäre-wenn“-Regel): Dies ist eine eher philosophische Regel. Sie fragt: „Wenn wir diese spezifische Person nehmen und nur ihr Geschlecht ändern würden (aber alles andere über sie exakt gleich ließe), würde der Algorithmus dann immer noch dieselbe Entscheidung treffen?“ Wenn die Antwort „Ja“ lautet, ist der Algorithmus counterfactually fair. Es geht um Konsistenz für das Individuum.

Das Problem: Der „Magische Spiegel“ existiert nicht

Um die „Was-wäre-wenn“-Regel (Counterfactual Fairness) zu testen, benötigen Sie ein spezielles Foto. Sie brauchen ein Bild einer Person und dann ein zweites Bild derselben Person, bei dem sich nur ihr Geschlecht geändert hat (z. B. ein Mann mit Bart wird zu einem Mann ohne Bart, aber mit der gleichen Nase, den gleichen Augen und demselben Hintergrund).

In der realen Welt kann man nicht einfach ein Foto machen und das Geschlecht einer Person magisch tauschen, während die Identität perfekt erhalten bleibt. Frühere Studien versuchten es mit computergenerierten Bildern, aber diese sahen oft künstlich aus oder veränderten versehentlich andere Dinge (wie den Hintergrund).

Der erste Schritt des Papers: Die Autoren bauten einen „Magischen Spiegel“ mithilfe eines hochmodernen KI-Bildbearbeitungsprogramms (genannt InstructPix2Pix). Sie nahmen echte Fotos von Prominenten und bearbeiteten sie, um das Geschlecht der Person zu ändern (z. B. eine Frau in einen Mann zu verwandeln), während sie versuchten, alles andere identisch zu halten. Sie ließen dann menschliche Experten diese Fotos überprüfen, um sicherzustellen, dass die Änderungen korrekt waren und nichts anderes versehentlich verändert wurde. Sie erstellten zwei neue, hochwertige Datensätze zu diesem Zweck.

Die große Entdeckung: Die „Haarlänge“-Falle

Die Autoren testeten ihre Fairness-Regeln unter Verwendung dieser neuen Foto-Datensätze. Dabei fanden sie etwas Überraschendes, das früheren Untersuchungen an Tabellendaten (Spreadsheets) widersprach:

In Fotos führt „Counterfactual Fairness“ NICHT zwangsläufig zu „Group Fairness“.

Warum? Die Autoren erklären dies mit einer klugen Analogie der Haarlänge.

Stellen Sie sich vor, der Algorithmus versucht zu erraten, ob eine Person sich auf einen Job als „Friseur“ (das Ziel) bewirbt.

Das sensible Attribut: Geschlecht (Männlich/Weiblich).
Die Falle (Attribut G): Haarlänge.

In der realen Welt ist die Haarlänge stark mit dem Geschlecht korreliert (viele Männer haben kurzes Haar, viele Frauen haben langes Haar), aber die Haarlänge verursacht nicht das Geschlecht einer Person. Es ist nur ein Nebeneffekt.

Hier ist die Falle:

Der Algorithmus lernt, „Counterfactually Fair“ zu sein. Er schafft es erfolgreich, das Label „Geschlecht“ zu ignorieren.
Da er jedoch so gut darin ist, das „Geschlecht“ zu ignorieren, verlässt er sich stattdessen massiv auf die Haarlänge, um seine Entscheidung zu treffen.
Nun passiert Folgendes: Wenn Sie einen Mann mit langen Haaren haben, behandelt der Algorithmus ihn wie eine Frau, weil es um seine Haare geht. Wenn Sie eine Frau mit kurzen Haaren haben, behandelt er sie wie einen Mann.
Obwohl der Algorithmus im Sinne des „Was-wäre-wenn“-Szenarios „fair“ ist (er ignoriert das Geschlechts-Label), erzeugt er eine enorme Unfairness im Sinne der „Gruppe“, weil er Menschen aufgrund ihrer Haare unterschiedlich behandelt, was wiederum mit ihrem Geschlecht verknüpft ist.

Das Paper bezeichnet diese verborgene Variable als G (für ein Drittattribut). Es ist wie eine „Abkürzung“, die der Algorithmus nimmt.

Die Lösung: Dem Algorithmus beibringen, die Abkürzung zu ignorieren

Die Autoren schlagen eine einfache Lösung vor, die Counterfactual Knowledge Distillation (CKD) genannt wird.

Stellen Sie sich das wie eine Lehrer-Schüler-Beziehung vor:

Der Schüler: Das neue KI-Modell, das versucht, Fairness zu lernen.
Der Lehrer: Ein Modell, das ohne Fairness-Regeln trainiert wurde (ein „Vanilla“-Modell).

Überraschenderweise ist das „Lehrer“-Modell besser darin, die „Haarlänge“-Falle zu ignorieren als der „Schüler“, der versucht, fair zu sein. Der „Schüler“ ist so sehr darauf fokussiert, das „Geschlecht“-Label zu ignorieren, dass er überkorrigiert und sich stattdessen an der „Haarlänge“ festbeißt.

Die CKD-Methode funktioniert so:

Der Lehrer betrachtet ein Foto und dessen „Was-wäre-wenn“-Version. Er gibt eine Vorhersage ab.
Der Schüler versucht, den Denkprozess des Lehrers zu kopieren.
Durch das Kopieren des Lehrers lernt der Schüler, die „Haarlänge“-Falle zu ignorieren und gleichzeitig die „Was-wäre-wenn“-Regel zu respektieren.

Das Ergebnis

Als die Autoren diese „Lehrer-Schüler“-Methode anwandten:

Wurden die Modelle Counterfactually Fair (sie gingen korrekt mit den „Was-wäre-wenn“-Szenarien um).
UND sie wurden Group Fair (sie behandelten Männer und Frauen insgesamt gleich).

Zusammenfassung

Das Paper zeigt, dass in der Bilderkennung der Versuch, gegenüber dem Individuum fair zu sein (Counterfactual Fairness), versehentlich die gesamte Gruppe unfair machen kann, wenn die KI auf versteckte Hinweise wie die Haarlänge zurückgreift. Durch den Einsatz eines „Lehrer“-Modells, das die KI von diesen versteckten Hinweisen wegführt, gelang es ihnen, Fairness auf beiden Ebenen zu erreichen.

Wichtiger Hinweis: Das Paper konzentriert sich strikt auf die Bildklassifizierung (wie das Erkennen von Gesichtern oder Attributen in Fotos) und behauptet nicht, dass diese Ergebnisse auf medizinische Diagnosen, reale Einstellungsverfahren oder andere spezifische Anwendungen außerhalb des beschriebenen theoretischen und experimentellen Rahmens anwendbar sind.

Technisches Resümee: Erfüllen kontrafaktisch faire Bildklassifikatoren die Gruppenfairness?

Problemstellung
Algorithmische Fairness in maschinellem Lernen wird oft durch zwei primäre Linsen bewertet: Kontrafaktische Fairness (CF), die konsistente Vorhersagen erfordert, wenn ein sensibles Attribut interveniert wird, und Gruppenfairness (GF), die darauf abzielt, Ergebnisse über demografische Gruppen hinweg anzugleichen. Während frühere Studien zu tabellarischen Daten nahelegten, dass das Erreichen von CF unter spezifischen Bedingungen eines Strukturellen Kausalmodells (SCM) die Erfüllung von GF impliziert, bleibt dieser Zusammenhang in der Bildklassifizierung unklar. Das primäre Hindernis war der Mangel an hochwertigen Evaluierungsdatensätzen mit kontrafaktischen Bildern (bei denen sich nur das sensible Attribut ändert, während andere nicht-kausale Attribute konstant bleiben). Bestehende generative Methoden erzeugen oft qualitativ minderwertige Bilder oder scheitern daran, die Identität zu bewahren, was eine rigorose Evaluierung von CF bei visuellen Aufgaben unmöglich macht.

Methodik
Um die Datenknappheit zu adressen und die CF-GF-Beziehung zu untersuchen, schlagen die Autoren einen dreiteiligen Ansatz vor:

Datensatzkonstruktion (CelebA-CF und LFW-CF):
- Die Autoren konstruierten neue Benchmarks basierend auf den populären Datensätzen CelebA und LFW.
- Sie nutzten InstructPix2Pix (IP2P), ein hochwertiges, auf Diffusion basierendes Bildbearbeitungsmodell, um kontrafaktische Stichproben zu generieren, indem sie das sensible Attribut (Geschlecht) änderten, während Identität und andere Attribute bewahrt wurden.
- Eine rigorose menschliche Annotations-Pipeline wurde eingesetzt. Fünf Annotatoren filterten die generierten Paare basierend auf zehn spezifischen visuellen Attributen (z. B. Bartwuchs, Kieferlinie, Make-up), um sicherzustellen, dass sich das sensible Attribut korrekt änderte und nicht-sensitive Attribute konsistent blieben.
- Eine zweite Runde von fünf unterschiedlichen Annotatoren verifizierte die Zuverlässigkeit der gefilterten Datensätze und bestätigte eine hohe Genauigkeit sowohl bei der Änderung des sensiblen Attributs als auch bei der Bewahrung nicht-sensitiver Attribute.
Theoretische Analyse:
- Die Autoren analysierten die Beziehung zwischen CF und GF unter Verwendung von SCMs für die Bildgenerierung.
- Sie identifizierten einen kritischen Unterschied zwischen tabellarischen und Bilddaten: In Bildern sind sensible Attribute (z. B. Geschlecht) oft mit anderen latenten Attributen (bezeichnet als $G$ , z. B. Haarlänge) korreliert, aber nicht kausal für diese verantwortlich.
- Theorem 4.1 zeigt auf, dass, wenn ein kontrafaktisch fairer Modell auf ein latentes Attribut $G$ zurückgreift, das mit dem sensiblen Attribut $A$ korreliert, aber nicht von ihm verursacht wird, das Modell zwar CF erfüllen, aber GF (speziell Equalized Odds) verfehlen kann. Die Disparität der Equalized Odds (DEO) wird als durch die Sensitivität des Modells gegenüber $G$ nach oben begrenzt dargestellt.
Vorgeschlagene Lösung: Counterfactual Knowledge Distillation (CKD):
- Motiviert durch die theoretische Erkenntnis, dass die Reduzierung der Abhängigkeit von $G$ notwendig ist, um sowohl CF als auch GF zu erreichen, schlagen die Autoren CKD vor.
- CKD kombiniert Counterfactual Pairing (CP) Regularisierung (um CF zu erzwingen) mit Knowledge Distillation (KD).
- Ein „Lehrer“-Modell (speziell ein vanilla-trainiertes Modell, das als robuster gegenüber $G$ befunden wurde als CP-trainierte Modelle) liefert Zielreprsentationen. Das Schüler-Modell wird trainiert, seine Repräsentationen sowohl der Original- als auch der kontrafaktischen Stichproben mit den gemittelten Repräsentationen des Lehrers abzugleichen. Dieser Prozess destilliert die Robustheit gegen das latente Attribut $G$ unter gleichzeitiger Aufrechterhaltung der kontrafaktischen Konsistenz.

Wichtigste Ergebnisse
Umfangreiche Experimente wurden auf den neu erstellten CelebA-CF und LFW-CF Datensätzen sowie einem synthetischen Datensatz (CIFAR-10B), bei dem die Korrelation zwischen $A$ und $G$ kontrolliert werden konnte, durchgeführt.

CF impliziert in Bildern nicht GF: Empirische Ergebnisse zeigten, dass Modelle, die durch Standard-CF-bewusste Methoden (wie CP) eine niedrige Counterfactual Disparity (CD) erreichen, oft eine hohe Disparity of Equalized Odds (DEO) aufweisen. Dies widerspricht den Befunden in tabellarischen Daten und bestätigt die theoretische Hypothese, dass die Abhängigkeit von latenten Attributen $G$ die CF-GF-Verbindung bricht.
Rolle des latenten Attributs $G$ : Experimente zur Manipulation von Attributen wie „Haarlänge“ (als $G$ ) bestätigten, dass CF-bewusste Modelle (CP) sensitiver auf Änderungen in $G$ reagieren (höhere Rate an Vorhersageumkehrungen/Flipped Predictions) als Vanilla-Modelle, was zu schlechteren GF-Metriken führt.
Effektivität von CKD: Die vorgeschlagene CKD-Methode reduzierte erfolgreich die Abhängigkeit des Modells von $G$ . Infolgedessen erreichten CKD-optimierte Modelle gleichzeitig eine niedrige CD (erfüllt CF) und eine niedrige DEO (erfüllt GF).
Robustheit des Lehrer-Modells: Die Studie fand heraus, dass die Verwendung eines vanilla-trainierten Modells als Lehrer (welches weniger abhängig von $G$ ist) bessere GF-Ergebnisse lieferte als die Verwendung eines CP-trainierten Lehrers, was den Mechanismus von CKD weiter validiert.

Bedeutung und Ansprüche
Das Paper beansprucht drei Hauptbeiträge:

Benchmarks: Die Einführung von CelebA-CF und LFW-CF, die ersten hochwertigen, durch Menschen verifizierten kontrafaktischen Bilddatensätze zur Evaluierung von CF in realen Szenarien.
Theoretische Einsicht: Der Nachweis, dass CF nicht zwangsläufig GF impliziert in der Bildklassifizierung aufgrund der Existenz latenter Attribute ( $G$ ), die mit dem sensiblen Attribut korreliert, aber nicht von ihm verursacht werden. Dies stellt die Generalisierbarkeit von SCM-basierten Fairness-Garantien von tabellarischen auf visuelle Domänen in Frage.
Praktische Abschwächung: Der Vorschlag von CKD, eine einfache Baseline, die die Abhängigkeit von solchen latenten Attributen effektiv mildert und es Modellen ermöglicht, sowohl kontrafaktische als auch Gruppenfairness-Konzepte gleichzeitig zu erfüllen.

Die Autoren kommen zu dem Schluss, dass die Überbrückung der Lücke zwischen CF und GF in der Bildklassifizierung die explizite Adressierung der Abhängigkeit des Modells von korrelierten latenten Attributen erfordert – eine Herausforderung, die Standard-CF-Methoden nicht bewältigen können, aber CKD erfolgreich löst.