Procedural Fairness via Group Counterfactual Explanation

Diese Arbeit stellt GCIG (Group Counterfactual Integrated Gradients) vor, ein Regularisierungsframework, das prozedurale Fairness in maschinellen Lernmodellen sicherstellt, indem es während des Trainings die Erklärungsstabilität über verschiedene geschützte Gruppen hinweg erzwingt und so das Vertrauen in die Modellentscheidungen stärkt, ohne die Vorhersagegenauigkeit zu beeinträchtigen.

Das Wesentliche

Stellen Sie sich vor, Sie bewerben sich bei zwei verschiedenen Banken für einen Kredit. Beide Banken lehnen Sie ab. Das Ergebnis ist dasselbe: „Nein".

Aber wie haben die Banken zu diesem Ergebnis gekommen?

• Bank A sagt: „Wir haben abgelehnt, weil Sie zu wenig Geld auf dem Konto haben."
• Bank B sagt: „Wir haben abgelehnt, weil Sie in einer bestimmten Nachbarschaft wohnen."

Beide Banken haben das gleiche Ergebnis geliefert (Fairness im Ergebnis), aber sie haben völlig unterschiedliche Gründe für ihre Entscheidung. Wenn Bank B diese Nachbarschafts-Regel nur für eine bestimmte Gruppe von Menschen anwendet, aber nicht für andere, ist das unfair – selbst wenn das Endergebnis statistisch „ausgeglichen" aussieht.

Genau dieses Problem lösen die Autoren dieses Papers mit einer neuen Methode namens GCIG (Group Counterfactual Integrated Gradients). Hier ist die Erklärung in einfachen Worten:

1. Das Problem: Nur auf das Ergebnis zu schauen, reicht nicht

Bisher haben Forscher vor allem darauf geachtet, dass KI-Modelle am Ende keine Diskriminierung zeigen (z. B. gleiche Ablehnungsraten für Männer und Frauen). Das nennen sie Ergebnis-Fairness.

Das Problem ist: Eine KI kann faire Ergebnisse liefern, aber dabei völlig verrückte oder unterschiedliche Denkweisen für verschiedene Gruppen verwenden.

• Beispiel: Ein KI-System für die Einstellung könnte bei Männern auf den „Berufserfahrung" achten, aber bei Frauen auf den „Abschluss der Schule". Beide werden fair eingestellt, aber die Art und Weise, wie die KI denkt, ist unterschiedlich. Das untergräbt das Vertrauen.

2. Die Lösung: „Was wäre, wenn?" (Gegenfaktische Erklärungen)

Die Autoren fragen sich: „Wie würde die KI diese Entscheidung erklären, wenn die Person zu einer anderen Gruppe gehören würde?"

Stellen Sie sich vor, Sie sind ein Lehrer, der einen Aufsatz korrigiert.

• Normalerweise: Sie sagen: „Der Aufsatz ist schlecht, weil die Grammatik falsch ist."
• Die neue Methode (GCIG): Sie fragen sich: „Wenn dieser Schüler aus einer anderen Klasse käme, würde ich dann immer noch auf die Grammatik schauen oder plötzlich auf die Handschrift?"

Wenn die Antwort lautet: „Oh nein, bei Klasse A schaue ich auf Grammatik, bei Klasse B auf Handschrift", dann ist das System prozedural unfair. Es denkt nicht konsistent.

3. Wie funktioniert die Methode? (Der „Spiegel"-Effekt)

Die Forscher haben einen Algorithmus entwickelt, der während des Trainings der KI wie ein strenger Coach agiert:

1. Der Vergleich: Die KI bekommt eine Aufgabe (z. B. „Soll dieser Kredit vergeben werden?").
2. Der Spiegel: Die KI wird gezwungen, sich vorzustellen: „Was wäre, wenn diese Person zur Gruppe A gehörte? Was wäre, wenn sie zur Gruppe B gehörte?"
3. Der Check: Die KI muss ihre Erklärung für beide Szenarien liefern.
   • Wenn die Erklärung für Gruppe A („Wichtig war das Einkommen") und für Gruppe B („Wichtig war das Einkommen") gleich ist, ist alles gut.
   • Wenn die Erklärung für Gruppe A („Einkommen") und für Gruppe B („Wohnort") unterschiedlich ist, bekommt die KI eine „Strafpunkte" (einen mathematischen Fehler).
4. Das Lernen: Die KI lernt daraus, dass sie ihre Denkweise (die Gewichte im Gehirn) anpassen muss, damit sie für alle Gruppen die gleichen Gründe für ihre Entscheidungen hat.

4. Das Ergebnis: Fairer im Denken, nicht nur im Tun

In Tests mit echten Daten (z. B. Kreditwürdigkeit oder Vorhersage von Straftaten) hat sich gezeigt:

• Die neue Methode (FairX/GCIG) sorgt dafür, dass die KI für alle Gruppen konsistent denkt.
• Sie wird nicht schlechter in ihrer Vorhersage (sie bleibt genau).
• Sie erreicht oft sogar bessere Ergebnisse als alte Methoden, die nur auf das Endergebnis achteten.

Zusammenfassung in einem Satz

Statt nur darauf zu achten, dass die KI am Ende „richtig" entscheidet, zwingt diese Methode die KI dazu, für alle Menschen auf die gleiche Art und Weise zu denken. Es ist der Unterschied zwischen einem Richter, der zufällig das gleiche Urteil fällt, und einem Richter, der für alle nach denselben Gesetzen urteilt.

Das Paper zeigt also: Wahre Fairness bedeutet nicht nur, dass das Ergebnis stimmt, sondern dass der Weg dorthin für jeden gleich ist.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Procedural Fairness via Group Counterfactual Explanation" auf Deutsch:

1. Problemstellung

Die aktuelle Forschung zu Fairness im maschinellen Lernen konzentriert sich überwiegend auf ergebnisorientierte Fairnesskriterien (Outcome-Oriented Fairness), wie z. B. „Equalized Odds" (EO). Diese Metriken stellen sicher, dass die Fehlerquoten (True Positive Rates und False Positive Rates) über verschiedene geschützte Gruppen hinweg ausgeglichen sind.

Das Paper identifiziert jedoch eine kritische Lücke: Zwei Modelle können ähnliche EO-Metriken aufweisen, dennoch völlig unterschiedliche Entscheidungsprozesse für verschiedene Gruppen nutzen. Dies wird als prozedurale Ungerechtigkeit bezeichnet. Wenn ein Modell für Individuen mit demselben Ergebnis (True Label) je nach Gruppenzugehörigkeit unterschiedliche Merkmalsgewichte (Feature Attributions) verwendet, untergräbt dies das Vertrauen in das System, auch wenn die Vorhersagen statistisch fair erscheinen. Bisherige Ansätze nutzen Erklärungen meist nur zur nachträglichen Analyse (Post-hoc), statt sie direkt in den Trainingsprozess zu integrieren, um prozedurale Fairness aktiv zu erzwingen.

2. Methodik: Group Counterfactual Integrated Gradients (GCIG)

Die Autoren schlagen einen In-Processing-Regularisierungsrahmen vor, der prozedurale Fairness als „Invarianz von Gruppenerklärungen" formalisiert. Das Kernkonzept ist GCIG (Group Counterfactual Integrated Gradients).

A. Grundprinzip

Das Ziel ist es, sicherzustellen, dass die Erklärung eines Modells für eine Vorhersage stabil bleibt, unabhängig davon, auf welche Gruppe der Kontext (die Referenzbasis) angewendet wird, solange das wahre Label gleich bleibt. Die Frage lautet: „Wie würde sich die Erklärung ändern, wenn derselbe Individuum im Kontext einer anderen Gruppe bewertet würde?"

B. Technische Komponenten

1. Gruppenbedingte Baselines (Group Conditional Baselines):
   Anstatt einer globalen Null-Basislinie werden für jede Kombination aus Label $y$ und geschützter Gruppe $g$ spezifische Baselines $b_{y,g}$ definiert. Diese entsprechen dem durchschnittlichen Merkmalsvektor aller Individuen in Gruppe $g$ mit dem Label $y$. Um Stabilität während des Trainings zu gewährleisten, werden diese Baselines als exponentielle gleitende Durchschnitte (EMA) aktualisiert.

2. Integrierte Gradienten (Integrated Gradients - IG):
   Für ein Eingabe-Beispiel $x$ werden IGs berechnet, die den Beitrag jedes Merkmals zur Vorhersage relativ zur jeweiligen Gruppen-Baseline $b_{y,g}$ messen.
   $$IG^{(g)}(x; y) = IG(x, b_{y,g})$$
   Dies beantwortet die Frage: Welche Merkmale unterscheiden dieses Individuum von einem typischen Mitglied der Gruppe $g$ mit demselben Ergebnis?

3. Normalisierung und Diskrepanz-Messung:
   Um Skaleneffekte zu vermeiden, werden die Attributionsvektoren normalisiert (z. B. mittels $L_2$-Norm). Die prozedurale Diskrepanz $V(x; y)$ wird als Varianz der normalisierten Attributionsvektoren über alle Gruppen hinweg berechnet. Ein hoher Wert bedeutet, dass das Modell je nach Gruppenkontext unterschiedlich „denkt".

4. Trainingsziel (FairX):
   Die Gesamtverlustfunktion kombiniert drei Komponenten:
   $$L_{total}(\theta) = L_{pred}(\theta) + \lambda_{ig} L_{GCIG}(\theta) + \lambda_{fair} L_{fair}$$

   • $L_{pred}$: Standard-Binary-Cross-Entropy (Vorhersagegenauigkeit).
   • $L_{GCIG}$: Der Regularisierungsterm, der die Varianz der Erklärungen über die Gruppen minimiert.
   • $L_{fair}$: Ein herkömmlicher Fairness-Term (z. B. EO-Verletzung).
   • $\lambda_{ig}, \lambda_{fair}$: Gewichtungsfaktoren.

3. Hauptbeiträge

1. Formalisierung: Prozedurale Fairness wird als Invarianz von Gruppenerklärungen (Group Counterfactual Explanation Invariance) definiert, die bedingt auf dem wahren Label gilt.
2. Algorithmus GCIG: Entwicklung eines Trainingsframeworks, das die Variation von Merkmalsattributen über Gruppen hinweg durch den Einsatz von gruppenspezifischen Baselines und integrierten Gradienten während des Trainings bestraft.
3. Empirische Validierung: Demonstration, dass GCIG die Erklärungsdisparität signifikant reduziert, ohne die Vorhersageleistung oder die ergebnisorientierte Fairness zu beeinträchtigen.

4. Ergebnisse

Die Methode wurde auf vier Standard-Datensätzen (Adult, German Credit, COMPAS, Bank Marketing) gegen sechs State-of-the-Art-Baselines (einschließlich adversarieller Ansätze, Reduktionen und Post-Processing) getestet.

• Reduktion der Erklärungsdisparität: FairX (das Framework mit GCIG) reduzierte den GCIG-Wert (Maß für Erklärungsunterschiede) drastisch.
  • Beispiel German Credit: Reduktion von 0,190 (unbeschränkt) auf 0,066.
  • Beispiel COMPAS: Reduktion von 0,193 auf 0,034.
• Vorhersageleistung: FairX erreichte auf allen Datensätzen wettbewerbsfähige F1-Scores und war in vielen Fällen sogar die beste Methode (z. B. German Credit: 0,833).
• Unabhängigkeit der Fairness-Dimensionen: Die Analyse zeigte eine nur schwache Korrelation ($r \approx 0,24$) zwischen ergebnisorientierter Fairness (EO Gap) und prozeduraler Fairness (GCIG). Modelle mit ähnlichen EO-Werten zeigten oft stark unterschiedliche Erklärungsverhalten. Dies beweist, dass EO allein nicht ausreicht, um prozedurale Fairness zu garantieren.
• Ablationsstudie: Die Kombination aus Vorhersage, EO und GCIG führte zu den besten Ergebnissen. Die alleinige Optimierung auf EO verschlechterte sogar die prozedurale Fairness leicht, während die Kombination synergistische Effekte zeigte.

5. Bedeutung und Fazit

Das Paper liefert einen wichtigen Beleg dafür, dass Fairness mehr als nur faire Ergebnisse erfordert; der Entscheidungsprozess selbst muss konsistent sein.

• Paradigmenwechsel: Statt Fairness nur nachträglich zu auditieren, wird sie durch Regularisierung direkt in das Lernziel integriert.
• Praktische Anwendbarkeit: Die Methode ist rechnerisch handhabbar (ca. $T$-mal langsamer als Standardtraining, wobei $T$ die Anzahl der Integrationsstufen ist) und funktioniert gut auf tabellarischen Daten.
• Zukunftsperspektive: Die Arbeit legt den Grundstein für eine „Fairness-by-Design"-Philosophie, die sowohl Vorhersagen als auch deren Begründungen über alle demografischen Gruppen hinweg konsistent macht.

Zusammenfassend zeigt GCIG, dass es möglich ist, Modelle zu trainieren, die nicht nur was sie entscheiden, sondern auch wie sie zu diesem Schluss kommen, fair und konsistent gestalten.