No evaluation without fair representation : Impact of label and selection bias on the evaluation, performance and mitigation of classification models

Diese Arbeit analysiert empirisch die unterschiedlichen Auswirkungen von Label- und Selektionsverzerrungen auf die Evaluierung und Leistung von Klassifikationsmodellen sowie auf die Wirksamkeit von Gegenmaßnahmen, wobei ein neu eingeführtes Framework zeigt, dass bei verzerrungsfreien Testdaten kein Zielkonflikt zwischen Fairness und Genauigkeit besteht und die Effizienz von Mitigationsmethoden stark von der Art der Verzerrung abhängt.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschungsergebnisse, als würde man sie einem Freund beim Kaffee erzählen, mit ein paar anschaulichen Bildern.

Das große Problem: Der verdorbene Spiegel

Stellen Sie sich vor, Sie wollen einen Schüler für ein Jobinterview vorbereiten. Sie geben ihm einen Test, aber der Test ist unfair: Die Fragen sind so gestellt, dass eine bestimmte Gruppe (sagen wir, Mädchen) schlechter abschneidet, obwohl sie genauso klug sind wie die anderen.

Wenn Sie den Schüler dann auf Basis dieses verdorbenen Tests bewerten, denken Sie: „Oh, er ist nicht gut genug." Aber das liegt nicht an ihm, sondern an dem Test!

Genau das passiert in der KI-Welt (Machine Learning). Die Computer lernen aus Daten (wie dem Test). Wenn diese Daten verzerrt sind (z. B. weil bestimmte Gruppen seltener eingestellt wurden oder ihre Noten falsch bewertet wurden), lernt der Computer die falschen Regeln.

Das Schlimme ist: Die Forscher haben bisher oft den selben verdorbenen Test benutzt, um zu prüfen, ob ihre „Reparatur-Methoden" (Bias-Mitigation) funktionieren. Das ist wie ein Arzt, der versucht, eine Krankheit zu heilen, aber nur einen kaputten Thermometer benutzt, um zu messen, ob es dem Patienten besser geht. Das Thermometer zeigt immer noch Fieber an, auch wenn der Patient gesund ist.

Die neue Idee: Ein fairer Spiegel

Die Autoren dieses Papers (Legast, Calders und Fouss) sagen: „Halt! Wir brauchen einen fairen Spiegel."

Sie haben sich ein neues System ausgedacht:

1. Der faire Boden: Sie nehmen echte Daten, die eigentlich schon ziemlich fair sind (wie Noten von Schülern oder Daten von Open University). Das ist die „Wahrheit".
2. Der künstliche Fehler: Sie fügen diesen Daten gezielt Fehler hinzu. Sie machen es so, als wären die Daten verzerrt (z. B. indem sie die Noten von Mädchen künstlich senken oder sie gar nicht erst in den Datensatz aufnehmen).
3. Der Test: Jetzt trainieren sie die KI mit den fehlerhaften Daten. Aber wenn sie prüfen, ob die KI gut ist, schauen sie nicht auf die Fehlerdaten, sondern auf die ursprünglichen, fairen Daten.

So können sie wirklich sehen: Hat die Reparatur-Methodik die KI wieder auf den richtigen Kurs gebracht?

Die zwei Haupt-Übeltäter: Etiketten und Auswahl

Die Forscher haben zwei Hauptarten von „Schmutz" in den Daten untersucht:

1. Das Etiketten-Problem (Label Bias):

   • Die Metapher: Stellen Sie sich vor, ein Lehrer gibt einem Schüler eine 4, obwohl er eine 1 verdient hat, nur weil er aus einer bestimmten Gruppe kommt. Das ist wie ein falsches Preisschild an einem Produkt.
   • Die Erkenntnis: Wenn die Labels (die Antworten) falsch sind, lernt die KI komplett falsch. Das ist sehr gefährlich für die Genauigkeit.

2. Das Auswahl-Problem (Selection Bias):

   • Die Metapher: Stellen Sie sich vor, Sie wollen wissen, wie gut Fußballer sind, aber Sie schauen sich nur Spiele an, in denen die besten Teams gegeneinander spielen. Oder schlimmer: Sie schauen sich nur Spiele an, in denen ein Team absichtlich schlechte Spieler hat. Die Daten repräsentieren nicht die ganze Welt.
   • Die Erkenntnis: Hier ist es überraschend: Wenn die KI clever genug ist und genug Daten hat, kann sie oft trotzdem die richtigen Muster lernen, selbst wenn die Auswahl verzerrt ist. Sie ist robuster als gedacht.

Die große Entdeckung: Es gibt keinen „Zweierlei-Maßstab"

Ein sehr wichtiger Punkt, den die Forscher machen, ist das Ende einer großen Angst in der KI-Welt: Der Trade-off zwischen Fairness und Genauigkeit.

Bisher dachten alle: „Wenn wir die KI fairer machen, wird sie automatisch dümmer (weniger genau)."
Die Forscher sagen: Nein!

• Die Metapher: Es ist, als würde man denken, man müsse einen Sportler verkrüppeln, damit er nicht mehr rennt. Aber wenn man ihn einfach nur richtig trainiert (ohne die falschen Regeln), läuft er schneller und fairer.
• Wenn man die KI auf einem fairen Test prüft, sieht man, dass man sie sowohl fairer als auch genauer machen kann. Das Problem war nur, dass man sie auf einem ungerechten Test geprüft hat, der die Verbesserung nicht gesehen hat.

Was funktioniert und was nicht?

Die Forscher haben viele verschiedene „Reinigungs-Methoden" getestet. Das Ergebnis? Es gibt keine universelle Lösung.

• Die Metapher: Es ist wie mit Werkzeugen. Ein Hammer ist toll, um Nägel zu schlagen, aber wenn Sie eine Schraube lösen wollen, brauchen Sie einen Schraubenzieher. Wenn Sie versuchen, eine Schraube mit dem Hammer zu lösen, machen Sie alles kaputt.
• Manche Methoden funktionieren super, wenn die Daten falsche Noten haben (Label Bias), aber machen es schlimmer, wenn die Daten nur eine falsche Auswahl haben (Selection Bias).
• Um die richtige Methode zu wählen, muss man also genau wissen: Welcher Schmutz ist in meinen Daten?

Fazit für den Alltag

Diese Forschung sagt uns:

1. Vorsicht beim Testen: Wenn wir prüfen, ob eine KI fair ist, müssen wir sicherstellen, dass unser Test nicht selbst unfair ist. Sonst sehen wir nur das, was wir sehen wollen.
2. Fairness ist kein Opfer: Wir müssen nicht auf Genauigkeit verzichten, um fair zu sein. Wenn wir die richtigen Werkzeuge benutzen und auf den richtigen Spiegel schauen, können wir beides haben.
3. Kenntnis ist Macht: Bevor wir eine KI reparieren, müssen wir verstehen, wie sie kaputt gemacht wurde. Ein pauschaler „Reparatur-Kit" für alle Fälle funktioniert nicht.

Kurz gesagt: Wir müssen aufhören, in den verdorbenen Spiegel zu schauen, wenn wir wollen, dass unsere KI die Welt fair und gut versteht.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „No evaluation without fair representation: Impact of label and selection bias on the evaluation, performance and mitigation of classification models" von Legast, Calders und Fouss.

1. Problemstellung

Der Artikel adressiert ein fundamentales Problem im Bereich des fairen maschinellen Lernens (Fair ML): Die Bewertung von Klassifikationsmodellen und Bias-Mitigationsmethoden erfolgt häufig auf verzerrten Daten, was zu irreführenden Schlussfolgerungen führt.

• Verzerrte Evaluierung: Traditionelle Studien nutzen Datensätze, die bereits Bias enthalten (z. B. Adult, COMPAS), sowohl zum Training als auch zum Testen. Dies führt zur Annahme eines unvermeidbaren „Trade-offs" zwischen Fairness und Genauigkeit. Das Paper argumentiert, dass dieser Trade-off oft ein Artefakt der verzerrten Evaluierung ist, da die „Ground Truth" (die Labels im Testset) selbst voreingenommen ist.
• Unterschiedliche Bias-Typen: Es wird zwischen Label-Bias (die Labels in den Trainingsdaten entsprechen nicht der fairen Realität, z. B. durch Messfehler oder Diskriminierung bei der Etikettierung) und Selection-Bias (die Stichprobe repräsentiert die faire Welt nicht korrekt, z. B. durch Unterrepräsentation bestimmter Gruppen) unterschieden.
• Fehlende Kontextsensitivität: Es gibt unzureichende Leitlinien dafür, welche Mitigationsmethode für welchen spezifischen Bias-Typ geeignet ist. Die Leistung von Methoden variiert stark je nach Art der Verzerrung, was in bisherigen Studien oft übersehen wurde, da die Bias-Quellen in öffentlichen Datensätzen oft unklar sind.

2. Methodik und Framework

Die Autoren stellen ein neues Biasing- und Evaluierungs-Framework vor, das auf dem „Fair World Framework" basiert.

• Konzept der „Fair World": Es wird angenommen, dass ein idealer, unverzerrter Datensatz existiert, der die faire Welt repräsentiert. Verzerrte Datensätze entstehen durch einen bekannten, kontrollierten Verzerrungsprozess aus dieser fairen Basis.
• Kontrollierte Bias-Einführung: Anstatt auf existierende, kritisierte Datensätze zurückzugreifen, wählen die Autoren realistische Datensätze mit einem sehr niedrigen Diskriminierungsgrad (Student Performance, OULAD) als „faire Baseline". Auf diesen werden gezielt und kontrolliert verschiedene Bias-Typen injiziert:
  • Label-Bias: Systematische Herabstufung der Scores der benachteiligten Gruppe vor der Thresholding-Entscheidung.
  • Selection-Bias (Subtypen):
    • Random Selection: Zufällige Unterabtastung der benachteiligten Gruppe.
    • Self-Selection: Unterabtastung der benachteiligten Gruppe mit höherer Wahrscheinlichkeit für Personen mit niedrigeren Scores (simuliert z. B. geringere Bewerbungsrate).
    • Malicious Selection: Gezielte Unterabtastung von benachteiligten Personen mit positiven Labels und privilegierten Personen mit negativen Labels (simuliert aktive Diskriminierung).
• Dual-Label-Evaluierung: Modelle werden auf den verzerrten Trainingsdaten trainiert (mit und ohne Mitigation), aber auf den unverzerrten (fairen) Testdaten evaluiert. Dies ermöglicht eine echte Messung der Modellleistung gegenüber der fairen Realität, unabhängig von den Verzerrungen im Training.
• Experimentelles Setup: Es wurden 8 verschiedene Mitigationsmethoden (Pre- und Post-Processing, z. B. Reweighing, Massaging, FTU, Equalized Odds Postprocessing, ROC-Varianten) auf drei verschiedenen Algorithmen (Random Forest, Decision Tree, MLP) getestet. Die Leistung wurde mit fünf Metriken bewertet: Genauigkeit, Statistical Parity Difference (SPD), Equalized Odds Difference (EqOd), Balanced Conditioned Consistency (BCC) und Generalized Entropy Index (GEI).

3. Hauptbeiträge

1. Neues Evaluierungs-Framework: Ein Framework, das es erlaubt, Modelle auf verzerrten Daten zu trainieren und auf einer fairen Ground Truth zu evaluieren, um den wahren Effekt von Bias und Mitigation zu messen.
2. Empirische Widerlegung des Fairness-Genauigkeits-Trade-offs: Die Studie zeigt, dass kein Trade-off zwischen Fairness und Genauigkeit existiert, solange die Evaluierung auf einem unverzerrten Testset erfolgt. Modelle können sowohl fairer als auch genauer werden.
3. Differenzierte Analyse von Bias-Typen: Die Arbeit liefert empirische Belege dafür, dass Label-Bias und verschiedene Formen von Selection-Bias unterschiedliche Auswirkungen auf Modelle und Mitigationsmethoden haben.
4. Methodenvergleich: Eine umfassende Analyse, welche Mitigationsmethoden für welche Bias-Szenarien funktionieren und welche sogar kontraproduktiv sind.

4. Wichtige Ergebnisse

A. Auswirkungen von Bias auf die Evaluierung

• Verzerrte Metriken: Die Evaluierung auf verzerrten Testdaten führt zu systematisch falschen Metrikwerten. Beispielsweise überschätzt Selection-Bias oft die Fairness (SPD), wenn „verdiente" Personen der benachteiligten Gruppe überrepräsentiert sind, oder unterschätzt sie bei maliziöser Auswahl.
• Fehlende Korrelation: Es gibt keine zuverlässige Korrelation zwischen den Ergebnissen einer verzerrten Evaluierung und der tatsächlichen Leistung auf einer fairen Welt. Methoden, die auf verzerrten Daten gut abschneiden, können auf fairen Daten katastrophal schlecht performen.

B. Einfluss von Bias auf Modellleistung (ohne Mitigation)

• Label-Bias: Hat einen sehr starken negativen Effekt auf Genauigkeit, Gruppen- und individuelle Fairness, da die Beziehung zwischen Merkmalen und korrektem Label direkt zerstört wird.
• Selection-Bias: Hat unter bestimmten Bedingungen (große Datensätze, gute Vorhersagemerkmale, „We are All Equal"-Annahme) oft einen vernachlässigbaren Effekt auf die Modellleistung. Modelle können die relevanten Muster lernen, selbst wenn die Verteilung der Trainingsdaten verzerrt ist, solange die Merkmale aussagekräftig bleiben. Der Effekt wird jedoch signifikant, wenn die Merkmale schwach sind oder die Datensätze klein sind.

C. Leistung von Mitigationsmethoden

Die Effektivität der Methoden hängt stark vom Bias-Typ ab:

• Reweighing: Funktioniert sehr gut bei Selection-Bias (da es die Verteilung korrigiert), hat aber bei Label-Bias gemischte Ergebnisse.
• Massaging & ROC-SPD: Diese Methoden, die Labels ändern, um Statistical Parity zu erreichen, funktionieren gut bei Label-Bias. Bei Selection-Bias (insbesondere Self-Selection) führen sie jedoch oft zu einer Verschlechterung der Fairness, da sie fälschlicherweise Labels ändern, um eine verzerrte Statistik zu erfüllen.
• FTU (Fairness Through Unawareness): Überraschend robust und performant in vielen Szenarien, solange die sensitive Attribut-Korrelation in den ursprünglichen Daten gering ist.
• Post-Processing (EOP, CEO, ROC-EqOp): Diese Methoden sind anfällig für beide Bias-Typen, da sie auf verzerrten Labels basieren, um die Fairness zu optimieren. Sie führen oft zu einem Verlust an Genauigkeit oder individueller Fairness.
• Kein Trade-off: Unter fairen Evaluierungsbedingungen konnten mehrere Methoden gleichzeitig die Genauigkeit und die Fairness verbessern.

5. Bedeutung und Schlussfolgerung

Das Paper hat weitreichende Implikationen für die Forschung und Praxis im Bereich Fairness in KI:

1. Paradigmenwechsel in der Evaluierung: Die traditionelle Praxis, verzerrte Testsets zu verwenden, muss aufgegeben werden. Um die wahre Leistung von Modellen und Mitigationsstrategien zu bewerten, sind unverzerrte Testdaten (oder synthetische/fairere Baselines) unerlässlich.
2. Kontextabhängigkeit von Lösungen: Es gibt keine „One-size-fits-all"-Lösung. Die Wahl der Mitigationsmethode muss auf einer genauen Diagnose des vorliegenden Bias-Typs basieren. Eine falsche Wahl (z. B. Massaging bei Selection-Bias) kann die Diskriminierung verschlimmern.
3. Auflösung des Trade-offs: Die Annahme, dass Fairness und Genauigkeit in einem Zielkonflikt stehen, ist oft ein Artefakt der Evaluierungsmethodik. Bei korrekter Evaluierung können beide Ziele gleichzeitig erreicht werden.
4. Zukünftige Forschung: Es wird gefordert, komplexere Bias-Szenarien (Kombinationen von Bias-Typen), die Detektion von Bias in realen Daten und robustere Mitigationsmethoden zu erforschen.

Zusammenfassend fordert die Arbeit dazu auf, die Evaluierung von Fairness-Interventionen neu zu denken: Ohne faire Repräsentation im Testset ist jede Bewertung wertlos und potenziell irreführend.