Towards Provably Fair Machine Learning: Bayesian Approaches For Consistent and Transparent Predictions

Dieses Papier stellt den Fair Bayesian Classifier vor, eine Methode, die durch die Durchsetzung statistischer Konsistenz und Determinismus konsistente und transparente Vorhersagen über alle demografischen Untergruppen hinweg gewährleistet und damit die Zuverlässigkeitslücken frequentistischer Ansätze adressiert, die Minderheitenpopulationen unverhältnismäßig stark betreffen, während gleichzeitig die Gesamtgenauigkeit beibehalten oder verbessert wird.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Richter in einem Gerichtssaal, aber anstatt Menschen zu verurteilen, beurteilen Sie Gruppen von Menschen basierend auf einem riesigen Register vergangener Fälle. Ihr Ziel ist es, eine Vorhersage zu treffen: „Wird diese Person Erfolg haben?“ oder „Wird diese Person rückfällig?“

Das von Ihnen bereitgestellte Dokument, „Towards Provably Fair Machine Learning“, argumentiert, dass die meisten modernen Computerprogramme (Machine-Learning-Modelle) schlechte Richter sind, wenn es um kleine, spezifische Gruppen von Menschen geht. Sie treffen oft selbstbewusste Vermutungen, die den tatsächlichen Beweisen direkt vor ihnen widersprechen.

Hier ist die Aufschlüsselung des Arguments der Arbeit, unter Verwendung einfacher Analogien.

1. Das Problem: Der „selbstbewusste Narr“

Standardmäßige Machine-Learning-Modelle sind wie ein Schüler, der die Antworten für einen großen Test auswendig gelernt hat, aber die Logik dahinter nicht versteht.

• Das Problem: Wenn die Daten riesig sind (wie die Bevölkerung einer Stadt), funktionieren diese Modelle gut. Aber wenn sie eine winzige, spezifische Gruppe betrachten (wie „linkshändige, rothaarige Frauen, die Nachtschicht arbeiten“), gibt es in der gesamten Datenbank vielleicht nur 5 Personen in dieser Gruppe.
• Der Fehler: Standardmodelle versuchen trotzdem zu raten. Sie versuchen oft, die Details zu „glätten“, um die Mathematik einfacher zu machen. Das ist so, als würde ein Lehrer die spezifischen Schwierigkeiten einer kleinen Gruppe von Schülern ignorieren, um den Klassendurchschnitt gut aussehen zu lassen.
• Das Ergebnis: Das Modell trifft eine Vorhersage, die angesichts der Beweise statistisch unmöglich ist. Zum Beispiel: Wenn eine Gruppe von 100 identischen Menschen genau eine Erfolgsquote von 50 % hat, könnte das Modell selbstbewusst sagen: „100 % werden Erfolg haben“ oder „0 % werden Erfolg haben“. Beides ist falsch, aber das Modell sagt es trotzdem, weil es versucht, entscheidungsfreudig zu sein.

2. Die Lösung: Der „ehrliche Detektiv“

Die Autoren schlagen eine neue Methode vor, die Fair Bayesian (FB) Classifier genannt wird. Betrachten Sie dies nicht als einen Schüler, der versucht, eine Eins zu bekommen, sondern als einen ehrlichen Detektiv, der sich weigert zu raten, sofern die Beweise nicht absolut wasserdicht sind.

Dieser Detektiv folgt zwei strengen Regeln:

1. Die Zwillingsregel (Determinismus): Wenn zwei Menschen exakt dieselben Details haben (gleicher Job, gleiches Alter, gleiche Vorgeschichte), müssen sie exakt dieselbe Vorhersage erhalten. Man kann identische Zwillinge nicht unterschiedlich behandeln.
2. Die Beweisregel (Statistische Konsistenz): Der Detektiv wird nur dann eine Vorhersage treffen, wenn die Daten beweisen, dass sie wahrscheinlich ist. Wenn die Beweise zu schwach sind oder wenn die Beweise zeigen, dass sowohl „Ja“ als das auch „Nein“ falsch sind, wird der Detektiv sich weigern zu raten.

3. Der magische Trick: „Enthaltung“ (Abstention)

Dies ist der einzigartigste Teil der Arbeit. In der realen Welt denken wir meistens, dass ein Computer immer eine Antwort geben sollte. Aber diese Arbeit argumentiert, dass die einzige faire Antwort manchmal „Ich weiß es nicht“ lautet.

• Die Analogie: Stellen Sie sich einen Münzwurf vor. Wenn Sie eine Münze dreimal werfen und zweimal Kopf erhalten, könnten Sie raten, dass der nächste Wurf ebenfalls Kopf ist. Aber wenn Sie eine Münze 1.000 Mal werfen und exakt 500 Mal Kopf und 500 Mal Zahl erhalten, wissen Sie, dass die Münze fair ist. Wenn Sie gezwungen sind, für den nächsten Wurf zu raten, sind Sie nur am Raten. Wenn Sie jedoch gezwungen sind, für alle 1.000 Würfe zu raten, lügen Sie.
• Der Ansatz der Arbeit: Der Fair-Bayesian-Classifier betrachtet eine Gruppe. Wenn die Daten zeigen, dass die Vorhersage „Ja“ falsch ist und die Vorhersage „Nein“ ebenfalls falsch ist (weil die Gruppe gespalten ist und die Stichprobengröße groß genug ist, um sicher zu sein), dann enthält sich das Modell. Es sagt: „Ich kann für diese spezifische Gruppe keine faire, konsistente Vorhersage treffen.“

4. Warum das für die Fairness wichtig ist

Die Arbeit weist auf eine grausame Ironie in der aktuellen KI hin:

• Minderheiten sind oft in kleinen Gruppen vertreten. Da sie selten sind, landen sie oft in jenen winzigen „Subgruppen“, in denen Standardmodelle die meisten Fehler machen.
• Standardmodelle schaden Minderheiten. Um die Mathematik zu korrigieren, ordnen Standardmodelle diese kleinen Gruppen oft größeren, generischen Gruppen zu. Dies löscht ihre einzigartige Geschichte aus und zwingt sie in eine Vorhersage, die nicht zu ihnen passt.
• Die Fair-Bayesian-Lösung: Indem es jede winzige Gruppe individuell betrachtet und sich weigert zu raten, wenn die Beweislage wackelig ist, schützt diese neue Methode die Menschen in diesen kleinen, vulnerablen Gruppen. Sie gibt zu, dass sie nicht genügend Informationen hat, anstatt eine Geschichte zu erfinden, die ihnen schadet.

5. Die Ergebnisse: „Null Fehler“ bei den Regeln

Die Autoren haben ihren „ehrlichen Detektiv“ gegen Standardmodelle (wie Entscheidungsbäume und neuronale Netze) auf drei berühmten Datensätzen getestet (über Einkommen, Strafjustiz und Bankmarketing).

• Die Standardmodelle: Sie trafen Vorhersagen, die den tatsächlichen Daten für eine große Anzahl kleiner Gruppen widersprachen. Sie waren „selbstbewusst falsch“.
• Das Fair-Bayesian-Modell:
  • Es machte null Vorhersagen, die den Daten widersprachen.
  • Es war tatsächlich genauer als die anderen Modelle bei den Gruppen, bei denen es eine Vorhersage traf.
  • Es markierte die Gruppen, bei denen es sich nicht entscheiden konnte (die „Ich weiß es nicht“-Gruppen), was als ein Merkmal und nicht als ein Fehler betrachtet wird.

Zusammenfassung

Die Arbeit behauptet, dass wahre Fairness nicht nur darin besteht, die richtige Vermutung anzustellen; es geht darum, eine Vermutung zu äußern, die durch die Beweise tatsächlich gestützt wird.

Wenn die Beweislage zu dünn ist oder wenn die Beweise zeigen, dass eine einfache „Ja/Nein“-Antwort unmöglich ist, sollte ein faires System innehalten und sagen: „Ich benötige mehr Informationen.“ Die Autoren haben ein System geschaffen, das genau das tut, und stellt sicher, dass niemand von einer Vorhersage beurteilt wird, die die Daten selbst als unmöglich deklarieren.

Technische Zusammenfassung

Technisches Resümee: Auf ein beweisbar faires maschinelles Lernen zuwenden: Bayessche Ansätze für konsistente und transparente Vorhersagen

1. Problemstellung

Maschinelle Lernmodelle, die in Hochrisikodomänen (Finanzwesen, Strafjustiz, Gesundheitswesen) eingesetzt werden, liefern oft Vorhersagen, die systematisch inkonsistent mit den beobachteten Daten sind, insbesondere für granulare Subgruppen, die durch die Schnittmenge mehrerer Merkmale definiert sind. Diese Inkonsistenz entsteht, weil standardmäßige frequentistische Ansätze beobachtete Stichprobenanteile als zuverlässige Schätzer für wahre Wahrscheinlichkeiten behandeln, unabhängig von der Stichprobengröße. In großen Datensätzen ist zwar das Gesamtvolumen der Daten hoch, aber die Daten auf der feinsten Auflösungsebene (Individuen, die identische Werte über alle Merkmale hinweg teilen) bestehen oft aus kleinen Subgruppen.

Zwei primäre Probleme verschärfen dies:

1. Versagen der Inferenz bei kleinen Stichproben: Standardmodelle berücksichtigen nicht die hohe Unsicherheit im Zusammenhang mit kleinen Subgruppen, was zu übermäßig selbstbewussten, aber statistisch nicht fundierten Vorhersagen führt.
2. Regularisierungs-Bias: Um Überanpassung (Overfitting) zu verhindern, kollabieren Standard-ML-Techniken (z. B. das Beschneiden von Entscheidungsbäumen oder Regularisierung in neuronalen Netwerken) kleine Subgruppen in größere Aggregate. Dies betrifft Minderheiten-Demografien unverhältnismäßig stark, da diese oft in diesen kleinen, intersektionalen Subgruppen konzentriert sind, wodurch ihre distinkten Verhaltensmuster effektiv ausgelöscht werden.
3. Mangel an prinzipieller Enthaltung (Abstention): Aktuelle Modelle, einschließlich solcher, die auf Fairness ausgelegt sind, sind gezwungen, für jeden Input eine Vorhersage zu treffen. Ihnen fehlt ein Mechanismus, um sich zu enthalten, wenn die Evidenz entweder zu spärlich ist, um eine sichere Vorhersage zu stützen, oder umgekehrt stark genug ist, um alle deterministischen Vorhersagen auszuschließen (z. B. eine Gruppe, bei der die Zielrate bei genau 50 % liegt, bei einer großen Stichprobe).

Bestehende Fairness-Ansätze (Gruppenfairness, Multikalibrierung) verlassen sich oft auf vorab spezifizierte geschützte Gruppen, skalieren nicht auf alle möglichen Schnittmengen und adressieren nicht die fundamentale statistische Inkonsistenz zwischen Vorhersage und beobachteter Evidenz.

2. Methodik: Der Fair Bayesian (FB) Classifier

Die Autoren schlagen den Fair Bayesian (FB) Classifier vor, ein Framework, das Klassifizierung als eine Frage der statistischen Rechtfertigung behandelt und nicht als Optimierung der aggregierten Genauigkeit. Die Methode basiert auf klassischer Bayesscher Inferenz angewandt auf Populationswahrscheinlichkeiten statt auf Modellparametern.

Kernanforderungen

Das Framework erzwingt zwei strikte Anforderungen für jede Vorhersage:

1. Determinismus: Identische Individuen (die alle Merkmalswerte teilen) müssen identische Vorhersagen erhalten.
2. Statistische Konsistenz: Eine Vorhersage für eine Subgruppe muss statistisch konsistent mit der aus der beobachteten Stichprobe abgeleiteten Zielverteilung sein, bewertet mittels eines Hypothesentests bei einem Signifikanzniveau $\alpha$.

Technisches Framework

• Subgruppen-Definition: Die Daten werden in $d$-Knoten (Gruppen mit identischen Werten über alle $m$ Attribute) und $v$-Knoten (Gruppen, die durch eine Teilmenge von Attributen definiert sind, wobei andere unbeachtet bleiben) unterteilt.
• Bayessche Inferenz: Für jeden $d$-Knoten wird die unbekannte Populationswahrscheinlichkeit $p$ mittels einer Beta-Posterior (mit einem uniformen Beta(1,1)-Prior) modelliert. Die prädiktive Verteilung für zukünftige Beobachtungen folgt einer Beta-Binomial-Verteilung.
• Konsistenzprüfung: Für einen gegebenen $d$-Knoten mit $N_d$ Beobachtungen und $T_d$ positiven Zielwerten wird eine deterministische Vorhersage (entweder „nur positiv“ oder „nur negativ“) gegen die Beta-Binomial-Prädiktionsverteilung getestet.
  • Wenn die beobachteten Daten die „nur positiv“-Vorhersage auf dem Niveau $\alpha$ ausschließen, wird sie abgelehnt.
  • Wenn die Daten die „nur negativ“-Vorhersage ausschließen, wird sie abgelehnt.
  • Kategorisierung der Knoten:
    • $d_0$: Nur „nur negativ“ ist konsistent.
    • $d_1$: Nur „nur positiv“ ist konsistent.
    • $d_{amb}$: Beide sind konsistent (ambivalent); die Auflösung beruht auf den Constraints des übergeordneten $v$-Knotens.
    • $d_{nf}$ (No Fair): Weder die noch die andere deterministische Vorhersage ist konsistent (z. B. eine große Gruppe mit einer Zielrate von genau 50 %).
• Enthaltungsmechanismus (Abstention): Im Gegensatz zur konfidenzbasierten Enthaltung enthält sich der FB-Classifier bei $d_{nf}$-Knoten, weil die Evidenz positiv beide deterministischen Optionen ausschließt. Dies ist eine Sicherheitsmaßnahme, um die Ausgabe demonstrativ inkonsistenter Vorhersagen zu verhindern.
• Globale Konsistenz ($v$-Knoten): Vorhersagen müssen auch die Konsistenzbeschränkungen für alle $v$-Knoten (Aggregationen von $d$-Knoten) erfüllen. Da die Verteilungen von $v$-Knoten aufgrund von Heterogenität nicht in geschlossener Form berechnet werden können, nähern die Autoren diese durch Sampling aus den Verteilungen der Kind-$d$-Knoten an.
• Constraint Satisfaction: Das Problem wird als Constraint-Satisfaction-Problem formuliert, bei dem die Summe der Vorhersagen für Kind-$d$-Knoten innerhalb der $[V_{min}, V_{max}]$-Grenzen des Eltern-$v$-Knotens liegen muss. Die Autoren verwenden den Gurobi-Optimizer, um eine zulässige Zuweisung zu finden, die ein lineares Objektiv basierend auf der Posterior-Log-Odds maximiert, gefolgt von einem sekundären Scoring-Schritt unter Verwendung von $v$-Knoten-Log-Likelihoods, um die beste Lösung aus dem zulässigen Pool auszuwählen.
• Umgang mit Heterogenität: Um Übervertrauen in großen Datensätzen zu verhindern, die unbeobachtete zeitliche oder quellenspezifische Variationen enthalten könnten, wird eine Varianzuntergrende ($\tau = 10^{-5}$) auf die Beta-Posterior angewendet, welche die effektive Stichprobengröße begrenzt.

3. Zentrale Beiträge

1. Framework für Vorhersagekonsistenz: Eine formale Definition statistischer Konsistenz basierend auf Bayesscher Inferenz, die exhaustiv über jede mögliche Subgruppe (Schnittmenge jeder Merkmalskombination) erzwungen wird, nicht nur über vorab spezifizierte geschützte Gruppen.
2. Der Fair Bayesian Classifier: Ein Klassifikator, der Konsistenz mit der beobachteten Evidenz garantiert und eine prinzipielle Enthaltung implementiert. Er enthält sich nur dann, wenn die Daten alle deterministischen Vorhersagen ausschließen, anstatt wenn die Modellkonfidenz niedrig ist.
3. Empirischer Nachweis von Inkonsistenz: Demonstration, dass Standardmodelle (Entscheidungsbäume, Neuronale Netze) und Fairness-bewusste Post-Prozessoren (Proportional Multicalibration) statistisch inkonsistente Vorhersagen für einen erheblichen Anteil von Subgruppen produzieren, selbst auf den Daten, auf denen sie trainiert wurden.
4. Ergebnisleistung: Der FB-Classifier erreicht durch Konstruktion einen Konsistenzfehler von Null und übertrifft auf den getesteten Datensätzen (Adult, COMPAS, Bank Marketing) die Baseline-Genauigkeit auf den Subgruppen, für die er Vorhersagen trifft. Er erreicht zudem eine kompetitive Multikalibrierung als Nebenprodukt der Durchsetzung von Konsistenz.

4. Ergebnisse

Die Autoren evaluierten den FB-Classifier gegen einen Entscheidungsbaum (DT), ein Neuronales Netz (NN) und Proportional Multicalibration (PMC) auf drei Benchmark-Datensätzen:

• Konsistenzfehler: Standardmodelle produzierten statistisch inkonsistente Vorhersagen für signifikante Teile von Subgruppen. Beispielsweise zeigte PMC auf dem Bank Marketing-Datensatz einen $d_0/d_1$-Konsistenzfehler von 16,97 % und einen $v$-Knoten-Konsistenzfehler von 43,46 %. Der FB-Classifier erreichte durch Design einen Fehler von 0,00 % auf allen Metriken.
• Enthaltung (Abstention): Der FB-Classifier enthielt sich bei $d_{nf}$-Knoten. Im Adult-Datensatz fielen 50,4 % der Instanzen in $d_{nf}$-Knoten, was verdeutlicht, dass für die Hälfte der Population aufgrund der verfügbaren Merkmale keine konsistente deterministische Vorhersage möglich war.
• Genauigkeit: Auf der Teilmenge der Daten, für die der FB-Classifier Vorhersagen trifft (oh-ne $d_{nf}$-Knoten), übertraf er alle Baselines. Bemerkenswert ist, dass der FB-Classifier auf COMPAS eine Genauigkeit von 77,6 % erreichte, verglichen mit ~68 % bei den Baselines.
• Multikalibrierung: Der FB-Classifier erreichte kompetitive Multikalibrierungs-Scores, ohne explizit darauf optimiert worden zu sein, was darauf hindeutet, dass statistische Konsistenz ein starker Proxy für die Kalibrierung über granulare Subgruppen hinweg ist.

5. Bedeutung und Behauptungen

Das Paper argumentiert, dass statistische Konsistenz eine fundierte Basis für Vorhersagequalität bietet, mit direkten Auswirkungen auf die algorithmische Fairness. Die Autoren behaupten:

• Minderheiten-Demografien sind unverhältnismäßig stark in kleinen Subgruppen konzentriert, in denen die frequentistische Inferenz am wenigsten zuverlässig ist. Die Adressierung dieses Inferenzproblems ist ein notwendiger Schritt hin zu fairem ML.
• Durch die Durchsetzung von Bayesscher Konsistenz auf der feinsten durch die Daten gestützten Ebene ist eine exhaustive Subgruppen-Fairness mit prinzipieller Enthaltung in der Praxis erreichbar.
• Die Fähigkeit zu identifizieren, in welchen Fällen keine faire deterministische Vorhersage möglich ist (via $d_{nf}$-Knoten), ist eine kritische Sicherheitsmaßnahme, die verhindert, dass Systeme Vorhersagen ausgeben, die der Evidenz widersprechen.
• Der Ansatz verschiebt das Paradigma von „Assoziationen lernen und Fairness nachträglich anpassen“ hin zu „Klassifizierung als statistische Rechtfertigung“, wodurch sichergestellt wird, dass jede Vorhersage transparent aus der für diese spezifische Subgruppe verfügbaren Evidenz abgeleitet wird.

Die Autoren merken an, dass das Framework aufgrund des exponentiellen Wachstums von Subgruppen rechenintensiv ist, aber für aktuelle Benchmark-Datensätze handhabbar bleibt und eine rigorose Alternative zu heuristischen Fairness-Anpassungen bietet. Sie räumen ein, dass der Umgang mit ungesehenen Daten (Test-Instanzen in neuen $d$-Knoten) weitere Entwicklung erfordert, schlagen jedoch bereits einen vorläufigen Mechanismus vor.