Fair Supervised Learning Through Constraints on Smooth Nonconvex Unfairness-Measure Surrogates

Technische Zusammenfassung: Faires überwachtes Lernen durch Beschränkungen auf glatte, nichtkonvexe Unfairness-Maß-Surrogate

Problemstellung
Überwachte maschinelle Lernmodelle sind zwar effektiv in Bereichen wie Finanzen, Strafjustiz, Personalwesen und Gesundheitswesen, sie erben oder führen jedoch oft Vorurteile (Biases) ein, die zu diskriminierenden Ergebnissen führen. Diese Biases manifestieren sich als Unfairness in den Vorhersagen über verschiedene demografische Gruppen hinweg. Bestehende Strategien zur Milderung von Unfairness lassen sich im Allgemeinen in die Kategorien Pre-processing, In-processing oder Post-processing unterteilen. Dieses Paper konzentriert sich auf In-processing-Strategien, insbesondere auf die Einbindung von Unfairness-Maßen in die Optimierungsprobleme, die für das Modelltraining verwendet werden.

Aktuelle Ansätze stehen vor erheblichen computationalen und theoretischen Herausforderungen:

1. Nicht-Glattheit und Nichtkonvexität: Die direkte Formulierung von Unfairness-Maßen (z. B. Demographic Parity, Disparate Impact) beinhaltet diskontinuierliche Heaviside-Sprungfunktionen, was zu nichtkonvexen und nicht-glatten Optimierungsproblemen führt, die schwer zu lösen sind.
2. Einschränkungen konvexer Surrogate: Um die computationalen Schwierigkeiten zu adressieren, verwenden Forscher häufig konvexe Surrogate (z. B. kovarianzbasierte Approximationen). Diese garantieren jedoch nicht, dass das ursprüngliche Unfairness-Maß innerhalb akzeptabler Grenzen bleibt; ein kleiner Wert des Surrogats impliziert nicht zwangsläufig ein kleines tatsächliches Unfairness-Maß.
3. Einschränkungen der Regularisierung: Die weit verbreitete Verwendung von Regularisierungstermen (weiche Beschränkungen/Soft Constraints), um Fairness zu erzwingen, erfordert ein kostspieliges Hyperparameter-Tuning. Zudem kann eine Erhöhung der Regularisierungsstärke zur Reduzierung von Unfairness die Vorhersagegenauigkeit drastisch verschlechtern, und die Beziehung zwischen dem Regularisierungsparameter und der resultierenden Unfairness ist oft nicht-monoton und schwer zu kontrollieren.
4. Umgang mit multiplen Maßen: Strategien, die versuchen, mehrere, potenziell konfliktierende Unfairness-Maße via Regularisierung auszubalancieren, führen oft zu unhandlichen Trainingsproblemen und weiteren Tuning-Kosten.

Methodik
Die Autoren schlagen eine neue In-processing-Strategie vor, die glatte, nichtkonvexe Surrogate mit harten Beschränkungen (Hard Constraints) kombiniert, um Fairness zu erzwingen.

1. Glatte nichtkonvexe Surrogate:
   Anstatt konvexer Approximationen oder diskontinuierlicher Sprungfunktionen verwenden die Autoren glatte, beschränkte, nichtkonvexe Surrogate, um die Heaviside-Funktion zu approximieren. Zwei spezifische Approximationen werden genutzt:

   • Die Sigmoid-Funktion.
   • Eine geglättete Sprungfunktion, die aus der Glättungstechnik der Optimierungsliteratur abgeleitet ist (speziell eine stückweise affine Approximation, die mittels eines Quadratwurzel-Terms geglättet wurde).

   Entscheidend ist, dass diese Surrogate innerhalb von $[0, 1]$ beschränkt und (über einen Parameter $\alpha$) skaliert sind, um die Sprungfunktion eng zu approximieren. Die Autoren belegen (über Theorem 2.1, abgeleitet aus vorangegangener Arbeit), dass, falls der Wert des Surrogats klein ist, auch das tatsächliche empirische Unfairness-Maß klein ist, vorausgesetzt, die Surrogate-Werte liegen hinreichend nahe bei 0 oder 1. Diese enge Approximation wird durch unbeschränkte lineare oder konvexe Surrogate nicht garantiert.

2. Harte Beschränkungen (Hard Constraints):
   Anstatt Unfairness-Maße als Regularisierungsterme in die Zielfunktion einzufügen, formulieren die Autoren das Trainingsproblem als ein beschränktes Optimierungsproblem:
   $$\min_w \sum_{i \in [N]} \ell(N(x_i, s_i, w), y_i) + \frac{1}{\lambda}r(w) \quad \text{unter der Nebenbedingung} \quad l \leq c(w) \leq u$$
   Hierbei stellt $c(w)$ den vektorwertigen Surrogat für ein oder mehrere Unfairness-Maße (z. B. Disparate Impact, Equal Impact) dar. Die Grenzen $l$ und $u$ erzwingen spezifische Toleranzen für Unfairness direkt.

   • Traktabilität: Die Autoren nutzen jüngste stochastische Newton-/Sequential Quadratic Programming (SQP)-Techniken, um diese nichtkonvexen beschränkten Probleme effizient zu lösen.
   • Stochastische Gradienten: Theorem 3.1 zeigt auf, dass erwartungstreue stochastische Gradientenschätzungen für die Constraint-Funktionen gewonnen werden können, wenn Mini-Batches eine ausgewogene Anzahl von Stichproben aus jeder sensitiven Gruppe beibehalten.

Wesentliche Beiträge

1. Enge Surrogate-Approximation: Das Paper führt glatte, nichtkonvexe, beschränkte Surrogate ein, die eine theoretische Garantie bieten: Wenn die Surrogat-Beschränkung erfüllt ist, ist das tatsächliche Unfairness-Maß nach oben begrenzt. Dies steht im Gegensatz zu konvexen Surrogaten, bei denen ein kleiner Surrogat-Wert keine geringe Unfairness garantiert.
2. Harte Beschränkungen vs. Regularisierung: Die Autoren schlagen vor, harte Beschränkungen anstelle von Regularisierung zu verwenden. Dies eliminiert die Notwendigkeit eines teuren Tunings von Regularisierungsparametern und vermeidet das nicht-monotone Verhalten, das oft bei Regularisierungsansätzen beobachtet wird. Es ermöglicht die explizite Durchsetzung spezifischer Unfairness-Toleranzen.
3. Skalierbarkeit auf multiple Maße: Das Framework ermöglicht es nativ, mehrere, potenziell konfliktierende Unfairness-Maße gleichzeitig innerhalb eines einzigen Optimierungsproblems zu handhaben, ohne den mit dem Tuning multipler Regularisierungsgewichte verbundenen Rechenaufwand.

Experimentelle Ergebnisse
Die Autoren evaluierten ihre Methode anhand von drei Benchmark-Datensätzen: Dutch (Einkommensprognose, sensibles Attribut: Geschlecht), Law School (Bar-Passage, sensibles Attribut: Rasse) und ACSIncome (Einkommensprognose, sensibles Attribut: Geschlecht).

• Surrogat-Engheit (Surrogate Tightness): Experimente zeigten, dass unskalierte Surrogate zu Lücken zwischen den gewünschten und den tatsächlichen Fairness-Levels führten. Als die Surrogate jedoch skaliert wurden (z. B. $\alpha=50$), entsprachen die realisierten Fairness-Level sowohl für die geglättete Sprungfunktion als auch für die Sigmoid-Funktion eng den auferlegten Beschränkungen. Im Gegensatz dazu war es bei kovarianzbasierten Surrogaten schwierig, einen spezifischen Constraint-Wert auf ein gewünschtes Fairness-Niveau abzubilden.
• Beschränkung vs. Regularisierung: Der Vergleich des vorgeschlagenen „Constraint-only“-Ansatzes mit einem „Regularization-only“-Ansatz zeigte, dass die Constraint-Methode eine monotone Verbesserung der Fairness bei Verschärfung der Schwellenwerte erreichte, während die Regularisierungsmethode ein unvorhersehbares, nicht-monotones Verhalten aufwies. Der Constraint-Ansatz bewahrte eine hohe Vorhersagegenauigkeit, selbst wenn die Fairness-Beschränkungen aktiv wurden, wohingegen der Regularisierungsansatz oft signifikante Einbußen bei der Genauigkeit erlitt, wenn versucht wurde, strikte Fairness zu erzwingen.
• Multiple Maße: Das Framework konnte gleichzeitig Constraints für Disparate Impact und Equal Impact erfolgreich durchsetzen. Obwohl das Hinzufügen mehrerer Beschränkungen die Genauigkeit etwas stärker reduzierte als eine einzelne Beschränkung, erfüllte die Methode konsistent beide Kriterien, was die Robustheit beim Umgang mit komplexen Fairness-Anforderungen demonstriert.

Bedeutung und Ansprüche
Das Paper behauptet, dass sein Ansatz ein traktables Trainingsparadigma für faires überwachtes Lernen bietet. Durch das Lösen eines einzelnen beschränkten Optimierungsproblems können Praktiker Modelle erhalten, die vorgegebene Limits für Unfairness einhalten, ohne den computationalen Aufwand für das Tuning von Regularisierungsparametern zu tragen. Die Autoren betonen, dass die Lösung nichtkonvexer beschränkter Probleme pro Iteration zwar aufwendiger ist als unbeschränkte, der Gesamtaufwand jedoch durch den Wegfall der extensiven Hyperparameter-Suche reduziert wird. Die Methode wird als robuste Lösung für reale Anwendungen präsentiert, in denen neben hoher Vorhersagegenauigkeit strikte Fairness-Garantien erforderlich sind.