Reliable fairness auditing with semi-supervised inference

Technische Zusammenfassung: Zuverlässige Fairness-Audits mit semi-überwachter Inferenz

Problemstellung
In biomedizinischen Anwendungen eingesetzte Machine-Learning-Modelle weisen häufig Verzerrungen auf, die Ungleichheiten zwischen durch geschützte Attribute (z. B. Ethnie, Geschlecht) definierten Subpopulationen verschärfen. Die Identifizierung und Minderung dieser Verzerrungen erfordert ein „Gruppen-Fairness-Audit", einen Prozess, der Leistungsmetriken des Modells (wie True Positive Rate, False Positive Rate oder Kalibrierung) über verschiedene Gruppen hinweg bewertet. Zuverlässige Audits erfordern jedoch typischerweise große Mengen an gelabelten Daten, um subtile Leistungsunterschiede zu erkennen. Im biomedizinischen Kontext ist die Beschaffung solcher Labels kostspielig und arbeitsintensiv und erfordert oft spezialisierte klinische Expertise (z. B. die Annotation medizinischer Bilder oder Entlassungsberichte). Folglich operieren Fairness-Audits häufig in einem semi-überwachten (SS) Setting: Ein kleiner gelabelter Datensatz steht zusammen mit einem deutlich größeren ungelabelten Datensatz zur Verfügung. Traditionelle überwachte Auditmethoden ignorieren die ungelabelten Daten, was zu einer hohen Varianz und einer verringerten statistischen Power führt, um Diskrepanzen zu erkennen. Bestehende SS-Methoden für Fairness-Audits sind entweder auf spezifische Metriken beschränkt, verlassen sich auf parametrische Annahmen, die bei Verletzung zu verzerrten Inferenzen führen können, oder sie nutzen nicht die während des Audits verfügbaren zusätzlichen Kovariaten.

Methodik: Das Infairness-Rahmenwerk
Die Autoren schlagen Infairness vor, ein einheitliches semi-überwachtes Inferenzrahmenwerk, das entwickelt wurde, um eine breite Palette von Fairness-Kriterien durch die Nutzung sowohl gelabelter als auch ungelabelter Daten zu auditieren. Der Kern der Methode besteht darin, fehlende Ergebnisse ($Y$) in den ungelabelten Daten mittels eines Regressionsmodells zu imputieren, das auf den Vorhersagen des Modells ($S$) und zusätzlichen Kovariaten ($W$) konditioniert.

1. Problemsetup: Das Rahmenwerk geht von einem Validierungsdatensatz aus, der aus $n$ gelabelten Stichproben $\{(Y_i, X_i, W_i, A_i)\}$ und $N$ ungelabelten Stichproben $\{(X_i, W_i, A_i)\}$ besteht, wobei $A$ ein kategoriales geschütztes Attribut ist. Das Ziel ist die Schätzung gruppenspezifischer Leistungsmetriken ($M_a$) und ihrer Unterschiede ($\Delta M$) mit höherer Effizienz als bei der überwachten Schätzung.
2. Imputationsstrategie: Für Metriken, die vom Ergebnis $Y$ abhängen (z. B. TPR, FPR), schätzt die Methode den bedingten Erwartungswert $E(Y | S, W, A=a)$ unter Verwendung eines Arbeitsmodells. Dieses Modell nutzt flexible nichtlineare Basisfunktionen (insbesondere natürliche kubische Splines) der Vorhersage $S$ und der zusätzlichen Kovariaten $W$. Die Parameter werden über eine penalisierte Schätzgleichung auf den gelabelten Daten geschätzt.
3. Schätzung: Die fehlenden Ergebnisse in den ungelabelten Daten werden unter Verwendung des angepassten Modells imputiert. Die gruppenspezifischen Metriken werden dann berechnet, indem diese Imputationen über den großen ungelabelten Datensatz innerhalb jeder Gruppe gemittelt werden. Für Metriken, die unabhängig von $Y$ sind (z. B. solche, die nur von $S$ oder $D$ abhängen), mittelt die Methode einfach über die ungelabelten Daten, was aufgrund der größeren Stichprobengröße inhärent die Varianz reduziert.
4. Robustheit: Das Rahmenwerk ist so konzipiert, dass es robust gegenüber der Spezifikation des Imputationsmodells ist. Durch die Einbeziehung eines Intercept, der Vorhersage $S$ und der Klassifikation $D$ in die Basisfunktionen bleibt der Schätzer konsistent, selbst wenn die funktionale Form des Imputationsmodells falsch spezifiziert ist, sofern die Basis diese Schlüsselbegriffe enthält.

Hauptbeiträge und theoretische Ergebnisse

• Einheitliches Rahmenwerk: Infairness bietet einen allgemeinen Ansatz, der auf ein breites Spektrum von Fairness-Metriken (Genauigkeit, Diskriminierung, Kalibrierung) anwendbar ist und nicht auf den einschränkenden parametrischen Annahmen früherer SS-Fairness-Methoden (z. B. Beta Calibration) beruht.
• Konsistenz und Validität: Die Autoren beweisen, dass der Infairness-Schätzer für die Ziel-Fairness-Metriken konsistent ist und dass die Inferenzverfahren (Konfidenzintervalle) unter Standard-Regularitätsbedingungen gültig sind, selbst wenn das Imputationsmodell nicht perfekt spezifiziert ist.
• Effizienzgewinne: Die theoretische Analyse zeigt, dass der Infairness-Schätzer eine kleinere asymptotische Varianz aufweist als der überwachte Schätzer. Insbesondere wird die Varianz strikt reduziert, wenn das Imputationsmodell Informationen über $Y$ erfasst, die über den alleinigen Inhalt von $S$ hinausgehen (d. h. $E(Y|S, W, A) \neq E(Y|A)$).
• Robustheit gegenüber Fehlspezifikation: Im Gegensatz zu Methoden, die eine spezifische parametrische Form für den Zusammenhang zwischen Vorhersagen und Ergebnissen annehmen, verwendet Infairness flexible Basiserweiterungen. Theoretische Ergebnisse zeigen, dass der Schätzer konsistent bleibt, selbst wenn das Arbeitsmodell falsch spezifiziert ist, solange die Basisfunktionen notwendige Terme (Intercept, $S$, $D$) enthalten.

Empirische Ergebnisse
Die Arbeit evaluiert Infairness durch umfangreiche Simulationsstudien und zwei reale biomedizinische Audits:

1. Simulationsstudien:

   • In stilisierten Settings lieferte Infairness konsistent unverzerrte Schätzungen mit nominalen Abdeckungswahrscheinlichkeiten, wohingegen parametrische Methoden (Beta Calibration) bei Verletzung ihrer Annahmen unter erheblicher Verzerrung und Unterabdeckung litten.
   • In traditionellen Settings mit komplexen Daten-generierenden Mechanismen (Nichtlinearitäten, Interaktionen, baumbasierte Strukturen) behielt Infairness eine geringe Verzerrung und eine nahezu nominale Abdeckung bei.
   • Effizienz: Infairness schnitt bei überwachten Schätzungen und nichtparametrischen Baselines konsistent besser ab. Wenn die zusätzlichen Kovariaten ($W$) Informationen über $Y$ enthielten, erzielten Modelle, die $W$ einbezogen (z. B. Infairness($S \times W$)), relative Effizienzgewinne von 10–37 % gegenüber Methoden, die $W$ ignorierten.

2. Reale Anwendungen:

   • EHR-Phänotypisierung (Depression): Audit eines Modells zur Depressionserkennung über Ethnie-Gruppen hinweg unter Verwendung von MIMIC-III-Daten ($n=872$ gelabelt, $N=28.766$ ungelabelt). Infairness reduzierte die Varianz der Diskrepanzschätzungen um etwa 43,5 % im Vergleich zur überwachten Schätzung, was gleichbedeutend ist mit der Notwendigkeit von 43,5 % weniger gelabelten Stichproben, um dieselbe Präzision zu erreichen.
   • Medizinische Bildgebung (Thorax-Röntgen): Audit eines Klassifikators für Kardiomegalie über Geschlechtsgruppen hinweg ($n=500$ gelabelt, $N=64.740$ ungelabelt). Infairness reduzierte die Varianz um 60,9 % für die TPR-Diskrepanz und um 56,3 % für die FPR-Diskrepanz im Vergleich zur überwachten Schätzung.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass Infairness eine praktische und statistisch rigorose Lösung für die Engpass-Problematik der „Label-Knappheit" bei biomedizinischen Fairness-Audits bietet. Durch die effektive Nutzung reichlich vorhandener ungelabelter Daten und zusätzlicher Kovariaten ermöglicht die Methode eine leistungsfähigere Erkennung von Leistungsunterschieden zwischen Untergruppen, ohne die Kosten der Datenannotation zu erhöhen. Die Autoren betonen, dass die Methode keine Validität für Effizienz opfert; sie garantiert konsistente Schätzung und gültige Inferenz, ohne sich auf starke parametrische Annahmen zu verlassen, die zu übermäßig selbstbewussten, verzerrten Schlussfolgerungen über die Fairness von Modellen führen könnten. Die Arbeit unterstreicht den Wert semi-überwachter Inferenz dafür, dass ML-Modelle im Gesundheitswesen verantwortungsvoll und gerecht eingesetzt werden.