Integrating Group and Individual Fairness Auditing in Clinical AI: A Post-Hoc, Model-Agnostic Approach

Dieser Beitrag stellt EquiLense vor, ein praktisches, nachgelagertes und modellagnostisches Auditierungswerkzeug, das die Lücke zwischen Gruppen- und individueller Fairnessbewertung in klinischer KI schließt, indem es eine neue Metrik namens mittlere vorhergesagte Wahrscheinlichkeitsdifferenz (MPPD) nutzt, um systematische Vorhersageinkonsistenzen über demografische Gruppen hinweg zu identifizieren.

Das Wesentliche

Stellen Sie sich vor, Sie hätten einen sehr intelligenten, automatisierten Assistenten, der Ärzten hilft vorherzusagen, wie ein Patient nach einer Operation abschneiden könnte. Dieser Assistent ist insgesamt hervorragend in seiner Arbeit, doch es gibt eine quälende Sorge: Behandelt er alle fair?

Manchmal können diese Assistenten auf zwei verschiedene Arten unfair sein:

1. Gruppenungerechtigkeit: Er liefert konsistent schlechtere Vorhersagen für eine gesamte Gruppe von Menschen (wie eine bestimmte Rasse oder ein bestimmtes Geschlecht) im Vergleich zu einer anderen.
2. Individuelle Ungerechtigkeit: Er behandelt zwei Patienten, die medizinisch identisch sind (gleiches Alter, gleiche Gesundheitsprobleme, gleiche Operation), unterschiedlich, nur weil sie verschiedenen Gruppen angehören.

Das Problem besteht darin, dass die meisten Werkzeuge zur Überprüfung von Fairness nur einen dieser Aspekte betrachten. Sie prüfen möglicherweise, ob Gruppe A schlechtere Bewertungen erhält als Gruppe B, übersehen aber, dass zwei spezifische, identische Patienten unterschiedlich behandelt werden. Oder sie prüfen, ob identische Patienten gleich behandelt werden, übersehen aber das größere Bild eines systemischen Bias gegen eine ganze Gruppe.

Hier kommt „EquiLense": Die Fairness-Brille

Die Autoren dieses Papiers haben ein neues Werkzeug namens EquiLense entwickelt. Stellen Sie es sich als eine „Fairness-Brille" vor, die ein Arzt oder Entwickler nachdem das KI-Modell bereits gebaut und funktionsfähig ist, aufsetzen kann. Sie müssen den Motor nicht neu bauen; Sie schauen einfach durch die Brille, um zu sehen, was wirklich passiert.

EquiLense tut drei Hauptdinge, um ein vollständiges Bild zu liefern:

1. Der Gruppen-Check: Er betrachtet das große Ganze, um zu sehen, ob bestimmte demografische Gruppen systematisch schlechtere Vorhersagen erhalten als andere.
2. Der Individual-Check: Er findet Paare von Patienten, die medizinische Zwillinge sind (gleiches Alter, gleiche Krankengeschichte), und prüft, ob die KI ihnen dieselbe Vorhersage gibt. Wenn sie einem eine „hohes Risiko"-Bewertung und dem anderen eine „niedriges Risiko"-Bewertung gibt, nur wegen ihrer Rasse oder Versicherung, ist das ein Warnsignal.
3. Die „Mittlere Vorhersagewahrscheinlichkeitsdifferenz" (MPPD): Dies ist das Geheimrezept des Papiers. Es ist eine neue Methode, um die Lücke zwischen diesen „medizinischen Zwillingen" zu messen.

Hier ist eine einfache Analogie für die MPPD:
Stellen Sie sich vor, Sie sind ein Richter, der zwei Personen verurteilt, die exakt dasselbe Verbrechen mit exakt derselben Vorgeschichte begangen haben.

• Fairness: Beide erhalten 5 Jahre.
• Unfairness: Einer erhält 5 Jahre, der andere 10 Jahre, nur weil sie aus einem anderen Viertel kommen.

Die MPPD ist wie ein Lineal, das genau misst, wie viel zusätzliche Zeit die zweite Person im Durchschnitt im Vergleich zur ersten erhalten hat, über den gesamten Gerichtssaal hinweg. Sie quantifiziert die „ungerechte Lücke" zwischen Menschen, die gleich behandelt werden sollten.

Was haben sie gefunden?

Das Team testete EquiLense an echten Krankenhausdaten mit über 59.000 chirurgischen Patienten. Sie untersuchten Modelle, die zwei Dinge vorhersagten: Delirium (Verwirrung nach der Operation) und Wiederaufnahme (Rückkehr ins Krankenhaus innerhalb von 30 Tagen).

• Die Überraschung: Die KI-Modelle waren insgesamt ziemlich gut in der Vorhersage von Ergebnissen (sie waren genau). Doch als sie die EquiLense-Brille aufsetzten, stellten sie fest, dass die Modelle „medizinische Zwillinge" immer noch unterschiedlich basierend auf der Rasse behandelten.
• Das spezifische Beispiel: Für Patienten, die medizinisch identisch mit weißen Patienten waren, erhielten asiatische Patienten systematisch unterschiedliche (und weniger faire) Vorhersagen. Die „Lücke" in ihren Bewertungen war messbar und signifikant.
• Der Fix-Test: Sie führten ein einfaches Experiment durch: Sie sagten der KI, sie solle bei ihren Vorhersagen Rasse und Versicherungstyp ignorieren. Als sie dies taten, schrumpfte die „ungerechte Lücke" (der MPPD-Wert) erheblich. Dies deutet darauf hin, dass das einfache Entfernen dieser spezifischen Datenpunkte aus dem „Gehirn" des Modells dazu führte, dass es ähnliche Patienten fairer behandelte, ohne dass das Modell in seiner Arbeit schlechter wurde.

Hat es bei anderen Problemen funktioniert?

Um sicherzustellen, dass ihr neues Lineal (MPPD) tatsächlich funktioniert, testeten sie es an zwei berühmten, nicht-medizinischen Datensätzen, bei denen bekannt war, dass Bias existiert:

1. COMPAS: Ein Werkzeug zur Vorhersage, ob Straftäter erneut straffällig werden. (Wir wissen, dass dieses Werkzeug historisch gegen schwarze Angeklagte voreingenommen war).
2. UCI Adult Income: Ein Datensatz, der vorhersagt, ob jemand mehr als 50.000 Dollar verdient. (Wir wissen, dass dies historische Geschlechterbias aufweist).

Das Ergebnis: Die MPPD-Metrik von EquiLense meldete erfolgreich genau die Gruppen, von denen wir bereits wussten, dass sie unfair behandelt wurden (schwarze Angeklagte in den COMPAS-Daten und Frauen in den Einkommensdaten). Dies bewies, dass das Werkzeug funktioniert.

Warum ist das wichtig?

Das Papier argumentiert, dass wir ein Werkzeug benötigen, das es uns nicht erfordert, unsere aktuellen KI-Modelle wegzuwerfen und von vorne zu beginnen (was teuer und schwierig ist). Stattdessen benötigen wir eine Möglichkeit, sie nachdem sie gebaut wurden, zu prüfen.

EquiLense ist wie ein Qualitätskontrollinspektor für KI im Gesundheitswesen. Es repariert die Maschine nicht für Sie, aber es gibt Ihnen einen klaren, leicht verständlichen Bericht, der sagt: „Hey, deine Maschine ist gut in Mathematik, aber sie behandelt diese beiden identischen Patienten unterschiedlich, nur wegen ihres Hintergrunds."

Dies ermöglicht es Ärzten und Entwicklern, fundierte Entscheidungen zu treffen, wie zum Beispiel die Entscheidung, bestimmte Datenpunkte (wie Rasse) aus dem Modell zu entfernen, um es fairer zu machen, ohne Mathematikgenies sein oder das gesamte System von Grund auf neu aufbauen zu müssen.

Technische Zusammenfassung

1. Problemstellung

Die Integration von KI in klinische Entscheidungsprozesse wirft kritische ethische Bedenken hinsichtlich algorithmischer Fairness auf. Aktuelle Rahmenwerke zur Fairnessbewertung leiden unter Fragmentierung:

• Gruppenfairness: Metriken (z. B. Demografische Parität, Gleiche Chancen) bewerten Diskrepanzen zwischen demografischen Gruppen, verschleiern jedoch oft patientenindividuelle Variationen. Ein Modell kann auf Gruppenebene fair erscheinen, während es klinisch ähnliche Individuen inkonsistent behandelt.
• Individuelle Fairness: Metriken stellen sicher, dass ähnliche Individuen ähnliche Vorhersagen erhalten. Diese werden jedoch im Gesundheitswesen selten angewendet, da die Definition von „klinischer Ähnlichkeit" schwierig ist und es an operationellen Werkzeugen mangelt. Bestehende Ansätze erfordern häufig ein erneutes Training des Modells, spezifische Architekturen (z. B. Graph-Neuronale Netze) oder komplexe Spezifikationen kausaler Graphen (Kontrafaktische Fairness), was sie für die Prüfung bereits eingesetzter Modelle unpraktisch macht.

Die Lücke: Es fehlt an praktischen, nachträglichen (post-hoc), modellunabhängigen Werkzeugen, die gleichzeitig Diskrepanzen auf Gruppenebene und die Konsistenz von Vorhersagen auf Individualebene in klinischen Settings bewerten.

2. Methodik: Das EquiLense-Framework

Die Autoren stellen EquiLense vor, ein nachträgliches, modellunabhängiges Audit-Werkzeug, das Gruppen- und individuelle Fairness verbinden soll. Es besteht aus drei Kernkomponenten:

A. Bewertung der Gruppenfairness

Das Werkzeug berechnet Standard-Diskrepanzmetriken über sensible Attribute hinweg (z. B. Rasse, Geschlecht, Versicherungsart):

• Unterschied der Demografischen Parität (DPD)
• Unterschied der Gleichen Chancen (EOD)
• Gleiche Odds (EO)
• Index der Diskrepanz der Fehlerverteilung (EDDI): Eine neuartige Metrik, die für klinische Settings mit diversen Gruppengrößen und Klassenungleichgewicht entwickelt wurde.

B. Bewertung der individuellen Fairness

Das Werkzeug misst die Konsistenz der Vorhersagen bei klinisch ähnlichen Patienten.

• Definition der Ähnlichkeit: Benutzer können klinische Ähnlichkeit basierend auf spezifischen Merkmalen (z. B. Alter, BMI, Charlson-Comorbiditätsindex) unter Verwendung distanzbasierter Metriken (z. B. Kosinus-Ähnlichkeit) definieren.
• Flexibilität: Das Framework ermöglicht es Benutzern, Ähnlichkeitsschwellenwerte und Merkmalssets an spezifische klinische Kontexte anzupassen.

C. Mittlere Differenz der vorhergesagten Wahrscheinlichkeiten (MPPD)

Dies ist der neuartige methodische Beitrag des Papers, der entwickelt wurde, um individuelle Fairness zu operationalisieren und gleichzeitig Effekte auf Gruppenebene zu erfassen.

• Konzept: MPPD quantifiziert die durchschnittliche absolute Differenz der vorhergesagten Wahrscheinlichkeiten zwischen klinisch ähnlichen Patienten, die verschiedenen demografischen Gruppen angehören.
• Implementierung:
  1. Referenzbasiert: Identifiziert eine Referenzgruppe (z. B. weiße Patienten) und gleicht sie mit klinisch ähnlichen Patienten aus anderen Gruppen ab. Es wird die Vorhersagedifferenz berechnet.
  2. Paarweise: Führt eine bidirektionale Abgleichung zwischen allen Gruppenkombinationen durch (z. B. Schwarz-Weiß, Asiatisch-Hispanisch), um eine symmetrische Matrix von Diskrepanzwerten zu erstellen. Dies vermeidet die Annahme einer einzigen „fairen" Referenzgruppe und hebt Diskrepanzen zwischen Minderheitengruppen hervor.
• Vorteil: Im Gegensatz zur kontrafaktischen Fairness stützt sich MPPD auf beobachtete, reale Daten anstatt auf synthetische Gegenstücke oder ungeprüfte kausale Graphen, was es rechnerisch effizient und für Kliniker interpretierbar macht.

3. Studiendesign und Daten

• Klinische Kohorte: 59.047 chirurgische Patienten aus einem großen akademischen medizinischen Zentrum (2012–2022).
• Ergebnisse:
  1. Postoperatives Delir (identifiziert über ICD-Codes, CAM-Scores und NLP von klinischen Notizen).
  2. 30-Tage-Krankenhauswiederaufnahme.
• Modelle: Logistische Regression und XGBoost-Klassifikatoren, trainiert auf klinischen Merkmalen (Alter, BMI, CCI, psychiatrische Vorgeschichte usw.). Sensible Attribute (Rasse, Geschlecht, Versicherung) wurden ein- oder ausgeschlossen, um deren Auswirkungen zu testen.
• Externe Benchmarks: Validierung von MPPD an zwei Datensätzen mit bekannten historischen Verzerrungen:
  1. COMPAS: Vorhersage von Rückfälligkeit (n=6.172).
  2. UCI Adult Income: Vorhersage des Einkommens (n=32.561).

4. Wichtige Ergebnisse

Klinische Anwendung (Chirurgische Modelle)

• Leistung: Das XGBoost-Modell erreichte eine AUROC von 0,78 für Delir und 0,61 für Wiederaufnahme. Das Entfernen sensibler Attribute hatte einen vernachlässigbaren Einfluss auf die Vorhersageleistung.
• Gruppenfairness: Standardmetriken zeigten moderate Diskrepanzen, insbesondere in der Fehlerverteilung (EDDI).
• Individuelle Fairness (MPPD):
  • MPPD enthüllte systematische Inkonsistenzen: Unter Patienten, die klinisch weißen Patienten ähnlich waren, wiesen asiatische Patienten die größte Vorhersagediskrepanz auf (MPPD-Differenz = 0,045).
  • Merkmalssensitivität: Der Ausschluss sensibler Attribute (Rasse/Ethnie) aus dem Modelltraining reduzierte die MPPD-Werte erheblich, was auf eine verbesserte Konsistenz ohne Verlust der Genauigkeit hindeutet.
  • Paarweise Analyse: Die paarweise Matrix hob Diskrepanzen zwischen Minderheitengruppen hervor, die referenzbasierte Methoden möglicherweise übersehen.

Validierung durch externe Benchmarks

• COMPAS: MPPD identifizierte korrekt die höchste Diskrepanz für afroamerikanische Angeklagte, was mit bekannten Verzerrungen bei der Rückfallbewertung übereinstimmt.
• UCI Adult Income: MPPD ordnete weiblichen Arbeitnehmern den höchsten Diskrepanzwert zu, was mit dokumentierten geschlechtsspezifischen Verzerrungen bei der Einkommensvorhersage übereinstimmt.
• Fazit: MPPD erkannte erfolgreich bekannte Ground-Truth-Verzerrungen in nicht-klinischen Datensätzen und validierte damit seine Nützlichkeit als Screening-Metrik.

5. Wichtige Beiträge

1. EquiLense-Werkzeug: Ein einheitliches, nachträgliches Framework, das Metriken für Gruppen- und individuelle Fairness integriert, ohne ein erneutes Modelltraining zu erfordern.
2. MPPD-Metrik: Eine neuartige, interpretierbare Metrik, die die Lücke zwischen Gruppen Diskrepanz und individueller Konsistenz schließt, indem sie reale, beobachtete Patienten vergleicht. Sie ist rechnerisch leichtgewichtig und erfordert keine Spezifikation kausaler Graphen.
3. Praktische Anwendbarkeit: Das Werkzeug ist modellunabhängig (funktioniert mit jedem Klassifikator) und ermöglicht es Kliniker:innen, „Ähnlichkeit" basierend auf Domänenwissen zu definieren, was es direkt auf die Auditierung von Gesundheitsversorgung in der realen Welt anwendbar macht.
4. Empirische Evidenz: Es wurde gezeigt, dass eine hohe Gesamtmodellleistung keine Fairness garantiert; Modelle können klinisch ähnliche Patienten systematisch unterschiedlich behandeln, basierend auf demografischen Attributen.

6. Bedeutung und Einschränkungen

Bedeutung:

• Schließen der Lücke: EquiLense adressiert den „blinden Fleck", bei dem Gruppenmetriken individuelle Inkonsistenzen übersehen und individuelle Metriken den systemischen Kontext vermissen lassen.
• Handlungsrelevante Erkenntnisse: Durch die Möglichkeit von Sensitivitätsanalysen (z. B. Entfernen sensibler Merkmale) hilft das Werkzeug Praktikern, fundierte Entscheidungen über den Einsatz von Modellen und die Merkmalsauswahl zu treffen, um Verzerrungen zu mindern.
• Nutzen nachträglich (Post-Hoc): Es füllt einen kritischen Bedarf an der Prüfung von Modellen, die bereits in Produktion sind, einem Stadium, in dem Minderungsstrategien während des Trainings nicht mehr anwendbar sind.

Einschränkungen:

• Kausalität: MPPD ist eine korrelationsbasierte Metrik; sie weist auf Inkonsistenzen hin, kann aber nicht bestimmen, ob diese auf algorithmische Verzerrungen oder klinisch angemessene Unterscheidungen zurückzuführen sind.
• Definition der Ähnlichkeit: Die Genauigkeit der individuellen Fairness hängt von der subjektiven Definition von „klinischer Ähnlichkeit" durch den Benutzer ab. Eine schlechte Merkmalsauswahl oder verrauschte Daten können die Ergebnisse verzerren.
• Auswirkungen stromabwärts: Das Werkzeug auditiert Modellausgaben, bewertet aber nicht die nachgelagerten klinischen Konsequenzen (z. B. tatsächliche Änderungen in der Patientenversorgung oder Gesundheitsergebnisse).
• Stichprobengröße: Schätzungen für kleine Untergruppen (z. B. indigene amerikanische Patienten in der Studie) sollten mit Vorsicht interpretiert werden.

Fazit

Das Paper stellt EquiLense als einen wesentlichen Schritt zur Operationalisierung von Fairness in klinischer KI vor. Durch die Kombination etablierter Gruppenmetriken mit der neuartigen MPPD bietet es einen umfassenden, interpretierbaren und praktischen Ansatz zur Auditierung eingesetzter Modelle und stellt sicher, dass KI-Systeme die gesundheitliche Chancengleichheit voranbringen und nicht untergraben.