Subgroup AUROC-gap tests are not evidence of unfairness in clinical prediction models: case-mix differences make the equal-discrimination null false
Diese Arbeit zeigt auf, dass standardmäßige Subgruppen-AUROC-Gap-Tests ungültig sind, um Fairness in klinischen Vorhersagemodellen zu bewerten, da Unterschiede in den Case-Mix-Verteilungen natürlicherweise AUROC-Disparitäten selbst in perfekt fairen Modellen erzeugen, während Kalibrierungstests robust bleiben, um echte Unfairness von geometrischen Artefakten zu unterscheiden.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In modernen Krankenhäusern werden zunehmend Algorithmen eingesetzt, um vorherzusagen, wer wahrscheinlich schwer erkranken wird, was Ärzten hilft zu entscheiden, wer dringende Versorgung benötigt. Diese Werkzeuge werden mit riesigen Mengen an Patientendaten trainiert und lernen, Muster zu erkennen, die Menschen entgehen könnten. Da diese Modelle jedoch auf realen Daten basieren, können sie manchmal die Ungleichheiten übernehmen, die in der Gesellschaft existieren, indem sie für einige Personengruppen gut funktionieren, während sie für andere versagen. Um dies zu erfassen, führen Krankenhäuser und Regulierungsbehörden nun routinemäßig „Fairness-Audits“ durch. Diese Audits unterteilen die Patientenpopulation in Gruppen – nach Alter, Rasse oder Geschlecht – und prüfen, ob das Modell für alle gleichermaßen gut funktioniert. Der Standardweg, um die Leistung zu messen, ist ein Score namens „Area Under the Curve“ (Fläche unter der Kurve), der im Wesentlichen fragt: Wenn man zufällig eine kranke und eine gesunde Person auswählt, wie oft ordnet das Modell die kranke Person korrekt höher ein? Wenn das Modell fair ist, sollte dieser Score für jede Gruppe gleich sein.
Jahrelang war die Annahme, dass es unfair ist, wenn diese Scores zwischen den Gruppen variieren. Forscher und Regulierungsbehörden haben verschiedene statistische Tests entwickelt, um zu sehen, ob der Unterschied groß genug ist, um ein Problem darzustellen, wobei sie ein Modell oft als voreingenommen einstufen, wenn die Scores unter einen bestimmten Schwellenwert fallen oder wenn der Score einer Gruppe weniger als 80 Prozent einer anderen beträgt. Die Logik schien fundiert: Ein perfektes Modell sollte jeden gleich behandeln, also sollte es Ergebnisse für alle mit der gleichen Genauigkeit vorhersagen. Eine neue Studie stellt jedoch dieses gesamte Fundament infrage und argumentiert, dass die Tests, die zur Identifizierung von Unfairness verwendet werden, oft von etwas viel Harmloserem getäuscht werden: den natürlichen Unterschieden in den Arten der Patienten, die verschiedene Gruppen enthalten.
Die Forscher hinter dieser Studie, die mit Daten aus fünf verschiedenen klinischen Kohorten arbeiteten und tausende Computersimulationen durchführten, wollten herausfinden, was passiert, wenn ein perfekt faires Modell auf Gruppen getestet wird, die sich voneinander unterscheiden. Sie entwickelten ein Modell, das mathematisch perfekt war, was bedeutet, dass es die exakte Wahrscheinlichkeit einer Erkrankung für jeden einzelnen Patienten kannte und niemanden aufgrund seiner Identität unterschiedlich behandelte. Sie speisten dieses perfekte Modell dann in verschiedene demografische Gruppen ein, ließen jedoch die Gruppen unterschiedliche „Fallmischungen“ (Case Mixes) aufweisen. Dies bedeutet in einfachen Worten, dass die Patienten in einer Gruppe eine breitere Spanne an Risikofaktoren haben könnten als die Patienten in einer anderen Gruppe, obwohl das Modell selbst identisch und fair war.
Was sie fanden, war erschreckend. Als sie die Standard-Fairness-Tests auf dieses perfekte Modell anwandten, meldeten die Tests häufig, das Modell sei unfair. In Simulationen, in denen die Gruppen moderate Unterschiede in ihren Patientenprofilen aufwiesen, deklarierten die Tests das perfekte Modell in fast 9-2 Prozent der Fälle als voreingenommen. Wenn die Unterschiede größer waren, deklarierten die Tests es mit einem AUC von 1 als voreingenommen. Die Forscher entdeckten, dass die statistischen Tests nicht Unfairness detektierten, sondern die natürliche Streuung der Daten. Eine Gruppe mit einer größeren Vielfalt an Patientenrisiken ist tatsächlich einfacher durch ein Modell in „kranke“ und „gesunde“ Kategorien zu trennen, was zu einem höheren Leistungsscore führt. Eine Gruppe mit einem engeren Spektrum an Risiken ist schwieriger zu trennen, was zu einem niedrigeren Score führt. Die Tests interpretierten diesen natürlichen Unterschied in der Schwierigkeit als Zeichen von Voreingenommenheit, obwohl das Modell in Wirklichkeit genau so arbeitete, wie es sollte.
Die Studie ging weiter und untersuchte, wie viel dieser „Fallmischungs“-Unterschied tatsächlich in realen Krankenhausdaten existiert. Sie betrachteten 21 verschiedene demografische Aufteilungen über fünf reale Datensätze hinweg. Sie fanden heraus, dass in vielen dieser Gruppen die natürlichen Unterschiede in den Patientenprofilen groß genug waren, dass ein perfekt faires Modell immer noch eine Leistungsdifferenz zeigen würde, die wie ein Verstoß gegen Fairness-Regeln aussieht. Zum Beispiel würde ein faires Modell in einigen altersbasierten Gruppen natürlicherweise einen Leistungsunterschied aufzeigen, der groß genug wäre, um einen Fairness-Alarm auszulösen, obwohl das Modell nichts falsch gemacht hat. Die Forscher versuchten, die beobachteten Lücken in realen Daten aufzuschlüsseln, um zu sehen, wie viel auf diese natürlichen Unterschiede zurückzuführen ist und wie viel auf tatsächliche Unfairness, aber sie fanden die Mathematik zu instabil, um eine präzise Antwort zu geben. Die Lücke war eine Mischung aus beidem, und die verfügbaren Werkzeuge konnten sie nicht trennen.
Dies führt zu einem schwierigen Schluss für jeden, der sicherstellen will, dass medizinische KI fair ist. Das Paper argumentiert, dass es nicht zulässig ist, lediglich Leistungsscores zwischen Gruppen zu vergleichen und einen statistischen Test durchzuführen, um zu beweisen, dass ein Modell unfair ist. Die Tests werden zu leicht durch die natürliche Diversität von Patientenpopulationen getäuscht. Die Forscher schlagen vor, statt zu versuchen, alle Gruppen dazu zu zwingen, exakt die gleiche Leistung zu erbringen – ein Ziel, das mathematisch unmöglich sein könnte, wenn die Gruppen unterschiedlich sind –, stattdessen auf andere Dinge zu achten. Sie empfehlen, die Leistungsscores zusammen mit einer Beschreibung der Patientengruppen selbst zu berichten, damit Ärzte sehen können, ob ein niedrigerer Score nur deshalb besteht, weil diese Gruppe schwerer vorherzusagen ist. Sie schlagen auch vor, zu prüfen, ob die Vorhersagen des Modells gut kalibriert sind, das heißt, ob bei einer vorhergesagten Wahrscheinlichkeit von 0,2 auch tatsächlich in 0,2 der Fälle dies eintritt. Im Gegensatz zu den Leistungsscore-Tests zeigten ihre Simulationen, dass Kalibrierungsprüfungen nicht durch diese natürlichen Unterschiede in Patientengruppen getäuscht wurden.
Die Studie behauptet nicht, dass medizinische Modelle immer fair sind, noch sagt sie, dass Voreingenommenheit nicht existiert. Sie zeigt lediglich, dass die gängigste Methode, sie zu finden, fehlerhaft ist. Die Forscher betonen, dass ihre Erkenntnisse aus Simulationen und spezifischen Datensätzen stammen und sie keinen neuen „Zaubertest“ als Ersatz für die alten anbieten. Stattdessen drängen sie auf einen Wandel in der Art und Weise, wie wir über Fairness denken. Anstatt zu verlangen, dass ein Modell identisch für eine Gruppe junger Menschen und eine Gruppe älterer Menschen performt – was aufgrund der unterschiedlichen Natur ihrer Gesundheitsrisiken unmöglich sein könnte –, sollten wir verlangen, dass das Modell für jede Gruppe für sich genommen genau und kalibriert ist. Das Paper dient als Warnung: Ohne das Verständnis der zugrunde liegenden Unterschiede in den Patientenpopulationen riskieren wir, perfekte Werkzeuge als defekt zu bezeichnen oder schlimmer noch, echte Probleme zu übersehen, weil wir auf die falschen Zahlen schauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.