Evaluation of SOFA-2 Score Performance Across Demographic Subgroups: An External Validation Study Using MIMIC-IV

Diese externe Validierungsstudie zeigt, dass der SOFA-2-Score zwar insgesamt eine akzeptable Vorhersagekraft für die ICU-Sterblichkeit aufweist, jedoch insbesondere bei älteren Patienten und nicht-englischsprachigen Personen eine signifikant schlechtere Diskriminierungsfähigkeit und Kalibrierung aufweist, was die Notwendigkeit einer routinemäßigen Überprüfung von klinischen Vorhersagemodellen auf demografische Verzerrungen unterstreicht.

Das Wesentliche

🏥 Der „Wetterbericht" für das Krankenhaus: Funktioniert er für alle gleich gut?

Stellen Sie sich vor, Ärzte im Intensivbereich (ICU) nutzen einen Wetterbericht, um vorherzusagen, wie stark ein Sturm (also eine schwere Krankheit) werden könnte. Dieser „Wetterbericht" heißt SOFA-2-Score. Er schaut sich sechs wichtige Organe des Körpers an (wie Herz, Lunge, Nieren) und gibt einen Punktestand ab. Je höher die Punkte, desto schlechter geht es dem Patienten.

Bisher dachte man: „Dieser Wetterbericht ist super genau und funktioniert für jeden Menschen gleich gut."

Aber diese neue Studie von Jacob Ellen und seinem Team hat gesagt: „Halt! Lassen Sie uns das genauer prüfen. Funktioniert dieser Wetterbericht wirklich für jeden, egal ob jung oder alt, Mann oder Frau, oder welche Sprache man spricht?"

Sie haben dafür Daten von über 64.000 Patienten aus einem großen Krankenhaus in Boston (MIMIC-IV) genommen und den Score getestet.

Hier sind die wichtigsten Erkenntnisse, einfach erklärt:

1. Der „Alters-Faktor": Der Wetterbericht wird im Alter ungenau

Das war das größte Problem.

• Bei jungen Menschen (18–44 Jahre): Der Wetterbericht war wie ein präzises GPS. Er sagte sehr genau voraus, wer gefährdet ist (Treffsicherheit: 85 %).
• Bei sehr alten Menschen (über 75 Jahre): Der Wetterbericht wurde wie eine verwaschene Landkarte. Er sagte viel schlechter voraus, wer sterben könnte (Treffsicherheit sank auf 72 %).
• Das Problem: Der Score unterschätzte das Risiko bei alten Menschen systematisch. Es war, als würde der Wetterbericht sagen: „Es wird nur ein leichter Nieselregen", während es eigentlich ein Orkan ist. Ältere Patienten hatten bei gleicher Punktzahl eine viel höhere Sterblichkeit als jüngere.

2. Die „Sprach-Barriere": Wenn die Daten nicht passen

• Patienten, die nicht Englisch sprachen, wurden vom Score etwas schlechter bewertet als englischsprachige Patienten.
• Warum? Vielleicht liegt es daran, dass Ärzte bei Sprachbarrieren nicht alle Details so gut dokumentieren können. Es ist wie bei einem Spiel, bei dem die Regeln für manche Spieler nicht ganz klar erklärt wurden, sodass der Schiedsrichter (der Score) nicht alles richtig sehen kann.

3. Das „Geister-Phänomen": Was passiert, wenn Daten fehlen?

Ein sehr wichtiger und beunruhigender Punkt:

• Bei etwa 14 % der Patienten stand im System keine Angabe zur Herkunft/Race (z. B. „Unbekannt").
• Diese Gruppe hatte fast die doppelte Sterblichkeitsrate wie der Durchschnitt!
• Die Analogie: Stellen Sie sich vor, Sie haben eine Liste von Teilnehmern für ein Rennen. Bei den meisten steht das Alter und die Fitness. Bei einer ganzen Gruppe steht nur „???" in der Spalte. Die Studie zeigte: Diese „???"-Gruppe hatte es am schwersten. Wenn man diese Leute einfach ignoriert, weil die Daten fehlen, übersieht man die Menschen, die am meisten Hilfe brauchen.

4. Was ist mit Geschlecht und Hautfarbe?

• Geschlecht: Der Score funktionierte für Männer und Frauen fast gleich gut beim Vorhersagen, wer überlebt. Aber er sagte bei Männern das Risiko etwas zu hoch und bei Frauen etwas zu niedrig voraus. Ein kleiner Unterschied, aber vorhanden.
• Hautfarbe: Bei den Patienten, bei denen die Herkunft klar dokumentiert war, funktionierte der Score für alle Gruppen ähnlich gut. Das ist eine gute Nachricht! Aber die große Gruppe der „Unbekannten" (siehe Punkt 3) macht die Sache kompliziert.

🎯 Was bedeutet das für die Zukunft?

Die Forscher sagen: Der SOFA-2-Score ist ein gutes Werkzeug, aber kein perfektes Werkzeug.

Es ist wie ein Schuh, der für die meisten Füße passt, aber für große Füße (ältere Menschen) zu eng wird und für kleine Füße (junge Menschen) zu weit ist.

Die Botschaft an die Ärzte und die Gesellschaft:
Bevor man solche Computer-Programme oder Scores in jedem Krankenhaus einsetzt, muss man prüfen: Ist das fair für alle?

• Man darf nicht blind auf den Score vertrauen, besonders bei älteren Patienten.
• Man muss aufpassen, wenn Daten fehlen (z. B. keine Sprachangabe), denn das ist oft ein Warnsignal für ein höheres Risiko.
• Gerechtigkeit im Gesundheitswesen bedeutet, dass das „Wetter" für jeden Patienten gleich genau vorhergesagt wird.

Zusammenfassend: Die Studie ist eine wichtige Erinnerung daran, dass Technologie zwar hilft, aber wir Menschen immer noch genau hinschauen müssen, um sicherzustellen, dass niemand durch das Raster fällt.

Technische Zusammenfassung

Problemstellung

Der Sequential Organ Failure Assessment (SOFA)-Score ist seit 1996 ein Standardinstrument in der Intensivmedizin zur Quantifizierung von Organfunktionsstörungen, zur Risikstratifizierung und zur Prognose der ICU-Mortalität. Im Oktober 2025 wurde eine aktualisierte Version, der SOFA-2 Score, veröffentlicht, die auf Daten aus über 3 Millionen ICU-Aufnahmen aus 9 Ländern basiert und modifizierte Schwellenwerte sowie Berücksichtigung moderner Organunterstützungstherapien (z. B. ECMO, HFNC) beinhaltet.

Obwohl der SOFA-2 Score in der Gesamtkohorte eine robuste Vorhersageleistung zeigte, fehlte in der ursprünglichen Validierungsstudie eine systematische Untersuchung der Fairness und Leistungsfähigkeit über demografische Subgruppen hinweg. Bestehende Evidenz deutet darauf hin, dass der ursprüngliche SOFA-Score bei bestimmten Gruppen (z. B. nach Rasse, Geschlecht oder Alter) unterschiedlich gut performt, was zu potenziellen Ungleichheiten in der klinischen Entscheidungsfindung führen kann. Die Studie zielt darauf ab, zu evaluieren, ob der neue SOFA-2 Score diese Verzerrungen (Bias) behebt oder fortführt.

Methodik

• Studiendesign: Retrospektive Kohortenstudie zur externen Validierung.
• Datenquelle: MIMIC-IV-Datenbank (Version 3.1), die deidentifizierte Daten von Patienten der Beth Israel Deaconess Medical Center (Boston, USA) zwischen 2008 und 2022 enthält. Da MIMIC-IV nicht in der Entwicklung des SOFA-2 Scores verwendet wurde, handelt es sich um eine echte externe Validierung.
• Kohorte: 64.015 erwachsene ICU-Aufnahmen (Alter ≥ 18 Jahre). Es wurde jeweils nur die erste ICU-Aufnahme pro Patient analysiert. Patienten mit ICU-Aufenthalten < 6 Stunden oder physiologisch unplausiblen Werten wurden ausgeschlossen.
• Berechnung des SOFA-2 Scores: Der Score wurde basierend auf den schlechtesten Werten der ersten 24 Stunden für sechs Organsysteme (neurologisch, kardiovaskulär, respiratorisch, hepatisch, renal, hämatologisch) berechnet. Dabei wurden spezifische Anpassungen des SOFA-2 berücksichtigt (z. B. Nutzung von SpO₂/FiO₂ als Ersatz, Berücksichtigung verschiedener Beatmungsmodalitäten und Vasopressoren). Fehlende Komponenten wurden als 0 (normal) gewertet.
• Endpunkt: ICU-Mortalität (Tod während des Index-Aufenthalts oder innerhalb von 6 Stunden nach Entlassung).
• Demografische Subgruppen: Analyse nach Alter (18–44, 45–64, 65–74, ≥75), Geschlecht, Rasse/Ethnizität (White, Black, Hispanic, Asian, Other, Unknown), Hauptsprache (Englisch, Nicht-Englisch, Unknown) und Versicherungsstatus.
• Statistische Analyse:
  • Diskriminierung: Gemessen mittels Fläche unter der ROC-Kurve (AUROC) mit 95%-Konfidenzintervallen (KI).
  • Kalibrierung: Bewertet mittels Intercept und Steigung (Slope) aus einer logistischen Regression.
  • Vergleich: Unterschiede zwischen Subgruppen wurden mittels nicht-parametrischem Bootstrap-Resampling (1.000 Iterationen) getestet. Ein ΔAUROC > 0,05 wurde als klinisch relevant betrachtet.

Hauptergebnisse

Der SOFA-2 Score zeigte insgesamt eine akzeptable Vorhersageleistung für die ICU-Mortalität, jedoch mit signifikanten Variationen zwischen den demografischen Gruppen:

1. Gesamtperformance:

   • Gesamte AUROC: 0,77 (95% KI: 0,76–0,77).
   • Kalibrierung war im Gesamtkollektiv gut (Intercept ≈ 0, Slope ≈ 1).

2. Alter (Signifikanteste Diskrepanz):

   • Die Diskriminierung nahm mit dem Alter drastisch ab.
   • 18–44 Jahre: AUROC 0,85 (gute Diskriminierung).
   • ≥75 Jahre: AUROC 0,72 (akzeptable, aber deutlich schlechtere Diskriminierung).
   • ΔAUROC: -0,14 (95% KI: -0,16 bis -0,11).
   • Kalibrierung: Bei älteren Patienten wurde die Mortalität systematisch unterschätzt (Intercept = 0,39), während sie bei jüngeren Patienten überschätzt wurde. Bei einem SOFA-2 Score von 10 lag die beobachtete Mortalität bei 19,3% (18–44 J.) vs. 24,5% (≥75 J.).

3. Sprache:

   • Patienten, die nicht-englischsprachig waren, zeigten eine signifikant schlechtere Diskriminierung (AUROC 0,73) im Vergleich zu Englischsprechern (AUROC 0,77; ΔAUROC -0,04).
   • Patienten mit unbekanntem Sprachstatus (nur 0,5% der Kohorte) hatten die höchste Mortalität (23,1%) und eine sehr schlechte Kalibrierung.

4. Versicherungsstatus:

   • Die Leistung war bei Patienten mit Medicaid (AUROC 0,82) und privater Versicherung (AUROC 0,81) am besten.
   • Bei Medicare-Patienten (oft älter) war die Leistung signifikant schlechter (AUROC 0,73; ΔAUROC -0,07).

5. Rasse/Ethnizität:

   • Unter den Patienten mit dokumentiertem Rasse-/Ethnizitätsstatus gab es keine signifikanten Unterschiede in der Diskriminierung zwischen den Gruppen (AUROC zwischen 0,74 und 0,79).
   • Wichtig: Patienten mit unbekannter Rasse/Ethnizität (14,3% der Kohorte) hatten fast die doppelte Mortalität (14,1% vs. 7,2%) und eine schlechte Kalibrierung (Intercept = 0,65), was auf eine systematische Unterschätzung des Risikos in dieser Gruppe hindeutet.

6. Geschlecht:

   • Die Diskriminierung war zwischen Männern und Frauen identisch (AUROC 0,77).
   • Es gab jedoch leichte Kalibrierungsunterschiede: Die Mortalität wurde bei Männern leicht überschätzt und bei Frauen leicht unterschätzt.

Bedeutung und Schlussfolgerungen

• Klinische Relevanz: Der SOFA-2 Score ist ein nützliches Instrument, aber seine Leistung ist nicht über alle demografischen Gruppen hinweg gleich. Die stark abnehmende Diskriminierung bei älteren Patienten ist klinisch besorgniserregend, da diese Gruppe einen großen Teil der ICU-Population ausmacht. Eine Unterschätzung des Risikos bei älteren Patienten könnte zu Fehlentscheidungen bei der Triage, der Prognosestellung und der Zielsetzung der Behandlung führen.
• Fairness und Bias: Die Studie unterstreicht, dass selbst modernisierte Scores, die auf großen, internationalen Datensätzen trainiert wurden, systematische Verzerrungen gegenüber bestimmten demografischen Gruppen (insbesondere Alter und Sprachbarrieren) aufweisen können.
• Datenqualität: Die schlechte Leistung bei Patienten mit fehlenden demografischen Daten (Rasse, Sprache) deutet darauf hin, dass fehlende Daten oft ein Marker für höhere Komplexität, sozioökonomische Benachteiligung oder akute Schweregradsindikatoren sind, die im Modell nicht erfasst werden.
• Empfehlung: Vor der breiten Implementierung klinischer Vorhersagemodelle ist eine routinehafte Equity-Evaluation (Bewertung der Fairness) unerlässlich. Modelle sollten nicht nur auf ihrer Gesamtgenauigkeit, sondern auch auf ihrer Leistung in spezifischen Subgruppen validiert werden, um unbeabsichtigte Verschärfungen von Gesundheitsungleichheiten zu vermeiden.

Die Studie zeigt, dass der SOFA-2 Score zwar insgesamt robust ist, aber bei der Anwendung auf ältere Patienten und nicht-englischsprachige Gruppen mit Vorsicht zu interpretieren ist, da er das Sterberisiko in diesen Gruppen systematisch unterschätzt.