Class imbalance correction in artificial intelligence models leads to miscalibrated clinical predictions: a real-world evaluation

Die Studie zeigt, dass Korrekturmethoden für Klassenungleichgewichte in KI-Modellen zwar die Recall-Werte erhöhen, jedoch zu einer signifikanten Fehlkalibrierung und damit zu einer gefährlichen Überschätzung klinischer Risiken führen, weshalb Modelle mit der natürlichen Datenverteilung für medizinische Entscheidungen vorzuziehen sind.

Das Wesentliche

Titel: Warum das „Ausgleichen" von Daten in der KI-Ärztepraxis gefährlich sein kann

Stellen Sie sich vor, Sie sind ein erfahrener Wettervorhersager. Ihre Aufgabe ist es, den Menschen zu sagen, wie hoch die Wahrscheinlichkeit ist, dass es morgen regnet.

In Ihrer Stadt regnet es nur sehr selten – vielleicht nur an 2 von 100 Tagen. Das ist wie bei einer seltenen Operation: Die meisten Patienten werden gesund entlassen, nur sehr wenige erleiden schwere Komplikationen oder sterben.

Das Problem: Der „unausgeglichene" Datensatz

Wenn Sie eine KI (eine künstliche Intelligenz) trainieren, um diese Vorhersagen zu treffen, schauen Sie sich historische Daten an.

• Natürliche Situation: Von 1.000 Patienten sind 980 gesund und 20 krank.
• Das Problem für die KI: Die KI ist schlau, aber sie ist auch ein bisschen faul. Wenn sie sieht, dass 98 % der Fälle „gesund" sind, lernt sie schnell: „Hey, ich sage einfach immer 'gesund' und habe in 98 % der Fälle recht!" Das ist zwar statistisch korrekt, aber für die 20 kranken Patienten nutzlos.

Die übliche Lösung: Das „Ausgleichen" (Class Imbalance Correction)

Um die KI zu zwingen, sich auch um die kranken Patienten zu kümmern, machen viele Entwickler einen Trick, den man im Papier als Klassen-Ungleichgewichtskorrektur bezeichnet.

Die Analogie:
Stellen Sie sich vor, Sie haben eine Waage. Auf der einen Seite liegen 980 schwere Steine (gesunde Patienten) und auf der anderen nur 20 Federn (kranke Patienten). Die Waage kippt komplett zur Seite der Steine.
Um die Waage auszugleichen, nehmen die Entwickler die Federn und kopieren sie 40-mal (Oversampling) oder werfen 900 Steine weg (Undersampling), bis auf beiden Seiten genau 500 „Gewichte" liegen.

Die Idee dahinter: „Wenn wir die Daten so manipulieren, dass es 50 % Kranke und 50 % Gesunde gibt, wird die KI lernen, beide Gruppen gleich gut zu erkennen."

Was das Papier herausgefunden hat: Der fatale Fehler

Die Autoren dieses Papiers haben genau das getestet. Sie haben eine KI mit echten Daten von über 1,8 Millionen Patienten trainiert. Sie haben die KI auf die „natürliche" Weise (mit den echten 2 % Risiko) trainiert und dann mit der „ausgeglichenen" Methode (50/50).

Das Ergebnis war überraschend und beunruhigend:

1. Die „ausgeglichene" KI sah besser aus (auf dem Papier):
   Wenn man die KI nur auf die Frage „Ist der Patient krank oder gesund?" prüfte, schnitt die ausgeglichene Version besser ab. Sie fand mehr der kranken Patienten (hohe „Recall"-Werte).

   • Aber: Das war eine Täuschung. Die KI hatte gelernt, dass in ihrer Trainingswelt die Hälfte aller Menschen krank ist.

2. Die „natürliche" KI war im echten Leben besser:
   Als die KI wieder in die echte Welt zurückkehrte (wo nur 2 % krank sind), passierte Folgendes:

   • Die ausgeglichene KI schrie ständig „Achtung! Gefahr!". Da sie gelernt hatte, dass die Hälfte der Welt krank ist, hielt sie fast jeden Patienten für gefährdet.
   • Die natürliche KI sagte: „Okay, die Wahrscheinlichkeit ist sehr gering, aber wenn sie steigt, dann sage ich es genau."

Die Konsequenz: Warum das gefährlich ist

Stellen Sie sich vor, die ausgeglichene KI sagt einem gesunden Patienten: „Sie haben ein 60 %iges Risiko, an den Folgen der Operation zu sterben."
In der Realität ist das Risiko vielleicht nur 2 %.

Das passiert dann:

• Der Patient bekommt Angst und lehnt eine lebensrettende Operation ab.
• Das Krankenhaus reserviert teure Intensivbetten für Patienten, die sie gar nicht brauchen.
• Ärzte verschwenden Zeit mit unnötigen Tests.

Das Papier zeigt, dass die „ausgeglichene" KI die Wahrscheinlichkeiten verfälscht. Sie sagt nicht mehr die wahre Wahrscheinlichkeit voraus, sondern eine verzerrte. In der Medizin ist es aber entscheidend, die wahre Wahrscheinlichkeit zu kennen, um die richtige Entscheidung zu treffen.

Die einfache Lehre

Das Papier sagt uns im Grunde: Versuchen Sie nicht, die Welt künstlich auszugleichen, nur damit die Statistik schöner aussieht.

• Schlechtes Beispiel: Ein Wetterbericht, der sagt: „Es regnet morgen zu 50 %", obwohl es in Ihrer Stadt nur alle 50 Jahre regnet. Das ist eine falsche Vorhersage, die zu falschen Entscheidungen führt (z. B. Regenjacke tragen, obwohl die Sonne scheint).
• Gutes Beispiel: Ein Wetterbericht, der sagt: „Es regnet morgen zu 2 %." Das ist die Realität. Wenn die KI dann aber sagt: „Heute sind es 15 %", dann wissen Sie, dass es wirklich gefährlich wird.

Fazit:
In der medizinischen KI ist es wichtiger, dass die Vorhersage genau ist (kalibriert), als dass sie einfach nur „viele Treffer" bei seltenen Ereignissen findet. Das künstliche Ausgleichen von Daten macht die KI zwar scharf für das Finden von Fehlern, aber blind für die Realität. Und in der Medizin kann Blindheit lebensgefährlich sein.

Technische Zusammenfassung

Titel:

Klassenungleichgewichtskorrektur in KI-Modellen führt zu fehlerkalibrierten klinischen Vorhersagen: Eine reale Evaluation

1. Problemstellung

Im Gesundheitswesen werden zunehmend maschinelle Lernmodelle (ML) zur klinischen Entscheidungsfindung eingesetzt, insbesondere für die Risikoprädiktion seltener Ereignisse (z. B. postoperative Mortalität oder Komplikationen). Ein häufiges Problem bei der Entwicklung solcher Modelle ist das Klassenungleichgewicht (Class Imbalance), da die Zielereignisse (z. B. Tod) im Vergleich zu den Nicht-Ereignissen stark unterrepräsentiert sind.

Um dieses Problem zu adressieren, wenden Entwickler oft Standard-Preprocessing-Strategien an, wie z. B. Oversampling der Minderheitsklasse, Undersampling der Mehrheitsklasse oder kostensensitives Lernen. Die Annahme ist, dass diese Methoden die Vorhersageleistung verbessern. Die Studie hinterfragt jedoch kritisch, ob diese Techniken in klinischen Szenarien, in denen kalibrierte Wahrscheinlichkeiten (d. h. die Übereinstimmung zwischen vorhergesagter Wahrscheinlichkeit und tatsächlicher Ereignisrate) entscheidend sind, tatsächlich vorteilhaft sind oder ob sie zu systematischen Fehlern führen.

2. Methodik

Die Studie wurde nach den TRIPOD+AI-Richtlinien durchgeführt und nutzte einen großen, nationalen retrospektiven Datensatz aus Neuseeland.

• Datenbasis: Über 1,8 Millionen Patienten, die zwischen 2010 und 2024 Operationen unterzogen.
  • Trainings-/Validierungsset (2010–2022): ~1,87 Mio. Patienten.
  • Testset (2023–2024): ~287.000 Patienten (unabhängig, zeitlich getrennt).
• Zielvariablen: 90-Tage-Mortalität (ca. 1,3–1,5 %) und Auftreten von Komplikationen innerhalb von 90 Tagen (ca. 9,4–11,0 %).
• Modellarchitektur: Ein Histogramm-basierter Gradient-Boosting-Klassifikator (HGB), implementiert in scikit-learn, analog zum aktuellen NSQIP-Risikorechner.
• Vergleichsgruppen:
  1. Natürliches Modell: Training auf der ursprünglichen, unausgeglichenen Datenverteilung.
  2. Klassenungleichgewichtskorrektur: Anwendung von vier Strategien:
     • Random Oversampling (ROS)
     • Synthetic Minority Oversampling Technique (SMOTE)
     • Random Undersampling (RUS)
     • Kostensensitives Lernen (CSL)
• Bewertungsmetriken:
  • Diskriminierung: AUROC (Area Under the Receiver Operating Characteristic) und AUPRC (Area Under the Precision-Recall Curve).
  • Kalibrierung: Logarithmischer Verlust (Log Loss) und Kalibrierungskurven.
  • Klassifikationsmetriken (bei Schwellenwert 0,5): Genauigkeit, Präzision, Recall, F1-Score.
  • Klinischer Nutzen: Entscheidungsanalysekurven (Decision Curve Analysis, DCA) und Simulation klinischer Szenarien (Risikotrennschwellen: >2 % Mortalität, >10 % Komplikationen).

3. Wichtige Beiträge und Ergebnisse

A. Diskriminierung vs. Kalibrierung

• Diskriminierung (AUROC/AUPRC): Die Anwendung von Klassenungleichgewichtskorrektur führte keinerlei Verbesserung der Diskriminierungsfähigkeit. Die AUROC-Werte blieben für alle Modelle konstant (Mortalität: ~0,94; Komplikationen: ~0,84).
• Kalibrierung (Log Loss): Hier zeigten sich drastische negative Effekte. Das natürliche Modell wies die beste Kalibrierung auf (niedrigster Log Loss). Alle Korrekturmethoden verschlechterten die Kalibrierung signifikant, was zu einer systematischen Überschätzung des Risikos führte.
  • Der Log Loss stieg bei den korrigierten Modellen stark an (z. B. bei Mortalität von 0,05 auf bis zu 0,33).
  • Die Vorhersagewahrscheinlichkeiten wurden durch die Korrekturmethoden in Richtung einer gleichmäßigeren Verteilung verschoben, was zu einer massiven Überprognose führte.

B. Verzerrung durch Klassifikationsmetriken

• Metriken wie Recall und F1-Score zeigten bei den korrigierten Modellen eine scheinbare Verbesserung. Die Studie argumentiert jedoch, dass dies ein Artefakt ist, da diese Metriken schwellenwertabhängig sind und durch die künstliche Verschiebung der Klassenverteilung während des Trainings verzerrt werden.
• Die Genauigkeit (Accuracy) und Präzision sanken hingegen bei den korrigierten Modellen.

C. Klinische Auswirkungen (Simulation)

• In einem simulierten klinischen Szenario (Schwellenwert für Hochrisiko-Operationen: >2 % Mortalität) führte die Nutzung der korrigierten Modelle zu einer massiven Zunahme der als "hochriskant" eingestuften Patienten.
• Ergebnis: Der Anteil der als hochriskant klassifizierten Operationen stieg um bis zu 62,8 % im Vergleich zum natürlichen Modell.
• Folge: Dies würde zu einer erheblichen Fehlleitung klinischer Ressourcen und potenziell unnötigen präoperativen Maßnahmen führen (Overdiagnosis).

D. Entscheidungsanalyse (DCA)

• Die Decision Curve Analysis bestätigte, dass das natürliche Modell über einen weiten Bereich klinisch relevanter Schwellenwerte den höchsten Nettonutzen (Net Benefit) bietet. Modelle mit Klassenungleichgewichtskorrektur lieferten in jedem Fall einen geringeren klinischen Nutzen.

4. Signifikanz und Schlussfolgerung

Die Studie liefert einen starken empirischen Beleg dafür, dass Klassenungleichgewichtskorrektur in klinischen Risikomodellen kontraproduktiv sein kann.

• Hauptthese: In klinischen Anwendungen ist die Kalibrierung (die Richtigkeit der vorhergesagten Wahrscheinlichkeiten) entscheidender als die Maximierung von binären Klassifikationsmetriken wie F1-Score oder Recall.
• Mechanismus: Durch das künstliche Ausgleichen der Klassenverteilung wird die a-priori-Wahrscheinlichkeit (Pre-test probability) im Training verzerrt. Da klinische Entscheidungen oft auf spezifischen Risikotrennschwellen basieren, führt diese Verzerrung zu einer Entkopplung der Modellvorhersagen von der realen Welt, was zu systematischen Fehlentscheidungen führt.
• Empfehlung:
  1. Für klinische Risikovorhersagen sollte auf das Training mit der natürlichen, unausgeglichenen Verteilung gesetzt werden.
  2. Die Berichterstattung sollte sich auf schwellenwertunabhängige Metriken (AUROC, AUPRC, Log Loss) und Kalibrierungskurven konzentrieren, anstatt auf schwellenwertabhängige Metriken.
  3. Falls Klassenungleichgewichtskorrektur dennoch angewendet wird, ist eine nachträgliche Rekalibrierung (z. B. durch Platt-Scaling oder isotone Regression) zwingend erforderlich, um die klinische Validität wiederherzustellen.

Die Studie warnt davor, dass die blindes Vertrauen in Standard-ML-Preprocessing-Techniken ohne Berücksichtigung der klinischen Konsequenzen zu erheblichen Schäden in der Patientenversorgung führen kann.