📄 health informatics

Separation-like irregularity and sample size optimism in high-discrimination logistic prediction models

Diese Studie zeigt, dass geschlossene Stichprobenumfangskriterien für logistische Vorhersagemodelle, wie etwa das Riley-Framework, zunehmend optimistisch werden und den erforderlichen Stichprobenumfang unterschätzen, wenn die Ziel-Diskriminierung steigt, primär aufgrund eines Separation-ähnlichen Verhaltens, welches die Kalibrierung destabilisiert, wodurch der Einsatz von simulationsbasierten Stresstests für Szenarien mit hoher Diskriminierung notwendig wird.

Ursprüngliche Autoren: Liu, Z., Liang, Y., Wang, L. S., Yu, J., Liu, J.

Veröffentlicht 2026-01-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Liu, Z., Liang, Y., Wang, L. S., Yu, J., Liu, J.

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Chefkoch, der versucht, ein neues Rezept für eine Suppe zu kreieren, die vorhersagt, ob ein Kunde sie lieben oder hassen wird. Sie haben eine Liste von Zutaten (Prädiktoren) wie Salz, Pfeffer und Kräuter. Ihr Ziel ist es, ein Rezept (ein mathematisches Modell) aufzuschreiben, das so gut ist, dass es die Reaktion eines Kunden allein durch den Blick auf die Zutaten perfekt erraten kann.

Dieses Papier beschäftigt sich mit der Frage, wie viele Geschmackstests (Datenpunkte) Sie benötigen, um ein zuverlässiges Rezept zu schreiben, bevor Sie Ihr Restaurant eröffnen.

Das alte Regelwerk vs. die neue Realität

Lange Zeit nutzten Köche (Forscher) eine einfache Faustregel: „Wenn Sie 10 Zutaten haben, brauchen Sie mindestens 100 Geschmackstests.“ Später wurde ein anspruchsvolleres Regelwerk (der sogenannte Riley-Framework, verwendet in einem Tool namens pmsampsize) erstellt. Dieses Regelwerk ist wie ein intelligenter Taschenrechner, der sagt: „Basierend darauf, wie komplex Ihre Suppe ist und wie gut sie Ihnen vermutlich schmecken wird, ist hier die exakte Anzahl der Tests, die Sie benötigen.“

Die Autoren des Papers stellten eine kritische Frage: Ist dieser intelligente Taschenrechner immer richtig?

Sie entdeckten, dass der Taschenrechner hervorragend funktioniert, wenn die Suppe „okay“ ist (moderate Diskriminierung). Aber wenn die Suppe unglaublich köstlich ist (hohe Diskriminierung, was bedeutet, dass die Zutaten das Ergebnis sehr offensichtlich machen), beginnt der Taschenrechner zu lügen. Er sagt Ihnen: „Sie brauchen nur ein paar Tests!“ – während Sie in Wirklichkeit viel mehr Tests benötigen.

Die Analogie vom „Perfekten Sturm“

Denken Sie an den Versuch, eine Nadel im Heuhaufen zu finden.

Geringe Diskriminierung: Die Nadel ist tief in einem riesigen Heuhaufen vergraben. Es ist schwer, sie zu finden. Der Taschenrechner sagt: „Sie brauchen viel Zeit für die Suche.“ Das ist korrekt.
Hohe Diskriminierung: Die Nadel leuchtet neonfarben und liegt direkt oben auf dem Heu. Sie ist superleicht zu entdecken. Der Taschenrechner sieht das und sagt: „Wow, das ist einfach! Sie brauchen nur 5 Sekunden, um sie zu finden.“

Hier liegt das Problem: Nur weil die Nadel leuchtet, heißt das nicht, dass Sie die Suche nach 5 Sekunden abbrechen können. Wenn Sie zu früh aufhören, übersehen Sie vielleicht den exakten Ort der Nadel oder Sie glauben, Sie hätten sie gefunden, obwohl Sie nur ein glänzendes Stück Alufolie gesehen haben.

In der Welt der Statistik wird die Mathematik instabil, wenn ein Modell „zu gut“ darin ist, das Ergebnis vorherzusagen. Der Taschenrechner geht davon aus, dass die Mathematik glatt und einfach ist, aber in Wirklichkeit beginnen die Zahlen extrem zu schwanken (ein Phänomen namens Separation). Das Modell sagt plötzlich für fast jeden „100 % Chance auf Liebe“ oder „0 % Chance auf Liebe“ voraus. Das sieht auf dem Papier toll aus, ist aber eigentlich ein Zeichen dafür, dass das Rezept instabil ist und bei neuen Kunden scheitern wird.

Was die Autoren taten

Die Autoren führten eine massive Computersimulation (eine „virtuelle Küche“) durch, um dies zu testen.

Sie erstellten tausende gefälschte Suppen mit unterschiedlichen Ebenen an „Köstlichkeit“ (Diskriminierung).
Sie fragten den Taschenrechner, wie viele Geschmackstests benötigt wurden.
Sie führten die Tests dann tatsächlich durch, um zu sehen, wie viele Tests wirklich nötig waren, um ein stabiles, zuverlässiges Rezept zu erhalten.

Das Ergebnis:

Moderate Suppe: Der Taschenrechner war richtig.
Super-köstliche Suppe: Der Taschenrechner war viel zu optimistisch. Er schlug Stichprobengrößen vor, die um 20 % bis 40 % zu klein waren. Wenn Forscher dem Rat des Taschenrechners für diese „perfekten“ Suppen gefolgt wären, wären ihre Modelle instabil und ihre Risikovorhersagen gefährlich ungenau gewesen.

Der „Glitch“ im System

Warum versagt der Taschenrechner? Die Autoren fanden heraus, dass die Mathematik im Computer zu glitchen beginnt, wenn das Modell zu gut ist. Es ist wie ein GPS, das verwirrt ist, wenn man zu schnell fährt; es denkt, es kenne die Route perfekt, aber in Wirklichkeit dreht es sich nur im Kreis.

In ihren Simulationen sahen sie, dass die Computermodelle bei den vom Taschenrechner empfohlenen Stichprobengrößen oft „extreme“ Ergebnisse produzierten (Vorhersagen von 99,999 % Sicherheit). Selbst wenn der Computer sagte: „Ich bin fertig, ich habe die Antwort gefunden“, war die Antwort in Wahrheit ein Zufallstreffer. Das Modell hatte nicht das Muster gelernt, sondern lediglich das Rauschen auswendig gelernt.

Die Lehre für Köche (Forscher)

Das Paper sagt nicht: „Werfen Sie den Taschenrechner weg.“ Es sagt: Nutzen Sie den Taschenrechner als Ausgangspunkt, aber vertrauen Sie ihm nicht blind, wenn die Suppe zu perfekt ist.

Wenn Sie ein Modell bauen, von dem Sie erwarten, dass es sehr genau ist (hohe Diskriminierung), sollten Sie:

Einen „Stresstest“ durchführen: Bevor Sie all Ihre Daten sammeln, führen Sie eine kleine Simulation durch, um zu sehen, ob das Modell anfängt, verrückt zu spielen (zu oft 100 % oder 0 % vorherzusagen).
Mehr Daten sammeln: Wenn der Stresstest zeigt, dass das Modell instabil ist, müssen Sie mehr Daten sammeln, als der Taschenrecher vorgeschlagen hat.
Ein Sicherheitsnetz nutzen: Anstatt ein Standard-Rezept zu verwenden, nutzen Sie ein „stabilisiertes“ Rezept (wie die Ridge-Regression), das verhindert, dass das Modell zu enthusiastisch wird und extreme Vorhersagen trifft.

Zusammenfassung

Das Paper warnt davor, dass die Standardmathematik, die zur Planung von Studien verwendet wird, zusammenbricht, wenn ein Vorhersagemodell zu gut darin ist, die Zukunft vorherzusagen. Es rät Forschern, vorsichtig zu sein, nicht von hoher Genauigkeit getäuscht zu werden; sie benötigen mehr Daten und bessere Kontrollen, um sicherzustellen, dass ihr Modell wirklich zuverlässig ist und nicht nur ein glücklicher Zufallstreffer.

Technisches Resümee: Separationsähnliche Irregularitäten und Optimismus bei der Stichprobengröße in Hochdiskriminations-Modellen der logistischen Prädiktion

Problemstellung
Die Entwicklung klinischer Prädiktionsmodelle, insbesondere unter Verwendung der logistischen Regression, stützt sich maßgeblich auf adäquate Stichprobengrößen, um eine stabile Kalibrierung zu gewährleisten und Overfitting zu vermeiden. Während das Riley-Framework (implementiert im R-Paket pmsampsize) weit verbreitete geschlossene Kriterien zur Bestimmung minimaler Stichprobengrößen basierend auf globalen Shrinkage-Zielen bereitstellt, deuten jüngste Evaluierungen darauf hin, dass diese Formeln in spezifischen Design-Regimen optimistisch sein können. Konkret besteht die Sorge, dass die Empfehlungen der geschlossenen Formeln bei hoher antizipierter Diskriminierung (AUC) die erforderliche Stichprobengröße unterschätzen könnten, die notwendig ist, um die Stabilität der Kalibrierung aufrechtzuerhalten. Diese Arbeit untersucht die operativen Charakteristika der Riley-Benchmark ( $n_{Riley}$ ) gegenüber einem empirisch abgeleiteten Stichprobenbedarf ( $n_{req}$ ), mit einem spezifischen Fokus auf Hochdiskriminations-Settings, in denen „separationsähnliche“ numerische Irregularitäten auftreten können.

Methodik
Die Autoren führten eine umfassende Monte-Carlo-Simulationsstudie durch, um formelbasierte Empfehlungen mit empirischen Anforderungen zu vergleichen.

Simulationsdesign: Die Studie nutzte ein faktorielles Grid, das vier Design-Faktoren kreuzte:
- Prädiktorverteilungen: Normal, standardisierte schiefe kontinuierliche (exponentiell) und binär (Bernoulli).
- Signal-Dichte: Dicht (Signal über alle $p=10$ Prädiktoren verteilt) versus Sparse (Signal konzentriert auf 3 Prädiktoren, 7 Rauschvariablen).
- Ziel-Diskriminierung: $AUC_{target} \in \{0.70, 0.75, 0.80, 0.85, 0.90\}$ .
- Prävalenz: $\phi_{target} \in \{0.05, 0.10, 0.20\}$ .
Datengenerierung: Die Parameter (Intercept $\alpha$ und Signalstärke $f$ ) wurden für jedes Szenario mittels verschachtelter Wurzel-Suche (nested root-finding) auf einer großen synthetischen Population ( $N=1.000.000$ ) kalibriert, um sicherzustellen, dass die generierten Daten die Ziel-Prävalenz und AUC exakt abbilden.
Benchmark ( $n_{Riley}$ ): Berechnet mit dem pmsampsize-Paket unter Verwendung eines globalen Shrinkage-Ziels von $S \geq 0.90$ .
Empirischer Bedarf ( $n_{req}$ ): Definiert als die kleinste Stichprobengröße $n$ $n$ , bei der unter wiederholter Entwicklungs-Stichprobenziehung gilt:
1. Der erwartete Kalibrierungsslope auf der Logit-Skala $E(b_n) \geq 0.90$ .
2. Die Wahrscheinlichkeit schwerer Fehlkalibrierung $Pr(b_n < 0.80) \leq 0.20$ .
- $n_{req}$ wurde über eine adaptive Bisektionssuche mit wahrheitsbasierten Kalibrierungsslopes bestimmt, die auf einem großen, fixen Validierungs-Kovariaten-Set ( $N_{val}=50.000$ ) evaluiert wurden, um das Outcome-Rauschen zu eliminieren.
Mechanismus-Diagnostik: Bei $n = n_{Riley}$ zeichneten die Autoren die Häufigkeiten von Nicht-Konvergenz, Separations-Warnungen (extreme gefittete Log-Odds oder Wahrscheinlichkeiten) und extremen gefitteten Risiken auf, um zu prüfen, ob numerische Pathologien die Diskrepanzen erklären.
Angewandte Illustration: Ein realer Datensatz zur Schlaganfall-Prädiktion wurde verwendet, um die Anwendung dieser Diagnostika sowie den Vergleich zwischen unpenalisiertem und Ridge-penalisiertem logistischem Regressionsmodell zu demonstrieren.

Wesentliche Ergebnisse

Diskriminationsabhängige Divergenz: Bei moderater Diskriminierung ( $AUC_{target} \leq 0.75$ ) näherte sich $n_{Riley}$ gutartig $n_{req}$ an. Mit zunehmender Diskriminierung unterschätzte $n_{Riley}$ die erforderliche Stichprobengröße jedoch zunehmend. Bei $AUC_{target} = 0.90$ lag die formelbasierte Empfehlung signifikant unter dem empirischen Bedarf (z. B. eine relative Differenz von -40,5 % bis -47,2 %, abhängig von der Prävalenz), was zu Modellen mit Kalibrierungsslopes führte, die deutlich unter dem 0,90-Ziel lagen.
Robustheit: Das primäre Muster der Unterschätzung bei hoher Diskriminierung war robust gegenüber verschiedenen Prädiktorverteilungen (normal, schief, binär) und Signal-Dichte-Konfigurationen (dicht vs. sparse).
Mechanismus des Optimismus: Bei $n = n_{Riley}$ $n = n_{R i l ey}$ in Hochdiskriminations-Settings zeigten die Standard-unpenalisierten logistischen Regressionen häufig ein „separationsähnliches“ Verhalten, obwohl sie nominell konvergierten.
- Während ein völliges Nicht-Konvergieren selten war, nahm die Häufigkeit von Separations-Warnungen (extreme gefittete Risiken oder Log-Odds) mit steigendem AUC stark zu (erreichte ~50 % bei $AUC=0.90$ bei niedriger Prävalenz).
- Dies deutet darauf hin, dass likelihood-basierte Informationsmaße (z. B. $\Delta\chi^2$ ), die in der Riley-Shrinkage-Approximation verwendet werden, durch nahezu deterministische Prädiktionen aufgebläht oder gestört werden, was zu übermäßig optimistischen Shrinkage-Schätzungen und folglich unzureichenden Stichprobenempfehlungen führt.
Angewandte Illustration: Im Beispiel des Schlaganfall-Datensatzes zeigte ein unpenalisierteres Modell, das mit der formelmäßig empfohlenen Stichprobengröße entwickelt wurde, Anzeichen von Overfitting (Kalibrierungsslope 0,802), während ein Ridge-penalisiertes Modell eine bessere Stabilität erreichte (Slope 1,013), wenngleich mit einer leichten Verschiebung in Richtung Underfitting.

Wesentliche Beiträge

Empirische Kartierung: Die Studie liefert eine systematische Charakterisierung der Bereiche, in denen geschlossene Stichprobenempfehlungen mit simulationsbasierten Anforderungen übereinstimmen oder von diesen abweichen, wobei die Ziel-Diskriminierung (AUC) als primärer Treiber des Optimismus in Hochleistungsregimen identifiziert wird.
Diagnostisches Protokoll: Sie operationalisiert eine Reihe von Konvergenz- und Separations-bezogenen Diagnostika (z. B. extreme gefittete Risiken), die bei der formelmäßig empfohlenen Stichprobengröße zu evaluieren sind. Diese Diagnostika dienen als praktisches Werkzeug, um zu erkennen, wann likelihood-basierte Approximationen an ihre Grenzen stoßen.
Praktische Orientierung: Die Autoren schlagen einen Workflow vor, bei dem $n_{Riley}$ als prinzipielle Baseline dient, aber durch gezielte Simulations-Stresstests und Instabilitätsdiagnostik ergänzt werden sollte, wenn eine hohe Diskriminierung antizipiert wird.

Bedeutung und Behauptungen
Das Paper behauptet, empirische Belege dafür zu liefern, dass die Genauigkeit von formelbasierten minimalen Stichprobenempfehlungen eine Funktion der antizipierten Diskriminierung ist. Die Autoren postulieren, dass das Riley-Framework zwar ein vertretbares Werkzeug für moderate Diskriminierung bleibt, seine Abhängigkeit von likelihood-basierten Shrinkage-Approximationen jedoch in Hochdiskriminations-Settings aufgrund der Häufigkeit von separationsähnlichen numerischen Irregularitäten versagt.

Die Bedeutung liegt darin, eine kohärente Erklärung dafür zu bieten, warum geschlossene Kriterien in Hochleistungsregimen optimistisch werden: Die gefittete Likelihood wird durch nahezu deterministische Prädiktionen dominiert, was die Verbindung zwischen Informationsmaßen und effektivem Overfitting schwächt. Folglich empfehlen die Autoren, dass Forscher, die Hochdiskriminations-Modelle planen, sich nicht allein auf geschlossene Berechnungen verlassen sollten, sondern stattdessen simulationsbasierte Planung oder penalisierte Schätzverfahren unter Einbeziehung expliziter Berichterstattung über Kalibrierungsstabilität und numerische Diagnostika anwenden sollten. Die Studie beansprucht nicht, das Riley-Framework vollständig zu invalidieren, sondern definiert dessen Grenzen der Zuverlässigkeit und bietet einen mechanismusgesteuerten Ansatz zur Milderung seiner Limitationen in spezifischen Hochrisiko-Regimen.