📊 statistics

A note on closed-form solutions for estimating sample size when externally validating a binary prediction model based on $C$ -statistic precision

Dieser Artikel stellt sieben neuartige geschlossene Lösungen zur Berechnung des für die präzise Schätzung des C-Statistik-Werts während der externen Validierung binärer Vorhersagemodelle erforderlichen Stichprobenumfangs vor und zeigt, dass diese mathematisch äquivalenten Formeln die gleiche Genauigkeit wie bestehende iterative Methoden bieten, jedoch bis zu 264.000-mal schneller in der Ausführung sind.

Ursprüngliche Autoren: Denis A. Shah, Erick D. De Wolf, Pierce A. Paul, Laurence V. Madden

Veröffentlicht 2026-05-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Denis A. Shah, Erick D. De Wolf, Pierce A. Paul, Laurence V. Madden

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine Kristallkugel gebaut, die vorhersagt, ob ein Patient krank wird oder gesund bleibt. Bevor Sie diese Kristallkugel Ärzten zur Anwendung in der Praxis überlassen, müssen Sie sie an einer neuen Gruppe von Menschen testen, um zu sehen, ob sie tatsächlich funktioniert. Dies nennt man „externe Validierung".

Doch hier liegt der Haken: Für einen vertrauenswürdigen Test benötigen Sie genau die richtige Anzahl von Personen. Zu wenige, und Ihr Test ist ein Zufallstreffer; zu viele, und Sie haben Zeit und Geld verschwendet.

Lange Zeit war es, die „genau richtige" Anzahl zu ermitteln, wie der Versuch, ein Labyrinth im Dunkeln zu lösen. Die Mathematik zur Berechnung des Stichprobenumfangs war so verschlungen, dass Experten keinen direkten Weg finden konnten. Stattdessen mussten sie eine langsame, computergestützte Methode anwenden, die als „iterativer Ansatz" bezeichnet wird. Stellen Sie sich das vor wie den Versuch, das Gewicht einer Wassermelone zu erraten, indem Sie sie auf eine Waage legen, schätzen, sie wieder abnehmen, ein wenig Gewicht hinzufügen, erneut schätzen und diesen Prozess eine Million Mal wiederholen, bis Sie nah genug sind. Es funktioniert, ist aber langsam und mühsam.

Die große Entdeckung
Die Autoren dieses Papers, ein Team von Statistikern aus Kansas und Ohio, entschieden sich zu prüfen, ob es einen Abkürzungsweg gibt. Sie fragten: „Gibt es eine direkte Formel – eine gerade Linie durch das Labyrinth –, die uns die Antwort sofort liefert?"

Sie nutzten zwei Arten moderner Werkzeuge, um diesen Abkürzungsweg zu finden:

Computer-Algebra-Systeme (CAS): Diese sind wie Superrechner, die komplexe Mathematik symbolisch ausführen können (wie ein Roboter-Mathematiker).
Künstliche Intelligenz (KI): Sie baten verschiedene KI-Chatbots, dasselbe mathematische Rätsel zu lösen.

Das Ergebnis: Sieben neue Schlüssel
Überraschenderweise fanden sie sieben verschiedene Wege, die direkte Formel zu schreiben. Es ist, als hätten sie sieben verschiedene Schlüssel gefunden, die alle genau dieselbe Tür öffnen.

Die „Roboter"-Schlüssel: Zwei der Formeln stammten von den Superrechnern (Mathematica und Maxima). Sie funktionierten perfekt, sahen aber aus wie verschmierte, verwickelte Spaghetti-Gleichungen, die für einen Menschen schwer zu lesen waren.
Die „KI"-Schlüssel: Die anderen fünf kamen von KI-Modellen. Einige dieser KIs gerieten in Verwirrung und gaben falsche Antworten (wie ein Schüler, der bei einer Prüfung die falsche Antwort rät). Doch diejenigen, die es richtig machten, lieferten Formeln, die viel sauberer und leichter zu verstehen waren.

Warum ist das wichtig?
Das Paper beweist, dass diese neuen Formeln exakt dasselbe Ergebnis liefern wie die alte, langsame „Rat"-Methode. Wenn die alte Methode sagt, Sie benötigen 1.154 Personen, sagen die neuen Formeln ebenfalls 1.154 Personen.

Der Unterschied liegt jedoch in der Geschwindigkeit.

Die alte Methode ist wie eine Schnecke.
Die neuen Formeln sind wie eine Rakete.

Die Autoren veranstalteten ein Rennen, um zu sehen, wie schnell sie waren. Die neuen Formeln waren 148.000 bis 264.000 Mal schneller als die alte Methode.

Der „beste" Schlüssel
Da alle sieben Formeln dasselbe Ergebnis liefern, welche sollten Sie verwenden? Die Autoren empfehlen diejenige, die von einem KI-Tool namens MathGPT generiert wurde.

Warum? Sie ist die eleganteste. Sie zerlegt die komplexe Mathematik in zwei einfache, Zwischenschritte (wie den Bau eines Hauses mit zwei stabilen Ziegeln statt einem Haufen Schutt). Dies macht es für einen Menschen viel schwieriger, einen Tippfehler zu machen, wenn er sie in ein Computerprogramm eingibt.

Eine Warnung vor KI
Das Paper bietet auch eine freundliche Warnung: Während KI mächtig ist, kann sie bei Mathematik unzuverlässig sein. Einige der von ihnen verwendeten KI-Modelle lieferten Antworten, die richtig aussahen, aber bei Überprüfung mit echten Zahlen tatsächlich falsch waren. Man kann sich also nicht blind auf die KI verlassen; ein Mensch muss die Arbeit immer noch doppelt prüfen.

Auf den Punkt gebracht
Dieses Paper ist eine Siegesrunde für Effizienz. Die Autoren nahmen ein mathematisches Problem, von dem alle annahmen, es erfordere einen langsamen, umständlichen Weg, und zeigten, dass es tatsächlich eine direkte Autobahn gibt. Sie erstellten sieben verschiedene Karten für diese Autobahn, bewiesen, dass sie alle zum selben Ziel führen, und zeigten, dass die Fahrt auf der neuen Autobahn im Vergleich zur alten Straße nahezu augenblicklich ist. Dies ermöglicht es Forschern, ihre Studien viel schneller und effizienter zu planen.

Technische Zusammenfassung: Geschlossene Lösungen zur Schätzung des Stichprobenumfangs bei der externen Validierung von binären Vorhersagemodellen

Problemstellung
Die externe Validierung ist ein entscheidender Schritt zur Bestimmung, ob klinische Vorhersagemodelle für binäre Endpunkte für den Einsatz geeignet sind. Eine wesentliche Voraussetzung für eine ordnungsgemäße Validierung ist ein ausreichender Stichprobenumfang, um die Leistungsmetriken des Modells präzise zu schätzen, insbesondere die C-Statistik (entsprechend der Fläche unter der ROC-Kurve). Während Riley et al. zuvor Formeln zur Bestimmung des für die Schätzung der C-Statistik mit einer gewünschten Präzision erforderlichen Mindeststichprobenumfangs vorgeschlagen haben, stützte sich ihr Ansatz auf eine iterative numerische Lösung. Dies war durch die Annahme notwendig, dass eine direkte algebraische Umstellung der Formel von Newcombe für den Standardfehler der C-Statistik, $SE(C)$, „nicht möglich" sei. Folglich nutzen bestehende Softwareimplementierungen (in R und Stata) rechenintensive iterative Methoden, um den Stichprobenumfang ( $N$ ) zu berechnen.

Methodik
Die Autoren stellen die Annahme in Frage, dass eine geschlossene Lösung nicht erreichbar sei. Sie versuchten systematisch, die Formel von Newcombe algebraisch umzustellen, um $N$ als Funktion der C-Statistik ( $C$ ), des erwarteten Anteils an Ereignissen ( $\phi$ ) und des Ziel-Standardfehlers ($SE(C)$) zu lösen.

Die Methodik setzte zwei unterschiedliche Kategorien von computergestützten Werkzeugen ein:

Computer-Algebra-Systeme (CAS): Die Autoren nutzten kommerzielle (Mathematica 12.0) und quelloffene (Maxima 23.05.1) Software, um symbolische Manipulationen durchzuführen, die Gleichung zu quadrieren, Brüche zu vereinfachen und Nullstellen zu berechnen.
Künstliche Intelligenz (KI)-Modelle: Die Autoren gaben mehreren Large Language Models (LLMs) Anweisungen, darunter Perplexity's Sonar, Anthropic's Claude Sonnet 4.0, OpenAI's GPT 4.1, xAI's Grok 3 Beta, Google's Gemini 2.5 Pro und MathGPT. Den Modellen wurde befohlen, eine geschlossene Lösung abzuleiten, wiederkehrende Muster für Substitutionen zu identifizieren und die Ergebnisse numerisch zu verifizieren.

Die Autoren stellten fest, dass KI-Modelle zwar erfolgreich algebraische Strukturen generierten, jedoch häufig manuelle Überprüfung und Korrektur erforderten, da einige Modelle algebraisch plausible, aber numerisch inkorrekte Ergebnisse lieferten oder Ausdrücke nicht optimal vereinfachten.

Hauptbeiträge
Der primäre Beitrag dieser Arbeit ist die Präsentation von sieben neuartigen geschlossenen Lösungen zur Berechnung des erforderlichen Stichprobenumfangs ( $N$ ). Diese Lösungen wurden unter Verwendung unterschiedlicher Rechenpfade (CAS und verschiedene KI-Modelle) abgeleitet, was zu strukturell unterschiedlichen, aber mathematisch äquivalenten Formeln führte.

Wesentliche Aspekte der Herleitung umfassen:

Mathematische Äquivalenz: Trotz unterschiedlicher algebraischer Formen (einige nutzen Strukturen der quadratischen Formel, andere beinhalten komplexe Substitutionen) liefern alle sieben Lösungen identische numerische Schätzwerte für $N$ .
Verifizierung: Die Autoren validierten diese Lösungen gegen die von Riley et al. verwendete iterative Methode anhand von fünf illustrativen Beispielen und einer gitterbasierten Sensitivitätsanalyse mit 450 Parameterkombinationen ( $C$ von 0,55 bis 0,95 und $\phi$ von 0,01 bis 0,5). In allen Fällen stimmten die geschlossenen Lösungen mit den iterativen Ergebnissen überein (mit absoluten Differenzen $\le 1$ aufgrund von Rundungskonventionen für ganze Zahlen).
Implementierung: Die Autoren stellen R-Funktionen bereit, die alle sieben geschlossenen Lösungen sowie die ursprüngliche iterative Methode implementieren.

Ergebnisse

Genauigkeit: Die geschlossenen Lösungen liefern Schätzwerte für den Stichprobenumfang, die mit dem etablierten iterativen Ansatz identisch sind.
Rechenleistung: Eine Benchmark-Analyse ergab eine massive Leistungsdisparität. Die geschlossenen Lösungen waren im Median in der Ausführungszeit durchschnittlich 148.000 bis 264.000 Mal schneller als die iterative Implementierung.
Leistungsvarianz: Unter den geschlossenen Lösungen zeigten diejenigen, die über KI abgeleitet wurden (insbesondere GPT 4.1 und MathGPT), leicht schnellere Ausführungszeiten als diejenigen, die über traditionelle CAS (Mathematica und Maxima) abgeleitet wurden, obwohl alle im gleichen „Nanosekunden"-Leistungsbereich operierten.
Robustheit: Die Lösungen blieben über einen weiten Parameterraum stabil, ohne dass numerische Instabilitäten beobachtet wurden.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass das Vorhandensein geschlossener Lösungen die Berechnung von Validierungsstichprobenumfängen von einer rechenintensiven iterativen Aufgabe in eine direkte, sofortige Berechnung verwandelt. Während der Geschwindigkeitsunterschied für eine einzelne Berechnung vernachlässigbar ist, heben die Autoren hervor, dass die Effizienz und Stabilität geschlossener Lösungen für rechenintensive Aufgaben entscheidend sind, wie zum Beispiel:

Sensitivitätsanalysen, die Gittersuchen beinhalten.
Umfangreiche Simulationsstudien, bei denen die Funktion Millionen Male aufgerufen wird.

Die Autoren empfehlen die von MathGPT abgeleitete Lösung für den routinemäßigen Einsatz. Sie argumentieren, dass diese spezifische Formulierung die „eleganteste" ist, da sie die finale Gleichung über zwei Zwischenvariablen ( $A$ und $\delta$ ) auf eine kompakte quadratische Form reduziert. Diese Modularität minimiert das Risiko von Transkriptionsfehlern während der Codierung und bietet eine überlegene algebraische Klarheit im Vergleich zu den ausgedehnten Polynomen hohen Grades, die in den aus CAS abgeleiteten Lösungen zu finden sind.

Abschließend stellt die Arbeit fest, dass die Inversion der Formel von Newcombe zwar innerhalb des Rahmens von Riley et al. in ihrer Komplexität einzigartig ist, die Strategie jedoch, CAS und KI zur Lösung „unlösbarer" algebraischer Probleme einzusetzen, allgemein auf andere biostatistische Herausforderungen anwendbar ist, bei denen mathematische Komplexität historisch die Entwicklung exakter Lösungen behindert hat. Die Autoren warnen jedoch, dass KI-Tools eine sorgfältige menschliche Bewertung erfordern, da sie dazu neigen, plausibel klingende, aber mathematisch fehlerhafte Herleitungen zu generieren.

Mehr davon