📄 health informatics

Separation-like irregularity and sample size optimism in high-discrimination logistic prediction models

Deze studie toont aan dat gesloten-vormige steekproefgrootte-criteria voor logistische predictiemodellen, zoals het Riley-framework, steeds optimistischer worden en de vereiste steekproefgrootte onderschatten naarmate de doel-discriminatie stijgt, primair vanwege separatie-achtig gedrag dat de kalibratie destabiliseert, waardoor het gebruik van simulatie-gebaseerde stresstests voor scenario's met hoge discriminatie noodzakelijk wordt.

Oorspronkelijke auteurs: Liu, Z., Liang, Y., Wang, L. S., Yu, J., Liu, J.

Gepubliceerd 2026-01-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Liu, Z., Liang, Y., Wang, L. S., Yu, J., Liu, J.

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je een chef bent die een nieuw recept probeert te maken voor een soep die voorspelt of een klant er dol op zal zijn of het vreselijk zal vinden. Je hebt een lijst met ingrediënten (voorspellers) zoals zout, peper en kruiden. Je doel is om een recept (een wiskundig model) op te schrijven dat zo goed is dat het de reactie van een klant perfect kan raden door alleen naar de ingrediënten te kijken.

Dit artikel gaat over het uitzoeken van hoeveel smaaktesten (datapunten) je nodig hebt om een betrouwbaar recept te schrijven voordat je je restaurant opent.

Het Oude Regelboek versus de Nieuwe Realiteit

Voor een lange tijd gebruikten chefs (onderzoekers) een eenvoudige vuistregel: "Als je 10 ingrediënten hebt, heb je minstens 100 smaaktesten nodig." Later werd er een geavanceerder regelboek gemaakt (de Riley-framework, gebruikt in een tool genaamd pmsampsize). Dit regelboek is als een slimme rekenmachine die zegt: "Op basis van hoe complex je soep is en hoe goed je denkt dat hij zal smaken, is hier het exacte aantal tests dat je nodig hebt."

De auteurs van het artikel stelden een kritische vraag: Is deze slimme rekenmachine altijd juist?

Ze ontdekten dat de rekenmachine goed werkt wanneer de soep "oké" is (matige discriminatie). Maar wanneer de soep ongelooflijk heerlijk is (hoge discriminatie, wat betekent dat de ingrediënten de uitkomst heel duidelijk maken), begint de rekenmachine te liegen. De rekenmachine zegt dan: "Je hebt slechts een paar tests nodig!" terwijl je in werkelijkheid veel meer tests nodig hebt.

De "Perfecte Storm" Analogie

Denk aan het zoeken naar een speld in een hooiberg.

Lage Discriminatie: De speld ligt diep begraven in een enorme hooiberg. Het is moeilijk om hem te vinden. De rekenmachine zegt: "Je hebt veel tijd nodig om te zoeken." Dit is correct.
Hoge Discriminatie: De speld geeft neonlicht en ligt recht bovenop het hooi. Het is super makkelijk te zien. De rekenmachine kijkt hiernaar en zegt: "Wauw, dat is makkelijk! Je hebt maar 5 seconden nodig om het te vinden."

Hier is het probleem: Alleen omdat de speld neonlicht geeft, betekent dit niet dat je na 5 seconden kunt stoppen met zoeken. Als je te vroeg stopt, mis je misschien de exacte plek waar de speld ligt, of denk je dat je hem gevonden hebt terwijl je eigenlijk alleen een glimmend stukje folie zag.

In de wereld van de statistiek, wanneer een model "te goed" is in het voorspellen van de uitkomst, wordt de wiskunde wankel. De rekenmachine gaat ervan uit dat de wiskunde vloeiend en eenvoudig is, maar in werkelijkheid beginnen de getallen wild te doen (een fenomeen genaamd separatie). Het model voorspelt bijna voor iedereen een "100% kans op liefde" of "0% kans op liefde". Dit ziet er op papier geweldig uit, maar het is een teken dat het recept instabiel is en zal falen wanneer je het op nieuwe klanten test.

Wat de Auteurs Deden

De auteurs voerden een massale computersimulatie (een "virtuele keuken") uit om de verschillende niveaus van "heerlijkheid" (discriminatie) van duizenden nepsoepen te testen.

Ze creëerden duizenden nepsoepen met verschillende niveaus van "heerlijkheid" (discriminatie).
Ze vroegen de rekenmachine hoeveel smaaktesten nodig waren.
Ze voerden vervolgens daadwerkelijk de tests uit om te zien hoeveel tests er echt nodig waren om een stabiel, betrouwbaar recept te krijgen.

Het Resultaat:

Matige Soep: De rekenmachine had gelijk.
Super-Heerlijke Soep: De rekenmachine was veel te optimistisch. Het suggereerde steekproefgroottes die 20% tot 40% te klein waren. Als onderzoekers het advies van de rekenmachine voor deze "perfecte" soepen zouden volgen, zouden hun modellen instabiel zijn en hun risicovoorspellingen gevaarlijk onnauwkeurig.

De "Glitch" in het Systeem

Waarom faalt de rekenmachine? De auteurs ontdekten dat wanneer het model te goed is, de wiskunde in de computer begint te glitchen. Het is als een GPS die in de war raakt wanneer je te hard rijdt; hij denkt dat hij de route perfect kent, maar in werkelijkheid draait hij in cirkels.

In hun simulaties zagen ze dat de computermodellen bij de door de rekenmachine aanbevolen steekproefgroottes vaak "extreme" resultaten begonnen te produceren (het voorspellen van 99,999% zekerheid). Zelfs toen de computer zei "Ik ben klaar, ik heb het antwoord gevonden", was het antwoord eigenlijk een toevalstreffer. Het model had het patroon niet echt geleerd; het had alleen de ruis uit het hoofd geleerd.

De Les voor Chefs (Onderzoekers)

Het artikel zegt niet: "Gooi de rekenmachine weg." Het zegt: Gebruik de rekenmachine als startpunt, maar vertrouw er niet blindelings op wanneer de soep te perfect is.

Als je een model bouwt waarvan je verwacht dat het zeer nauwkeurig zal zijn (hoge discriminatie), moet je:

Een "Stress Test" uitvoeren: Voordat je al je data verzamelt, voer je een kleine simulatie uit om te zien of het model vreemd begint te doen (te vaak 100% of 0% voorspellen).
Meer Data verzamelen: Als de stress test laat zien dat het model instabiel is, moet je meer data verzamelen dan de rekenmachine heeft gesuggereerd.
Een Veiligheidsnet gebruiken: In plaats van een standaard recept te gebruiken, gebruik je een "gestabiliseerd" recept (zoals Ridge regressie) dat voorkomt dat het model te enthousiast wordt en extreme voorspellingen doet.

Samenvatting

Het artikel waarschuwt dat wanneer een voorspellingsmodel te goed is in het voorspellen van de toekomst, de standaard wiskunde die wordt gebruikt om de studie te plannen, tekortschiet. Het adviseert onderzoekers om voorzichtig te zijn dat ze niet worden misleid door hoge nauwkeurigheid; ze hebben meer data en betere controles nodig om ervoor te zorgen dat hun model echt betrouwbaar is en niet slechts een gelukkige gok.

Technische Samenvatting: Scheidings-achtige Onregelmatigheid en Optimisme in Steekproefomvang bij Modellen met Hoge Discriminatie voor Logistische Predictie

Probleemstelling
De ontwikkeling van klinische predictiemodellen, in het bijzonder die gebruikmaken van logistische regressie, leunt zwaar op adequate steekproefomvang om stabiele kalibratie te waarborgen en overfitting te voorkomen. Hoewel het Riley-raamwerk (geïmplementeerd in het R-pakket pmsampsize) breed geaccepteerde gesloten vorm-criteria biedt voor het bepalen van minimale steekproefomvang gebaseerd op globale shrinkages-doelstellingen, suggereren recente evaluaties dat deze formules optimistisch kunnen worden in specifieke ontwerpregimes. Er bestaat specifiek een zorg dat wanneer de verwachte discriminatie (AUC) hoog is, de aanbevelingen uit de gesloten vorm de vereiste steekproefomvang onderschatten om de stabiliteit van de kalibratie te handhaven. Dit artikel onderzoekt de operationele kenmerken van de Riley-benchmark ( $n_{Riley}$ ) tegenover een empirisch afgeleide vereiste steekproefomvang ( $n_{req}$ ), gedefinieerd door de stabiliteit van de out-of-sample kalibratie-helling, met een specifieke focus op scenario's met hoge discriminatie waar "scheidings-achtige" numerieke onregelmatigheden kunnen optreden.

Methodologie
De auteurs voerden een uitgebreide Monte Carlo-simulatiestudie uit om de formule-gebaseerde aanbevelingen te vergelijken met de empirische vereisten.

Simulatieontwerp: De studie maakte gebruik van een factorieel rooster dat vier ontwerpfactoren kruist:
- Predictieverdelingen: Normaal, gestandaardiseerd scheef continu (exponentieel), en binair (Bernoulli).
- Signaal-densiteit: Dicht (signaal verdeeld over alle $p=10$ predictoren) versus Spaarzaam (signaal geconcentreerd in 3 predictoren, 7 ruis).
- Doel-discriminatie: $AUC_{target} \in \{0.70, 0.75, 0.80, 0.85, 0.90\}$ .
- Prevalentie: $\phi_{target} \in \{0.05, 0.10, 0.20\}$ .
Datageneratie: De parameters (intercept $\alpha$ en signaalsterkte $f$ ) werden voor elk scenario gekalibreerd via geneste wortelzoekoplossingen op een grote synthetische populatie ( $N=1.000.000$ ) om ervoor te zorgen dat de gegenereerde data exact overeenkwamen met de doelprevalentie en de doel-AUC.
Benchmark ( $n_{Riley}$ ): Berekend met het pmsampsize-pakket met een globale shrinkage-doelstelling van $S \geq 0.90$ .
Empirische Vereiste ( $n_{req}$ ): Gedefinieerd als de kleinste steekproefomvang $n$ $n$ waarvoor, onder herhaalde ontwikkelingssteekproeven:
1. De verwachte logit-schaal kalibratie-helling $E(b_n) \geq 0.90$ .
2. De waarschijnlijkheid van ernstige miskalibratie $Pr(b_n < 0.80) \leq 0.20$ .
- $n_{req}$ werd bepaald via een adaptieve bisection-zoekmethode met op de waarheid gebaseerde kalibratie-hellingen, geëvalueerd op een grote, vaste validatie-covariaatset ( $N_{val}=50.000$ ) om ruis in de uitkomst te elimineren.
Mechanisme-diagnostiek: Bij $n = n_{Riley}$ registreerde de studie de frequenties van niet-convergentie, scheidingswaarschuwingen (extreme gefitte log-odds of kansen) en extreme gefitte risico's om te beoordelen of numerieke pathologieën de discrepanties verklaren.
Toegepaste Illustratie: Een dataset met een reële beroerte-voorspelling werd gebruikt om de toepassing van deze diagnostiek en de vergelijking tussen ongepenaliseerde en ridge-gepenaliseerde logistische regressie te demonstreren.

Belangrijkste Resultaten

Discriminatie-afhankelijke Divergentie: Bij matige discriminatie ( $AUC_{target} \leq 0.75$ ) benaderde $n_{Riley}$ de $n_{req}$ nauwkeurig. Echter, naarmate de discriminatie toenam, onderschatte $n_{Riley}$ de vereiste steekproefomvang steeds sterker. Bij $AUC_{target} = 0.90$ was de formule-gebaseerde aanbeveling aanzienlijk lager dan de empirische vereiste (bijv. een relatief verschil van -40,5% tot -47,2% afhankelijk van de prevalentie), wat leidde tot modellen met kalibratie-hellingen die ruim onder de 0,90 doelstelling lagen.
Robuustheid: Het primaire patroon van onderschatting bij hoge discriminatie was robuust over verschillende predictieverdelingen (normaal, scheef, binair) en signaal-densiteitsconfiguraties (dicht versus spaarzaam).
Mechanisme van Optimisme: Bij $n = n_{Riley}$ $n = n_{R i l ey}$ in scenario's met hoge discriminatie vertoonden de standaard ongepenaliseerde logistische regressie-fits vaak "scheidings-achtig" gedrag, ondanks het rapporteren van nominale convergentie.
- Hoewel expliciete niet-convergentie zeldzaam was, nam de frequentie van scheidingswaarschuwingen (extreme gefitte risico's of log-odds) scherp toe met de AUC (bereikend tot ~50% bij $AUC=0.90$ voor lage prevalentie).
- Dit suggereert dat de likelihood-gebaseerde informatiemaatregelen (bijv. $\Delta\chi^2$ ) die gebruikt worden in de Riley-shrinkage-benadering, opgeblazen of verstoord raken door bijna deterministische voorspellingen, wat leidt tot te optimistische shrinkage-schattingen en daarmee ontoereikende steekproefomvang-aanbevelingen.
Toegepaste Illustratie: In het voorbeeld van de beroerte-dataset vertoonde een ongepenaliseerd model, ontwikkeld met de formule-aanbevolen steekproefomvang, tekenen van overfitting (kalibratie-helling 0,802), terwijl een ridge-gepenaliseerd model een betere stabiliteit bereikte (helling 1,013), zij het met een lichte verschuiving naar onderfitting.

Belangrijkste Bijdragen

Empirische Mapping: De studie biedt een systematische karakterisering van waar gesloten vorm-aanbevelingen voor steekproefomvang overeenkomen met of afwijken van simulatie-gebaseerde vereisten, waarbij de doel-discriminatie (AUC) wordt geïdentificeerd als de primaire drijfveer van optimisme in high-performance regimes.
Diagnostisch Protocol: Het operationaliseert een reeks convergentie- en scheidingsgerelateerde diagnostieken (bijv. extreme gefitte risico's) die geëvalueerd moeten worden bij de formule-aanbevolen steekproefomvang. Deze diagnostieken dienen als een praktisch instrument om te detecteren wanneer likelihood-gebaseerde benaderingen onder druk staan.
Praktische Begeleiding: De auteurs stellen een workflow voor waarbij $n_{Riley}$ dient als een principieel startpunt, maar wordt aangevuld met gerichte simulatie-stresstests en instabiliteitsdiagnostiek wanneer een hoge discriminatie wordt verwacht.

Betekenis en Claims
Het artikel beweert empirisch bewijs te leveren dat de nauwkeurigheid van formule-gebaseerde minimale steekproefomvang-aanbevelingen een functie is van de verwachte discriminatie. De auteurs stellen dat hoewel het Riley-raamwerk een verdedigbaar instrument blijft voor matige discriminatie, de afhankelijkheid van likelihood-gebaseerde shrinkage-benaderingen in scenario's met hoge discriminatie tekortschiet vanwege de prevalentie van scheidings-achtige numerieke onregelmatigheden.

De betekenis ligt in het bieden van een coherente verklaring voor waarom de gesloten vorm-criteria optimistisch worden: de gefitte likelihood wordt gedomineerd door bijna deterministische voorspellingen, waardoor de verbinding tussen informatiemaatregelen en effectieve overfitting verzwakt. Bijgevolg raden de auteurs aan dat onderzoekers die plannen voor modellen met hoge discriminatie niet uitsluitend moeten vertrouwen op gesloten vorm-berekeningen, maar in plaats daarvan een simulatie-gebaseerde planning of gepenaliseerde schattingsstrategie moeten hanteren, ondersteund door expliciete rapportage van kalibratiestabiliteit en numerieke diagnostiek. De studie claimt niet het Riley-raamwerk volledig te invalideren, maar definieert de grenzen van de betrouwbaarheid en biedt een mechanisme-gestuurde aanpak om de beperkingen in specifieke, hoog-risico scenario's te mitigeren.