Formalising Sample Size Calculations for the Development of Risk Prediction Models: The Importance of Accounting for Performance Variability

Immagina di essere uno chef che cerca di creare la ricetta perfetta per un nuovo piatto. Hai una lista di ingredienti (predittori) e vuoi cucinare una ricetta (un modello) che abbia esattamente il sapore giusto per chiunque la assaggi. Nel mondo della medicina, queste "ricette" sono chiamate modelli di predizione del rischio. Aiutano i medici a indovinare quanto sia probabile che un paziente abbia un evento sanitario specifico, come un attacco cardiaco o un'infezione, basandosi su fattori come età, peso e storia clinica. Ma ecco la parte difficile: proprio perché una ricetta ha un gusto fantastico nella tua cucina, non è detto che abbia lo stesso sapore in ogni altra cucina. Se cucini solo pochi lotti per testare la tua ricetta, potresti avere fortuna e colpire il sapore perfetto per caso, o potresti ottenere un lotti strano e troppo salato solo perché non hai mescolato abbastanza ingredienti. Questo è il problema della "variabilità". Gli scienziati devono sapere esattamente quanti lotti (o pazienti) devono testare per essere sicuri che la loro ricetta sia affidabile, non solo un colpo di fortuna.

Per molto tempo, il modo standard per determinare quanti pazienti fossero necessari era puntare a un risultato "medio" perfetto. Era come dire: "Se cuciniamo 1.000 lotti, il sapore medio dovrebbe essere delizioso". Ma gli autori di questo articolo, Menelaos Pavlou, Rumana Z. Omar e Gareth Ambler, si sono resi conto che puntare alla media non è sufficiente. A volte, anche se la media è ottima, potresti ritrovarti con un lotto completamente immangiabile solo a causa della sfortuna con gli ingredienti. Sostengono che dobbiamo cambiare obiettivo: invece di sperare solo che la media sia buona, dobbiamo assicurarci che la maggior parte dei lotti che cuciniamo siano effettivamente buoni. Chiamano questo concetto "Probabilità di Prestazione Accettabile". È come dire: "Dobbiamo cucinare abbastanza lotti in modo che ci sia l'80% di probabilità che qualsiasi singolo lotto che tiriamo fuori dal forno abbia un ottimo sapore", piuttosto che sperare solo che la media di tutti i lotti sia buona.

L'articolo suggerisce che il vecchio modo di calcolare le dimensioni del campione spesso porta a modelli instabili, specialmente quando il modello ha pochi ingredienti (predittori). Se provi a preparare una torta con solo due ingredienti, hai bisogno di una cucina molto più grande (più dati) per essere sicuro di non esserti solo lasciato guidare dalla fortuna durante la miscelazione. Gli autori hanno usato simulazioni al computer per dimostrare che, se si ignora questa "variabilità", si rischia di ottenere un modello che sembra buono sulla carta ma fallisce nel mondo reale. Propongono un nuovo metodo che tiene conto di questo rischio, richiedendo spesso campioni più ampi per garantire che il modello sia robusto. Hanno anche esaminato una tecnica chiamata "shrinkage" (contrazione), che è come regolare delicatamente la propria ricetta per renderla un po' più conservativa, e hanno scoperto che, sebbene aiuti, non risolve completamente il problema se non si hanno abbastanza dati fin dall'inizio.

La Ricetta per una Predizione Affidabile

Pensa alla costruzione di un modello di predizione medica come all'addestramento di un robot per riconoscere i gatti nelle foto. Mostri al robot migliaia di immagini e lui impara i pattern. Se gli mostri solo dieci foto, potrebbe memorizzare perfettamente quei dieci gatti specifici ma fallire completamente quando vede un nuovo gatto. Questo è chiamato "overfitting" (sovra-adattamento), ed è il nemico di una buona predizione. Per evitare questo, gli scienziati devono sapere esattamente quante foto (pazienti) mostrare al robot.

L'articolo inizia spiegando che l'attuale manuale per decidere quanti pazienti siano necessari si concentra sul valore atteso. Immagina di lanciare un dado. Il "valore atteso" è la media che ottieni se lo lanci un milione di volte (che è 3,5). Il vecchio metodo dice: "Lanciamo il dado abbastanza volte in modo che la media sia 3,5". Ma gli autori evidenziano un difetto: se lanci il dado solo dieci volte, potresti ottenere un 6 ogni singola volta, o un 1 ogni singola volta. La media sarà 3,5 nel lungo periodo, ma i tuoi dieci lanci specifici potrebbero essere un disastro. In termini medici, questo significa che un modello potrebbe sembrare perfetto in media attraverso molti studi, ma il modello specifico costruito per il tuo ospedale potrebbe essere estremamente impreciso.

Gli autori introducono un nuovo concetto chiamato PrAP (Probabilità di Prestazione Accettabile). Invece di preoccuparsi solo della media, la PrAP chiede: "Quali sono le probabilità che il modello che costruiamo proprio ora sia abbastanza buono?". Definiscono un intervallo di "sufficienza", come una pendenza di calibrazione tra 0,85 e 1,15 (dove 1 è la perfezione). L'obiettivo è scegliere una dimensione del campione abbastanza grande in modo che ci sia, diciamo, l'80% di probabilità che il modello cada in quella zona "buona".

La Cucina delle Simulazioni

Per testare la loro idea, gli autori non si sono limitati a indovinare; hanno eseguito migliaia di simulazioni al computer. Hanno creato dati di pazienti fittizi con diversi numeri di "ingredienti" (predittori), che variavano da 4 a 28. Hanno confrontato due modi per decidere quanti pazienti utilizzare:

1. Il Modo Standard: Calcolare la dimensione necessaria affinché la media della prestazione sia 0,9 (vicino alla perfezione).
2. Il Nuovo Modo: Calcolare la dimensione necessaria affinché ci sia l'80% di probabilità che la prestazione sia compresa tra 0,85 e 1,15.

I risultati sono stati illuminanti. Quando i modelli avevano un numero ridotto di predittori (come 4 o 5), il Modo Standard suggeriva una dimensione del campione relativamente piccola. Tuttavia, quando hanno effettivamente eseguito le simulazioni, hanno scoperto che i modelli costruiti con quel piccolo campione erano totalmente sballati. A volte erano ottimi, ma spesso erano terribili. La probabilità di ottenere un modello "buono" era solo del 54% — fondamentalmente un lancio di moneta.

Al contrario, il Nuovo Modo richiedeva una dimensione del campione molto più grande. Per un modello con solo 4 predittori, il Nuovo Modo richiedeva 2,7 volte più pazienti rispetto al Modo Standard. Ma il premio era enorme: con questo campione più grande, la probabilità di ottenere un modello buono balzava all'obiettivo dell'80%. Gli autori hanno scoperto che per i modelli con molti predittori (come 18 o più), i due metodi suggerivano dimensioni del campione simili, ma per i modelli più piccoli e semplici, la differenza era massiccia.

La Scorciatoia dello "Shrinkage"?

L'articolo ha anche indagato una tecnica popolare chiamata shrinkage (contrazione). Immagina di aver preparato una torta ed è venuta un po' troppo dolce. Lo shrinkage è come togliere un pizzico di zucchero per renderla più sicura. In statistica, consiste nel ridurre leggermente la forza delle predizioni del modello per evitare un eccesso di fiducia.

Gli autori hanno testato se l'uso dello shrinkage potesse permettere ai ricercatori di "gestire" campioni più piccoli. Hanno scoperto che lo shrinkage ha aiutato a migliorare la prestazione media, rendendo i modelli più vicini alla perfezione. Tuttavia, ha introdotto un nuovo tipo di instabilità. Poiché bisogna stimare quanto contrarre, quella stima aggiunge la propria incertezza. Le simulazioni hanno mostato che, sebbene lo shrinkage migliorasse le probabilità di un buon modello, non risolveva interamente il problema se il campione era troppo piccolo. Infatti, per modelli molto piccoli (meno di 6 predittori), l'incertezza extra derivante dallo shrinkage faceva sì che la probabilità di un buon modello non migliorasse molto. Gli autori suggeriscono che lo shrinkage sia uno strumento utile, ma non dovrebbe essere usato come una bacchetta magica per saltare la raccolta di dati sufficienti.

Un Test nel Mondo Reale: Chirurgia Valvolare Cardiaca

Per dimostrare che la loro teoria non fosse solo una fantasia al computer, gli autori hanno applicato i loro metodi a un dataset reale di 16.679 pazienti che avevano subito un intervento alla valvola cardiaca. Volevano costruire un modello per predire il rischio di morte in ospedale.

Usando il metodo Standard, hanno calcolato che avrebbero avuto bisogno di 2.250 pazienti. Usando il loro nuovo metodo PrAP, hanno calcolato che ne servivano 2.740. Hanno poi eseguito una simulazione in cui campionavano ripetutamente questi gruppi dai dati reali per vedere cosa sarebbe successo.

I risultati hanno confermato i loro sospetti. Il gruppo con 2.250 pazienti (Standard) aveva una prestazione mediana buona, ma i modelli variavano selvaggiamente. Alcuni erano ottimi, altri pessimi. Il gruppo con 2.740 pazienti (Nuovo) era molto più costante. Quasi tutti i modelli costruiti con questo gruppo più numeroso rientravano nell'intervallo "accettabile". Inoltre, quando hanno aggiunto lo shrinkage al mix, il gruppo più grande (2.740) ha mostrato un chiaro miglioramento nella affidabilità, mentre il gruppo più piccolo non ha tratto molto beneficio.

La Conclusione

Il messaggio principale di questo articolo è un avvertimento contro l'essere troppo comodi con i risultati "medi". Nel mondo ad alto rischio della predizione medica, un tasso di successo medio non è sufficiente se i singoli modelli possono fallire clamorosamente. Gli autori suggeriscono che, per costruire modelli di rischio davvero affidabili, specialmente quelli con meno ingredienti, i ricercatori devono essere disposti a raccogliere più dati. Propongono un nuovo modo di calcolare le dimensioni del campione che dia priorità alla probabilità di successo rispetto al successo medio.

Sebbene ciò possa significare raccogliere più pazienti di quanto precedentemente ritenuto necessario, il compromesso è un modello che è stabile e affidabile. Come sottolineano gli autori, se vuoi essere sicuro all'80% che il tuo modello funzioni, non puoi solo puntare alla media; devi puntare al margine di sicurezza. Il loro lavoro fornisce gli strumenti matematici per farlo esattamente, assicurando che, quando un medico si affida a un modello di predizione, non sia solo un colpo di fortuna, ma una ricetta ben testata.