📊 statistics

Bayesian sample size calculations for external validation studies of risk prediction models

Questo lavoro propone un quadro bayesiano generale per il calcolo della dimensione campionaria negli studi di validazione esterna di modelli di previsione del rischio, che affronta l'incertezza sulle prestazioni del modello e introduce criteri flessibili basati su precisione attesa, probabilità di garanzia e valore dell'informazione, dimostrando come tali approcci possano portare a dimensioni campionarie più efficienti rispetto ai metodi convenzionali.

Autori originali: Mohsen Sadatsafavi, Paul Gustafson, Solmaz Setayeshgar, Laure Wynants, Richard D Riley

Pubblicato 2026-02-13

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Mohsen Sadatsafavi, Paul Gustafson, Solmaz Setayeshgar, Laure Wynants, Richard D Riley

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di aver sviluppato un meteo-precisissimo (un modello di previsione del rischio) che dice, ad esempio, quali pazienti ospedalizzati con il COVID-19 potrebbero peggiorare e aver bisogno di cure intensive. Hai costruito questo modello su dati di Londra, Manchester e altre città. Ora, vuoi portarlo a Torino per usarlo lì.

Prima di farlo, devi fare un "test di controllo" (validazione esterna) per assicurarti che funzioni davvero bene anche a Torino. La domanda cruciale è: quanti pazienti di Torino dobbiamo studiare per essere sicuri che il test sia valido?

Fino a poco tempo fa, gli statistici rispondevano così: "Immagina che il modello funzioni esattamente come pensiamo (es. 76% di precisione). Calcoliamo quanti pazienti servono per ottenere un margine di errore piccolo."
Il problema? Non sappiamo davvero come funzionerà il modello a Torino. Potrebbe funzionare meglio o peggio. Immaginare che sia "perfetto" è come pianificare un viaggio in auto assumendo che non ci sarà mai traffico né pioggia. È un piano incompleto.

La nuova soluzione: Il "Cristallo di Uncertezza" (Approccio Bayesiano)

Questo articolo propone un modo più intelligente e flessibile per fare i calcoli, chiamato approccio bayesiano. Ecco come funziona, spiegato con analogie semplici:

1. Non indovinare, ma "sognare a occhi aperti" (Gestire l'incertezza)

Invece di dire "Il modello avrà un'accuratezza del 76%", gli autori dicono: "Sappiamo che potrebbe essere tra il 74% e il 78%, ma non siamo sicuri. Quindi, proviamo a immaginare 10.000 scenari diversi: in alcuni il modello è un genio, in altri è un po' impreciso."
È come se, invece di pianificare un viaggio basandoti su una sola previsione meteo, guardassi 10.000 previsioni diverse per vedere cosa succede nella maggior parte dei casi. Questo ti permette di capire quanto sei "sicuro" di te prima ancora di iniziare lo studio.

2. Due modi per decidere quanti pazienti servono

L'articolo introduce due nuovi modi per decidere il numero di pazienti (il "campione"):

Il modo "Assicurazione" (Assurance):
Immagina di voler comprare un'assicurazione sulla tua auto. Non ti interessa solo il prezzo medio dell'assicurazione, ma vuoi essere sicuro al 90% che, se hai un incidente, l'assicurazione paghi davvero.
Nel nostro caso: invece di dire "Voglio che il margine di errore sia in media piccolo", diciamo: "Voglio essere sicuro al 90% che, anche nel caso peggiore, il margine di errore non superi una certa soglia." Questo ti protegge dal rischio di fare uno studio inutile perché il modello ha funzionato male per caso.
Il modo "Valore dell'Informazione" (Value of Information - VoI):
Questa è la parte più creativa. Immagina di dover decidere se usare o no il meteo-precisissimo per salvare vite.
- Se il modello è già abbastanza buono, forse non vale la pena studiare 1.000 pazienti per perfezionarlo ulteriormente.
- Se il modello è incerto, studiare 1.000 pazienti potrebbe salvarti da errori costosi (o salvare vite).
  L'approccio bayesiano calcola: "Quanto guadagno clinico (in vite salvate o errori evitati) ottengo studiando X pazienti?".
  Se studiare 1.000 pazienti ti dà solo un piccolo vantaggio in più rispetto a studiarne 500, allora non ha senso studiare 1.000. Risparmi tempo e risorse. È come chiedersi: "Vale la pena spendere 100 euro per un ombrello che mi protegge dal 95% della pioggia, o mi basta uno che protegge dal 90%?".

La storia di COVID-19 (Il caso studio)

Gli autori hanno applicato questo metodo al modello ISARIC 4C per il COVID-19.

Il metodo vecchio (Frequentista): Diceva: "Servono 1.056 pazienti" (principalmente per controllare la calibrazione, ovvero quanto le previsioni corrispondono alla realtà).
Il metodo nuovo (Bayesiano): Ha detto: "Se guardiamo solo la precisione statistica, servono circa 1.181 pazienti. MA, se guardiamo il valore clinico (quanto questo studio ci aiuta a prendere decisioni migliori), scopriamo che studiare 1.181 pazienti è uno spreco. Con soli 522 pazienti, otteniamo già quasi tutto il beneficio possibile."

Perché è importante?

Questo approccio cambia la mentalità:

Onestà: Ammette che non sappiamo tutto e include questa incertezza nei calcoli.
Flessibilità: Ti permette di scegliere quanto essere "paranoico" (assicurazione) o quanto essere "pragmatico" (valore dell'informazione).
Risparmio: Evita di fare studi enormi e costosi quando non sono necessari per prendere decisioni cliniche migliori.

In sintesi, invece di costruire un muro di mattoni (il numero fisso di pazienti) basandosi su un'ipotesi rigida, questo metodo ti dà una bussola dinamica. Ti dice: "Guarda, se vuoi essere sicuro al 90%, vai fino a qui. Ma se il tuo obiettivo è salvare vite e risparmiare risorse, fermati qui, perché andare oltre non ti dà più nulla di utile."

È un modo più umano e intelligente per fare scienza, che tiene conto della realtà complessa e incerta del mondo medico.

Titolo: Calcoli Bayesiani della Dimensione Campionaria per Studi di Validazione Esterna di Modelli di Predizione del Rischio

1. Il Problema

La determinazione della dimensione campionaria per la validazione esterna di modelli di predizione del rischio (per esiti binari) si basa attualmente su metodi frequentisti, come quelli proposti da Riley et al. Questi metodi richiedono agli utenti di specificare valori fissi per le metriche di performance del modello (es. c-statistica, pendenza di calibrazione, rapporto O/E) e livelli di precisione target (es. larghezza dell'intervallo di confidenza al 95%).

Tuttavia, questo approccio presenta due limitazioni fondamentali:

Incertezza ignorata: I valori "veri" delle performance del modello nella popolazione target sono sconosciuti (altrimenti non servirebbe uno studio di validazione). Utilizzare stime puntuali fisse ignora l'incertezza derivante dalla variabilità campionaria degli studi precedenti.
Inadeguatezza per l'utilità clinica: Per la misura dell'utilità clinica, il Net Benefit (NB), l'inferenza basata sulla precisione (intervalli di confidenza) è spesso considerata irrilevante. La decisione clinica dipende dalla capacità di identificare la strategia ottimale, non dalla strettezza di un intervallo statistico.

2. Metodologia

Gli autori propongono un quadro generale bayesiano per il calcolo della dimensione campionaria che integra l'incertezza sulle performance del modello e utilizza regole decisionali basate sulla teoria dell'utilità.

Componenti Chiave del Framework:

Modellizzazione dell'Incertezza ( $P(\theta)$ ): Invece di valori fissi, si definisce una distribuzione a priori $P(\theta)$ per le metriche di performance (prevalenza $\phi$ , c-statistica $c$ , e funzione di calibrazione $h$ ). Questa distribuzione viene costruita sintetizzando le evidenze degli studi precedenti (es. tramite meta-analisi a effetti casuali) per quantificare l'incertezza sulla performance nella nuova popolazione target.
Identificabilità: Il framework dimostra che, sotto condizioni di regolarità (funzione di calibrazione monotona e distribuzioni identificabili per i rischi calibrati), le distribuzioni di $\{\phi, c, h\}$ identificano univocamente la distribuzione congiunta dei rischi predetti e degli esiti osservati.
Algoritmo Monte Carlo: Viene utilizzato un algoritmo di campionamento per generare distribuzioni "pre-posteriori" (la distribuzione attesa delle metriche dopo la raccolta dei dati):
1. Campionamento dei parametri $\theta$ dalla distribuzione a priori.
2. Simulazione di campioni di validazione $D_N$ di dimensione $N$ dati $\theta$ .
3. Calcolo delle metriche di performance e delle loro precisioni (es. larghezza CI) o utilità (NB) per ogni simulazione.
Regole per la Dimensione Campionaria:
- Per Metriche Statistiche (Discriminazione/Calibrazione):
  - Precisione Attesa (ECIW): Dimensione campionaria tale che la larghezza media attesa dell'intervallo di confidenza soddisfi il target.
  - Assicurazione (QCIW): Dimensione campionaria tale che esista una probabilità specifica (es. 90%) che la larghezza dell'intervallo di confidenza sia inferiore al target (regola basata sui quantili).
- Per Utilità Clinica (Net Benefit - NB):
  - Assicurazione di Ottimalità: Probabilità che lo studio identifichi correttamente la strategia con il massimo NB nella popolazione.
  - Value of Information (VoI): Calcolo del Expected Value of Sample Information (EVSI) e del Expected Value of Perfect Information (EVPI). L'obiettivo è massimizzare il guadagno atteso in termini di utilità clinica riducendo l'incertezza decisionale, piuttosto che semplicemente restringere intervalli statistici.

Implementazione:
Le procedure sono implementate nel pacchetto R bayespmtools, che include funzioni per calcolare precisione/VoI per una $N$ fissa o per determinare la $N$ minima soddisfacente criteri specifici.

3. Risultati (Studio di Caso: COVID-19)

Lo studio applica il metodo alla validazione del modello ISARIC 4C per la predizione del peggioramento nei pazienti ospedalizzati con COVID-19, utilizzando dati di validazione interna-esterna da 8 regioni del Regno Unito per informare una futura validazione nella regione di Londra.

Confronto con l'Approccio di Riley:
- L'approccio convenzionale (Riley) richiede una dimensione campionaria di 1.056 pazienti, guidata principalmente dalla necessità di precisione sulla pendenza di calibrazione.
- L'approccio bayesiano basato sulla precisione attesa richiede circa 1.064 pazienti.
- L'approccio bayesiano basato sull'Assicurazione (90%) richiede 1.181 pazienti, anch'esso guidato dalla calibrazione.
Analisi basata sul Net Benefit (VoI):
- Quando si analizza il valore dell'informazione (EVSI) rispetto alla dimensione campionaria, si osserva un rendimento decrescente. Passare da $N=522$ (basato su c-statistica e NB) a $N=1.181$ (basato sulla calibrazione) comporta un aumento del campione di oltre il 100% ma offre solo un 8,8% di guadagno atteso aggiuntivo in termini di Net Benefit.
- L'analisi delle curve di errore di calibrazione suggerisce che, anche con $N=522$ , l'errore di calibrazione rimane accettabile (<0.1) per la maggior parte dei rischi.
Raccomandazione Finale:
Integrando l'analisi VoI e la stabilità delle curve di calibrazione, gli autori suggeriscono che una dimensione campionaria di 522 potrebbe essere sufficiente se l'obiettivo principale è l'utilità clinica, evitando il sovradimensionamento imposto dai criteri di precisione sulla calibrazione.

4. Contributi Chiave

Framework Bayesiano Unificato: Introduzione di un metodo che permette di incorporare esplicitamente l'incertezza sulle performance del modello nel calcolo della dimensione campionaria, superando la necessità di valori fissi ipotetici.
Regole di Assicurazione: Spostamento dal semplice targeting della precisione attesa verso regole che garantiscono una certa probabilità (assicurazione) di raggiungere i target, allineandosi meglio alle preferenze di rischio degli investigatori.
Approccio Decisionale per il Net Benefit: Proposta di utilizzare l'analisi VoI (EVSI) e l'Assicurazione di Ottimalità per il NB, spostando il focus dalla precisione statistica all'impatto clinico reale e alla decisione di adottare o meno il modello.
Strumento Software: Sviluppo del pacchetto bayespmtools per rendere accessibili questi calcoli complessi alla comunità di ricerca.

5. Significato e Implicazioni

Questo lavoro rappresenta un cambiamento culturale significativo nella progettazione degli studi di validazione dei modelli predittivi:

Gestione dell'Incertezza: Riconosce che le previsioni dei modelli sono intrinsecamente incerte e che gli studi di progettazione dovrebbero riflettere questa incertezza piuttosto che ignorarla.
Efficienza delle Risorse: Dimostra che l'uso di criteri basati sul valore dell'informazione (VoI) può portare a dimensioni campionarie più efficienti, evitando di raccogliere dati costosi per metriche che non aggiungono valore decisionale clinico (come nel caso della pendenza di calibrazione nello studio di caso).
Decisioni Cliniche Informate: Fornisce un quadro per prendere decisioni sull'adozione di modelli di rischio basate sul guadagno atteso in salute (Net Benefit) piuttosto che su criteri puramente statistici, rispondendo alle critiche mosse all'uso di intervalli di confidenza per il NB.
Futuro della Ricerca: Apre la strada a estensioni per esiti di sopravvivenza, aggiornamenti di modelli e considerazioni a livello individuale, promuovendo una maggiore trasparenza nella comunicazione dell'incertezza nelle pubblicazioni scientifiche.