Sample Size Calculations for Developing Clinical Prediction Models: Overview and pmsims R package

Questo articolo presenta un nuovo approccio basato sulla simulazione e il pacchetto R open-source pmsims per calcolare in modo flessibile ed efficiente le dimensioni campionarie necessarie allo sviluppo di modelli predittivi clinici, garantendo prestazioni target con alta probabilità.

L'essenziale

🎯 Il Problema: "Quanti ingredienti servono per una torta perfetta?"

Immagina di voler cuocere una torta (un modello di previsione clinica) che deve essere così buona da poter essere usata da tutti i forni del mondo (i pazienti). Il problema è: quanti ingredienti (dati) ti servono per assicurarti che la torta venga bene?

Se ne metti troppo pochi, la torta sarà un disastro: si sbriciola, non lievita, o peggio, sembra buona solo nel tuo forno ma diventa una pietra in quello del vicino. In termini medici, questo significa che il modello funziona solo sui dati che hai usato per crearlo, ma fallisce quando lo usi su pazienti reali. Questo si chiama overfitting (o "memorizzare la ricetta invece di impararla").

Fino a oggi, gli scienziati usavano regole vecchie e un po' rigide, tipo: "Per ogni ingrediente (variabile), servono 10 uova (eventi)". È come dire: "Per fare una torta, devi avere 10 uova". Funziona per le torte semplici, ma cosa succede se vuoi fare un soufflé al cioccolato con 50 ingredienti speciali? La vecchia regola non funziona più.

🚀 La Soluzione: "Il Simulatore di Torta" (pmsims)

Gli autori di questo articolo (un team del King's College London) hanno creato un nuovo strumento chiamato pmsims. Immaginalo come un simulatore di cucina virtuale.

Invece di comprare 10.000 uova e sperare di indovinare, il simulatore ti permette di:

1. Creare una "torta virtuale" (generare dati finti ma realistici).
2. Provare diverse quantità di ingredienti (piccoli, medi, grandi campioni).
3. Assaggiare il risultato (valutare quanto è buona la torta).
4. Capire esattamente quante uova ti servono per avere la certezza che la torta verrà bene al 99%.

📉 La Grande Innovazione: "La Media" vs "La Certezza"

Qui c'è il cuore della novità. Fino a ieri, si chiedeva: "Quanti dati servono perché la torta sia buona in media?".
È come dire: "Se cucino 100 torte con 100 uova, la media sarà buona". Ma il problema è che alcune delle 100 torte potrebbero essere bruciate e altre perfette. Se ti tocca quella bruciata, il modello fallisce.

Il nuovo metodo di pmsims usa un criterio più severo, chiamato "Assicurazione" (o Assurance).
Chiede: "Quanti dati servono per essere sicuri al 90% che la torta verrà bene, anche se ho un po' di sfortuna?".
È come dire: "Non voglio solo una media buona, voglio che quasi tutte le torte che cucino con questo numero di ingredienti siano perfette". Questo protegge i pazienti da modelli che funzionano solo per "fortuna".

🛠️ Come funziona il "Simulatore" (in parole povere)

Il software pmsims fa tre cose intelligenti:

1. Impara la curva di crescita: Immagina di disegnare una linea che mostra come migliora la torta man mano che aggiungi ingredienti. All'inizio, aggiungere un uovo fa una differenza enorme. Dopo un po', aggiungere un uovo in più non cambia quasi nulla. Il software trova il punto esatto dove smettere di aggiungere ingredienti per non sprecare tempo e denaro.
2. È un "coccodrillo" (Model-Agnostic): Non importa se stai facendo una torta semplice (regressione logistica) o un pasticcio complesso con 50 ingredienti (Intelligenza Artificiale/Machine Learning). Il simulatore si adatta a qualsiasi ricetta.
3. Usa la "Magia" (Gaussian Processes): Invece di cucinare 1.000 torte una alla volta (che richiederebbe anni), il software usa un trucco matematico intelligente per "indovinare" dove si trova il punto perfetto, cucinando solo le torte necessarie. È come avere un assistente che ti dice: "Non serve cuocerne altre, il punto giusto è qui".

🧪 I Risultati: "Non tutti i metodi sono uguali"

Gli autori hanno fatto una gara tra il loro simulatore e tutti gli altri metodi esistenti (vecchie regole, formule matematiche, altri software).
Hanno scoperto che:

• Le vecchie regole (come le "10 uova per ingrediente") spesso sottostimano il numero di dati necessari. Rischi di cucinare una torta che sembra buona ma crolla appena la metti in un altro forno.
• I modelli di Intelligenza Artificiale (Machine Learning) sono come torte giganti: hanno bisogno di molte più uova (dati) rispetto alle torte semplici per non fallire.
• Il metodo pmsims si è rivelato il più equilibrato: ti dice quanti dati servono per avere una torta sicura, senza farti sprecare risorse inutili.

💡 In Conclusione

Questo articolo ci dice che quando costruiamo modelli per prevedere malattie o risultati sanitari, non possiamo più affidarci a regole vecchie di 30 anni fa. Dobbiamo usare strumenti moderni che ci diano la certezza che il modello funzionerà davvero.

pmsims è come una bussola per i ricercatori: invece di camminare a tentoni nel buio sperando di trovare la strada giusta, ora hanno una mappa che dice: "Fermati qui, hai abbastanza dati per essere sicuro che il tuo modello salverà vite".

È un passo avanti fondamentale per rendere l'intelligenza artificiale in medicina non solo "intelligente", ma anche sicura e affidabile per tutti noi.

Sommario tecnico

Titolo: Calcolo della dimensione campionaria per lo sviluppo di modelli predittivi clinici: Panoramica e pacchetto R pmsims

1. Il Problema

Lo sviluppo di modelli predittivi clinici (statistici o basati sul Machine Learning) è fondamentale per supportare le decisioni sanitarie. Tuttavia, determinare la dimensione campionaria minima necessaria per lo sviluppo di questi modelli rimane una sfida critica e spesso trascurata.

• Conseguenze di un campione inadeguato: Portano a overfitting, scarsa generalizzabilità e previsioni distorte.
• Limiti degli approcci esistenti:
  • Le regole euristica (es. "10 eventi per variabile") sono troppo semplificate e ignorano la complessità dei dati.
  • Le formule analitiche chiuse (es. metodi di Riley et al.) sono efficienti ma dipendono da assunzioni distributive rigide, rendendole poco applicabili a strutture dati complesse o modelli di ML avanzati.
  • Gli approcci basati sulla simulazione offrono flessibilità ma sono computazionalmente costosi e spesso mancano di strumenti software accessibili per i ricercatori.
• Il divario: Esiste una scarsità di software user-friendly che permetta di calcolare dimensioni campionarie per modelli complessi, considerando la variabilità delle prestazioni e non solo la media.

2. Metodologia

Gli autori propongono un nuovo framework concettuale e uno strumento software (pmsims) basato su simulazioni.

A. Quadro Concettuale: Criterio Medio vs. Criterio di Assicurazione
Il paper distingue due approcci alla definizione della dimensione campionaria ($n$):

1. Criterio basato sulla media: Trova il minimo $n$ tale che la prestazione attesa superi un target ($M^*$). Questo ignora la variabilità tra diversi dataset di sviluppo.
2. Criterio di Assicurazione (Assurance): Più rigoroso. Richiede che la prestazione superi il target $M^*$ con un'alta probabilità (es. 80%). Questo garantisce che la maggior parte dei modelli addestrati su dataset di dimensione $n$ raggiunga le prestazioni desiderate, tenendo conto esplicitamente della variabilità e dell'instabilità del modello.

B. Il Pacchetto pmsims (Approccio Simulativo)
pmsims è un pacchetto R open-source e model-agnostic che implementa un approccio simulativo ottimizzato. Il flusso di lavoro prevede quattro passaggi:

1. Definizione dello scenario: L'utente specifica il generatore di dati (tipo di outcome, distribuzione dei predittori, correlazioni), la funzione del modello (regressione, ML, ecc.) e la metrica di performance (es. AUC, pendenza di calibrazione).
2. Calibrazione del generatore: Il generatore di dati viene tarato per riflettere le caratteristiche della popolazione target e garantire che, con campioni grandi, il modello raggiunga una performance ideale ($M_{ideal}$).
3. Stima della curva di apprendimento: Vengono generati dataset sintetici di dimensioni variabili ($n$). Il modello viene addestrato e validato su dati di test indipendenti.
   • Ottimizzazione: Invece di simulare tutte le dimensioni possibili, l'algoritmo utilizza Gaussian Process (GP) per interpolare la curva di apprendimento e identificare efficientemente la regione dove la soluzione si trova, riducendo il carico computazionale.
4. Determinazione di $n$ minimo: Si identifica la più piccola dimensione campionaria per cui il 20° percentile della distribuzione delle prestazioni di test supera la soglia accettabile ($M^*$), soddisfacendo così il criterio di assicurazione (es. 80% di probabilità di successo).

3. Risultati Chiave

Gli autori hanno validato il metodo attraverso studi di caso comparativi con altre metodologie (es. pmsampsize, samplesizedev, formule analitiche, euristica EPV).

• Variabilità delle stime: Le dimensioni campionarie stimate variano enormemente a seconda del metodo, della metrica di performance e della strategia di modellazione.
• Modelli ML vs. Statistici: I modelli di Machine Learning (es. Random Forest, XGBoost, Reti Neurali) richiedono dataset di sviluppo significativamente più grandi (in media 5-10 volte) rispetto alla regressione logistica.
• Confronto con pmsims:
  • Le stime di pmsims si collocano spesso a metà del range delle altre metodologie, ma offrono una maggiore robustezza grazie al criterio di assicurazione.
  • In uno studio di caso con 10 predittori e prevalenza del 6.3%, pmsims ha stimato una dimensione di ~3510 per una pendenza di calibrazione > 0.90 con assicurazione, un valore coerente ma più conservativo rispetto ad alcune formule analitiche.
  • Il metodo dimostra di gestire efficacemente scenari di misspecification del modello (quando il modello addestrato non corrisponde al processo generatore dei dati), dove le stime possono aumentare drasticamente (es. >20.000 osservazioni).

4. Contributi Principali

1. Framework Teorico Unificato: Distinzione chiara tra criteri basati sulla media e basati sull'assicurazione, evidenziando l'importanza di controllare la variabilità delle prestazioni.
2. Software pmsims: Introduzione di un pacchetto R flessibile, open-source e model-agnostic che integra:
   • Curves di apprendimento.
   • Ottimizzazione tramite Gaussian Processes per efficienza computazionale.
   • Criteri di assicurazione per garantire la robustezza.
3. Supporto alla Complessità: Capacità di gestire modelli non lineari, interazioni complesse e algoritmi di ML che le formule analitiche tradizionali non possono gestire.
4. Analisi Comparativa: Una tassonomia completa delle metodologie esistenti, evidenziando i limiti delle regole euristica e delle formule chiuse in contesti moderni.

5. Significato e Prospettive Future

Questo lavoro rappresenta un avanzamento significativo nella metodologia di calcolo della dimensione campionaria per la medicina predittiva.

• Impatto Pratico: Fornisce ai ricercatori uno strumento pratico per evitare la sottostima delle dimensioni campionarie, riducendo il rischio di sviluppare modelli clinici inaffidabili o non generalizzabili.
• Adattabilità: La natura modulare di pmsims permette di adattarlo a nuovi algoritmi e strutture dati senza dover riscrivere le formule teoriche.
• Sfide Future: Gli autori identificano aree per sviluppi futuri, tra cui:
  • Gestione di dati gerarchici, multimodali e longitudinali.
  • Integrazione di dati mancanti (missing data) nei calcoli.
  • Inclusione di metriche di equità (fairness) e stabilità delle previsioni individuali.
  • Sviluppo di generatori di dati sintetici più sofisticati (es. tramite GAN) per riflettere la complessità dei dati sanitari reali.

In conclusione, il paper sposta il paradigma dalla semplice ricerca di una media di performance alla garanzia di una performance affidabile con alta probabilità, fornendo gli strumenti computazionali necessari per supportare lo sviluppo di modelli di intelligenza artificiale e statistica robusti nella pratica clinica.