📊 statistics

Adaptive Gaussian Process Search for Simulation-Based Sample Size Estimation in Clinical Prediction Models: Validation of the pmsims R Package

Il documento presenta e convalida il pacchetto R "pmsims", che utilizza modelli surrogati basati su processi gaussiani per fornire un quadro di simulazione flessibile ed efficiente per la determinazione della dimensione campionaria nei modelli predittivi clinici, superando i limiti dei metodi analitici e delle simulazioni non adattive.

Autori originali: Oyebayo Ridwan Olaniran, Diana Shamsutdinova, Sarah Markham, Felix Zimmer, Daniel Stahl, Gordon Forbes, Ewan Carr

Pubblicato 2026-03-26

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Oyebayo Ridwan Olaniran, Diana Shamsutdinova, Sarah Markham, Felix Zimmer, Daniel Stahl, Gordon Forbes, Ewan Carr

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover preparare una torta per un matrimonio importante. La tua sfida non è solo cucinare la torta, ma capire quanti ingredienti ti servono per essere sicuro al 100% che il risultato sia perfetto. Se ne usi troppo pochi, la torta potrebbe collassare o essere insapore (il modello statistico fallisce). Se ne usi troppi, sprechi soldi e tempo senza guadagnare nulla in qualità.

Questo è esattamente il problema che affrontano gli scienziati quando creano modelli predittivi clinici (come un'app che prevede il rischio di una malattia). Devono sapere quanti pazienti studiare per ottenere un risultato affidabile.

Ecco di cosa parla questo articolo, spiegato come una storia:

1. Il Problema: La "Ricetta" Esiste, ma è Rigida

Fino a poco tempo fa, gli scienziati usavano delle "ricette matematiche" fisse (formule analitiche) per calcolare quanti pazienti servivano.

Il difetto: Queste ricette funzionavano bene solo se il mondo fosse semplice e perfetto (come se tutti gli ingredienti fossero uguali e non interagissero tra loro). Ma nella realtà, i dati medici sono caotici: ci sono molte variabili, relazioni strane e imprevisti. Usare queste vecchie ricette era come cercare di cucinare una torta complessa con una ricetta per il pane: spesso il risultato era sbagliato.

2. La Soluzione: Il "Cucina-Intelligente" (pmsims)

Gli autori hanno creato un nuovo strumento chiamato pmsims (un pacchetto per il linguaggio R). Immagina pmsims non come una ricetta fissa, ma come un cucina-intelligente che impara mentre cucina.

Invece di provare a indovinare la quantità esatta di ingredienti subito, questo "cucina" prova piccole quantità, assaggia la torta, e decide se ne serve di più o di meno per il prossimo tentativo.

3. Il Segreto: La "Sfera di Cristallo" (Gaussian Process)

La vera innovazione di questo strumento è un metodo chiamato Gaussian Process (GP).
Immagina di dover trovare la cima di una montagna nella nebbia.

Il metodo vecchio (Bisezione): È come camminare a caso, facendo passi avanti e indietro, controllando ogni singolo gradino. È lento e si perde facilmente.
Il metodo nuovo (GP): È come avere una sfera di cristallo che ti dice: "Ehi, la cima è probabilmente là in alto a destra, e sembra che scenda ripida verso sinistra".
- Invece di provare tutti i possibili numeri di pazienti, il sistema usa questa "sfera di cristallo" per saltare direttamente alle zone più promettenti.
- Impara dai tentativi precedenti: se un certo numero di pazienti ha dato un buon risultato, il sistema sa che non serve provare numeri molto più piccoli o molto più grandi.

4. La Gara: Chi è il Migliore?

Gli autori hanno messo alla prova il loro "cucina-intelligente" contro due avversari:

Il metodo vecchio (ricette matematiche): Spesso sbagliava, suggerendo di usare troppo pochi pazienti quando la situazione era difficile (come quando la malattia è rara o ci sono molte variabili).
Il metodo "prova e riprova" (bisezione): Funzionava, ma era lentissimo. Era come cercare di trovare l'ago nel pagliaio controllando ogni singolo filo di paglia uno per uno.
Il nuovo metodo (pmsims con GP): È stato il vincitore assoluto.
- Velocità: Ha trovato la risposta giusta usando molte meno "prove" (simulazioni) rispetto agli altri.
- Precisione: Ha suggerito la quantità di pazienti perfetta per ottenere una torta (modello) che non collassa mai.
- Flessibilità: Funziona per qualsiasi tipo di "torta" (malattie comuni, rare, dati continui, ecc.).

5. Il Risultato Finale

Grazie a questo nuovo metodo, i ricercatori possono:

Risparmiare tempo e denaro: Non servono più anni di simulazioni inutili.
Avere più sicurezza: Sanno che il loro modello funzionerà davvero sui pazienti reali, non solo sulla carta.
Essere più onesti: Invece di dire "abbiamo usato 100 pazienti perché la formula lo dice", possono dire "abbiamo usato 100 pazienti perché il nostro sistema intelligente ha calcolato che è la quantità minima necessaria per garantire un risultato sicuro".

In Sintesi

Questo articolo presenta un nuovo navigatore GPS per la ricerca medica. Invece di guidare alla cieca o seguire vecchie mappe cartacee che non aggiornano i cantieri, ora abbiamo un sistema che guarda il traffico in tempo reale, impara dal percorso fatto e ci porta alla destinazione (il numero giusto di pazienti) nel modo più veloce ed efficiente possibile.

Il pacchetto pmsims è questo navigatore, pronto a essere usato da chiunque voglia costruire modelli medici più affidabili.

Titolo: Ricerca Adattiva basata su Processi Gaussiani per la Stima della Dimensione Campionale nelle Modelli di Predizione Clinica: Validazione del pacchetto R `pmsims`

1. Il Problema

Determinare una dimensione campionaria adeguata è un prerequisito fondamentale per lo sviluppo di modelli di predizione clinica stabili, affidabili e generalizzabili. Campioni di sviluppo troppo piccoli possono portare a modelli sovradattati (overfitted), con scarsa calibrazione e ridotta capacità discriminante quando applicati a nuovi dati.

Le sfide attuali includono:

Limiti degli strumenti analitici: Metodi esistenti (es. pmsampsize) si basano su assunzioni restrittive (linearietà, covariate normalmente distribuite, stime di massima verosimiglianza) e si concentrano su criteri basati sulla "media" delle prestazioni. Spesso sottostimano la dimensione campionaria necessaria, specialmente in scenari ad alta discriminazione o con modelli complessi (machine learning).
Limiti delle simulazioni tradizionali: Gli approcci basati sulla simulazione (es. samplesizedev) sono più flessibili ma computazionalmente onerosi se si utilizzano metodi di ricerca esaustivi o non adattivi. Inoltre, molti strumenti esistenti non supportano facilmente criteri basati sull'"assicurazione" (assurance), ovvero la garanzia che le prestazioni superino una soglia con una certa probabilità (es. 80%), gestendo così la variabilità del campione di addestramento.
Mancanza di strumenti pratici: Esiste un vuoto di strumenti accessibili che combinino flessibilità nei meccanismi di generazione dei dati, supporto per criteri di assicurazione e efficienza computazionale.

2. Metodologia

Lo studio presenta e valida pmsims, un pacchetto R che utilizza la modellazione surrogata tramite Processi Gaussiani (GP) per creare un framework di simulazione adattiva ed efficiente.

Workflow di pmsims:
1. Generazione dei Dati: Supporta outcome binari, continui e di sopravvivenza, con processi di generazione dati flessibili (regressione logistica, lineare e Cox).
2. Adattamento dei Parametri: I parametri dei generatori di dati vengono tarati per raggiungere target specifici di prevalenza dell'outcome e prestazioni massime (es. C-statistic, $R^2$ ).
3. Motori di Ricerca: Il cuore del pacchetto sono tre motori di ricerca per trovare la dimensione campionaria minima $n^*$ $n^{*}$ :
  - GP (Gaussian Process): Un approccio adattivo basato sull'ottimizzazione bayesiana. Utilizza un modello surrogato GP per approssimare la relazione tra dimensione campionaria e prestazioni, selezionando iterativamente i punti da valutare dove l'incertezza è massima o dove il guadagno atteso è ottimizzato.
  - Bisection (Bisezione): Un metodo deterministico classico che dimezza iterativamente l'intervallo di ricerca.
  - GP-BS (Ibrido): Combina una ricerca a bisezione grezza iniziale per restringere l'intervallo, seguita da una ricerca adattiva GP.
4. Criteri di Valutazione:
  - Media: La prestazione attesa supera la soglia.
  - Assicurazione: La prestazione supera la soglia con una probabilità definita (es. 80%, corrispondente al 20° percentile della distribuzione delle prestazioni).
Disegno dello Studio di Validazione:
- Obiettivo 1: Confronto tra i tre motori di ricerca (GP, Bisection, GP-BS) su outcome binari, continui e di sopravvivenza, variando prevalenza, dimensionalità ( $p=10, 100$ ), budget di simulazione ( $B=200-2000$ ) e numero di repliche per valutazione ( $\kappa=10, 20$ ). La stabilità è misurata tramite il coefficiente di variazione (CV) delle stime di $n^*$ .
- Obiettivo 2: Benchmark del motore GP (il migliore) contro pmsampsize (analitico) e samplesizedev (simulativo) su scenari realistici, valutando la deviazione delle prestazioni raggiunte su dataset di validazione indipendenti (30.000 osservazioni).

3. Contributi Chiave

Innovazione Metodologica: Introduzione dell'uso dei Processi Gaussiani come surrogate model per la ricerca della dimensione campionaria, riducendo drasticamente il numero di valutazioni del modello necessarie rispetto alla ricerca a griglia o alla bisezione.
Flessibilità: Un framework che non vincola l'utente a specifici modelli statistici o meccanismi di generazione dati, permettendo di adattare il calcolo alla specifica contestualizzazione del problema di predizione.
Supporto all'Assicurazione: Implementazione robusta del criterio di "assicurazione", che tiene conto esplicitamente della variabilità del campione di addestramento, offrendo una pianificazione più prudente rispetto ai soli criteri basati sulla media.
Validazione Completa: Una valutazione rigorosa che confronta l'approccio proposto sia con metodi analitici consolidati che con altri approcci basati sulla simulazione, coprendo un ampio spettro di scenari clinici.

4. Risultati

Confronto dei Motori di Ricerca (Obiettivo 1):
- Il motore basato su GP ha prodotto sistematicamente le stime di dimensione campionaria più stabili (CV più basso) in tutte le configurazioni di outcome, superando sia la bisezione che l'approccio ibrido GP-BS.
- Il vantaggio del GP è stato particolarmente marcato in scenari difficili: bassa prevalenza dell'evento, bassa forza del segnale ( $R^2$ bassa) e alta dimensionalità ( $p=100$ ).
- Un budget di simulazione totale di circa $B \approx 1000$ e $\kappa = 20$ repliche per valutazione si sono rivelati il punto di compromesso ottimale tra precisione e costo computazionale; oltre questo budget, i guadagni marginali sono stati minimi.
- Il metodo di bisezione deterministico ha mostrato prestazioni inferiori, richiedendo molte più valutazioni per raggiungere una stabilità comparabile.
Benchmark con Strumenti Esistenti (Obiettivo 2):
- pmsims (criterio media): Ha raggiunto prestazioni entro $\pm 1\%$ dal target prespecificato su tutti i tipi di outcome, dimostrando un'accuratezza superiore o paragonabile a samplesizedev.
- Confronto con pmsampsize: In scenari ad alta discriminazione (es. AUC 0.9), pmsampsize ha spesso sottostimato la dimensione campionaria, portando a deviazioni negative delle prestazioni fino al -9.84%. pmsims ha invece garantito il raggiungimento dei target.
- pmsims (criterio assicurazione): Ha raccomandato dimensioni campionarie più conservative (più grandi), producendo deviazioni negative minime (-1% a -2%), garantendo così una maggiore robustezza contro l'underperformance.

5. Significato e Conclusioni

Il pacchetto pmsims rappresenta un avanzamento significativo nella pianificazione della dimensione campionaria per la modellazione predittiva clinica.

Efficienza: Offre un framework computazionalmente efficiente che riduce il carico di lavoro rispetto alle simulazioni esaustive, rendendo fattibile l'uso di criteri di assicurazione anche in scenari complessi.
Affidabilità: Supera i limiti degli approcci analitici (che falliscono quando le assunzioni teoriche non sono rispettate) e dei metodi di ricerca non adattivi.
Impatto Pratico: Fornisce ai ricercatori uno strumento flessibile per giustificare le dimensioni campionarie in modo rigoroso, riducendo il rischio di sviluppare modelli sovradattati o sottodimensionati.

In sintesi, l'uso di un motore di ricerca adattivo basato su Processi Gaussiani, con un budget di simulazione di circa 1000 valutazioni e 20 repliche per punto, costituisce un nuovo standard per una pianificazione campionaria "principale" (principled) nella ricerca sui modelli predittivi clinici.