Real-world performance of large-scale propensity score adjustment strategies: Matching, weighting, and stratification

Sintesi Tecnica: Prestazioni nel mondo reale di strategie di aggiustamento del punteggio di propensione su larga scala

Definizione del Probleamento
Gli studi osservazionali utilizzano sempre più dati su larga scala (milioni di pazienti, decine di migliaia di covariate) per stimare gli effetti del trattamento, impiegando spesso modelli di Propensity Score su larga scala (LSPS). Sebbene i modelli LSPS abbiano dimostrato di migliorare l'equilibrio delle covariate e l'adattamento del modello attraverso la regressione regolarizzata, esiste una nota mancanza di prove empiriche riguardanti le prestazioni di diverse strategie di aggiustamento del punteggio di propensione (PS) in questi contesti reali su larga scala. Nello specifico, rimane poco chiaro se l'inclusione di un numero massiccio di covariate alteri la scelta ottimale tra le comuni strategie di aggiustamento: matching (appaiamento), stratificazione e inverse probability of treatment weighting (IPTW). I precedenti benchmark hanno prodotto risultati contrastanti, con alcuni che suggeriscono che l'IPTW sia inferiore al matching, mentre altri favoriscono l'IPTW per il controllo del bias.

Metodologia
Gli autori hanno condotto la "Survey of Propensity-score Adjustment Routes for Treatment-effect Analyses" (SPARTA), una valutazione empirica sistematica su larga scala utilizzando dati del mondo reale provenienti da quattro database sanitari nazionali federati (che comprendono oltre 11 milioni di pazienti).

• Disegno dello Studio: È stato impiegato un disegno di coorte "new-user" comparativo, focalizzato sulle monoterapie di prima linea per l'ipertensione. Lo studio ha valutato 12 confronti di trattamento distinti (a livello di farmaco e di classe) contro 160 esiti di controllo negativo (dove l'effetto del trattamento è noto essere zero) e 3 controlli positivi sintetici per ogni controllo negativo.
• Modellazione PS: Sono stati applicati modelli LSPS utilizzando la regressione logistica con regolarizzazione $\ell_1$ con circa 12.000 covariate per modello, coprendo demografia, storia medica, esposizioni ai farmaci e utilizzo delle cure sanitarie. Le variabili strumentali sono state filtrate e rimosse in base alla correlazione univariata con il trattamento.
• Strategie di Aggiustamento Valutate:
  • Matching: Rapporti fissi (1:1, 1:5, 1:25) e matching a rapporto variabile (VR) con un calibro di 0,2 deviazioni standard.
  • Stratificazione: Raggruppamento dei pazienti in 5 e 25 strati.
  • IPTW: Sono state testate tre varianti:
    1. IPTW (Crump): Potatura (trimming) del top e del bottom del 10% della distribuzione del PS indipendentemente dall'assegnazione del trattamento.
    2. IPTW (Stürmer): Un metodo in due fasi che rimuove le regioni non sovrapponibili e poi pota i pazienti più contrastanti.
    3. Overlap Weighting: Pesatura maggiore per i pazienti nella regione di maggiore sovrapposizione del PS.
• Metriche di Valutazione: Le prestazioni sono state valutate utilizzando l'errore di Tipo-I (tasso di falsi positivi), l'errore di Tipo-II (tasso di falsi negativi), la precisione media, l'errore quadratico medio (MSE) e la differenza media assoluta standardizzata (SMD) massima per l'equilibrio delle covariate.
• Calibrazione: Una procedura di calibrazione empirica è stata applicata a tutte le stime per aggiustare i p-value e gli intervalli di confidenza in base alla distribuzione osservata degli effetti dei controlli negativi, con l'obiettivo di catturare sia l'errore casuale che quello sistematico.

Risultati Chiave

• Equilibrio e Bias: In tutte le specifiche del modello, l'IPTW con trimming di Crump e il matching 1:1 hanno costantemente ottenuto il più forte equilibrio delle covariate (SMD < 0,1) e i tassi di errore di Tipo-I più bassi. L'IPTW (Stürmer) ha performato scarsamente in tutte le metriche, mostrando il più alto errore di Tipo-I e non riuscendo a raggiungere un equilibrio adeguato. La stratificazione ha mostrato risultati misti, ottenendo talvolta l'equilibrio, ma spesso al costo di un maggiore errore di Tipo-I.
• Precisione e MSE: Sebbene diversi metodi abbiano ottenuto un equilibrio simile, il matching 1:1 ha dimostrato la precisione più elevata e il MSE più basso in molti scenari. Interessante il fatto che l'aumento dei rapporti di matching (es. 1:25 o rapporto variabile) non ha migliorato costantemente la precisione e talvolta ha introdotto varianza, probabilmente a causa dell'appaiamento di pazienti meno simili e del costo statistico dei modelli di esito condizionale.
• Impatto della Calibrazione: La calibrazione empirica ha ridotto significativamente le differenze di prestazione tra le strategie. Dopo la calibrazione, i tassi di errore di Tipo-I e Tipo-II, la precisione e le metriche di equilibrio sono converguti nella maggior parte dei metodi, suggerendo che la calibrazione può mitigare la sensibilità dei risultati alla specifica scelta della strategia di aggiustamento.
• Variabilità del Database: Le prestazioni sono variate leggermente in base alla dimensione e alla composizione del database. Ad esempio, rapporti di matching più ampi (1:25) hanno occasionalmente superato il matching 1:1 in specifici database di grandi dimensioni (MDCR, Optum EHR), ma il matching 1:1 è rimasto un default robusto.

Contributi Chiave

1. Benchmarking Empirico: Lo studio fornisce il primo confronto sistematico e su larga scala delle strategie di aggiustamento del PS (matching, stratificazione e molteplici varianti IPTW) utilizzando dati del mondo reale con modelli LSPS attraverso quattro importanti database sanitari.
2. Differenziazione delle Varianti IPTW: Il documento chiarisce che non tutti i metodi IPTW sono uguali; identifica il trimming di Crump e l'overlap weighting come altamente efficaci, dimostrando al contempo che il trimming di Stürmer è subottimale in contesti su larga scala a causa della rimozione della regione di sovrapposenza del PS.
3. Validazione della Calibrazione: Il lavoro valida empiricamente che la calibrazione empirica standardizza efficacemente le prestazioni tra diverse strategie di aggiustamento, riducendo la sensibilità delle stime dell'effetto del trattamento alla specifica scelta del modello di PS.
4. Linee Guida Pratiche: Gli autori forniscono raccomandazioni basate sui dati, sfidando l'idea che una singola strategia sia universalmente superiore.

Significatività e Rivendicazioni
Il documento afferma che, sebbene nessuna singola strategia domini in tutti i contesti, l'IPTW con trimming di Crump e il matching 1:1 fungono da ottime scelte di default per l'aggiustamento del PS su larga scala, offrendo un favorevole equilibrio tra controllo del bias e precisione. Gli autori sottolineano che i ricercatori non dovrebbero affidarsi a un singolo metodo, ma dovrebbero includere le strategie con le migliori prestazioni come analisi di sensibilità. Inoltre, lo studio sostiene fortemente l'uso routinario della calibrazione empirica per ridurre l'impatto della scelta del modello sulle conclusioni dello studio. I risultati suggeriscono che la scelta della strategia di aggiustamento debba essere guidata dal contesto specifico dello studio, validata attraverso diagnostiche di equilibrio delle covariate, e che l'inclusione di molte covariate non preclude l'efficacia delle tecniche di aggiustamento standard quando implementate correttamente.