Transportability of model-based estimands in evidence synthesis

Sintesi Tecnica: Trasportabilità degli Estimand Basati su Modelli nella Sintesi delle Evidenze

Enunciato del Problema
Nella sintesi delle evidenze, in particolare per la valutazione delle tecnologie sanitarie (HTA), l'obiettivo è spesso quello di stimare gli effetti marginali del trattamento per il processo decisionale a livello di popolazione. Tuttavia, le pratiche standard fanno spesso affidamento su misure di effetto condizionale (ad esempio, rapporti di probabilità, rapporti di rischio) derivate da modelli a livello individuale. Sorge un problema critico poiché molte misure di sintesi comuni sono non collassabili o non direttamente collassabili. Per queste misure, l'effetto marginale non è semplicemente una media ponderata degli effetti condizionali. Di conseguenza, le covariate puramente prognostiche — variabili che prevedono l'esito ma non interagiscono con il trattamento a livello individuale — possono agire come modificatori dell'effetto marginale. Ciò significa che, anche in assenza di eterogeneità dell'effetto del trattamento a livello individuale (cioè, nessuna interazione trattamento-covariata), le differenze nella distribuzione delle covariate puramente prognostiche tra gli studi possono indurre un bias nelle comparazioni indirette non aggiustate. Inoltre, le attuali linee guida suggeriscono spesso che l'aggiustamento per le covariate sia necessario solo quando vi sono squilibri nei modificatori dell'effetto condizionale o quando esiste un'eterogeneità a livello individuale. Questo documento sostiene che tali linee guida siano insufficienti per le misure non collassabili, poiché gli effetti marginali dipendono dalla distribuzione congiunta completa delle covariate, e non solo dai loro momenti marginali.

Metodologia
Il documento utilizza uno studio di simulazione basato sul framework ADEMP (Obiettivi, Meccanismi di generazione dei dati, Estimand, Metodi, Misure di performance) per investigare empiricamente questi fenomeni. Lo studio simula uno scenario di comparazione indiretta ancorata al trattamento che coinvolge due studi controllati randomizzati (RCT) con un comparatore comune.

• Generazione dei Dati: Sono stati costruiti tre scenari distinti: (1) Omogeneità dell'effetto del trattamento con medie marginali delle covariate sbilanciate; (2) Eterogeneità dell'effetto del trattamento con medie marginali bilanciate ma strutture di correlazione diverse; e (3) Eterogeneità dell'effetto del trattamento con medie sbilanciate e strutture di correlazione diverse.
• Modelli di Esito: Sono stati modellati tre tipi di esito: continuo (modello lineare, differenza di medie), conteggio (modello log-lineare/Poisson, rapporto di rischio logaritmico) e binario (modello logistico, rapporto di probabilità logaritmico).
• Metodi Confrontati: È stata valutata la performance di tre metodi di comparazione indiretta:
  1. Metodo di Bucher: Comparazione indiretta ancorata standard non aggiustata.
  2. Comparazione Indiretta Aggiustata per Appaiamento (MAIC): Un metodo basato sul peso che bilancia i momenti marginali delle covariate.
  3. G-computazione Parametrica: Un metodo basato sulla modellazione dell'esito che utilizza la standardizzazione per proiettare le inferenze sulla popolazione target.
• Metriche di Performance: Sono stati valutati il bias, l'Errore Quadratico Medio (MSE) e i tassi di copertura empirici degli intervalli di confidenza al 95% su 500 repliche di simulazione.

Contributi Chiave
Il documento fornisce una chiarificazione teorica ed empirica di come le proprietà di collassabilità influenzino la trasportabilità degli effetti del trattamento:

1. Non Collassabilità e Variabili Prognostiche: Dimostra che per le misure non collassabili (ad esempio, rapporto di probabilità logaritmico), le covariate puramente prognostiche modificano gli effetti marginali anche quando gli effetti del trattamento a livello individuale sono omogenei. Pertanto, gli squilibri tra studi di queste variabili distorcono le comparazioni non aggiustate.
2. Collassabilità Diretta e Distribuzioni Congiunte: Per le misure che sono collassabili ma non direttamente collassabili (ad esempio, rapporto di rischio logaritmico) in presenza di eterogeneità a livello individuale, l'effetto marginale dipende dalla distribuzione congiunta completa delle covariate (inclusi i rapporti di correlazione), e non solo dai momenti marginali.
3. Limiti delle Attuali Linee Guida: Lo studio mette in discussione le attuali linee guida che suggeriscono che le comparazioni non aggiustate siano valide se i modificatori dell'effetto condizionale sono bilanciati o assenti. I risultati mostrano che, per le misure non direttamente collassabili, i metodi non aggiustati rimangono distorti anche quando i momenti marginali delle covariate sono bilanciati, se le strutture di correlazione differiscono.
4. Limiti dell'Aggiustamento: Evidenzia che i metodi standard di aggiustamento per le covariate (come il MAIC) che bilanciano solo i momenti marginali (medie/deviazioni standard) sono intrinsecamente limitati nel rimuovere il bias quando le strutture di correlazione differiscono tra gli studi, in particolare per le misure non direttamente collassabili.

Risultati

• Differenza di Medie (Direttamente Collassabile): Le comparazioni non aggiustate (Bucher) hanno funzionato bene quando gli effetti del trattamento erano omogenei o quando le medie delle covariate erano bilanciate. Il bias è apparso solo quando le medie erano sbilanciate in presenza di eterogeneità. L'aggiustamento per le covariate ha rimosso con successo il bias.
• Rapporto di Rischio Logaritmico (Collassabile ma non Direttamente Collassabile): In presenza di eterogeneità a livello individuale, le comparazioni non aggiustate sono state distorte anche quando le medie marginali delle covariate erano bilanciate, a causa delle differenze nelle strutture di correlazione. I metodi di aggiustamento per le covariate (MAIC, G-computazione) hanno ridotto il bias rispetto all'approccio non aggiustato, ma sono rimasti distorti perché non potevano tenere conto delle diverse distribuzioni congiunte (correlazioni) della popolazione target.
• Rapporto di Probabilità Logaritmico (Non Collassabile): Le comparazioni non aggiustate hanno mostrato un bias sostanziale anche in assenza di eterogeneità dell'effetto del trattamento a livello individuale, esclusivamente a causa degli squilibri nelle covariate puramente prognostiche. I metodi di aggiustamento per le covariate hanno migliorato le prestazioni, ma hanno ancora faticato a eliminare completamente il bias quando le strutture di correlazione differivano, poiché il rapporto di probabilità marginale dipende dalla distribuzione congiunta completa.
• Precisione vs Bias: La G-computazione parametrica ha spesso mostrato un bias inferiore, ma ha sofferto di eccessiva precisione (sottocopertura) in contesti con scarsa sovrapposizione delle covariate o estrazione del modello. Il MAIC ha fornito una quantificazione dell'incertezza più "onesta" (migliore copertura), ma con una varianza più elevata e una dimensione effettiva del campione ridotta.

Significato e Affermazioni
Il documento afferma che la scelta della misura di effetto di sintesi altera fondamentalmente i requisiti per la validità esterna e la trasportabilità nella sintesi delle evidenze.

• Rivalutazione dei Modificatori dell'Effetto: L'insieme delle covariate necessario per garantire la costanza degli effetti relativi dipende dal fatto che la misura sia collassabile e se sia direttamente collassabile. Per le misure non collassabili, le variabili puramente prognostiche devono essere considerate potenziali modificatori dell'effetto marginale.
• Implicazioni per la Pratica: Per le misure non direttamente collassabili, affidarsi esclusivamente ai riassunti marginali delle covariate (medie e deviazioni standard) per l'aggiustamento è insufficiente a garantire una trasportabilità priva di bias se le distribuzioni congiunte (correlazioni) differiscono. Il documento suggerisce che le misure direttamente collassabili (come le differenze di medie o le differenze di rischio) siano preferibili per la trasportabilità, poiché riducono la dipendenza da aggiustamenti complessi basati su modelli e da assunzioni sulla distribuzione congiunta.
• Revisione delle Linee Guida: I risultati implicano che le attuali linee guida, che spesso permettono comparazioni indirette non aggiustate in assenza di interazioni trattamento-covariata, possono essere difettose per le misure non collassabili. Inoltre, l'assunzione che bilanciare i momenti marginali sia sufficiente per l'aggiustamento per le covariate è messa in discussione; tenere conto delle distribuzioni congiunte è necessario, ma spesso praticamente non fattibile con dati aggregati, evidenziando una limitazione significativa nelle attuali capacità di sintesi delle evidenze.