When Bayes goes bad: Weakly-regularized covariate adjustment leads to a biased estimate of prevalence

1. Il Problema

Il lavoro nasce dall'analisi di un'indagine sierologica condotta a Melbourne (Australia) nel novembre-dicembre 2020 per stimare la prevalenza degli anticorpi contro SARS-CoV-2. Gli statistici hanno notato un fenomeno controintuitivo: man mano che venivano aggiunte variabili di aggiustamento (covariate) al modello gerarchico bayesiano per correggere le differenze tra il campione (donatori di sangue) e la popolazione residente, la stima della prevalenza complessiva diminuiva sistematicamente, allontanandosi dalla proporzione grezza del campione verso lo zero.

L'obiettivo del paper è diagnosticare se questo calo sia un segnale di un modello che si sta avvicinando alla verità (correggendo un bias di selezione) o un artefatto statistico causato da una specifica interazione tra le componenti del modello.

2. Metodologia

Gli autori hanno adottato un approccio ibrido che combina l'analisi dei dati reali con una serie di studi di simulazione progressivi.

• Contesto Modelling: È stato utilizzato un modello di Regressione Multilivello e Post-stratificazione (MRP) bayesiano. Questo modello integra:
  1. La correzione per campioni non rappresentativi (differenze demografiche).
  2. La gestione dell'errore di misura (sensibilità e specificità del test sierologico).
  3. L'incertezza nella stima della sensibilità e specificità stessa, propagata attraverso il modello.
• Workflow Diagnostico: Gli autori hanno scomposto il modello complesso in tre esperimenti di simulazione per isolare le potenziali cause del bias:
  1. Esperimento I (Bias degli eventi rari): Ha testato se il bias fosse dovuto alla regressione logistica su eventi rari (bassa prevalenza) con piccoli campioni, confrontando stime bayesiane e di massima verosimiglianza.
  2. Esperimento II (Incertezza di Sensibilità/Specificità): Ha isolato l'impatto dell'inclusione della specificità come parametro stimato (con prior Beta) rispetto a un parametro noto. Ha variato la dimensione del campione di calibrazione ($m_\gamma$) usato per stimare la specificità.
  3. Esperimento III (Effetti non variabili): Ha esaminato l'impatto dell'aggiunta di termini a effetto fisso (non variabili, come il sesso o SEIFA come predittore lineare) accanto agli effetti variabili (random).
• Analisi dei Dati Reali: I risultati delle simulazioni sono stati confrontati con le stime ottenute applicando versioni modificate del modello ai dati reali di Melbourne.

3. Risultati Chiave

Le simulazioni hanno rivelato che nessuna singola causa era responsabile, ma piuttosto una retroazione (feedback loop) tra le componenti del modello:

1. Non è un Bias degli Eventi Rari: Sebbene la regressione logistica bayesiana mostri un bias nell'intercetta quando la prevalenza è bassa e il campione piccolo, questo non si traduce in un bias nella stima aggregata della prevalenza della popolazione. Quindi, il bias degli eventi rari non spiega il calo osservato.
2. Il Ruolo Critico della Specificità Stimata: Quando la specificità è nota, la stima della prevalenza è stabile rispetto alla complessità del modello. Tuttavia, quando la specificità viene stimata dai dati (con una prior debole), emerge un problema.
3. Il Meccanismo di Feedback:
   • Man mano che il modello diventa più complesso (aggiunta di covariate), la dimensionalità aumenta.
   • Le distribuzioni prior "deboli" sui coefficienti di regressione logistica diventano di fatto più forti (più restrittive) a causa dell'aumento della dimensionalità, portando a un maggiore partial pooling (raggruppamento parziale) verso la media.
   • Questo cambiamento nella struttura del modello altera la distribuzione predittiva a priori della prevalenza attesa.
   • Poiché il numero di test positivi osservati è fisso, il modello deve bilanciare l'equazione: $Test Positivi = (1 - Specificità) \times Negativi + Sensibilità \times Positivi$.
   • Se il modello "crede" che la prevalenza attesa sia più bassa (a causa del prior che si stringe con la complessità), e i test positivi osservati rimangono costanti, il modello compensa riducendo la stima della specificità (aumentando implicitamente i falsi positivi).
   • Una stima più bassa della specificità porta a una sottostima ancora maggiore della prevalenza reale (poiché più test positivi sono considerati falsi).
   • Questo crea un ciclo vizioso: più covariate $\rightarrow$ prior più restrittivo sulla prevalenza $\rightarrow$ stima della specificità più bassa $\rightarrow$ stima della prevalenza più bassa.

4. Contributi Principali

Il paper offre tre contributi fondamentali:

1. Diagnosi di un Artefatto Bayesiano: Dimostra come l'aggiunta sequenziale di covariate in modelli gerarchici complessi con errori di misura possa generare un bias sistematico verso il basso, non dovuto ai dati ma all'interazione tra prior e dimensionalità.
2. Workflow di Investigazione: Propone una metodologia strutturata (simulazione + verifica predittiva a livello aggregato) per diagnosticare risultati inaspettati in modelli complessi, distinguendo tra errori di post-stratificazione e errori di modellazione.
3. Raccomandazioni Pratiche: Suggerisce che l'uso di prior deboli in modelli ad alta dimensionalità con stime di parametri di errore di misura (come la specificità) può essere pericoloso. Raccomanda di verificare i risultati strato per strato e di utilizzare studi di simulazione per validare il comportamento del modello prima di applicarlo a dati reali.

5. Significato e Implicazioni

Questo studio è cruciale per la statistica applicata e l'epidemiologia bayesiana perché:

• Avverte contro la "Complessità Automatica": Smentisce l'idea che aggiungere più variabili di aggiustamento migliori sempre automaticamente la stima. In contesti con eventi rari e stime di parametri di errore di misura, la complessità può degradare la qualità della stima.
• Interazione Prior-Dati: Evidenzia come le distribuzioni prior, spesso considerate "non informative", possano diventare fortemente informative in modo sottile quando la dimensionalità del modello cambia, influenzando parametri apparentemente non correlati (come la specificità).
• Validazione dei Modelli MRP: Fornisce un caso di studio su come validare i modelli MRP che incorporano errori di misura, sottolineando che la coerenza con la media del campione non è un indicatore sufficiente di correttezza quando si correggono errori di misura.

In sintesi, il paper dimostra che "Bayes può andare male" non per mancanza di dati, ma per un'interazione sottile tra la regolarizzazione implicita delle prior in modelli complessi e la propagazione dell'incertezza nei parametri di errore di misura.