Translating predictive distributions into informative priors

1. Il Problema

Nella modellazione bayesiana, incorporare informazioni a priori è concettualmente semplice, ma la costruzione pratica di priors informativi è spesso complessa, specialmente per modelli non lineari, complessi o sovraparametrizzati.
Il problema centrale affrontato dagli autori è il seguente:

• Le informazioni a priori sono spesso disponibili sotto forma di distribuzioni per quantità osservabili (o quantità derivate dal modello, come $R^2$) ottenute tramite elicitazione esperta, piuttosto che direttamente per i parametri latenti del modello.
• Tradurre queste distribuzioni target (sugli osservabili) in una distribuzione congiunta sui parametri del modello è un passaggio non banale, specialmente quando non esiste una relazione analitica inversa (come nei modelli non coniugati).
• I metodi esistenti sono spesso specifici per certi tipi di modelli (es. regressione logistica) o richiedono un aggiustamento manuale ("trial-and-error") che non è scalabile né riproducibile per modelli complessi.

2. Metodologia Proposta

Gli autori propongono un metodo agnostico rispetto al modello per tradurre una distribuzione target elicita $T(Y)$ (per una quantità osservabile $Y$) in un prior informativo congiunto sui parametri $\theta$, all'interno di una classe parametrica di prior definita da iperparametri $\lambda$.

L'approccio si basa su tre principi fondamentali:

1. Fedeltà (Faithfulness): Il prior risultante deve generare una distribuzione predittiva a priori $P(Y|\lambda)$ che corrisponda il più possibile alla distribuzione target $T(Y)$.
2. Unicità: Poiché spesso esistono molti set di iperparametri $\lambda$ che producono la stessa fedeltà (specialmente quando la dimensione di $Y$ è inferiore a quella di $\theta$), è necessario un criterio secondario per selezionare un prior unico (es. massimizzare l'incertezza a priori).
3. Riproducibilità: Il procedimento deve generare prior identici data la stessa informazione target, indipendentemente dalle repliche stocastiche dell'algoritmo.

Algoritmo di Ottimizzazione

Il metodo minimizza una funzione di perdita composta da due obiettivi:

1. Obiettivo Primario (Discrepanza Predittiva): Minimizzare la differenza tra $P(Y|\lambda)$ e $T(Y)$. Viene utilizzata una funzione di discrepanza basata su regole di scoring adeguate, come la discrepanza di Cramér-von Mises (CvM) o Anderson-Darling (AD), calcolata tramite campionamento Monte Carlo e importance sampling.
2. Obiettivo Secondario (Regolarizzazione): Minimizzare una funzione $N(\lambda)$ per promuovere proprietà desiderate (es. massimizzare la varianza marginale dei parametri $\theta$ per evitare prior troppo informativi non giustificati dai dati).

L'ottimizzazione avviene in due fasi tramite un processo globale:

• Fase 1: Uso di una ricerca casuale controllata (CRS2) per minimizzare la discrepanza primaria e generare un design iniziale.
• Fase 2: Uso dell'Ottimizzazione Bayesiana Multi-Obiettivo (tramite l'algoritmo MSPOT) per esplorare il fronte di Pareto tra fedeltà e l'obiettivo secondario.
• Selezione di $\kappa$: Viene definita una funzione di perdita combinata $\tilde{L}(\lambda) = \log(\tilde{D}) + \kappa \tilde{N}$. Il parametro $\kappa$ viene scelto analizzando il fronte di Pareto per trovare un compromesso ottimale senza dover rieseguire l'ottimizzazione completa.

L'implementazione è disponibile nel pacchetto R pbbo.

3. Contributi Chiave

• Approccio Agnostico: Il metodo non richiede che il modello sia coniugato o abbia una struttura latente semplice; funziona su qualsiasi modello parametrico per cui è possibile simulare dati.
• Gestione dell'Unicità: Introduce un framework formale per gestire la non-unicità dei prior, utilizzando l'ottimizzazione multi-obiettivo per bilanciare fedeltà e principi di massima entropia/incertezza.
• Automazione: Sostituisce l'approccio manuale di "prior predictive checking" con un processo di ottimizzazione automatizzato e riproducibile.
• Flessibilità: Supporta quantità osservabili miste (discrete/continue), quantità derivate dal modello (come $R^2$) e modelli con covariate.

4. Risultati Sperimentali

Gli autori illustrano il metodo attraverso tre esempi significativi:

1. Modello di Sopravvivenza con "Cura" (Cure-fraction survival model):

   • Scenario: Tradurre informazioni sulla frazione di pazienti "curati" e sui tempi di evento per i non curati in un prior per un modello di sopravvivenza con censura.
   • Risultati: Il metodo produce prior che riproducono fedelmente la distribuzione target. Tuttavia, emerge che la soluzione non è unica per la struttura di correlazione dei coefficienti di regressione, un problema tipico in modelli con rumore additivo. L'approccio multi-obiettivo migliora l'unicità rispetto all'approccio single-objective.

2. Priors da Quantità Derivate dal Modello ($R^2$):

   • Scenario: Definire prior per i coefficienti di regressione basandosi su una distribuzione target per il coefficiente di determinazione $R^2$.
   • Risultati: Confronto tra prior Gaussiani, Dirichlet-Laplace e Regularized Horseshoe. Il prior Regularized Horseshoe (più flessibile) è il più fedele alla distribuzione target di $R^2$, mentre il prior Gaussiano è più riproducibile ma meno fedele. Viene evidenziata la difficoltà di ottenere unicità per i parametri del rumore ($\sigma^2$).

3. Modello di Crescita Umana (Preece-Baines):

   • Scenario: Tradurre distribuzioni di altezza attese a diverse età in un prior per un modello di regressione non lineare.
   • Risultati: Confronto con il metodo di Hartmann et al. (2020). Il metodo proposto genera prior che stabilizzano il posterior (riducendo gli avvisi di convergenza in Stan) e sono più informativi. Viene mostrato come l'uso di target specifici per le covariate (età) porti a prior più plausibili rispetto a target indipendenti dalle covariate. Tuttavia, la non-unicità persiste a causa della rigidità del modello nel soddisfare contemporaneamente tutti i target.

5. Significato e Conclusioni

Il lavoro fornisce un ponte cruciale tra l'elicitazione esperta (spesso intuitiva e basata su quantità osservabili) e la specifica formale dei prior in modelli bayesiani complessi.

• Impatto Pratico: Permette ai ricercatori di utilizzare informazioni di dominio senza dover derivare analiticamente prior per parametri latenti inaccessibili.
• Limiti: Il metodo non garantisce la convergenza all'ottimo globale in tempo finito (tipico degli algoritmi di ottimizzazione globale) e la non-unicità rimane una sfida intrinseca quando le informazioni sugli osservabili sono insufficienti per identificare univocamente tutti i parametri.
• Futuro: L'approccio apre la strada a una specifica più rigorosa e riproducibile dei prior, riducendo la dipendenza da scelte arbitrarie o da prior "improprie" in modelli complessi.

In sintesi, Manderson e Goudie offrono un framework computazionale robusto per "invertire" il processo di predizione, trasformando la conoscenza sul futuro osservabile in conoscenza strutturata sui parametri del modello.