Synthetic Priors

Titolo: Synthetic Priors (Priors Sintetici)

Autori: Nick Polson (Booth School of Business, University of Chicago) e Vadim Sokolov (George Mason University).
Data: Prima stesura del 3 marzo 2026.

1. Il Problema: L'Elicitazione dei Prior nei Modelli Lineari Generalizzati (GLM)

L'inferenza bayesiana nei modelli lineari generalizzati (GLM), in particolare nella regressione logistica, richiede la specificazione di un prior sul vettore dei coefficienti $\beta$. Tuttavia, nella pratica, gli esperti di dominio ragionano naturalmente sulle probabilità di risposta a specifici valori delle covariate (es. tassi di risposta al placebo, probabilità di default, click-through rate), non sui parametri log-odds astratti ($\beta$).
Specificare un prior direttamente sulla scala dei parametri naturali è cognitivamente difficile e sensibile alla riparametrizzazione. Il metodo tradizionale di Bedrick et al. [1996] (prior delle medie condizionali, o BCJ) risolve parzialmente questo problema elicitando prior Beta sulle medie condizionali, ma la connessione teorica con i dati e l'efficienza computazionale possono essere ulteriormente ottimizzate.

2. Metodologia: Priors Sintetici e il Dispositivo di Good

Il paper introduce i "Priors Sintetici", una classe di prior informativi per GLM basata sul "dispositivo delle osservazioni immaginarie" di Good [1950]. Il principio fondamentale è che ogni prior coniugato è equivalente alla verosimiglianza di un insieme di dati pseudo-sintetici provenienti dalla stessa famiglia esponenziale.

Meccanismo Principale (Prior BCJ)

1. Elicitazione: Si scelgono $p$ punti di design $\tilde{x}_1, \dots, \tilde{x}_p$ nello spazio delle covariate.
2. Prior sulle Medie: Si assegnano prior indipendenti Beta$(a_j, b_j)$ alle medie condizionali $\tilde{\mu}_j = \sigma(\tilde{x}_j^\top \beta)$, dove $\sigma$ è la funzione logistica.
3. Interpretazione Sintetica: Questa specifica equivale a trattare le credenze dell'esperto come se fossero il risultato di un esperimento ipotetico precedente con $n_j = a_j + b_j$ osservazioni al punto di design $\tilde{x}_j$, con $a_j$ successi.
4. Aggiornamento Bayesiano: La posterior diventa la verosimiglianza del dataset reale combinato con il dataset sintetico (reale + pseudo-osservazioni).

Inferenza Computazionale: Pólya-Gamma

Per rendere l'inferenza esatta e priva di tuning, gli autori combinano il prior sintetico con l'augmentation dei dati Pólya-Gamma (Polson et al., 2013):

• L'augmentation trasforma la verosimiglianza logistica in un modello condizionalmente Gaussiano.
• Il dataset aumentato (reale + sintetico) viene trattato come una regressione logistica standard.
• Algoritmo: Un campionatore Gibbs coniugato esatto che alterna:
  1. Campionamento delle variabili latenti Pólya-Gamma.
  2. Campionamento dei coefficienti $\beta$ da una distribuzione Normale.
• Vantaggio: Non sono necessari passi di Metropolis-Hastings, né tuning di parametri. Le osservazioni sintetiche entrano nel campionatore esattamente come quelle reali, con un peso determinato dalle dimensioni del campione prior ($n_j$).

3. Contributi Chiave

Il paper apporta quattro contributi teorici e pratici principali:

1. Fondazione Teorica: Identifica il dispositivo di Good come la base unificante per i prior sintetici. Dimostra che sia la regressione Ridge (nel caso Gaussiano) che il prior BCJ (nel caso Logistico) sono istanze dello stesso principio: l'aggiunta di osservazioni immaginarie.
2. Efficienza Computazionale: Mostra che l'uso del prior BCJ con l'augmentation Pólya-Gamma permette un campionatore Gibbs coniugato esatto, eliminando la necessità di metodi MCMC approssimati o complessi.
3. Unificazione Concettuale: Colloca la regressione Ridge, i prior BCJ, i "Catalytic Priors" (Huang et al., 2020) e l'inferenza potenziata dalle previsioni (PPI, Angelopoulos et al., 2023) in una gerarchia comune. Tutti questi metodi mediano un compromesso varianza-bias tramite un singolo parametro di informatività.
4. Validazione Empirica: Dimostra l'efficacia dell'approccio su due casi studio reali e simulati.

4. Risultati e Applicazioni

A. Dati degli O-ring dello Shuttle Challenger

• Contesto: Previsione del fallimento degli O-ring in funzione della temperatura di lancio (23 osservazioni storiche).
• Applicazione: Utilizzo di un prior BCJ con due punti di ancoraggio: 31°F (giorno del lancio, freddo estremo) e 81°F (caldo).
• Risultati:
  • Il prior "piatto" (flat) porta a una posterior predittiva estrema a 31°F (98.8% di probabilità di fallimento, intervallo di credibilità [89%, 100%]).
  • Il prior BCJ, ancorando la credenza ingegneristica a un 80% di fallimento a 31°F, modera la stima (87.3%, IC [62%, 99%]).
  • Il prior sintetico riduce significativamente l'incertezza (intervalli di credibilità più stretti) a temperature intermedie, vincolando la pendenza della curva di rischio in modo più realistico rispetto al prior piatto.

B. Sperimentazione Clinica di Fase II (Dermatite Atopica)

• Contesto: Simulazione di un trial di dose-finding per un inibitore IL (n=300 pazienti).
• Applicazione: Prior BCJ a due punti basato su dati di trial di Fase III esistenti (placebo al 10%, dose massima al 30%).
• Risultati:
  • Precisione: Gli intervalli di credibilità al 95% si restringono del 3-6% rispetto al prior piatto.
  • Decisioni: Le probabilità di decisione (es. probabilità che la risposta superi il placebo di >5%) aumentano fino a 2 punti percentuali per le dosi efficaci.
  • Robustezza: Nonostante la specificazione del modello (logistica lineare vs processo generatore Emax) introduca un bias di specificazione, il prior sintetico migliora l'efficienza senza alterare significativamente le stime medie rispetto al prior piatto.

5. Significato e Implicazioni

• Accessibilità: I prior sintetici rendono l'inferenza bayesiana accessibile agli esperti di dominio, permettendo loro di esprimere conoscenze in termini di probabilità osservabili (scale naturali) piuttosto che in termini di parametri logistici astratti.
• Unificazione Statistica: Il lavoro collega elegantemente tecniche di regolarizzazione classica (Ridge), metodi bayesiani moderni (BCJ, Catalytic Priors) e approcci frequentisti avanzati (PPI), mostrando che tutti gestiscono il trade-off varianza-bias attraverso l'aggiunta ponderata di dati ausiliari.
• Limiti e Validità: A differenza dell'inferenza potenziata dalle previsioni (PPI), i prior sintetici non offrono garanzie di validità frequentista se le credenze dell'esperto sono errate (es. se il tasso di placebo reale è molto diverso da quello elicito). Tuttavia, la sensibilità può essere valutata standardmente variando la dimensione del campione sintetico ($n_j$).
• Estensibilità: Il framework è generalizzabile a modelli multinomiali, logit ordinati e può essere adattato a contesti di trial sequenziali, dove i dati intermedi aggiornano dinamicamente il prior sintetico.

In sintesi, il paper propone un metodo robusto e computazionalmente efficiente per integrare la conoscenza esperta nell'inferenza bayesiana per GLM, trasformando l'elicita delle credenze in un problema di aggiunta di dati sintetici gestibile con algoritmi standard.