A General Framework for Cutting Feedback within Modularised Bayesian Inference

1. Il Problema

L'inferenza bayesiana standard è uno strumento potente che combina informazioni da diverse fonti in un unico modello. Tuttavia, questa approccio presuppone che l'intero modello sia correttamente specificato. Nella pratica, specialmente con processi generativi complessi, è frequente che alcune parti del modello siano mal specificate (misspecified) o che alcune osservazioni siano meno affidabili di altre.
Se un componente del modello è errato, l'inferenza bayesiana standard permette a tale errore di "contaminare" l'intera distribuzione a posteriori, influenzando negativamente la stima di tutti i parametri, anche quelli associati a parti del modello affidabili.
Le soluzioni esistenti (come likelihood temperate o distribuzioni a code pesanti) mitigano il problema ma non isolano completamente l'errore. L'inferenza tagliata (cut inference) è un approccio modulare che mira a "tagliare" il feedback dalle parti sospette del modello verso quelle affidabili, ma le definizioni e i metodi esistenti erano limitati a casi semplici a due moduli, senza una generalizzazione chiara per strutture complesse.

2. Metodologia

Gli autori propongono un quadro formale generale per l'inferenza tagliata all'interno di modelli bayesiani la cui distribuzione congiunta soddisfa la proprietà di fattorizzazione di Markov rispetto a un Grafo Diretto Aciclico (DAG).

A. Definizione del "Modulo"

Il contributo fondamentale è la definizione formale di "Modulo Bayesiano Autonomo" (Self-contained Bayesian Module):

• Un modulo è definito in relazione a un sottoinsieme di variabili osservabili di interesse $X^*$.
• Include i parametri associati ($\Theta_{X^*}$) e le osservabili associate ($X_{X^*}$) necessari per inferire il processo generativo di $X^*$ senza dipendere da informazioni esterne al modulo stesso.
• Viene introdotta una Regola 1 per costruire automaticamente questi moduli partendo da una partizione delle osservabili, espandendo l'insieme fino a includere tutti gli antenati necessari nel DAG.

B. Ordinamento dei Moduli e Taglio del Feedback

Per gestire l'influenza tra moduli, gli autori definiscono un ordinamento genitore-figlio:

• Regola 2: Determina se un modulo è genitore o figlio in base alle connessioni dirette nel DAG. Se un modulo sospetto è un "figlio", il suo feedback verso il "genitore" (affidabile) deve essere tagliato.
• Distribuzione Tagliata (Cut Distribution):
  • Per il modulo genitore, si utilizza la distribuzione a posteriori standard calcolata solo sui dati di quel modulo (ignorando i dati del figlio).
  • Per il modulo figlio, si utilizza un'inferenza bayesiana autonoma condizionata: si stima il figlio condizionando sui parametri già stimati dal genitore, ma senza permettere al figlio di aggiornare la stima del genitore.
• Giustificazione Teorica: La distribuzione tagliata proposta è dimostrata essere la migliore approssimazione (in termini di divergenza di Kullback-Leibler) della distribuzione congiunta che soddisfa la condizione di taglio del feedback.

C. Estensione a Multi-Moduli (Tecnica di Scissione Sequenziale)

Il paper supera il limite dei casi a due moduli introducendo una tecnica di scissione sequenziale:

• Un modello complesso viene scomposto in più di due moduli iterativamente.
• Si parte da una partizione delle osservabili, si formano i moduli, si determina l'ordinamento (Regola 5 per 3 moduli, Regola 6 per $N$ moduli) e si aggiorna il grafo di ordinamento dei moduli.
• Questo permette di costruire una distribuzione tagliata per grafi con qualsiasi numero di moduli, gestendo strutture gerarchiche complesse dove alcuni moduli possono essere sospetti e altri no.

3. Risultati Chiave

1. Definizione Formale: Viene fornita una definizione rigorosa di "modulo" basata sulle variabili osservabili e sulla struttura del DAG, risolvendo l'ambiguità presente nella letteratura precedente.
2. Algoritmo Generalizzato: Viene presentato l'Algoritmo 1, che descrive come partizionare le osservabili, costruire i moduli, determinare l'ordinamento e calcolare la distribuzione tagliata per un numero arbitrario di moduli.
3. Riduzione del Bias (Simulazioni):
   • Nel caso di un modello di regressione longitudinale con mal specificazione della funzione di link, l'inferenza bayesiana standard produce un bias sistematico che si accumula nel tempo.
   • L'inferenza tagliata, isolando la mal specificazione, riduce drasticamente questo bias, mantenendo le stime centrati sul valore vero (in media), anche se a costo di una varianza leggermente superiore quando il modello è corretto.
4. Applicazioni Pratiche:
   • Attribuzione della fonte Salmonella: Viene mostrato come applicare il taglio per risolvere problemi di identificabilità tra parametri, isolando la stima delle proporzioni relative (modulo affidabile) dalla stima dell'esposizione (modulo con potenziali errori).
   • Validazione Esterna: Nel caso di studio epidemiologico, si dimostra come usare dati di validazione esterna (più affidabili) per informare i parametri di un modello principale, tagliando il feedback dai dati meno affidabili del principale verso i parametri di validazione.

4. Significato e Impatto

Questo lavoro rappresenta un avanzamento teorico e pratico significativo nell'inferenza bayesiana robusta:

• Generalizzazione: Trasforma l'inferenza tagliata da una tecnica specifica per casi a due moduli a un framework generale applicabile a qualsiasi struttura di modello rappresentabile con un DAG.
• Gestione della Mal Specificazione: Offre una soluzione strutturata per situazioni in cui non è possibile allocare la stessa fiducia a tutte le parti del modello, permettendo di "confinare" l'incertezza o l'errore.
• Fondamento Teorico: La dimostrazione che la distribuzione tagliata minimizza la divergenza KL rispetto alla distribuzione congiunta vincolata fornisce una solida giustificazione matematica all'uso di questo approccio, che è spesso considerato euristico.
• Implicazioni per l'Algoritmo: Fornisce le basi per lo sviluppo di nuovi algoritmi di campionamento (MCMC) capaci di gestire strutture modulari complesse, superando i limiti degli strumenti attuali (come WinBUGS) che non supportano nativamente le distribuzioni tagliate.

In sintesi, Liu e Goudie forniscono gli strumenti concettuali e algoritmici necessari per applicare l'inferenza bayesiana modulare in scenari reali complessi, dove la fiducia nei dati e nei modelli è eterogenea.