Adaptive Nonparametric Perturbations of Parametric Models with Generalized Bayes

1. Il Problema

L'inferenza bayesiana parametrica offre un potente strumento per incorporare conoscenze scientifiche e ipotesi nei modelli di machine learning, garantendo efficienza nei dati e interpretabilità. Tuttavia, un modello parametrico è per definizione un'approssimazione della realtà e può essere erroneamente specificato (misspecification).
Quando il modello parametrico non riesce a descrivere la vera distribuzione dei dati ($p_0$), l'inferenza sul funzionale di interesse (ad esempio, un effetto causale o una statistica riassuntiva) può diventare inaffidabile, poiché la distribuzione a posteriori non può convergere alla verità se la vera distribuzione non appartiene allo spazio supportato dal modello.
La sfida principale è sviluppare un approccio che sia:

1. Robusto: In grado di fornire inferenze corrette anche se il modello parametrico è sbagliato.
2. Efficiente: In grado di sfruttare la velocità di convergenza parametrica ($1/\sqrt{n}$) quando il modello è corretto, senza sacrificare l'efficienza.
3. Computazionalmente fattibile: Evitare i costi proibitivi dell'inferenza su modelli non parametrici completi o il calcolo di fattori di Bayes non parametrici.

2. Metodologia Proposta

Gli autori introducono una nuova classe di correzioni semiparametriche basate su due livelli concettuali: il Modello Parametrico Perturbato Non Parametricamente (NPP) e la sua approssimazione computazionale tramite Bayes Generalizzato (gNPP).

A. Il Modello NPP (Approccio Teorico)

L'idea di base è combinare un modello parametrico con un componente non parametrico attraverso un prior "spike-and-slab" sulla distribuzione dei dati:

• Con probabilità $\eta$, i dati provengono dal modello parametrico $p_\theta$.
• Con probabilità $1-\eta$, i dati provengono da una distribuzione non parametrica perturbata $\tilde{p}$, centrata su $p_\theta$ ma con supporto su tutto lo spazio delle distribuzioni.
• Il peso $\eta_n$ viene adattato dinamicamente in base ai dati tramite un Fattore di Bayes che confronta la verosimiglianza marginale del modello parametrico con quella non parametrica.

Proprietà Teoriche dell'NPP:

• Se il modello è corretto: Il fattore di Bayes favorisce il modello parametrico (rasoio di Occam bayesiano), e l'inferenza converge alla velocità parametrica ottimale ($1/\sqrt{n}$).
• Se il modello è errato: Il fattore di Bayes favorisce il componente non parametrico, garantendo che l'inferenza converga comunque alla verità asintoticamente (robustezza).

B. L'Approssimazione gNPP (Approccio Pratico)

Il calcolo dell'NPP completo è spesso intrattabile perché richiede l'inferenza su un modello non parametrico e il calcolo di fattori di Bayes marginali complessi. Gli autori propongono il gNPP (generalized NPP) per aggirare questi ostacoli:

1. Fattore di Bayes Generalizzato (gBF): Sostituisce il fattore di Bayes standard (basato sulla verosimiglianza marginale) con un fattore basato su divergenze statistiche (es. Wasserstein, MMD, KSD).

   • Invece di confrontare due modelli, il gBF valuta quanto bene il modello parametrico si adatta ai dati misurando la discrepanza tra la distribuzione predittiva a posteriori e i dati osservati.
   • Formula: $gbf_n \propto \frac{E[d_n(p_\theta, p_0)]}{E[d_n(p_\theta, p_0) | x_{1:n}](n+1)^{-r}}$, dove $d$ è una divergenza e $r$ è un iperparametro di tasso.
   • Questo evita il calcolo della verosimiglianza marginale e non richiede un modello non parametrico esplicito per il confronto.

2. Posteriore Non Parametrico Semiparametrico: Invece di usare un modello non parametrico completo (che è costoso), il componente di "backup" utilizza un modello semiparametrico (es. BART - Bayesian Additive Regression Trees) progettato specificamente per stimare in modo coerente il funzionale target $\psi(p_0)$, anche se non riesce a descrivere l'intera distribuzione dei dati.

3. Posteriore Finale: La distribuzione a posteriori gNPP è una miscela adattiva:
   $$\hat{\Pi}(\psi(p) | x_{1:n}) = \hat{\eta}_n \Pi_{pm}(\psi(p_\theta) | x_{1:n}) + (1 - \hat{\eta}_n) \hat{\Pi}_{pert}(\psi(p) | x_{1:n})$$
   dove $\hat{\eta}_n$ è derivato dal gBF.

3. Contributi Chiave

1. Nuova Classe di Correzioni Semiparametriche: Introduzione di un framework che unisce l'efficienza dei modelli parametrici con la robustezza dei modelli non parametrici, garantendo teoricamente la convergenza alla verità in entrambi gli scenari (modello corretto o errato).
2. Fattore di Bayes Generalizzato basato su Divergenze: Sviluppo di un metodo computazionalmente efficiente per valutare la specificazione del modello senza calcolare verosimiglianze marginali non parametriche, utilizzando divergenze come Wasserstein, MMD e KSD.
3. Analisi Asintotica Rigorosa: Dimostrazione che il gNPP eredita le proprietà di:
   • Robustezza: Convergenza al vero funzionale $\psi(p_0)$ anche in caso di misspecificazione.
   • Efficienza: Convergenza alla velocità parametrica $1/\sqrt{n}$ quando il modello è corretto (Teorema di Bernstein-von Mises semiparametrico).
4. Applicazione alla Causalità: Implementazione pratica per la stima degli effetti causali in dati di sequenziamento RNA a cellula singola (scRNA-seq), un dominio dove i modelli parametrici sono spesso inadeguati a causa della complessità biologica.

4. Risultati

• Simulazioni Sintetiche:

  • In scenari ben specificati, il gNPP mostra la stessa rapida convergenza del modello parametrico puro.
  • In scenari di misspecificazione, il gNPP converge alla verità, mentre il modello parametrico puro fallisce.
  • Il gNPP mantiene una corretta calibrazione delle intervalli di credibilità (copertura frequentista) anche quando il modello parametrico è errato, a differenza del modello parametrico puro che diventa miscalibrato.
  • L'uso di diverse divergenze (MMD, KSD, Wasserstein) dimostra la flessibilità del metodo.

• Studio di Caso: Genetica (Ovaio e FOXP3):

  • Applicazione a dati scRNA-seq di pazienti con cancro ovarico per stimare l'effetto causale dell'espressione genica di FOXP3 su geni target (GZMH, GZMK, NKG7).
  • Il modello parametrico lineare ha mostrato una bassa capacità esplicativa ($R^2$ basso) e deviazioni dalla normalità.
  • Il gNPP ha adattato dinamicamente il peso: ha dato più peso al modello non parametrico (BART) quando il modello parametrico era chiaramente errato (es. per NKG7), correggendo le conclusioni biologiche potenzialmente fuorvianti.
  • Ha dimostrato di essere più robusto e affidabile rispetto all'uso esclusivo di modelli parametrici o non parametrici puri.

5. Significato e Implicazioni

Questo lavoro offre un ponte cruciale tra l'inferenza bayesiana classica (efficiente ma fragile) e l'apprendimento automatico non parametrico (robusto ma costoso e talvolta inefficiente).

• Praticità: Permette ai ricercatori di utilizzare modelli parametrici basati su conoscenze di dominio (es. modelli lineari per la biologia) senza temere che una lieve misspecificazione distrugga l'inferenza.
• Scalabilità: Evitando il calcolo di fattori di Bayes non parametrici completi, il metodo è scalabile a dataset di grandi dimensioni, rendendo l'inferenza robusta accessibile in contesti reali come la medicina di precisione.
• Flessibilità: Il framework è generale e non limitato alla causalità; può essere applicato a qualsiasi problema di inferenza funzionale dove la specificazione del modello è incerta.

In sintesi, il paper propone una soluzione elegante ed efficiente per rendere l'inferenza bayesiana "a prova di errore di modello", garantendo che le conclusioni scientifiche rimangano valide anche quando le ipotesi semplificatrici iniziali non sono perfettamente corrette.