Total robustness in Bayesian Nonlinear Regression

1. Il Problema e il Contesto

L'analisi di regressione moderna è spesso compromessa da tre minacce ubiquitarie che, se combinate, rendono i metodi esistenti inefficaci:

1. Errore di misurazione delle covariate (ME): I valori osservati delle variabili esplicative ($W$) sono versioni rumorose dei veri valori latenti ($X$). Il paper considera sia l'errore classico ($W = X + N$) che quello di Berkson ($X = W + N$).
2. Misspecificazione del modello di regressione: La funzione di regressione reale $g_0(\cdot)$ non appartiene alla famiglia parametrica scelta dall'analista $\{g(\cdot, \theta)\}$.
3. Misspecificazione della distribuzione dell'errore di misurazione: La distribuzione assunta per il rumore di misurazione ($F_N$) non corrisponde alla realtà.

La letteratura esistente tende a proteggere contro uno solo di questi fattori o richiede assunzioni restrittive (es. conoscenza della distribuzione dell'errore o dati replicati). L'obiettivo di questo lavoro è raggiungere la "robustezza totale", ovvero un framework che sia simultaneamente robusto a tutte e tre le fonti di bias in modelli di regressione non lineari generali.

2. Metodologia Proposta

Gli autori introducono un framework di apprendimento non parametrico bayesiano (Bayesian NPL) basato su due pilastri fondamentali:

A. Priori su Distribuzioni Congiunte e Dirichlet Process (DP)

Invece di modellare separatamente le distribuzioni marginali o condizionare solo sulle covariate osservate, il framework posiziona un prior di Dirichlet Process (DP) direttamente sulla distribuzione congiunta latente $(X, Y)$.

• Prior: $P_{XY|w} \sim DP(c, Q_{XY,i})$, dove $Q_{XY,i}$ è una misura di centraggio che incorpora conoscenze a priori su $X$ e $Y$.
• Aggiornamento: Il DP viene aggiornato utilizzando pseudo-campioni delle covariate latenti $\tilde{X}$, ottenuti tramite un processo di inferenza che tiene conto sia delle osservazioni rumorose $W$ che delle risposte $Y$.

B. Minimizzazione della Divergenza MMD (Maximum Mean Discrepancy)

L'inferenza non si basa sulla massimizzazione della verosimiglianza (che richiederebbe una specificazione corretta del modello), ma sulla minimizzazione della distanza MMD tra:

1. La distribuzione congiunta stimata dal DP (aggiornata con i pseudo-campioni).
2. La distribuzione congiunta indotta dal modello parametrico di lavoro $g(\cdot, \theta)$ e dalla distribuzione del rumore.

L'obiettivo è trovare $\hat{\theta}$ che minimizzi:
$$\hat{\theta}_n = \arg \min_{\theta \in \Theta} \text{MMD}_k \left( \frac{1}{n}\sum P^{DP}_{XY|w_i}, \left(\frac{1}{n}\sum P^{DP}_{X|w_i}\right) P_{g(X,\theta)} \right)$$

C. Campionamento dei Pseudo-dati (Pseudo-sampling)

Un aspetto cruciale è la generazione dei valori latenti $\tilde{X}$. Gli autori dimostrano che campionare $X$ solo da $W$ (ignorando $Y$) rompe la struttura di dipendenza regressiva e porta a stime inconsistenti.

• Soluzione: Utilizzano un approccio Posterior Bootstrap che combina:
  1. Hamiltonian Monte Carlo (HMC): Per campionare dai parametri $\theta$ e dalle distribuzioni predittive posteriori di $X$ date le osservazioni $(W, Y)$.
  2. MMD minimization: Per adattare i parametri del modello parametrico alla distribuzione non parametrica aggiornata.

3. Contributi Chiave

1. Primo framework di robustezza totale: È il primo approccio bayesiano non parametrico che affronta simultaneamente errore di misurazione, misspecificazione del modello di regressione e misspecificazione della distribuzione dell'errore.
2. Garanzie Teoriche:
   • Limiti di Generalizzazione: Vengono derivati limiti superiori per l'errore di eccesso di rischio, decomponendo l'errore in tre componenti: fluttuazione statistica, discrepanza prior-dati e discrepanza dei pseudo-campioni.
   • Consistenza: Viene fornita una prima prova di consistenza e convergenza degli stimatori sotto errore di misurazione non degenere, anche in presenza di misspecificazione.
3. Implementazione Efficiente: Un'implementazione basata su gradienti (tramite Adam) e HMC permette un calcolo efficiente. Il metodo utilizza un "Posterior Bootstrap" per approssimare la distribuzione a posteriori indotta dalla perdita MMD.
4. Analisi Comparativa: Dimostrano teoricamente e empiricamente che i metodi esistenti (come Robust-MEM di Dellaporta e Damoulas, 2026) falliscono quando l'errore di misurazione è grande perché ignorano la dipendenza tra $X$ e $Y$ durante l'aggiornamento del prior.

4. Risultati Sperimentali

Gli autori hanno testato il metodo (NPL-HMC) su simulazioni sintetiche e due studi su dati reali, confrontandolo con metodi bayesiani robusti, frequentisti e approcci NLS (Non-Linear Least Squares).

• Simulazioni (Modello Sigmoidale):
  • In presenza di errori di misurazione crescenti e contaminazione dei dati (outliers), NPL-HMC mantiene un errore quadratico medio (RMSE) stabile e basso.
  • I metodi concorrenti (incluso Robust-MEM) degradano significativamente all'aumentare dell'errore di misurazione, mostrando che la loro assunzione di ignorare la risposta $Y$ durante il campionamento di $X$ è patologica in scenari di alta incertezza.
• Dati Reali 1 (LIDAR - Errore di Berkson):
  • Analizzando dati di distanza LIDAR con covariate raggruppate (Berkson), NPL-HMC mostra una maggiore stabilità rispetto a NLS e SIMEX quando i dati di risposta vengono contaminati.
• Dati Reali 2 (Curve di Engel - Errore Classico):
  • Nell'analisi delle curve di Engel (spesa alimentare vs reddito), il metodo proposto produce stime dei parametri molto più stabili al variare del rapporto di varianza dell'errore ($\rho$) rispetto a SIMEX, che mostra una variabilità elevata.

5. Significato e Impatto

Questo lavoro colma un divario teorico e pratico significativo nella statistica robusta.

• Teorico: Fornisce le basi per la consistenza degli stimatori in scenari complessi dove sia il modello che i dati sono imperfetti, superando le limitazioni delle equazioni di stima corrette tradizionali.
• Pratico: Offre uno strumento affidabile per settori critici come l'econometria, la biomedicina e gli studi ambientali, dove le covariate sono spesso misurate con errore e i modelli lineari o parametrici semplici sono inadeguati.
• Flessibilità: Il framework permette agli utenti di bilanciare la forza del prior e di scegliere se utilizzare il campionamento dei pseudo-dati (più costoso computazionalmente ma più accurato) o una variante semplificata, adattandosi alla scala dell'errore di misurazione.

In sintesi, il paper propone un approccio unificato che utilizza l'apprendimento non parametrico bayesiano e la divergenza MMD per "disaccoppiare" l'incertezza dell'errore di misurazione dalla misspecificazione del modello, garantendo inferenze robuste anche in condizioni di dati estremamente imperfetti.