Bayesian Distance-to-Set Models: from Latent Variable to Latent Projection

1. Il Problema

I modelli statistici tradizionali, in particolare i modelli a variabili latenti bayesiani, assumono spesso che i dati siano generati vicino a un insieme strutturato, liscio o a bassa dimensionalità. In questi modelli, ogni osservazione $y_i$ è associata a una coordinata latente $z_i$ su un insieme $Z_\theta$, e i dati osservati sono modellati come deviazioni rumorose da queste coordinate (es. $y_i = z_i + \epsilon_i$).

Sebbene intuitivi, questi modelli presentano sfide computazionali significative:

• Complessità del calcolo posteriore: L'integrale marginale della verosimiglianza non ha spesso una forma chiusa.
• Mixing lento negli MCMC: Gli algoritmi di Markov Chain Monte Carlo (MCMC) che campionano congiuntamente i parametri $\theta$ e le variabili latenti $z$ soffrono di un mixing lento, specialmente quando la dimensione dello spazio latente cresce con la dimensione del campione $n$.
• Dimensionalità: Lo spazio congiunto $\Theta \times Z^n$ diventa ad alta dimensionalità, rendendo l'inferenza inefficiente.

2. Metodologia: Il Modello "Distance-to-Set" (DTS)

Gli autori propongono un approccio alternativo che sostituisce il concetto di "deviazione da una coordinata latente" con quello di "distanza da un insieme".

Concetto Fondamentale

Invece di campionare una coordinata latente $z_i$ e aggiungere un errore, il modello definisce la verosimiglianza direttamente in funzione della distanza tra il punto dati $y_i$ e l'insieme latente $Z_\theta$:
$$\text{dist}(y_i, Z_\theta) = \min_{z_i \in Z_\theta} \|y_i - z_i\|$$
La verosimiglianza è data da un kernel di distanza (tipicamente Gaussiano):
$$L(y_i; \theta, \sigma) \propto \exp\left(-\frac{\text{dist}^2(y_i, Z_\theta)}{\sigma}\right)$$

Meccanismo di Proiezione

• Proiezione Latente ($\hat{z}_i$): Il punto che minimizza la distanza, $\hat{z}_i = \text{argmin}_{z \in Z_\theta} \|y_i - z\|$, è calcolato tramite ottimizzazione (spesso in forma chiusa o tramite algoritmi efficienti come il soft-thresholding per norme $\ell_1$).
• Eliminazione delle Variabili Latenti: Non è necessario campionare $\hat{z}_i$ come variabile latente aggiuntiva. Esso è una variabile ausiliaria deterministica (data $\theta$) che funge da rappresentazione a bassa dimensionalità.
• Vantaggio Computazionale: Questo approccio riduce drasticamente la dimensionalità dello spazio dei parametri, eliminando la necessità di un'espansione dei dati (data augmentation) che include $n$ variabili latenti.

Proprietà Statistiche Chiave

1. Indipendenza tra Parametri e Deviazione: Per insiemi convessi sotto la norma euclidea, la deviazione residua (il vettore che giace nel cono normale all'insieme) è indipendente dal parametro di spostamento dell'insieme (es. gli effetti fissi $\beta$). Questo semplifica l'inferenza.
2. Regolarizzazione Implicita (Rasoio di Occam): Il termine di normalizzazione della verosimiglianza ($m_{\theta, \sigma}$) agisce come un regolarizzatore naturale. Insiemi $Z_\theta$ più grandi tendono ad avere una densità di probabilità marginale inferiore a causa dell'aumento dell'area/volume delle superfici di livello, penalizzando automaticamente l'overfitting senza bisogno di penalità esplicite.
3. Coerenza Posteriore: Gli autori dimostrano teoricamente che il modello è coerente per la recovering del parametro dell'insieme $\theta$, anche in scenari non i.i.d., sotto condizioni di regolarità appropriate.

3. Contributi Principali

• Nuovo Paradigma di Modellazione: Spostamento dalla modellazione delle coordinate latenti alla modellazione della distanza geometrica dall'insieme.
• Efficienza Computazionale: Sostituzione del campionamento MCMC ad alta dimensionalità con un'ottimizzazione deterministica per la proiezione, rendendo l'inferenza scalabile per grandi dataset.
• Interpretabilità Geometrica: La proiezione $\hat{z}_i$ fornisce una rappresentazione interpretabile dei dati sullo spazio latente, con incertezza derivata dalla distribuzione posteriore di $\theta$.
• Gestione dell'Incertezza nel Transfer Learning: Il modello permette di trasferire informazioni da un dominio sorgente a uno target senza contaminare l'inferenza sul dominio sorgente (evitando il "reverse transfer"), un problema comune nei modelli gerarchici congiunti.

4. Risultati Sperimentali

Gli autori hanno validato il modello attraverso simulazioni e applicazioni reali:

A. Studio Multi-Ambiente (Dataset STAR)

• Contesto: Analisi dell'effetto della dimensione della classe scolastica su diversi istituti (STAR dataset).
• Obiettivo: Quantificare la generalizzabilità dell'effetto del trattamento tra scuole diverse.
• Risultati:
  • Il modello DTS ha identificato efficacemente la sparsità delle deviazioni specifiche per scuola (molti $\delta_s \approx 0$).
  • Ha fornito stime più stabili rispetto ai modelli gerarchici standard e ha evitato la sovrastima della varianza.
  • Tempo di calcolo: Il modello DTS è stato significativamente più veloce (circa 10-100x) rispetto ai modelli Horseshoe e Spike-and-Slab, pur mantenendo prestazioni predittive competitive (RMSE simile).

B. Transfer Learning (CTR Prediction)

• Contesto: Previsione del tasso di click-through (CTR) per una campagna pubblicitaria target (pochi dati) utilizzando dati da una campagna sorgente (molti dati).
• Problema: Evitare che il rumore dei dati target distorca l'inferenza sui parametri della sorgente.
• Risultati:
  • Il modello DTS ha mostrato una capacità selettiva di trasferire informazioni: ha adattato i coefficienti basandosi sui dati target solo quando necessario, mantenendo la stabilità dei parametri sorgente.
  • Ha ottenuto il RMSE medio più basso (0.580) e la varianza più bassa tra le diverse fold di cross-validazione, superando sia l'OLS solo sul target che il Transfer-LASSO.
  • A differenza dei modelli congiunti naive, il modello DTS è immune alla distorsione dei parametri sorgente causata dai dati target rumorosi.

5. Significato e Implicazioni

Questo lavoro rappresenta un avanzamento significativo nell'inferenza bayesiana per modelli strutturati:

1. Superamento dei Colli di Bottiglia Computazionali: Offre una via d'uscita pratica dai problemi di mixing lento degli MCMC nei modelli a variabili latenti, rendendo fattibile l'analisi di grandi dataset con strutture complesse.
2. Unione di Ottimizzazione e Statistica: Integra nativamente l'ottimizzazione (calcolo della proiezione) all'interno della funzione di verosimiglianza, sfruttando la dualità e la teoria degli insiemi convessi.
3. Robustezza nel Transfer Learning: Fornisce un framework teorico solido per il transfer learning che gestisce l'incertezza in modo rigoroso, evitando le trappole dei modelli gerarchici semplici quando i domini sorgente e target non sono perfettamente allineati.
4. Generalità: Il framework è applicabile a vari tipi di strutture (sfere, poli, varietà) e può essere esteso a kernel di distanza non euclidei o non convessi.

In sintesi, il modello "Distance-to-Set" mantiene l'interpretabilità e la flessibilità dei modelli a variabili latenti tradizionali, ma risolve i loro principali limiti computazionali e statistici attraverso una riformulazione geometrica basata sulla proiezione e sulla distanza.