Bayesian Distance-to-Set Models: from Latent Variable to Latent Projection

Probleemstelling

Statistische modellen gaan er vaak van uit dat data gegenereerd worden in de buurt van een gestructureerde, gladde of laag-dimensionale verzameling (set). De traditionele aanpak hiervoor zijn Bayese latent variabele modellen. Hierbij wordt elke observatie geassocieerd met een latente coördinaat op deze verzameling, en worden de waargenomen data gemodelleerd als ruisige afwijkingen van deze coördinaten (bijvoorbeeld via een Gaussische verdeling).

Hoewel deze modellen intuïtief aantrekkelijk en populair zijn, brengen ze aanzienlijke praktische uitdagingen met zich mee voor posterior berekening:

1. Tractabiliteit: De marginale likelihood (na integratie over de latent variabeles) heeft vaak geen gesloten vorm.
2. Computatiekosten: Men is aangewezen op Data-Augmented Markov Chain Monte Carlo (MCMC) methoden die de gezamenlijke posterior van parameters en latent variabeles targeten.
3. Schaalbaarheid: De dimensie van de parameter-ruimte groeit lineair met de steekproefgrootte $n$ (door de toevoeging van $n$ latent variabeles). Dit leidt vaak tot langzame mixing van MCMC-algoritmes, vooral bij grote datasets, wat de kwaliteit van de schattingen beïnvloedt.

Bestaande oplossingen (zoals aangepaste MCMC, Laplace-benaderingen of variational inference) zijn vaak model-specifiek of afhankelijk van benaderingen die tot spurious inferentie kunnen leiden.

Methodologie: Distance-to-Set Modellen

De auteurs stellen een alternatieve aanpak voor: het vervangen van de "afwijking van een coördinaat" door een "afstand tot een verzameling".

Kernconcepten:

• Definitie: In plaats van een latente coördinaat $z_i$ te modelleren en $y_i = z_i + \epsilon_i$ te schrijven, wordt de likelihood direct gebaseerd op de afstand van een datapunt $y_i$ tot de verzameling $Z_\theta$:
  $$\text{dist}(y_i, Z_\theta) = \min_{z_i \in Z_\theta} \|y_i - z_i\|$$
• Likelihood: De likelihood wordt gegeven door een kernel-functie die afneemt naarmate de afstand toeneemt:
  $$L(y_i; \theta, \sigma) = \phi[\text{dist}(y_i, Z_\theta); \sigma]$$
  Waarbij $\phi$ vaak een Gaussische afstandskern is.
• Latente Projectie: De projectie $\hat{z}_i$ van $y_i$ op $Z_\theta$ (de minimizer van de afstand) wordt niet als een extra stochastische variabele gesampled, maar berekend via optimalisatie (bijv. soft-thresholding of convex projectie) voor een gegeven $\theta$.
• Generatief perspectief: Het model kan worden gezien als een generatief proces waarbij een projectie $\hat{z}_i$ wordt getrokken en de residu $\epsilon_i$ wordt beperkt tot de normale kegel (normal cone) van de verzameling op dat punt. Dit creëert een afhankelijke en beperkte structuur voor de ruis.

Belangrijke Eigenschappen:

1. Dimensiereductie: De ruimte van parameters en latent variabeles ($\Theta \times Z^n$) wordt teruggebracht tot alleen de parameter-ruimte ($\Theta$), omdat de projecties deterministisch worden berekend.
2. Onafhankelijkheid: Voor convexe verzamelingen onder Euclidische afstand is de afwijking (residu) onafhankelijk van de verschuivingsparameter (fixed effects), zelfs als de verschuiving niet-lineair is.
3. Occam's Razor Effect: De normaliseringsconstante $m_{\theta, \sigma}$ in de likelihood fungeert als een impliciete regularisatie. Grotere verzamelingen $Z_\theta$ leiden tot een grotere normaliseringsconstante, wat de posterior waarschijnlijkheid van overmatig complexe (grote) verzamelingen straft.

Berekening

De modellen zijn geschikt voor MCMC, maar zonder de noodzaak om latent variabeles te samplen:

• MCMC Strategie: Bij elke iteratie worden nieuwe parameters $(\theta', \sigma')$ voorgesteld. Vervolgens wordt een optimalisatie-subroutine uitgevoerd om de projecties $\hat{z}'_i$ te vinden en de afstanden te berekenen.
• Algoritmes: Voor lage dimensies werkt Metropolis-Hastings goed. Voor hogere dimensies worden gradient-based methoden zoals NUTS (No-U-Turn Sampler) of MH-Barker aanbevolen.
• Dualiteit: Het gebruik van convex-analyse (proximal operators) maakt het mogelijk om projecties en gradiënten efficiënt te berekenen, zelfs als er geen gesloten vorm bestaat.

Statistische Eigenschappen en Consistentie

De auteurs bewijzen posterior consistentie voor de herwinning van de set-parameter $\theta$.

• Ze stellen voldoende voorwaarden op (A1-A6) waaronder de posterior zich concentreert rond de ware parameter $\theta_0$.
• Een cruciaal onderdeel is de behandeling van de normaliseringsconstante, die zorgt voor een evenwicht tussen modelfit en complexiteit (set-grootte).
• De theorie is algemeen toepasbaar, zelfs als de data niet onafhankelijk zijn of als de afstand niet decomposeerbaar is over de datapunten.

Empirische Resultaten

De methode wordt getest in twee hoofdsituaties:

1. Multi-omgeving Studie (STAR Dataset):

• Doel: Het beoordelen van de generaliseerbaarheid van het effect van kleine klasgroottes op wiskundescores over verschillende scholen.
• Vergelijking: De Distance-to-Set (DTS) methode wordt vergeleken met gepoolde modellen, hiërarchische modellen, en sparsity-modellen (Horseshoe, Spike-and-Slab).
• Resultaten:
  • DTS levert een interpreteerbare parameter $r$ op die de mate van generaliseerbaarheid (afwijking van de globale trend) kwantificeert.
  • DTS presteert vergelijkbaar met de beste sparsity-modellen (Horseshoe/Spike-and-Slab) in termen van schatting van het globale effect en het identificeren van schoolspecifieke afwijkingen.
  • Snelheid: DTS is aanzienlijk sneller (factor 10-100) dan de sparsity-modellen omdat er geen sampling van duizenden latent variabeles nodig is.

2. Transfer Learning (CTR Voorspelling):

• Doel: Informatie overdragen van een grote bron-dataset (Source) naar een kleine doel-dataset (Target) voor het voorspellen van click-through rates.
• Probleem met bestaande methoden: Naïeve gezamenlijke modellen leiden tot "reverse transfer", waarbij ruisige doel-data de inferentie van de bronparameters verstoort.
• Oplossing: DTS modelleert de doel-coëfficiënten als een projectie binnen een ellipsoïde rond de bron-coëfficiënten.
• Resultaten:
  • DTS voorkomt reverse transfer: de bron-schatting blijft stabiel ongeacht de afwijking in de doel-data.
  • Het model past de overdracht selectief toe: bij kleine afwijkingen wordt sterk geleend van de bron; bij grote afwijkingen wordt de bron minder zwaar gewogen.
  • In voorspellingsprestaties (RMSE) overtreft DTS zowel OLS op alleen doel-data als Transfer-LASSO en vertoont de meest stabiele prestaties over verschillende splits.

Bijdrage en Significantie

Deze paper introduceert een fundamenteel nieuw perspectief op latent variabele modellen:

1. Paradigmaverschuiving: Van "sampling van latent coördinaten" naar "optimalisatie van projecties". Dit elimineert de hoge dimensie-problematiek van traditionele MCMC.
2. Tractabiliteit: Het biedt een manier om complexe geometrische structuren in data te modelleren met een marginale likelihood die direct berekenbaar is.
3. Interpretatie: De parameters (zoals de straal $r$) hebben een directe, fysieke interpretatie als maat voor variabiliteit of generaliseerbaarheid, in tegenstelling tot abstracte variantie-componenten.
4. Robuustheid: De methode is zeer robuust tegen "reverse transfer" in transfer learning scenario's, wat een veelvoorkomend probleem is in bestaande Bayese benaderingen.

Kortom, de auteurs tonen aan dat het integreren van optimalisatie in de likelihood een krachtige, schaalbare en interpreteerbare alternatief biedt voor klassieke latent variabele modellen, met name in situaties met grote datasets of complexe transfer learning taken.