Dependent Dirichlet processes via thinning

1. Probleemstelling

Bij het analyseren van data uit meerdere bronnen (bijvoorbeeld patiënten uit verschillende ziekenhuizen of groepen onder verschillende behandelingen), bestaat een fundamenteel spanningsveld tussen twee doelen:

1. Het vastleggen van heterogeniteit: Elke groep kan unieke kenmerken hebben die niet gedeeld worden met andere groepen.
2. Het delen van informatie: Groepen kunnen onderliggende structuren delen, waardoor het nuttig is om informatie over te dragen om schattingen te verbeteren, vooral bij kleine steekproefgroottes.

Bestaande methoden voor afhankelijke niet-parametrische prioren (zoals het Hierarchical Dirichlet Process (HDP) of de Dependent Dirichlet Process (DDP) van MacEachern) hebben beperkingen:

• HDP: Deelt vaak alle atomen (clusters) over alle groepen, wat kan leiden tot overmatig "borrowing of information" (informatie overnemen) wanneer groepen eigenlijk verschillend zijn.
• Single-atom DDP: Behoudt een gemeenschappelijke set atomen voor alle groepen, maar varieert alleen de gewichten. Dit beperkt de flexibiliteit in het modelleren van groepsspecifieke atomen.
• GM-DDP (Griffiths-Milne): Onderscheidt tussen gedeelde en specifieke atomen, maar gebruikt een additieve structuur die minder flexibel is voor specifieke subsets van groepen.

Er is behoefte aan een model dat een evenwicht vindt: het kan zowel gedeelde als unieke atomen toestaan, waarbij de mate van afhankelijkheid en de specifieke subsets van gedeelde atomen flexibel kunnen worden ingesteld.

2. Methodologie: Het "Thinned-DDP"

De auteurs introduceren een nieuw raamwerk: de Thinned Dependent Dirichlet Process (thinned-DDP). Dit model is gebaseerd op een "verdunding" (thinning) mechanisme van de klassieke stick-breaking representatie van het Dirichlet Process (DP).

Kernconcepten:

• Ouderproces: Er begint met een gemeenschappelijk DP, $p$, gedefinieerd door atomen $\theta_j$ en stick-breaking variabelen $v_j \sim \text{Beta}(1, \alpha)$.
• Verdundingsvariabelen (Thinning Variables): Voor elke groep $g$ en elk atoom $j$ wordt een binaire variabele $\ell_{j,g} \in \{0, 1\}$ geïntroduceerd.
  • Als $\ell_{j,g} = 1$, wordt het atoom $\theta_j$ behouden voor groep $g$.
  • Als $\ell_{j,g} = 0$, wordt het atoom "weggegooid" (verdund) voor groep $g$.
• Constructie: De gewichten voor groep $g$ worden berekend door de originele stick-breaking variabelen te vermenigvuldigen met de verdundingsvariabelen:
  $$\omega_{j,g} = v_j \ell_{j,g} \prod_{h<j} (1 - v_h \ell_{h,g})$$
  Als $\ell_{j,g}=0$, wordt het gewicht 0 en wordt het atoom uit de verdeling van groep $g$ verwijderd. De resterende massa wordt herschaald om een geldige kansverdeling te behouden.

Priors voor Verdunding:
De auteurs bespreken twee specifieke prior-specificaties voor de sequenties $\ell_{j,g}$:

1. Bernoulli Thinning: Elke $\ell_{j,g}$ is onafhankelijk $\text{Bernoulli}(\pi_g)$. Dit staat toe dat atomen willekeurig worden gedeeld of niet, afhankelijk van de kans $\pi_g$.
2. Eventually Single-Atom Thinning: Hierbij worden de eerste $u_g-1$ atomen weggegooid en alle daaropvolgende atomen behouden. Dit creëert een geneste structuur waar groepen met hogere $u_g$ minder unieke atomen hebben en meer gemeenschappelijke atomen delen met andere groepen.

Mixture Model:
Voor continue data wordt een Gaussische mixturmodel voorgesteld waarbij de mengverdelingen $p_g$ volgen uit een thinned-DDP. De kernfunctie is een Gaussische verdeling en de basismaat $P_0$ is een Normal-Inverse Gamma verdeling.

3. Belangrijkste Bijdragen

1. Nieuwe Prior-structuur: De introductie van de thinned-DDP biedt een nieuwe manier om afhankelijke random probability measures te modelleren die zowel gedeelde als groepsspecifieke atomen toelaat, met de mogelijkheid om te specificeren welke groepen welke atomen delen (niet noodzakelijk allemaal).
2. Theoretische Eigenschappen:
   • Correlatie: De auteurs leiden een exacte uitdrukking af voor de correlatie tussen twee verdelingen $p_1$ en $p_2$, die afhangt van de overlap in de verdundingssequenties.
   • Ondersteuning (Support): Ze bewijzen dat het model volledige zwakke ondersteuning heeft op de ruimte van alle G-dimensionale vectoren van kansverdelingen, mits de prior voor de verdundingsvariabelen aan milde voorwaarden voldoet. Dit garandeert flexibiliteit.
   • Aantal clusters: Er worden grenzen afgeleid voor het verwachte aantal unieke clusters in de steekproef, die liggen tussen het geval van volledig samengevoegde data en volledig onafhankelijke data.
3. Efficiënte Inferentie: Door de constructie via stick-breaking kan een Blocked Gibbs Sampler worden ontwikkeld die voortbouwt op bestaande algoritmen voor het DP, maar nu expliciet de verdundingsvariabelen $\ell_{j,g}$ update. Dit maakt de berekening efficiënt en schaalbaar.
4. Vergelijking met State-of-the-Art: Het model wordt vergeleken met het Common Atoms Model (CAM) en de Griffiths-Milne DDP (GM-DDP).

4. Resultaten

Simulatiestudies:

• Vergelijking met Pooling: Het thinned-DDP presteert beter dan "complete pooling" (alle data samenvoegen) en "no pooling" (onafhankelijke modellen) in termen van het nauwkeurig schatten van de onderliggende verdelingen en het herkennen van clusters. Het vermijdt zowel onder- als overschatting van informatieoverdracht.
• Vergelijking met CAM en GM-DDP:
  • Bij kleine steekproefgroottes en heterogene populaties (veel groepen) presteert het thinned-DDP beter dan de GM-DDP, die moeite heeft met heterogeniteit door zijn additieve structuur.
  • Het thinned-DDP voorkomt "spurious modes" (schijnbare pieken in de dichtheid) die soms optreden bij het CAM wanneer groepen te sterk worden samengevoegd.
  • Het model levert nauwkeurigere dichtheidsschattingen (gemeten via Total Variation distance) en betrouwbaardere credible intervals.

Toepassing op Real Data (Collaborative Perinatal Project):

• Data: Geboorteduur van 2.313 vrouwen uit 12 verschillende ziekenhuizen.
• Resultaat: Het model identificeerde drie subpopulaties: vroeggeboorte, volledige termijn en post-termijn.
• Inzicht: Hoewel de meeste ziekenhuizen een vergelijkbare verdeling hadden, varieerde de verhouding van vroeggeboortes aanzienlijk. Het thinned-DDP slaagde erin om:
  1. De gemeenschappelijke structuur (de drie clusters) te delen.
  2. De groepsspecifieke gewichten en unieke atomen (uitbijters) correct te modelleren.
  3. Ziekenhuizen te clusteren op basis van de gelijkenis van hun dichtheidsverdelingen, wat resulteerde in twee betekenisvolle groepen van ziekenhuizen met verschillende profielen van vroeggeboortes.

5. Betekenis en Conclusie

De Thinned-DDP is een significante doorbraak in de Bayesiaanse niet-parametrische statistiek voor gegroepeerde data. Het lost het dilemma op tussen het volledig samenvoegen van data en het volledig scheiden ervan.

• Flexibiliteit: Het model kan complexe afhankelijkheidsstructuren modelleren waarbij groepen deels overlappen en deels uniek zijn, zonder de wiskundige complexiteit van eerdere methoden.
• Robuustheid: Het voorkomt overfitting en onderfitting door informatieoverdracht dynamisch aan te passen aan de data.
• Toepasbaarheid: De eenvoudige constructie maakt het mogelijk om bestaande computatietechnieken (Gibbs sampling) direct toe te passen, wat het een praktische keuze maakt voor complexe real-world datasets.

Kortom, dit artikel biedt een krachtig, theoretisch onderbouwd en computatieel efficiënt instrument voor onderzoekers die te maken hebben met heterogene data uit meerdere bronnen, zoals in de medische wetenschap, sociale wetenschappen en machine learning.