Bayesian Semiparametric Multivariate Density Regression with Coordinate-Wise Predictor Selection

Probleemstelling

Het artikel adresseert het probleem van het schatten van de gezamenlijke dichtheid (joint density) van een meervoudige continue responsvariabele in aanwezigheid van categorische covariaten. De uitdagingen zijn tweeledig:

1. Flexibiliteit en Complexiteit: Traditionele methoden missen vaak de flexibiliteit om complexe, niet-Gaussische verdelingen en afhankelijke structuren tussen responsvariabelen te modelleren.
2. Koördinaatspecifieke Invloed: Verschillende componenten van de respons kunnen beïnvloed worden door verschillende subsets van covariaten. Een volledig gestratificeerde aanpak (waarbij voor elke combinatie van covariaten-niveaus een aparte verdeling wordt geschat) is vaak onhaalbaar vanwege de "curse of dimensionality" (bijvoorbeeld in de NHANES dataset: $2 \times 6 \times 7 \times 6 = 504$ mogelijke combinaties).
3. Informatie Delen: Er is een behoefte aan een methode die informatie deelt tussen coördinaten en covariatencombinaties om schattingen te verbeteren, zonder de specifieke variabiliteit per component te verliezen.

Methodologie: Het "Flower" Model

De auteurs stellen een flexibel Bayesiaans raamwerk voor, genaamd het "Flower" model. Dit model combineert mixturmengsels, copula's en tensorfactorisatie op een unieke manier.

1. Copula-structuur voor Gezamenlijke Dichtheid:
De gezamenlijke dichtheid wordt gemodelleerd met behulp van een Gaussische copula. Dit scheidt de modellering van de marginale verdelingen van de afhankelijke structuur tussen de coördinaten.
$$f_{x|c}(x_i; c_i) = C(x_i) \prod_{\ell=1}^d f_{x_\ell|c}(x_{\ell,i}; c_i)$$
Waarbij $C(\cdot)$ de copula-dichtheid is en $f_{x_\ell|c}$ de marginale verdeling voor coördinaat $\ell$.

2. Marginale Verdelingen (Gedeelde Atomen):
Elke marginale verdeling wordt gemodelleerd als een eindige mixtuur van afgeknipte normale verdelingen (truncated normal distributions).

• Gedeelde Atomen: De kernparameters (middelpunten $\mu_k$ en varianties $\sigma^2_k$) worden gedeeld over alle coördinaten. Dit bevordert parsimonie en het "lenen van kracht" (borrowing of strength) tussen responsvariabelen.
• Covariaten-afhankelijke Gewichten: De mixtuurgewichten variëren afhankelijk van de covariaten.

3. Tensorfactorisatie en Variabele Selectie (De "Bloeiende Bloem"):
Het kerninnovatieve onderdeel is de modellering van de mixtuurgewichten via een hiërarchische structuur gebaseerd op Tucker-tensorfactorisatie en random partition modellen.

• Eerste Laag (Covariaten Aggregatie): Voor elke coördinaat $\ell$ en elke covariabele $h$ wordt een partitie $s_{\ell,h}$ ingesteld die de oorspronkelijke niveaus van de covariabele aggregeert in clusters. Als een covariabele geen invloed heeft op een specifieke responscoördinaat, worden alle niveaus in één cluster gegroepeerd ($K_{\ell,h}=1$). Dit realiseert coördinaatspecifieke variabele selectie.
• Tweede Laag (Gecombineerde Partities): De gecombineerde niveaus uit de eerste laag worden verder gegroepeerd via een tweede partitie $s^*_\ell$. Dit creëert een kernvector in plaats van een complexe kern-tensor, wat de schaalbaarheid verbetert.
• Visualisatie: De auteurs vergelijken de evolutie van de clusters met een "knopende bloem" (budding flower), waarbij nieuwe clusters dynamisch worden toegevoegd aan de geheugenallocatie naarmate ze in de MCMC-sampling ontstaan.

4. Posterior Berekening (MCMC):
Om de computationele uitdagingen van een dergelijk complex model op te lossen, ontwikkelen de auteurs een efficiënt Markov Chain Monte Carlo (MCMC) algoritme:

• Geheugenbeheer: In plaats van een vaste, enorme tensor te gebruiken, wordt het geheugen dynamisch toegewezen. Het algoritme begint met één cluster en voegt alleen nieuwe "slices" toe aan de tweede laag wanneer nieuwe clusters in de eerste laag ontstaan. De geheugenvraag schaalt dus met het aantal actieve clusters, niet met het totale aantal covariaten-niveaus.
• Iteratieve Update: Het algoritme gebruikt een pseudo-likelihood benadering voor de marginale parameters (ignorering van de copula) gevolgd door een exacte update voor de copulaparameters om mixing te verbeteren.
• Geen Trans-dimensionale Sprongen: Door een vaste maximale grootte voor de kernvector aan te nemen, worden kostbare trans-dimensionale M-H stappen (zoals bij RJMCMC) vermeden.

Belangrijkste Bijdragen

1. Coördinaatspecifieke Variabele Selectie: Het model kan automatisch identificeren welke covariaten invloed hebben op welke specifieke responscoördinaat, en welke niveaus binnen die covariaten vergelijkbare effecten hebben.
2. Schaalbaarheid: Door de dynamische geheugenallocatie en het vermijden van trans-dimensionale moves, kan het model schalen naar datasets met veel covariaten en niveaus, wat eerder een beperkende factor was bij tensorgebaseerde methoden.
3. Flexibele Multivariate Modellering: De combinatie van gedeelde atomen (voor parsimonie), copula's (voor afhankelijkheid) en semiparametrische mixturen (voor vormflexibiliteit) biedt een krachtig alternatief voor bestaande lineaire of parametrische methoden.
4. Toepasbaarheid op Real-World Data: De methode is succesvol toegepast op complexe NHANES-voedingsdata, waar traditionele methoden tekortschieten.

Resultaten

1. Simulatiestudies:
Het model werd vergeleken met bestaande methoden (PYMM, BoxCoxTree, MCTM) in twee scenario's:

• Prestatie: Het "Flower" model presteerde consistent het best in termen van Integrated Squared Error (ISE) voor het schatten van de marginale dichtheden, zowel in eenvoudige als complexe (hoge dimensie) scenario's.
• Structuurherkenning: Het model behaalde de hoogste Adjusted Rand Index (ARI) bij het herkennen van de ware partitie-structuur van de covariaten. Het slaagde erin om de juiste subsets van invloedrijke covariaten per coördinaat te identificeren, zelfs bij grote datasets.

2. Toepassing op NHANES Data:
De methode werd toegepast op voedingsinname-data (6 componenten: o.a. groenten, eiwitten, vetzuren) van 6.307 deelnemers, met covariaten geslacht, ras, leeftijd en inkomen.

• Inzicht: Het model onthulde dat leeftijd de enige covariabele is die invloed heeft op alle zes voedingscomponenten, maar dat de specifieke leeftijdsgroeperingen per component verschillen.
• Selectiviteit: Geslacht bleek alleen invloedrijk voor vier componenten (o.a. totaal eiwit, natrium), terwijl ras invloed had op drie componenten. Inkomen had slechts een beperkte rol.
• Verdelingsverschillen: De analyse toonde aan dat verschillende demografische groepen vergelijkbare gemiddelden kunnen hebben, maar fundamenteel verschillende verdelingsvormen (bijv. modale verschuivingen of spreiding). Bijvoorbeeld, Aziatische peuters vertoonden vergelijkbare groente-inname als niet-Aziatische kinderen van 1-10 jaar, terwijl er grote verschillen waren in verzadigd vetinname tussen Aziatische en niet-Aziatische mannen.

Betekenis en Conclusie

Dit artikel introduceert een doorbraak in de Bayesiaanse semiparametrische regressie voor multivariate dichtheden. De "Flower" methode lost het dilemma op tussen modelflexibiliteit en computationele haalbaarheid bij het werken met categorische covariaten.

De belangrijkste wetenschappelijke impact ligt in de mogelijkheid om subpopulaties te identificeren die gedeelde voedingspatronen vertonen, zonder de data te hoeven reduceren tot simpele gemiddelden of starre categorieën. Dit biedt epidemiologen en beleidsmakers een robuust instrument om gerichte voedingsinterventies te ontwerpen op basis van gedetailleerde verdelingskennis, in plaats van alleen op gemiddelde waarden. De methode is bovendien schaalbaar en toepasbaar op andere domeinen waar multivariate responsvariabelen en complexe covariatenstructuren voorkomen.