Technische Samenvatting: Positief-definite eigenschap in separabele priors

Probleemstelling

In de Bayesiaanse statistiek worden priors voor symmetrische positief-definiete (PD) matrices, zoals covariantie-, precisie- of correlatiematrices, vaak geconstrueerd door uit te gaan van onafhankelijke elementen en vervolgens de gezamenlijke verdeling te trunceren tot de ruimte van PD-matrices. Deze klasse van priors, aangeduid als PD-separabel ($p^+$), wordt gedefinieerd als $p^+(\Theta) = p(\Theta)I(\Theta \succ 0) / c$, waarbij $p(\Theta)$ een separabele prior is met onafhankelijke elementen, $I(\cdot)$ de indicatorfunctie is voor positief-definite eigenschap, en $c = P_p(\Theta \succ 0)$ de normalisatieconstante is.

Hoewel conceptueel eenvoudig en computationeel handig (wat posterior-sampling en schatting van modi via gestraalde likelihood-methoden vergemakkelijkt), betogen de auteurs dat deze constructie aanzienlijke problemen met betrekking tot interpreteerbaarheid met zich meebrengt. Specifiek kan de truncatie onbedoelde gevolgen hebben:

1. Marginaal Distortie: De marginale verdelingen van de elementen onder $p^+$ ($\pi^+_{ij}$) kunnen significant afwijken van de niet-getruncateerde marginaalverdelingen ($\pi_{ij}$), waardoor de prior-voorkeuren over variantie en sparsiteit worden gewijzigd.
2. Schrinkings Eigenschappen: De truncatie kan het schrinkingsgedrag drastisch veranderen, wat mogelijk leidt tot een inflatie van diagonale elementen of een agressievere schinking van niet-diagonale elementen naar nul dan beoogd.
3. Bias in Sparsiteitsinference: In sparsere situaties (bijvoorbeeld grafische modellen) hangt de truncatiekans $c_z$ af van het sparsiteitspatroon. Dit zorgt ervoor dat de geïnduceerde prior op sparsiteitsstructuren, $p^+(z) \propto c_z p(z)$, systematisch de voorkeur geeft aan sparsere modellen vergeleken met de beoogde prior $p(z)$, wat mogelijk leidt tot een bias in de posterior-inference.

Methodologie

Het artikel maakt gebruik van een combinatie van probabilistische grenzen, theorie van willekeurige matrices (specifiek Wigner-matrixtheorie) en analyse van getruncateerde verdelingen om het gedrag van $p^+$ en zijn marginaalverdelingen te karakteriseren.

1. Karakterisering van Truncatie-effecten:

   • De auteurs relateren de Totale Variatie (TV) afstand en de Kullback-Leibler (KL) divergentie tussen de getruncateerde ($p^+$) en niet-getruncateerde ($p$) verdelingen direct aan de normalisatieconstante $c$.
   • Zij leiden uitdrukkingen af voor de marginale dichtheid $\pi^+_{ij}$ in termen van de niet-getruncateerde dichtheid $\pi_{ij}$ en de voorwaardelijke kans $c_{ij}(\theta_{ij}) = P_p(\Theta \succ 0 | \theta_{ij})$.
   • Zij stellen vast dat hoewel $c \to 1$ impliceert dat $p^+ \to p$, de marginaalverdelingen dicht bij elkaar kunnen blijven zelfs als $c$ klein is, mits de voorwaardelijke kansen $c_{ij}$ relatief stabiel zijn.

2. Beheersen van de Normalisatieconstante ($c$):

   • Het artikel leidt grenzen af voor $c$ gebaseerd op de relatie tussen diagonale elementen ($\theta_{ii}$) en niet-diagonale elementen ($\theta_{ij}$). Een voldoende voorwaarde voor $\Theta \succ 0$ is $\theta_{ii} > \sum_{j \neq i} |\theta_{ij}|$.
   • Met behulp van Wigner-matrixtheorie analyseren de auteurs het asymptotische gedrag van de minimum eigenwaarde $\lambda_{\min}(\Theta)$ naarmate de dimensie $k \to \infty$. Zij stellen voorwaarden vast voor de verhouding tussen het diagonale gemiddelde ($\mu$) en de standaardafwijking van de niet-diagonale elementen ($\sigma$) en de dimensie $k$ die garanderen dat $c \to 1$.
   • Specifiek geldt voor vaste diagonalen dat $c \to 1$ als $\mu / (\sigma \sqrt{k}) > 2$. Voor stochastische diagonalen (bijvoorbeeld Exponentieel) zijn strengere voorwaarden voor $\sigma$ ten opzichte van $k$ vereist.

3. Sparsere Situaties:

   • De auteurs breiden de analyse uit tot sparsere matrices waarbij $\theta_{ij} = 0$ met een positieve waarschijnlijkheid. Zij definiëren $c_z = P_p(\Theta \succ 0 | Z=z)$, de waarschijnlijkheid van positief-definite eigenschap gegeven een specifiek sparsiteitspatroon $z$.
   • Zij bewijzen dat $c_z$ een afnemende functie is van de dichtheid van $z$ (aantal niet-nul elementen) en de variantie van de niet-diagonale elementen $\sigma^2$.
   • Met behulp van concentratieongelijkheden en theorie van willekeurige matrices leiden zij ondergrenzen af voor $c_z$ die afhankelijk zijn van het maximale rijgraad $d_z$ van het sparsiteitspatroon.

Belangrijkste Bijdragen en Resultaten

1. Kwantificeren van de Afstand tussen $p$ en $p^+$

Het artikel biedt expliciete grenzen die aantonen dat de TV- en KL-afstanden tussen $p^+$ en $p$ functies zijn van $c$.

• Propositie 1: $TV(p^+, p) = 1 - c$ en $KL(p^+ || p) = -\log c$.
• Propositie 4: Zelfs als $c \to 0$ (wat betekent dat de gezamenlijke verdelingen ver uit elkaar liggen), kan de gemiddelde marginale afstand nog steeds verdwijnen als $-\log c = o(k^2)$ (voor niet-diagonale elementen) of $o(k)$ (voor diagonale elementen). Dit impliceert dat zorgvuldige parameterselectie de interpreteerbaarheid van de marginaalverdelingen kan behouden, zelfs als de gezamenlijke truncatiekans laag is.

2. Voorwaarden voor $c \approx 1$

De auteurs bieden precieze asymptotische voorwaarden om te garanderen dat $c$ dicht bij 1 ligt, waardoor de prior interpreteerbaar wordt:

• Vaste Diagonaal: Als $\theta_{ii} = \mu$, dan geldt $c \to 1$ als $\liminf_{k \to \infty} \frac{\mu}{\sigma \sqrt{k}} > 2$. Als de verhouding $< 2$ is, geldt $c \to 0$.
• Stochastische Diagonaal: Als $\theta_{ii} \sim \text{Exp}(\lambda)$, dan is de voorwaarde strenger: $\sigma$ moet $o(k^{-3/2})$ zijn voor $c \to 1$, vergeleken met $o(k^{-1/2})$ voor vaste diagonalen.
• Algemene Schaal Families: $c$ is strikt afnemend in de schaalparameter van de niet-diagonale elementen $\sigma$.

3. Impact op Sparsiteitsinference

Het artikel demonstreert dat in sparsere grafische modellen de truncatie een bias introduceert richting sparsere structuren:

• Propositie 7: De verwachte minimum eigenwaarde $\lambda_{\min}(\Theta)$ neemt af naarmate het sparsiteitspatroon $z$ dichter wordt. Bijgevolg neemt $c_z$ af naarmate het aantal niet-nul elementen toeneemt.
• Corollarium 3 & Theorema 3: De auteurs leiden ondergrenzen af voor $c_z$ die de maximale graad $d_z$ bevatten. Voor vaste diagonalen geldt $c_z \ge 1 - 2k e^{-\mu^2 / (2\sigma^2 d_z)}$.
• Implicatie: Als de prior-variantie $\sigma^2$ niet zorgvuldig wordt ingesteld (specifiek, als $\sigma$ te groot is ten opzichte van $\mu$ en $d_z$), wordt $c_z$ klein voor dichte structuren. Dit zorgt ervoor dat de geïnduceerde prior $p^+(z) \propto c_z p(z)$ aanzienlijk meer massa toewijst aan sparsere modellen dan de oorspronkelijke prior $p(z)$, wat mogelijk leidt tot een over-selectie van sparsere grafen in de posterior-inference.

4. Richtlijnen voor Parameterselectie

Het artikel biedt praktische richtlijnen voor het instellen van prior-hyperparameters om deze effecten te mitigeren:

• Variantiebeheersing: De variantie van de niet-diagonale elementen $\sigma^2$ moet voldoende klein zijn ten opzichte van het diagonale gemiddelde $\mu$ en de matrixdimensie (of sparsiteitsgraad).
• Diagonaalverdeling: Het gebruik van diagonaalverdelingen met lichtere staarten nabij nul (bijvoorbeeld Gamma of Inverse-Gamma) in plaats van Exponentieel kan de beperkingen op $\sigma$ verlichten die nodig zijn om $c \approx 1$ te houden.
• Re-parameterisatie: De auteurs suggereren $\Theta = D^{1/2} \tilde{\Theta} D^{1/2}$ te parameteriseren en een PD-separabele prior te plaatsen op $\tilde{\Theta}$ (dat partiële correlaties bevat), wat mogelijk betere interpreteerbaarheid en schaal-invariantie biedt.

Betekenis en Claims

Het artikel claimt dat hoewel PD-separabele priors populair zijn vanwege hun computationele handigheid, hun interpreteerbaarheid vaak wordt aangetast tenzij parameters met strikte aandacht voor de matrixdimensie en de sparsiteitsstructuur worden ingesteld.

• Interpreteerbaarheid: De auteurs betogen dat zonder te garanderen dat $c \approx 1$ (of dat marginaalverdelingen dicht bij elkaar blijven), de hyperparameters van de prior niet de beoogde overtuigingen over het data-genererende proces weerspiegelen (bijvoorbeeld variantie of sparsiteitsproportie).
• Sparsiteitsleren: Een kritieke bijdrage is de demonstratie dat truncatie systematisch een bias introduceert in sparsiteitsinference. Het artikel toont aan dat tenzij $\sigma$ op de juiste manier wordt geschaald met $k$ en het sparsiteitsniveau, de posterior wordt gedreven door het truncatie-artefact in plaats van de data of de beoogde prior $p(z)$.
• Praktische Richtlijnen: Het artikel biedt de eerste strikte asymptotische voorwaarden (met inbegrip van Wigner-matrixlimieten) voor het instellen van de variantie van niet-diagonale elementen in hoge-dimensionale sparsere situaties om te garanderen dat de prior zich gedraagt zoals bedoeld. Het suggereert dat standaardkeuzes (zoals vaste $\sigma$ of Exponentiële diagonalen) kunnen leiden tot pathologisch gedrag in hoge dimensies en stelt specifieke schaalwetten voor (bijvoorbeeld $\sigma = o(k^{-1/2})$ voor vaste diagonalen) om deze te vermijden.

De auteurs concluderen dat zorgvuldige parameterisatie essentieel is om te garanderen dat de "separabele" aanname een geldige benadering blijft van de prior-overtuigingen nadat de positief-definite beperking is afgedwongen.