Riepilogo Tecnico: Definitezza positiva in prior separabili

Enunciato del Problema

Nella statistica bayesiana, le prior per matrici simmetriche definite positive (PD), come matrici di covarianza, precisione o correlazione, sono spesso costruite assumendo voci indipendenti e successivamente troncando la distribuzione congiunta allo spazio delle matrici PD. Questa classe di prior, denominata PD-separabile ($p^+$), è definita come $p^+(\Theta) = p(\Theta)I(\Theta \succ 0) / c$, dove $p(\Theta)$ è una prior separabile con voci indipendenti, $I(\cdot)$ è la funzione indicatrice per la definitezza positiva e $c = P_p(\Theta \succ 0)$ è la costante di normalizzazione.

Sebbene concettualmente semplici e computazionalmente convenienti (facilitando il campionamento dal posteriore e la stima della moda tramite metodi di verosimiglianza penalizzata), gli autori sostengono che tale costruzione soffra di significativi problemi di interpretabilità. Nello specifico, il troncamento può indurre conseguenze non intenzionali:

1. Distorsione Marginale: Le distribuzioni marginali delle voci sotto $p^+$ ($\pi^+_{ij}$) possono differire significativamente dalle marginali non troncata ($\pi_{ij}$), alterando le credenze a priori su varianza e sparsità.
2. Proprietà di Contrazione: Il troncamento può alterare drasticamente il comportamento di contrazione, potenzialmente gonfiando le voci diagonali o contraendo le voci fuori diagonale verso zero in modo più aggressivo del previsto.
3. Bias nell'Inferenza Sparsa: In contesti sparsi (ad esempio, modelli grafici), la probabilità di troncamento $c_z$ dipende dal pattern di sparsità. Ciò fa sì che la prior indotta sulle strutture di sparsità, $p^+(z) \propto c_z p(z)$, favorisca sistematicamente modelli più sparsi rispetto alla prior intenzionale $p(z)$, potenzialmente introducendo un bias nell'inferenza posteriore.

Metodologia

Il documento utilizza una combinazione di limiti probabilistici, teoria delle matrici casuali (in particolare la teoria delle matrici di Wigner) e analisi delle distribuzioni troncate per caratterizzare il comportamento di $p^+$ e delle sue marginali.

1. Caratterizzazione degli Effetti del Troncamento:

   • Gli autori relazionano la distanza di Variazione Totale (TV) e la divergenza di Kullback-Leibler (KL) tra le distribuzioni troncate ($p^+$) e non troncate ($p$) direttamente alla costante di normalizzazione $c$.
   • Derivano espressioni per la densità marginale $\pi^+_{ij}$ in termini della densità non troncata $\pi_{ij}$ e della probabilità condizionata $c_{ij}(\theta_{ij}) = P_p(\Theta \succ 0 | \theta_{ij})$.
   • Stabiliscono che, mentre $c \to 1$ implica $p^+ \to p$, le marginali possono rimanere vicine anche se $c$ è piccolo, a condizione che le probabilità condizionate $c_{ij}$ siano relativamente stabili.

2. Controllo della Costante di Normalizzazione ($c$):

   • Il documento deriva limiti per $c$ basati sulla relazione tra voci diagonali ($\theta_{ii}$) e voci fuori diagonale ($\theta_{ij}$). Una condizione sufficiente per $\Theta \succ 0$ è $\theta_{ii} > \sum_{j \neq i} |\theta_{ij}|$.
   • Utilizzando la teoria delle matrici di Wigner, gli autori analizzano il comportamento asintotico del minimo autovalore $\lambda_{\min}(\Theta)$ al tendere della dimensione $k \to \infty$. Stabiliscono condizioni sul rapporto tra la media diagonale ($\mu$) e la deviazione standard fuori diagonale ($\sigma$) e sulla dimensione $k$ che garantiscono $c \to 1$.
   • Nello specifico, per diagonali fisse, $c \to 1$ se $\mu / (\sigma \sqrt{k}) > 2$. Per diagonali stocastiche (ad esempio, Esponenziale), sono richieste condizioni più stringenti su $\sigma$ rispetto a $k$.

3. Contesti Sparsi:

   • Gli autori estendono l'analisi a matrici sparse dove $\theta_{ij} = 0$ con probabilità positiva. Definiscono $c_z = P_p(\Theta \succ 0 | Z=z)$, la probabilità di definitezza positiva dato un specifico pattern di sparsità $z$.
   • Dimostrano che $c_z$ è una funzione decrescente della densità di $z$ (numero di voci non nulle) e della varianza fuori diagonale $\sigma^2$.
   • Utilizzando disuguaglianze di concentrazione e la teoria delle matrici casuali, derivano limiti inferiori per $c_z$ che dipendono dal grado massimo di riga $d_z$ del pattern di sparsità.

Contributi e Risultati Chiave

1. Quantificazione della Distanza tra $p$ e $p^+$

Il documento fornisce limiti espliciti che mostrano come le distanze TV e KL tra $p^+$ e $p$ siano funzioni di $c$.

• Proposizione 1: $TV(p^+, p) = 1 - c$ e $KL(p^+ || p) = -\log c$.
• Proposizione 4: Anche se $c \to 0$ (il che significa che le distribuzioni congiunte sono lontane), la distanza marginale media può ancora annullarsi se $-\log c = o(k^2)$ (per le voci fuori diagonale) o $o(k)$ (per le voci diagonali). Ciò implica che una selezione attenta dei parametri può preservare l'interpretabilità marginale anche se la probabilità di troncamento congiunta è bassa.

2. Condizioni per $c \approx 1$

Gli autori forniscono condizioni asintotiche precise per garantire che $c$ sia vicino a 1, rendendo così la prior interpretabile:

• Diagonale Fissa: Se $\theta_{ii} = \mu$, allora $c \to 1$ se $\liminf_{k \to \infty} \frac{\mu}{\sigma \sqrt{k}} > 2$. Se il rapporto è $< 2$, $c \to 0$.
• Diagonale Stocastica: Se $\theta_{ii} \sim \text{Exp}(\lambda)$, la condizione è più stringente: $\sigma$ deve essere $o(k^{-3/2})$ affinché $c \to 1$, rispetto a $o(k^{-1/2})$ per le diagonali fisse.
• Famiglie di Scala Generali: $c$ è strettamente decrescente nel parametro di scala fuori diagonale $\sigma$.

3. Impatto sull'Inferenza Sparsa

Il documento dimostra che nei modelli grafici sparsi, il troncamento introduce un bias verso strutture più sparse:

• Proposizione 7: Il minimo autovalore atteso $\lambda_{\min}(\Theta)$ diminuisce man mano che il pattern di sparsità $z$ diventa più denso. Di conseguenza, $c_z$ diminuisce all'aumentare del numero di voci non nulle.
• Corollario 3 e Teorema 3: Gli autori derivano limiti inferiori per $c_z$ che coinvolgono il grado massimo $d_z$. Per diagonali fisse, $c_z \ge 1 - 2k e^{-\mu^2 / (2\sigma^2 d_z)}$.
• Implicazione: Se la varianza a priori $\sigma^2$ non è impostata con cura (in particolare, se $\sigma$ è troppo grande rispetto a $\mu$ e $d_z$), $c_z$ diventa piccolo per strutture dense. Ciò fa sì che la prior indotta $p^+(z) \propto c_z p(z)$ assegni una massa significativamente maggiore ai modelli sparsi rispetto alla prior originale $p(z)$, potenzialmente portando a una sovraselezione di grafi sparsi nell'inferenza posteriore.

4. Linee Guida per la Selezione dei Parametri

Il documento offre linee guida pratiche per impostare gli iperparametri a priori per mitigare questi effetti:

• Controllo della Varianza: La varianza fuori diagonale $\sigma^2$ deve essere sufficientemente piccola rispetto alla media diagonale $\mu$ e alla dimensione della matrice (o al grado di sparsità).
• Distribuzione Diagonale: L'uso di distribuzioni diagonali con code più leggere vicino a zero (ad esempio, Gamma o Inversa-Gamma) invece dell'Esponenziale può rilassare i vincoli su $\sigma$ necessari per mantenere $c \approx 1$.
• Riparametrizzazione: Gli autori suggeriscono di parametrizzare $\Theta = D^{1/2} \tilde{\Theta} D^{1/2}$ e di porre una prior PD-separabile su $\tilde{\Theta}$ (contenente le correlazioni parziali), il che potrebbe offrire una migliore interpretabilità e invarianza di scala.

Significato e Affermazioni

Il documento afferma che, sebbene le prior PD-separabili siano popolari per la loro convenienza computazionale, la loro interpretabilità è spesso compromessa a meno che i parametri non siano impostati con rigorosa attenzione alla dimensione della matrice e alla struttura di sparsità.

• Interpretabilità: Gli autori sostengono che, senza garantire $c \approx 1$ (o che le marginali rimangano vicine), gli iperparametri della prior non riflettono le credenze intenzionali sul processo generatore dei dati (ad esempio, varianza o proporzione di sparsità).
• Apprendimento Sparsa: Un contributo critico è la dimostrazione che il troncamento introduce sistematicamente un bias nell'inferenza sparsa. Il documento mostra che, a meno che $\sigma$ non sia scalato appropriatamente con $k$ e il livello di sparsità, il posteriore sarà guidato dall'artefatto di troncamento piuttosto che dai dati o dalla prior intenzionale $p(z)$.
• Guida Pratica: Il documento fornisce le prime condizioni asintotiche rigorose (che coinvolgono i limiti delle matrici di Wigner) per impostare la varianza fuori diagonale in contesti sparsi ad alta dimensionalità, al fine di garantire che la prior si comporti come previsto. Suggerisce che scelte standard (come $\sigma$ fisso o diagonali Esponenziali) possono portare a comportamenti patologici in alta dimensionalità e propone leggi di scala specifiche (ad esempio, $\sigma = o(k^{-1/2})$ per diagonali fisse) per evitarli.

Gli autori concludono che una parametrizzazione attenta è essenziale per garantire che l'assunzione "separabile" rimanga un'approssimazione valida delle credenze a priori dopo l'imposizione del vincolo di definitezza positiva.