Resumo Técnico: Positividade-definida em priores separáveis

Declaração do Problema

Na estatística bayesiana, priores para matrizes simétricas positivas-definidas (PD), como matrizes de covariância, precisão ou correlação, são frequentemente construídos assumindo entradas independentes e, subsequentemente, truncando a distribuição conjunta para o espaço de matrizes PD. Esta classe de priores, denominada PD-separável ($p^+$), é definida como $p^+(\Theta) = p(\Theta)I(\Theta \succ 0) / c$, onde $p(\Theta)$ é um prior separável com entradas independentes, $I(\cdot)$ é a função indicadora de positividade-definida, e $c = P_p(\Theta \succ 0)$ é a constante de normalização.

Embora conceitualmente simples e computacionalmente conveniente (facilitando a amostragem posterior e a estimação de modos via métodos de verossimilhança penalizada), os autores argumentam que essa construção sofre de problemas significativos de interpretabilidade. Especificamente, o truncamento pode induzir consequências não intencionais:

1. Distorção Marginal: As distribuições marginais das entradas sob $p^+$ ($\pi^+_{ij}$) podem diferir significativamente das marginais não truncadas ($\pi_{ij}$), alterando crenças prévias sobre variância e esparsidade.
2. Propriedades de Contração: O truncamento pode alterar drasticamente o comportamento de contração, potencialmente inflando entradas diagonais ou contraindo entradas fora da diagonal em direção a zero de forma mais agressiva do que o pretendido.
3. Viés na Inferência Esparsa: Em configurações esparsas (por exemplo, modelos gráficos), a probabilidade de truncamento $c_z$ depende do padrão de esparsidade. Isso faz com que o prior induzido sobre estruturas de esparsidade, $p^+(z) \propto c_z p(z)$, favoreça sistematicamente modelos mais esparsos em comparação com o prior pretendido $p(z)$, potencialmente enviesando a inferência posterior.

Metodologia

O artigo emprega uma combinação de limites probabilísticos, teoria de matrizes aleatórias (especificamente a teoria de matrizes de Wigner) e análise de distribuições truncadas para caracterizar o comportamento de $p^+$ e suas marginais.

1. Caracterização dos Efeitos de Truncamento:

   • Os autores relacionam a distância de Variação Total (TV) e a divergência de Kullback-Leibler (KL) entre as distribuições truncada ($p^+$) e não truncada ($p$) diretamente à constante de normalização $c$.
   • Eles derivam expressões para a densidade marginal $\pi^+_{ij}$ em termos da densidade não truncada $\pi_{ij}$ e da probabilidade condicional $c_{ij}(\theta_{ij}) = P_p(\Theta \succ 0 | \theta_{ij})$.
   • Eles estabelecem que, embora $c \to 1$ implique $p^+ \to p$, as marginais podem permanecer próximas mesmo se $c$ for pequeno, desde que as probabilidades condicionais $c_{ij}$ sejam relativamente estáveis.

2. Controle da Constante de Normalização ($c$):

   • O artigo deriva limites para $c$ baseados na relação entre entradas diagonais ($\theta_{ii}$) e entradas fora da diagonal ($\theta_{ij}$). Uma condição suficiente para $\Theta \succ 0$ é $\theta_{ii} > \sum_{j \neq i} |\theta_{ij}|$.
   • Usando a teoria de matrizes de Wigner, os autores analisam o comportamento assintótico do menor autovalor $\lambda_{\min}(\Theta)$ à medida que a dimensão $k \to \infty$. Eles estabelecem condições sobre a razão entre a média diagonal ($\mu$) e o desvio padrão fora da diagonal ($\sigma$) e a dimensão $k$ que garantem $c \to 1$.
   • Especificamente, para diagonais fixas, $c \to 1$ se $\mu / (\sigma \sqrt{k}) > 2$. Para diagonais estocásticas (por exemplo, Exponencial), condições mais estritas sobre $\sigma$ em relação a $k$ são necessárias.

3. Configurações Esparsas:

   • Os autores estendem a análise para matrizes esparsas onde $\theta_{ij} = 0$ com probabilidade positiva. Eles definem $c_z = P_p(\Theta \succ 0 | Z=z)$, a probabilidade de positividade-definida dado um padrão de esparsidade específico $z$.
   • Eles provam que $c_z$ é uma função decrescente da densidade de $z$ (número de entradas não nulas) e da variância fora da diagonal $\sigma^2$.
   • Usando desigualdades de concentração e teoria de matrizes aleatórias, eles derivam limites inferiores para $c_z$ que dependem do grau máximo de linha $d_z$ do padrão de esparsidade.

Principais Contribuições e Resultados

1. Quantificação da Distância entre $p$ e $p^+$

O artigo fornece limites explícitos mostrando que as distâncias TV e KL entre $p^+$ e $p$ são funções de $c$.

• Proposição 1: $TV(p^+, p) = 1 - c$ e $KL(p^+ || p) = -\log c$.
• Proposição 4: Mesmo que $c \to 0$ (significando que as distribuições conjuntas estão distantes), a distância marginal média pode ainda desaparecer se $-\log c = o(k^2)$ (para fora da diagonal) ou $o(k)$ (para diagonais). Isso implica que a seleção cuidadosa de parâmetros pode preservar a interpretabilidade marginal mesmo se a probabilidade de truncamento conjunta for baixa.

2. Condições para $c \approx 1$

Os autores fornecem condições assintóticas precisas para garantir que $c$ esteja próximo de 1, tornando assim o prior interpretável:

• Diagonal Fixa: Se $\theta_{ii} = \mu$, então $c \to 1$ se $\liminf_{k \to \infty} \frac{\mu}{\sigma \sqrt{k}} > 2$. Se a razão for $< 2$, $c \to 0$.
• Diagonal Estocástica: Se $\theta_{ii} \sim \text{Exp}(\lambda)$, a condição é mais estrita: $\sigma$ deve ser $o(k^{-3/2})$ para $c \to 1$, comparado a $o(k^{-1/2})$ para diagonais fixas.
• Famílias de Escala Gerais: $c$ é estritamente decrescente no parâmetro de escala fora da diagonal $\sigma$.

3. Impacto na Inferência Esparsa

O artigo demonstra que, em modelos gráficos esparsos, o truncamento introduz um viés em direção a estruturas mais esparsas:

• Proposição 7: O menor autovalor esperado $\lambda_{\min}(\Theta)$ diminui à medida que o padrão de esparsidade $z$ se torna mais denso. Consequentemente, $c_z$ diminui à medida que o número de entradas não nulas aumenta.
• Corolário 3 e Teorema 3: Os autores derivam limites inferiores para $c_z$ envolvendo o grau máximo $d_z$. Para diagonais fixas, $c_z \ge 1 - 2k e^{-\mu^2 / (2\sigma^2 d_z)}$.
• Implicação: Se a variância do prior $\sigma^2$ não for definida cuidadosamente (especificamente, se $\sigma$ for muito grande em relação a $\mu$ e $d_z$), $c_z$ torna-se pequeno para estruturas densas. Isso faz com que o prior induzido $p^+(z) \propto c_z p(z)$ atribua massa significativamente maior a modelos esparsos do que o prior original $p(z)$, potencialmente levando à superseleção de grafos esparsos na inferência posterior.

4. Diretrizes para Seleção de Parâmetros

O artigo oferece diretrizes práticas para definir hiperparâmetros do prior para mitigar esses efeitos:

• Controle de Variância: A variância fora da diagonal $\sigma^2$ deve ser suficientemente pequena em relação à média diagonal $\mu$ e à dimensão da matriz (ou grau de esparsidade).
• Distribuição Diagonal: Usar distribuições diagonais com caudas mais leves próximas a zero (por exemplo, Gama ou Inversa-Gama) em vez de Exponencial pode relaxar as restrições sobre $\sigma$ necessárias para manter $c \approx 1$.
• Re-parametrização: Os autores sugerem parametrizar $\Theta = D^{1/2} \tilde{\Theta} D^{1/2}$ e colocar um prior PD-separável sobre $\tilde{\Theta}$ (contendo correlações parciais), o que pode oferecer melhor interpretabilidade e invariância de escala.

Significado e Alegações

O artigo alega que, embora priores PD-separáveis sejam populares por sua conveniência computacional, sua interpretabilidade é frequentemente comprometida a menos que os parâmetros sejam definidos com atenção rigorosa à dimensão da matriz e à estrutura de esparsidade.

• Interpretabilidade: Os autores argumentam que, sem garantir $c \approx 1$ (ou que as marginais permaneçam próximas), os hiperparâmetros do prior não refletem as crenças pretendidas sobre o processo gerador de dados (por exemplo, variância ou proporção de esparsidade).
• Aprendizado Esparsos: Uma contribuição crítica é a demonstração de que o truncamento envies sistematicamente a inferência esparsa. O artigo mostra que, a menos que $\sigma$ seja escalado adequadamente com $k$ e o nível de esparsidade, a posterior será impulsionada pelo artefato de truncamento em vez dos dados ou do prior pretendido $p(z)$.
• Orientação Prática: O artigo fornece as primeiras condições assintóticas rigorosas (envolvendo limites de matrizes de Wigner) para definir a variância fora da diagonal em configurações esparsas de alta dimensão para garantir que o prior se comporte conforme o pretendido. Ele sugere que escolhas padrão (como $\sigma$ fixo ou diagonais Exponenciais) podem levar a comportamentos patológicos em altas dimensões e propõe leis de escala específicas (por exemplo, $\sigma = o(k^{-1/2})$ para diagonais fixas) para evitá-los.

Os autores concluem que a parametrização cuidadosa é essencial para garantir que a suposição "separável" permaneça uma aproximação válida das crenças prévias após a imposição da restrição de positividade-definida.