Resumen Técnico: Definición positiva en priores separables

Enunciado del Problema

En estadística bayesiana, los priores para matrices simétricas definidas positivas (DP), como matrices de covarianza, precisión o correlación, a menudo se construyen asumiendo entradas independientes y, posteriormente, truncando la distribución conjunta al espacio de matrices DP. Esta clase de priores, denominada DP-separable ($p^+$), se define como $p^+(\Theta) = p(\Theta)I(\Theta \succ 0) / c$, donde $p(\Theta)$ es un prior separable con entradas independientes, $I(\cdot)$ es la función indicadora de definición positiva, y $c = P_p(\Theta \succ 0)$ es la constante de normalización.

Aunque conceptualmente simple y computacionalmente conveniente (facilitando el muestreo posterior y la estimación de modos mediante métodos de verosimilitud penalizada), los autores argumentan que esta construcción adolece de problemas significativos de interpretabilidad. Específicamente, el truncamiento puede inducir consecuencias no deseadas:

1. Distorsión Marginal: Las distribuciones marginales de las entradas bajo $p^+$ ($\pi^+_{ij}$) pueden diferir significativamente de las marginales sin truncar ($\pi_{ij}$), alterando las creencias previas sobre la varianza y la dispersión.
2. Propiedades de Contracción: El truncamiento puede alterar drásticamente el comportamiento de contracción, potencialmente inflando las entradas diagonales o contrayendo las entradas fuera de la diagonal hacia cero de manera más agresiva de lo previsto.
3. Sesgo en la Inferencia Dispersa: En contextos dispersos (por ejemplo, modelos gráficos), la probabilidad de truncamiento $c_z$ depende del patrón de dispersión. Esto hace que el prior inducido sobre las estructuras de dispersión, $p^+(z) \propto c_z p(z)$, favorezca sistemáticamente modelos más dispersos en comparación con el prior intencionado $p(z)$, sesgando potencialmente la inferencia posterior.

Metodología

El artículo emplea una combinación de cotas probabilísticas, teoría de matrices aleatorias (específicamente la teoría de matrices de Wigner) y análisis de distribuciones truncadas para caracterizar el comportamiento de $p^+$ y sus marginales.

1. Caracterización de los Efectos del Truncamiento:

   • Los autores relacionan la distancia de Variación Total (TV) y la divergencia de Kullback-Leibler (KL) entre las distribuciones truncada ($p^+$) y sin truncar ($p$) directamente con la constante de normalización $c$.
   • Derivan expresiones para la densidad marginal $\pi^+_{ij}$ en términos de la densidad sin truncar $\pi_{ij}$ y la probabilidad condicional $c_{ij}(\theta_{ij}) = P_p(\Theta \succ 0 | \theta_{ij})$.
   • Establecen que, aunque $c \to 1$ implica $p^+ \to p$, las marginales pueden permanecer cercanas incluso si $c$ es pequeña, siempre que las probabilidades condicionales $c_{ij}$ sean relativamente estables.

2. Control de la Constante de Normalización ($c$):

   • El artículo deriva cotas para $c$ basadas en la relación entre las entradas diagonales ($\theta_{ii}$) y las entradas fuera de la diagonal ($\theta_{ij}$). Una condición suficiente para $\Theta \succ 0$ es $\theta_{ii} > \sum_{j \neq i} |\theta_{ij}|$.
   • Utilizando la teoría de matrices de Wigner, los autores analizan el comportamiento asintótico del valor mínimo propio $\lambda_{\min}(\Theta)$ a medida que la dimensión $k \to \infty$. Establecen condiciones sobre la relación entre la media diagonal ($\mu$) y la desviación estándar fuera de la diagonal ($\sigma$) y la dimensión $k$ que aseguran $c \to 1$.
   • Específicamente, para diagonales fijas, $c \to 1$ si $\mu / (\sigma \sqrt{k}) > 2$. Para diagonales estocásticas (por ejemplo, Exponencial), se requieren condiciones más estrictas sobre $\sigma$ en relación con $k$.

3. Contextos Dispersos:

   • Los autores extienden el análisis a matrices dispersas donde $\theta_{ij} = 0$ con probabilidad positiva. Definen $c_z = P_p(\Theta \succ 0 | Z=z)$, la probabilidad de definición positiva dado un patrón de dispersión específico $z$.
   • Demuestran que $c_z$ es una función decreciente de la densidad de $z$ (número de entradas no nulas) y de la varianza fuera de la diagonal $\sigma^2$.
   • Utilizando desigualdades de concentración y teoría de matrices aleatorias, derivan cotas inferiores para $c_z$ que dependen del grado máximo de fila $d_z$ del patrón de dispersión.

Contribuciones y Resultados Clave

1. Cuantificación de la Distancia entre $p$ y $p^+$

El artículo proporciona cotas explícitas que muestran que las distancias TV y KL entre $p^+$ y $p$ son funciones de $c$.

• Proposición 1: $TV(p^+, p) = 1 - c$ y $KL(p^+ || p) = -\log c$.
• Proposición 4: Incluso si $c \to 0$ (lo que significa que las distribuciones conjuntas están muy separadas), la distancia marginal media puede seguir siendo nula si $-\log c = o(k^2)$ (para elementos fuera de la diagonal) o $o(k)$ (para elementos diagonales). Esto implica que una selección cuidadosa de parámetros puede preservar la interpretabilidad marginal incluso si la probabilidad de truncamiento conjunta es baja.

2. Condiciones para $c \approx 1$

Los autores proporcionan condiciones asintóticas precisas para asegurar que $c$ esté cerca de 1, haciendo así el prior interpretable:

• Diagonal Fija: Si $\theta_{ii} = \mu$, entonces $c \to 1$ si $\liminf_{k \to \infty} \frac{\mu}{\sigma \sqrt{k}} > 2$. Si la relación es $< 2$, $c \to 0$.
• Diagonal Estocástica: Si $\theta_{ii} \sim \text{Exp}(\lambda)$, la condición es más estricta: $\sigma$ debe ser $o(k^{-3/2})$ para que $c \to 1$, en comparación con $o(k^{-1/2})$ para diagonales fijas.
• Familias de Escala Generales: $c$ es estrictamente decreciente en el parámetro de escala fuera de la diagonal $\sigma$.

3. Impacto en la Inferencia Dispersa

El artículo demuestra que en modelos gráficos dispersos, el truncamiento introduce un sesgo hacia estructuras más dispersas:

• Proposición 7: El valor mínimo propio esperado $\lambda_{\min}(\Theta)$ disminuye a medida que el patrón de dispersión $z$ se vuelve más denso. En consecuencia, $c_z$ disminuye a medida que aumenta el número de entradas no nulas.
• Corolario 3 y Teorema 3: Los autores derivan cotas inferiores para $c_z$ que involucran el grado máximo $d_z$. Para diagonales fijas, $c_z \ge 1 - 2k e^{-\mu^2 / (2\sigma^2 d_z)}$.
• Implicación: Si la varianza del prior $\sigma^2$ no se establece cuidadosamente (específicamente, si $\sigma$ es demasiado grande en relación con $\mu$ y $d_z$), $c_z$ se vuelve pequeña para estructuras densas. Esto hace que el prior inducido $p^+(z) \propto c_z p(z)$ asigne una masa significativamente mayor a modelos dispersos que el prior original $p(z)$, lo que potencialmente conduce a una sobre-selección de grafos dispersos en la inferencia posterior.

4. Directrices para la Selección de Parámetros

El artículo ofrece directrices prácticas para establecer los hiperparámetros del prior con el fin de mitigar estos efectos:

• Control de la Varianza: La varianza fuera de la diagonal $\sigma^2$ debe ser suficientemente pequeña en relación con la media diagonal $\mu$ y la dimensión de la matriz (o el grado de dispersión).
• Distribución Diagonal: Utilizar distribuciones diagonales con colas más ligeras cerca de cero (por ejemplo, Gamma o Inversa-Gamma) en lugar de Exponencial puede relajar las restricciones sobre $\sigma$ requeridas para mantener $c \approx 1$.
• Re-parametrización: Los autores sugieren parametrizar $\Theta = D^{1/2} \tilde{\Theta} D^{1/2}$ y colocar un prior DP-separable sobre $\tilde{\Theta}$ (que contiene correlaciones parciales), lo cual puede ofrecer una mejor interpretabilidad e invarianza de escala.

Significado y Afirmaciones

El artículo afirma que, aunque los priores DP-separables son populares por su conveniencia computacional, su interpretabilidad a menudo se ve comprometida a menos que los parámetros se establezcan con un rigoroso atención a la dimensión de la matriz y la estructura de dispersión.

• Interpretabilidad: Los autores argumentan que, sin asegurar que $c \approx 1$ (o que las marginales permanezcan cercanas), los hiperparámetros del prior no reflejan las creencias intencionadas sobre el proceso generador de datos (por ejemplo, varianza o proporción de dispersión).
• Aprendizaje Disperso: Una contribución crítica es la demostración de que el truncamiento sesga sistemáticamente la inferencia dispersa. El artículo muestra que, a menos que $\sigma$ se escale apropiadamente con $k$ y el nivel de dispersión, la posterior estará impulsada por el artefacto de truncamiento en lugar de los datos o el prior intencionado $p(z)$.
• Orientación Práctica: El artículo proporciona las primeras condiciones asintóticas rigurosas (que involucran límites de matrices de Wigner) para establecer la varianza fuera de la diagonal en contextos dispersos de alta dimensión para asegurar que el prior se comporte como se pretende. Sugiere que las elecciones estándar (como $\sigma$ fijo o diagonales Exponenciales) pueden conducir a un comportamiento patológico en altas dimensiones y propone leyes de escala específicas (por ejemplo, $\sigma = o(k^{-1/2})$ para diagonales fijas) para evitarlas.

Los autores concluyen que una parametrización cuidadosa es esencial para asegurar que la suposición "separable" permanezca una aproximación válida de las creencias previas una vez que se impone la restricción de definición positiva.