Dependent Dirichlet processes via thinning

1. Problema y Motivación

En el análisis de datos provenientes de múltiples fuentes (por ejemplo, pacientes de diferentes hospitales o regiones geográficas), existe una tensión fundamental entre dos objetivos:

1. Capturar la heterogeneidad: Reconocer que cada grupo tiene características únicas y distribuciones específicas.
2. Compartir información: Aprovechar la información de grupos relacionados para mejorar la inferencia, especialmente cuando el tamaño de la muestra de un grupo individual es pequeño.

Los modelos existentes, como el Proceso de Dirichlet Dependiente (DDP) de MacEachern, los Procesos de Dirichlet Jerárquicos (HDP) y el Modelo de Átomos Comunes (CAM), a menudo imponen estructuras de dependencia rígidas. Por ejemplo, algunos asumen que todos los átomos (componentes de la mezcla) son compartidos por todos los grupos, mientras que otros restringen la dependencia a través de la reordenación de pesos. Esto puede llevar a un "préstamo" excesivo de información (suavizado en exceso) o a una falta de flexibilidad para modelar estructuras de dependencia complejas donde solo subconjuntos de átomos son compartidos.

El objetivo de este trabajo es desarrollar un marco flexible que permita modelar colecciones de distribuciones de probabilidad que compartan algunos átomos, pero que también posean átomos exclusivos, permitiendo una estructura de dependencia más rica y adaptable.

2. Metodología: El Proceso de Dirichlet Dependiente Adelgazado (Thinned-DDP)

Los autores proponen el Thinned-DDP, un nuevo prior no paramétrico construido mediante un mecanismo de adelgazamiento (thinning) sobre la representación de "stick-breaking" del Proceso de Dirichlet (DP).

Construcción Matemática

Partiendo de un Proceso de Dirichlet "padre" $p$ definido por la representación de stick-breaking de Sethuraman:
$$p(\cdot) = \sum_{j=1}^{\infty} \omega_j \delta_{\theta_j}(\cdot)$$
donde $\omega_j$ son pesos derivados de variables aleatorias beta $v_j \sim \text{Beta}(1, \alpha)$ y $\theta_j$ son átomos.

Para un conjunto de $G$ grupos (covariables categóricas), se introduce una secuencia de variables de adelgazamiento $\ell_{j,g} \in \{0, 1\}$ para cada grupo $g$ y cada índice de átomo $j$. La distribución específica del grupo $g$, denotada como $p_g$, se define como:
$$p_g(\cdot) = \sum_{j=1}^{\infty} \omega_{j,g} \delta_{\theta_j}(\cdot)$$
donde los pesos se modifican multiplicando las variables beta originales por las variables de adelgazamiento:
$$\omega_{j,g} = v_j \ell_{j,g} \prod_{h<j} (1 - v_h \ell_{h,g})$$

Interpretación del mecanismo:

• Si $\ell_{j,g} = 1$, el átomo $\theta_j$ está presente en la distribución $p_g$ con su peso correspondiente.
• Si $\ell_{j,g} = 0$, el peso $\omega_{j,g}$ se vuelve exactamente cero, excluyendo el átomo $\theta_j$ de la distribución $p_g$.
• Esto permite que los grupos compartan un subconjunto de átomos (donde $\ell_{j,g}=1$ para varios $g$) y tengan átomos únicos (donde $\ell_{j,g}=1$ solo para un $g$ específico).

Especificaciones de los Priors para $\ell$

Los autores exploran dos especificaciones principales para las secuencias de adelgazamiento:

1. Adelgazamiento Bernoulli: $\ell_{j,g} \sim \text{Bern}(\pi_g)$ de forma independiente. Esto permite una estructura de dependencia estocástica donde la probabilidad de compartir un átomo es constante pero aleatoria.
2. Adelgazamiento Poisson (Átomo Único Eventual): Se asume que las secuencias tienen una estructura donde los primeros $u_g - 1$ átomos son excluidos y el resto son compartidos. Aquí, $u_g - 1 \sim \text{Poisson}(\lambda)$. Esto crea una estructura anidada donde los grupos comparten los átomos "más pesados" (los últimos en la secuencia de stick-breaking) y difieren en los primeros.

Propiedades Teóricas

• Marginales: Cada $p_g$ es marginalmente un Proceso de Dirichlet con parámetros $(\alpha, P_0)$, preservando las propiedades deseables del DP.
• Correlación: Se deriva una fórmula explícita para la correlación entre dos distribuciones $p_g(A)$ y $p_{g'}(A)$. La correlación depende de la superposición de las secuencias $\ell$ y puede variar continuamente entre 0 y 1.
• Soporte Débil: Se demuestra que bajo condiciones generales en los priors de $\ell$, el Thinned-DDP tiene soporte débil completo en el espacio de vectores de medidas de probabilidad, garantizando la flexibilidad del modelo.
• Número de Clústeres: Se establecen cotas para el número esperado de valores distintos (clústeres) en muestras combinadas, mostrando que el modelo puede comportarse desde una agrupación total (complete pooling) hasta una independencia total (no pooling).

3. Contribuciones Clave

1. Nueva Estructura de Dependencia: A diferencia del DDP de un solo átomo o el HDP, el Thinned-DDP permite que los átomos sean compartidos por subconjuntos específicos de grupos, no necesariamente por todos. Esto ofrece una flexibilidad superior para modelar heterogeneidad parcial.
2. Tractabilidad Computacional: La construcción basada en el adelgazamiento de la representación de stick-breaking permite adaptar algoritmos existentes (como el Muestreador de Gibbs Bloqueado) para la inferencia posterior, manteniendo la conjugación y la eficiencia.
3. Balance Óptimo de Información: El modelo logra un equilibrio automático entre compartir información y preservar la individualidad de los grupos, evitando tanto el sobreajuste (no pooling) como el subajuste (complete pooling).
4. Análisis Teórico Riguroso: Se proporcionan demostraciones de propiedades de correlación, soporte y comportamiento asintótico del número de clústeres.

4. Resultados

Estudio de Simulación

Se comparó el Thinned-DDP con:

• Enfoques extremos: Complete Pooling (todos los datos juntos) y No Pooling (modelos independientes).
• Modelos de vanguardia: CAM (Common Atoms Model) y GM-DDP (Griffiths-Milne DDP).

Hallazgos:

• Precisión en Particiones: El Thinned-DDP superó consistentemente a los modelos de No Pooling en escenarios con tamaños de muestra pequeños, logrando un Índice de Rand Ajustado (ARI) alto al compartir información inteligente.
• Estimación de Densidad: En términos de distancia TV (Total Variation) respecto a la densidad verdadera, el Thinned-DDP superó a los modelos de vanguardia (CAM y GM-DDP), especialmente cuando el número de grupos era grande ($G=10$) y las muestras eran pequeñas.
• Evitación de Modos Espurios: A diferencia del CAM, que a veces introduce modos espurios al forzar un compartir excesivo de átomos en grupos heterogéneos, el Thinned-DDP logró capturar la heterogeneidad sin sobrecargar la estructura compartida.
• Incertidumbre: El modelo proporcionó intervalos creíbles más precisos que el No Pooling y menos sesgados que el Complete Pooling.

Análisis de Datos Reales (Proyecto Perinatal Colaborativo - CPP)

Se aplicó el modelo a datos de edad gestacional de 2,313 mujeres de 12 hospitales.

• Resultados: El modelo identificó tres subpoblaciones naturales: nacimientos prematuros, a término y post-término.
• Heterogeneidad: Detectó que la proporción de nacimientos prematuros variaba significativamente entre hospitales. Algunos hospitales tenían distribuciones unimodales (mayoría a término), mientras que otros mostraban multimodalidad clara.
• Agrupación de Hospitales: El modelo agrupó los hospitales en dos clústeres basados en la similitud de sus densidades estimadas, revelando patrones subyacentes en la calidad o características de los centros médicos que no eran evidentes al analizar los datos por separado o agrupados ciegamente.

5. Significado e Impacto

El Thinned-DDP representa un avance significativo en la inferencia bayesiana no paramétrica para datos agrupados. Su principal contribución es la capacidad de modelar dependencias parciales y estructuradas de manera natural y computacionalmente eficiente.

• Flexibilidad: Permite a los investigadores especificar que ciertos grupos comparten características (átomos) mientras otros difieren, sin necesidad de definir a priori qué grupos son similares.
• Robustez: Ofrece un mecanismo robusto para el "borrowing of strength" (préstamo de fuerza), mejorando la inferencia en grupos con pocos datos sin distorsionar la estructura de grupos con muchos datos o muy diferentes.
• Aplicabilidad: Es particularmente útil en campos como la epidemiología, la genética y las ciencias sociales, donde los datos provienen de múltiples fuentes con grados variables de similitud subyacente.

En resumen, el artículo presenta una solución elegante y teóricamente fundamentada al problema clásico de equilibrar la heterogeneidad y la información compartida en modelos no paramétricos, superando las limitaciones de los enfoques anteriores mediante un mecanismo de adelgazamiento inteligente.