Bayesian Semiparametric Multivariate Density Regression with Coordinate-Wise Predictor Selection

1. Planteamiento del Problema

El artículo aborda el desafío de estimar de manera flexible la densidad conjunta de una variable aleatoria multivariada continua ($x$) condicionada a un conjunto de covariables categóricas ($c$).

• Limitaciones de métodos existentes: Los enfoques tradicionales (como la regresión lineal múltiple o modelos de transformación condicional multivariante - MCTM) a menudo asumen estructuras paramétricas rígidas, no capturan adecuadamente la heterogeneidad en las formas de las distribuciones (más allá de la media) o fallan al permitir que diferentes componentes de la respuesta multivariada sean influenciados por subconjuntos distintos de covariables.
• Complejidad computacional: Estratificar completamente por todas las combinaciones posibles de niveles de covariables (ej. en datos NHANES con 4 covariables y múltiples niveles, esto genera 504 distribuciones distintas) es computacionalmente prohibitivo e ignora similitudes estructurales entre grupos.
• Objetivo: Desarrollar un marco que permita:
  1. Modelar la dependencia entre coordenadas de la respuesta.
  2. Identificar subconjuntos específicos de covariables influyentes para cada coordenada de la respuesta (selección de variables coordenada a coordenada).
  3. Agrupar automáticamente niveles de covariables con efectos similares para reducir la dimensionalidad.

2. Metodología: El Modelo "Flower"

Los autores proponen un marco bayesiano llamado "Modelo Flower" (Flor), que integra modelos de mezcla, descomposición tensorial y copulas.

A. Estructura de la Densidad Conjunta

Se utiliza un modelo de Cópula Gaussiana para separar las distribuciones marginales de la estructura de dependencia:
$$f_{x|c}(x|c) = C(x) \prod_{\ell=1}^d f_{x_\ell|c}(x_\ell|c)$$
Donde $C(\cdot)$ es una densidad de cópula Gaussiana (con matriz de correlación fija $R$) y $f_{x_\ell|c}$ son las densidades marginales condicionales.

B. Densidades Marginales (Mezclas Compartidas)

Cada densidad marginal se modela como una mezcla finita de distribuciones normales truncadas:
$$f_{x_\ell|c}(x_\ell|c) = \sum_{k=1}^K p_{\ell,c}(k) \cdot TN(x_\ell; \mu_k, \sigma_k^2, [A, B])$$

• Átomos compartidos: Los parámetros de las mezclas ($\mu_k, \sigma_k^2$) son compartidos entre todas las coordenadas de la respuesta para fomentar el "préstamo de fuerza" (borrowing of strength) y la parsimonia.
• Pesos dependientes de covariables: La complejidad reside en modelar los pesos de mezcla $p_{\ell,c}(k)$, que varían según la combinación de covariables $c$ y la coordenada $\ell$.

C. Factorización Tensorial y Selección de Variables

Para manejar la alta dimensionalidad de las covariables categóricas, se introduce una factorización tensorial basada en particiones aleatorias con dos capas:

1. Primera Capa (Agrupación de Niveles): Para cada covariable $h$ y coordenada $\ell$, se define una partición $s_{\ell,h}$ que agrupa los niveles originales de la covariable en un número menor de "niveles agregados" ($K_{\ell,h}$).
   • Si $K_{\ell,h} = 1$, la covariable $h$ no tiene influencia en la coordenada $\ell$ (selección de variables automática).
   • Esto se modela mediante vectores de probabilidad restringidos que inducen particiones.
2. Segunda Capa (Agrupación de Combinaciones): Las combinaciones de niveles agregados de la primera capa se agrupan nuevamente en un conjunto reducido de representantes únicos ($K^*_\ell$) mediante una partición $s^*_\ell$.
   • Esto evita la necesidad de estimar una densidad para cada combinación posible de covariables.
   • La estructura se visualiza como una "flor que brota": el modelo comienza con un solo clúster y dinámicamente asigna memoria a nuevas particiones a medida que surgen nuevos clústeres durante la inferencia.

D. Inferencia Computacional (MCMC)

Se desarrolla un algoritmo de Cadena de Markov Monte Carlo (MCMC) eficiente en memoria:

• Marginalización: Se integran analíticamente los parámetros de las mezclas y los vectores de probabilidad para mejorar la mezcla de la cadena.
• Gestión de Memoria: En lugar de predefinir un tamaño tensorial fijo basado en el producto de todos los niveles de covariables, el algoritmo escala con el número de clústeres activos identificados. Esto reduce drásticamente los requisitos de memoria.
• Actualización de Copula: Se utiliza un enfoque iterativo (pseudo-verosimilitud para marginales, luego verosimilitud exacta para la cópula) para evitar problemas de mezcla comunes en modelos de cópula.

3. Contribuciones Clave

1. Selección de Variables Coordenada a Coordenada: A diferencia de métodos anteriores que asumen un conjunto común de covariables influyentes para todas las respuestas, este modelo permite que cada componente de la respuesta multivariada tenga su propio subconjunto de covariables relevantes.
2. Estructura Tensorial Flexible: Reemplaza las matrices de modo fijas de la descomposición HOSVD tradicional con modelos de partición aleatoria, permitiendo una agregación adaptativa de niveles de covariables.
3. Eficiencia Computacional: La estrategia de asignación dinámica de memoria ("budding flower") permite escalar el modelo a espacios de alta dimensión donde los métodos tradicionales fallarían por explosión combinatoria.
4. Integración de Dependencia y Marginales: Combina la flexibilidad de las mezclas de normales truncadas para las marginales con la estructura de dependencia de la cópula Gaussiana para la conjunta.

4. Resultados

Estudios de Simulación

• Se comparó el modelo "Flower" con métodos univariados (Pitman-Yor, Regresión Box-Cox basada en árboles) y multivariados (MCTM).
• Precisión: El modelo propuesto obtuvo el Error Cuadrático Integrado (ISE) más bajo en todos los escenarios, superando significativamente a los competidores, especialmente en escenarios de alta dimensionalidad.
• Recuperación de Estructura: Logró recuperar con alta precisión (medido por el Índice de Rand Ajustado - ARI) las particiones verdaderas de las covariables y los conjuntos de variables influyentes para cada coordenada.

Aplicación Real: Datos NHANES

• Datos: Análisis de la ingesta dietética (6 componentes: vegetales, proteínas, ácidos grasos, etc.) en función de 4 covariables demográficas (sexo, raza, edad, ingresos) de 6,307 participantes.
• Hallazgos:
  • La edad fue la única covariable influyente para todos los componentes dietéticos, aunque las agrupaciones de edad variaban según el nutriente.
  • El sexo y la raza mostraron relevancia selectiva (ej. el sexo influyó en 4 componentes, la raza en 3).
  • El ingreso tuvo un papel limitado, siendo influyente solo para los ácidos grasos y dependiendo de su disponibilidad.
  • El modelo identificó subpoblaciones específicas (ej. "Asiáticos de 1-2 años" agrupados con "No asiáticos de 1-10 años" para el consumo de vegetales totales), revelando patrones de consumo que los promedios simples ocultarían.
  • Las densidades estimadas mostraron asimetría a la derecha y modos unimodales, con desplazamientos significativos según las agrupaciones demográficas.

5. Significado e Impacto

Este trabajo representa un avance significativo en la estadística bayesiana no paramétrica y semiparamétrica:

• Interpretabilidad: Proporciona una herramienta para descubrir subgrupos de población con perfiles de riesgo o comportamiento similares sin imponer una estructura de clústeres rígida a priori.
• Aplicabilidad en Epidemiología Nutricional: Permite entender cómo los factores demográficos afectan la distribución completa de la ingesta dietética, no solo la media, lo cual es crucial para intervenciones de salud pública dirigidas.
• Escalabilidad: La metodología de gestión de memoria dinámica abre la puerta a aplicar regresión de densidad multivariada en conjuntos de datos con muchas covariables categóricas, un problema previamente considerado intratable computacionalmente.
• Flexibilidad: El marco es lo suficientemente robusto para extenderse a situaciones con errores de medición (deconvolución) o cópulas no gaussianas en el futuro.

En resumen, el modelo "Flower" ofrece una solución elegante y computacionalmente eficiente para la regresión de densidad multivariada, equilibrando la flexibilidad del modelo con la parsimonia necesaria para la inferencia en datos reales complejos.