Scalable Dirichlet Process Mixture Models with Unknown Concentration and Adaptive Covariance for High-Dimensional Clustering Applied to Leukemia Transcriptomics

Resumen Técnico: Modelos de Mezcla de Proceso de Dirichlet Escalables con Concentración Desconocida y Covarianza Adaptativa para Agrupamiento de Alta Dimensión

1. Planteamiento del Problema

El agrupamiento (clustering) de datos biológicos complejos, como los datos transcriptómicos de alta dimensión (ómicas), presenta desafíos significativos.

• Limitaciones de los métodos existentes: Las técnicas estándar (K-means, métodos basados en densidad o grafos) y los modelos de mezcla finitos requieren especificar a priori el número de clusters ($K$), lo cual es desconocido en la exploración de datos.
• Ineficiencia de MCMC: Los modelos no paramétricos bayesianos, como los Modelos de Mezcla de Proceso de Dirichlet (DPMM), permiten inferir $K$ de forma flexible. Sin embargo, los métodos de inferencia basados en Cadenas de Markov Monte Carlo (MCMC) sufren de convergencia lenta y dificultades de escalabilidad en dimensiones altas (cientos o miles de características) con tamaños de muestra limitados.
• Deficiencias de la Inferencia Variacional (VI) actual: Aunque la VI es más rápida, las implementaciones existentes a menudo asumen independencia de campo medio (lo que ignora dependencias jerárquicas) o requieren covarianzas conocidas y fijas. Además, ignoran la estimación adaptativa del parámetro de concentración ($\alpha$) y la estructura de la covarianza, lo que lleva a estimaciones inconsistentes del número de clusters y a un sobreajuste en datos de alta dimensión.

2. Metodología Propuesta

Los autores proponen un nuevo marco metodológico que combina Inferencia Variacional Colapsada (CVI) con un modelado de covarianza adaptativa y esparsa.

• Inferencia Variacional Colapsada (CVI):

  • Se integra (colapsa) la representación de "rotura de palos" (stick-breaking) de las proporciones de mezcla, eliminando las variables latentes de mezcla $\{V_k\}$.
  • Esto permite que la distribución de las asignaciones latentes $\{z_n\}$ dependa directamente del parámetro de concentración $\alpha$, garantizando una estimación coherente y data-driven del número de clusters.
  • Se utiliza una aproximación de Taylor y la fórmula de Euler-Maclaurin para derivar una distribución variacional cerrada para $\alpha$ (con prior Gamma), permitiendo su actualización adaptativa.

• Modelado de Covarianza Adaptativa y Esparsa:

  • Se evalúan múltiples estructuras de covarianza (desde matrices fijas hasta covarianzas específicas por cluster).
  • Se introduce un modelo de covarianza específica por cluster con priors esparsos (Sparse DPMM). En lugar de usar la prior Inverse-Wishart (que acopla rígidamente varianza y covarianza), se asignan distribuciones a elementos individuales de la matriz de precisión ($\Sigma^{-1}$):
    • Elementos diagonales: Distribución Gamma.
    • Elementos fuera de la diagonal: Distribución Laplace (para inducir esparsidad) o Gaussiana.
  • Esta estructura mitiga el acoplamiento varianza-covarianza y aborda el problema de la maldición de la dimensionalidad, permitiendo que el modelo se adapte a la estructura real de los datos sin sobreparametrización.

• Implementación:

  • El algoritmo se implementa en el paquete R vimixr.
  • Utiliza un algoritmo de ascenso de coordenadas para maximizar el Límite Inferior de Evidencia (ELBO).
  • Para evitar óptimos locales, se emplea inicialización aleatoria seleccionada basándose en la verosimilitud logarítmica variacional (VLL).

3. Contribuciones Clave

1. Escalabilidad y Velocidad: El método escala eficientemente con el tamaño de la muestra ($N$) y la dimensión ($d$), reduciendo drásticamente el tiempo de cálculo en comparación con los métodos MCMC de muestreo por rebanadas (slice sampling).
2. Estimación Coherente de $\alpha$: Resuelve la inconsistencia entre el número de clusters estimado por el parámetro de concentración y las asignaciones latentes, algo que los métodos de campo medio estándar no logran.
3. Flexibilidad en Alta Dimensión: La introducción de covarianzas específicas por cluster con priors esparsos (Laplace/Gaussiano) permite manejar datos con baja relación señal-ruido y alta variabilidad, evitando la rigidez de las covarianzas globales o las estructuras Inverse-Wishart.
4. Herramienta de Software: Liberación del paquete R vimixr para facilitar la aplicación del modelo en la comunidad científica.

4. Resultados

• Estudios de Simulación:

  • En datos simulados Gaussianos y de Binomial Negativa, el Sparse DPMM (Modelo M7) demostró una recuperación precisa de la estructura de clusters y un rendimiento robusto (medido por el Índice Rand Ajustado - ARI) a través de diferentes regímenes de relación señal-ruido.
  • Superó a modelos con covarianza global y a la prior Inverse-Wishart, especialmente en escenarios de alta dimensión ($d=100$) y múltiples clusters.
  • En términos de velocidad, el Sparse DPMM fue aproximadamente 100 veces más rápido que el enfoque MCMC (implementado en el paquete NPflow) para alcanzar la convergencia.

• Aplicación en Transcriptómica de Leucemia:

  • Se aplicó a un conjunto de datos público con 72 muestras y 2,194 genes expresados.
  • Recuperación de Subtipos: El modelo recuperó exitosamente los subtipos conocidos de leucemia linfoblástica aguda (ALL), leucemia de línea mixta (MLL) y leucemia mieloide aguda (AML).
  • Descubrimiento Biológico: Con hiperparámetros más débiles, el modelo identificó un cuarto cluster que contenía una muestra de leucemia de línea mixta (MLL) que no encajaba perfectamente en las categorías estándar. El análisis de expresión génica reveló que esta muestra mostraba características intermedias entre ALL y MLL, validando la plasticidad de la línea celular de las leucemias con reordenamiento de MLL, un hallazgo biológico significativo que otros métodos no detectaron.
  • Comparación: El Sparse DPMM superó a técnicas de vanguardia como DBSCAN, HDBSCAN, K-means, Leiden y métodos basados en grafos, logrando los mejores puntajes ARI, aunque con un tiempo de ejecución mayor por iteración (aunque mucho menor que MCMC).

5. Significado e Impacto

Este trabajo proporciona una solución teóricamente coherente y computacionalmente eficiente para el agrupamiento bayesiano no paramétrico en datos de alta dimensión.

• Avance Teórico: Cierra la brecha entre la teoría de los DPMM y la aplicación práctica en datos "ómicos", resolviendo problemas de convergencia y consistencia en la estimación del número de clusters.
• Impacto Biológico: Demuestra la capacidad de los modelos estadísticos avanzados para revelar heterogeneidad biológica y plasticidad celular que los métodos tradicionales pasan por alto, ofreciendo nuevas perspectivas para la clasificación de enfermedades complejas como la leucemia.
• Reproducibilidad: Al ofrecer una implementación en R (vimixr), democratiza el acceso a métodos de inferencia variacional avanzada para investigadores en bioinformática y estadística.