Handling Missingness and Censoring in Dirichlet Models

Resumen Técnico: Manejo de la Ausencia de Datos y Censura en Modelos Dirichlet

Planteamiento del Problema
Los datos composicionales, que representan proporciones relativas de las partes de un todo y residen en un simplex unitario, se encuentran frecuentemente en campos que van desde la microbiología hasta las ciencias ambientales. La distribución Dirichlet es el modelo probabilístico canónico para tales datos, análogo a la distribución normal multivariante para datos no restringidos. Sin embargo, una limitación significativa en la práctica actual es que la inferencia basada en la verosimilitud para los parámetros de Dirichlet requiere composiciones completamente observadas. En escenarios del mundo real, los datos suelen contener componentes faltantes o valores censurados (por ejemplo, debido a límites de detección o especiación incompleta).

Los enfoques existentes para manejar esta incompletitud generalmente se dividen en tres categorías: la eliminación de filas incompletas (que descarta información), la sustitución con valores fijos (por ejemplo, ceros), o la imputación. Los métodos de imputación suelen depender de la transformación de los datos a un espacio no restringido (por ejemplo, mediante transformaciones de razón de logaritmos), el ajuste de un modelo y el mapeo de los resultados de vuelta al simplex. Este enfoque basado en la transformación sufre de varios inconvenientes: puede hacer que las interpretaciones de las variables originales sean irrecuperables, no proporcionar mapeos inyectivos de vuelta al simplex y tener dificultades para acomodar naturalmente los mecanismos de censura. Además, los métodos de imputación no paramétricos a menudo ignoran la estructura de censura específica, lo que puede conducir a sesgos y distribuciones subyacentes distorsionadas.

Metodología
Los autores proponen un marco unificado que trata tanto los componentes faltantes como los censurados como formas de "desenfoque" (coarsening) en el sentido de Heitjan & Rubin (1991). Este marco abarca los casos de Datos Faltantes Completamente al Azar (MCAR), Datos Faltantes al Azar (MAR) y Datos Faltantes No al Azar (MNAR) como casos especiales de Desenfoque Completamente al Azar (CCAR), Desenfoque al Azar (CAR) y Desenfoque No al Azar (CNAR), respectivamente. El artículo se centra en el mecanismo CAR, donde el desenfoque depende de los datos observados pero no de los valores exactos no observados, lo que hace que el mecanismo sea ignorable para la inferencia basada en la verosimilitud.

El núcleo de la metodología es un algoritmo de tipo Esperanza–Maximización (EM) diseñado para realizar la estimación de Máxima Verosimilitud (ML) de los parámetros de Dirichlet directamente en el simplex sin transformación de datos. El algoritmo procede de la siguiente manera:

1. Fundamento Teórico: Los autores derivan la densidad marginal de los componentes observados y la distribución condicional de los componentes no observados dados los observados. Establecen que la distribución condicional de los componentes no observados, dados los componentes observados y la región factible definida por los límites de censura, sigue una distribución Dirichlet truncada.
2. E-Step (Paso de Esperanza): El algoritmo calcula la esperanza condicional de la verosimilitud del dato completo. Esto implica calcular el valor esperado del logaritmo de los componentes no observados. Utilizando las propiedades de la distribución Dirichlet truncada, los autores derivan una expresión de forma cerrada para estas esperanzas que involucra la función digamma y la derivada de la constante de normalización de la distribución truncada.
3. M-Step (Paso de Maximización): El algoritmo maximiza la esperanza de la verosimilitud del dato completo con respecto al vector de parámetros $\alpha$. Para asegurar la positividad de los parámetros de Dirichlet durante la optimización, los autores emplean una reparametrización ($\alpha_k = e^{\beta_k}$) y utilizan un algoritmo de Newton–Raphson (NR) anidado dentro de las iteraciones de EM. La matriz Hessiana se invierte eficientemente utilizando la fórmula de Sherman–Morrison.
4. Convergencia: El algoritmo emplea reglas de parada específicas: una regla interna basada en la convergencia de Newton–Raphson y una regla externa basada en el criterio de aceleración de Aitken aplicado a la verosimilitud de los datos observados.

Contribuciones Clave
El artículo realiza varias contribuciones técnicas específicas:

• Marco Unificado: Desarrolla un único marco basado en la verosimilitud que maneja simultáneamente componentes faltantes y censurados en el simplex, evitando la necesidad de transformación de datos.
• Algoritmo EM para Dirichlet: Deriva un algoritmo de tipo EM computacionalmente eficiente para la estimación de ML de los parámetros de Dirichlet en presencia de datos incompletos, incluyendo la derivación de las esperanzas condicionales necesarias que involucran distribuciones Dirichlet truncadas.
• Requisitos Mínimos de Datos: El método permite el ajuste de una distribución Dirichlet incluso cuando un conjunto de datos tiene filas con un solo componente observado, un escenario donde muchos métodos existentes basados en transformaciones fallan.
• Estimación e Imputación Conjunta: El enfoque realiza la estimación de parámetros y la imputación basada en el modelo de forma conjunta, preservando la estructura composicional y evitando los errores asociados con la retro-transformación.

Resultados y Evaluación
El desempeño del método propuesto se evaluó a través de dos vías primarias:

1. Estudio de Simulación: Un extenso estudio de simulación (detallado en el Material Suplementario) evaluó el método bajo mecanismos de desenfoque cada vez más complejos. Los resultados indicaron que el estimador propuesto mejora sustancialmente la recuperación de parámetros en comparación con la estimación de ML basada solo en casos completos. Además, las imputaciones generadas por el algoritmo propuesto exhibieron errores menores que las producidas por un enfoque de modelo existente (ALR-EM) y una alternativa no paramétrica (imputación de media geométrica). El método demostró fiabilidad incluso bajo condiciones extremas, como conjuntos de datos con hasta un 90% de valores no observados.

2. Aplicación a Datos Reales: La metodología se aplicó a los datos de especiación de mercurio de la Encuesta Nacional de Examen de Salud y Nutrición (NHANES). Este conjunto de datos contenía 3,872 observaciones con aproximadamente el 72% de las celdas no observadas debido a límites de detección y especiación incompleta.

   • El modelo Dirichlet proporcionó un mejor ajuste a los datos observados que el modelo log-normal multivariante (utilizado en el enfoque ALR-EM), como lo evidencian los valores más altos de log-verosimilitud, AIC y BIC.
   • Los cálculos de la distancia de Wasserstein confirmaron que las distribuciones Dirichlet y log-normal ajustadas modelan los datos de manera diferente, siendo la Dirichlet una representación más plausible.
   • El método estimó con éxito las proporciones de los tipos de mercurio desconocidos y proporcionó imputaciones que preservaron mejor la estructura composicional observada en comparación con otros enfoques competidores.

Significancia y Reivindicaciones
Los autores afirman que este trabajo aborda una brecha fundamental en el análisis de datos composicionales: la falta de un método de estimación basado en la verosimilitud que acomode directamente proporciones incompletas en el simplex unitario. Al revertir la perspectiva tradicional de adaptar los datos a modelos no restringidos, el método propuesto desarrolla herramientas de estimación que respetan la geometría y las restricciones de los datos composicionales.

La significancia del trabajo radica en su capacidad para permitir la inferencia basada en la verosimilitud y el agrupamiento (clustering) directamente en el simplex en presencia de valores no observados. Los autores sugieren que esto abre la puerta a nuevos desarrollos en el modelado basado en el simplex, incluyendo estructuras de mezcla más ricas y procedimientos inferenciales más flexibles. El método se presenta como una alternativa robusta que evita las limitaciones interpretativas y los posibles sesgos introducidos por los enfoques basados en transformaciones, particularmente en escenarios con altos niveles de ausencia de datos o censura.