📊 statistics

Handling Missingness and Censoring in Dirichlet Mixture Models

Este artículo propone un nuevo algoritmo de Expectación-Maximización para el ajuste de mezclas finitas de distribuciones de Dirichlet directamente sobre el simplex para manejar datos composicionales faltantes y censurados, demostrando mediante simulaciones y aplicaciones del mundo real que este enfoque supera a los métodos tradicionales de eliminación de casos en precisión de agrupamiento y selección de modelos, preservando al mismo tiempo la interpretabilidad de los datos.

Autores originales: Jason Pillay, Andriette Bekker, Cristina Tortora, Antonio Punzo

Publicado 2026-07-31

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jason Pillay, Andriette Bekker, Cristina Tortora, Antonio Punzo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando describir un batido, pero solo puedes saborear algunas de las frutas que contiene. Tal vez sabes que hay fresa y plátano, pero la licuadora escondió el mango y el kiwi. En el mundo de la ciencia de datos, esto se llama "datos composicionales". Es información que describe cómo las partes conforman un todo, como los ingredientes de una receta o los productos químicos en una roca. La parte difícil es que estas partes están bloqueadas entre sí: si tienes más de un ingrediente, automáticamente tienes menos de los otros, porque siempre deben sumar el 100%. Los científicos utilizan estos datos para comprender desde cómo se forman las montañas hasta por qué el aire se está volviendo contaminado. Pero hay un gran problema: los datos del mundo real son desordenados. A veces los sensores se rompen, a veces los productos químicos son demasiado diminutos para verse, y a veces los datos simplemente desaparecen. Cuando esto sucede, las herramientas matemáticas habituales se confunden porque no pueden manejar las piezas "faltantes" sin desechar todo el batido o cambiar la receta de una manera que la haga irreconocible.

Este artículo aborda exactamente ese dolor de cabeza. Los autores, Jason Pillay y su equipo, han inventado una nueva forma de hacer matemáticas que no desecha las piezas faltantes. En lugar de forzar los datos en una forma en la que no encajan, construyeron un algoritmo especial de "detective" que puede adivinar cuáles podrían ser las partes faltantes mientras clasifica los datos en grupos. Piensa en ello como un rompecabezas donde faltan algunas piezas; en lugar de rendirse, el detective utiliza la forma de las piezas circundantes para determinar exactamente dónde pertenecen las piezas faltantes, todo esto mientras mantiene la imagen del rompecabezas fiel al original. Probaron este detective con datos falsos con piezas faltantes y con datos reales sobre rocas y contaminación del aire. Encontraron que su método es mucho mejor para encontrar los grupos correctos y elegir el número adecuado de categorías que el viejo método de simplemente eliminar los datos desordenados. Es una forma de dar sentido a historias incompletas sin perder el hilo de la trama.

El Problema: El Rompecabezas de la "Pieza Faltante"

En la ciencia, a menudo lidiamos con datos que describen un todo a través de sus partes. Imagina una roca compuesta de diferentes minerales, o una bocanada de aire llena de diferentes productos químicos. La regla es simple: todas las partes deben sumar el 100%. Si la roca es 50% cuarzo, solo puede ser 50% de todo lo demás combinado. Esto se llama "datos composicionales".

El problema surge cuando los datos están incompletos. Tal vez una máquina falló al medir un mineral específico, o un producto químico era demasiado tenue para verse, por lo que el número está oculto. En el pasado, los científicos tenían dos malas opciones:

Desecharlo: Eliminar toda la muestra porque falta una pieza. Esto desperdicia mucha información.
Simularlo: Adivinar el número faltante y completarlo antes de hacer las matemáticas. Esto puede engañar los resultados y hacer que los grupos parezcan incorrectos.

Los autores de este artículo querían encontrar una tercera vía: un método que se mantenga en el "simplex" (el nombre matemático para esa regla del 100%) y que maneje las piezas faltantes directamente, sin eliminarlas ni simularlas.

La Solución: Un Algoritmo de Detective Inteligente

Los autores desarrollaron una nueva versión de una herramienta matemática famosa llamada algoritmo de Esperanza-Maximización (EM). Puedes pensar en este algoritmo como un detective superinteligente que intenta clasificar una pila desordenada de pistas en diferentes grupos.

Así es como trabaja el detective en este nuevo método:

La Configuración: El detective sabe que existen diferentes "tipos" de rocas o muestras de aire (llamados grupos o clusters), pero aún no sabe a qué tipo pertenece cada muestra.
La Suposición (Paso E): Cuando el detective ve una muestra con piezas faltantes, no entra en pánico. Observa las piezas que sí ve y se pregunta: "Si esta muestra pertenece al Grupo A, ¿cuáles serían probablemente las piezas faltantes?". Calcula la probabilidad de las partes faltantes basándose en las reglas del grupo.
La Actualización (Paso M): Usando esas suposiciones, el detective actualiza su comprensión de cómo lucen realmente el Grupo A y el Grupo B.
El Bucle: Repite este proceso una y otra vez. Con cada vuelta, las suposiciones mejoran y los grupos se vuelven más claros.

La magia es que esto sucede todo al mismo tiempo. El algoritmo determina los valores faltantes y clasifica las muestras en grupos simultáneamente, todo el tiempo respetando la regla de que todo debe sumar el 100%.

La Prueba: Simulaciones y Misterios del Mundo Real

Para ver si su detective era bueno, los autores realizaron dos tipos de pruebas.

1. El Laboratorio de Simulación (Los Datos Falsos)
Crearon 1,000 conjuntos de datos falsos donde conocían los grupos reales, pero luego ocultaron diferentes cantidades de datos (desde un 0% hasta un 90% de datos faltantes).

El Resultado: Incluso cuando faltaba el 90% de los datos, su método podía clasificar las muestras con una precisión sorprendente.
La Comparación: Compararon esto con el método antiguo de simplemente eliminar las muestras incompletas. Cuando los datos faltaban, el método antiguo fallaba al encontrar el número correcto de grupos. El nuevo método, sin embargo, seguía encontrando el número correcto de grupos (cuatro, en su prueba) con mucha más frecuencia, incluso cuando los datos eran muy escasos.
Censura: También probaron con datos "censurados", donde un valor se oculta porque es demasiado pequeño para ser medido (como un producto químico por debajo del límite de detección). El nuevo método manejó esto tan bien como los datos faltantes.

2. Los Misterios del Mundo Real
Aplicaron su método a dos conjuntos de datos reales para ver si podía resolver acertijos científicos reales.

Misterio 1: El Manto de la Tierra (Xenolitos)
Analizaron 1,256 muestras de rocas del interior profundo de la Tierra. Estas rocas tenían el 33% de sus mediciones faltantes debido a que fueron recolectadas de diferentes lugares usando diferentes herramientas.
El Hallazgo: El algoritmo clasificó las rocas en cuatro grupos distintos. Estos grupos coincidían perfectamente con tipos geológicos reales. Por ejemplo, un grupo era rico en magnesio y silicio (peridotitas) de partes antiguas y estables de la corteza terrestre, mientras que otro tenía más hierro y cromo. El método identificó con éxito estos tipos de rocas sin necesidad de desechar las muestras desordenadas.
Misterio 2: El Aire que Respiramos (PM2.5)
Observaron datos del Sistema de Calidad del Aire de EE. UU., rastreando partículas diminutas en el aire. Estos datos tenían tanto valores faltantes como valores "censurados" (productos químicos demasiado pequeños para ser medidos).
El Hallazgo: El algoritmo encontró cuatro tipos claros de contaminación del aire.
- Grupo 1: Aire frío con muchos sulfatos y nitratos (a menudo provenientes de emisiones industriales).
- Grupo 2: Una mezcla de carbono y nitratos.
- Grupo 3: Aire caliente donde una gran parte de la contaminación era desconocida (la parte "residual" era enorme), lo que sugiere partículas invisibles que no absorben bien la luz.
- Grupo 4: Aire cálido dominado por carbono orgánico (como humo o escape), lo cual es común en las ciudades.
La Perspectiva: El método mostró que en climas más cálidos, la composición de la contaminación cambia, y una gran parte de ella está compuesta por cosas que los sensores ni siquiera podían ver. Esto ofrece a los científicos una nueva pista sobre qué buscar en el aire.

Por Qué Esto Importa

El artículo sugiere que no tenemos que elegir entre desechar los datos malos o simular números. Al construir un modelo que entiende las reglas del juego (la suma del 100%) y que puede manejar las piezas faltantes, los científicos pueden obtener respuestas más claras de los datos desordenados.

Los autores encontraron que su método es mejor para encontrar el número correcto de grupos y clasificar las muestras correctamente que el viejo enfoque de "eliminar los datos malos". Aunque el artículo no afirma que esto resuelva todos los problemas del mundo, demuestra que para las rocas y la calidad del aire, este nuevo detective es una herramienta poderosa. Permite a los investigadores ver la imagen completa, incluso cuando algunas de las piezas están ocultas en la oscuridad.

Resumen Técnico: Manejo de la Ausencia de Datos y Censura en Modelos de Mezcla de Dirichlet

Planteamiento del Problema
Los datos composicionales, que describen las proporciones relativas de las partes que constituyen un todo, residen en un símplex en lugar de en un espacio euclidiano sin restricciones. Una limitación fundamental en el análisis de tales datos es la prevalencia de observaciones incompletas, incluyendo valores faltantes (debido a fallos en el equipo, falta de respuesta o límites de muestreo) y valores censurados (donde las concentraciones caen por debajo de los umbrales de detección). Los métodos tradicionales basados en la verosimilitud para modelos composicionales generalmente requieren composiciones completamente observadas. En consecuencia, los analistas suelen recurrir al descarte de datos parcialmente observados (eliminación de casos) o a la transformación de los datos en espacios sin restricciones (por ejemplo, mediante transformaciones de razón logarítmica) antes del análisis. Estos enfoques corren el riesgo de sacrificar la interpretabilidad, la coherencia y la eficiencia estadística, particularmente porque la restricción de suma constante vincula cada componente, lo que significa que la incertidumbre en una parte afecta la interpretación de todas las demás. Además, los métodos de imputación estándar separan el manejo de la ausencia de datos del análisis de agrupamiento (clustering) posterior, fallando al no incorporar la incertidumbre de la imputación en la estimación de parámetros.

Metodología
Este artículo propone un algoritmo de Esperanza–Maximización (EM) basado en la verosimilitud para ajustar mezclas finitas de distribuciones de Dirichlet directamente sobre el símplex, acomodando tanto componentes faltantes como censurados sin abandonar el espacio composicional.

Marco Teórico: El enfoque utiliza las propiedades de la distribución de Dirichlet y de la distribución de Dirichlet truncada. El vector aleatorio se particiona en componentes observados ( $X_o$ ) y no observados ( $X_u$ ). El método deriva la densidad marginal de los componentes observados y la distribución condicional de los componentes no observados dados los observados y la pertenencia al grupo (cluster). Los componentes no observados se modelan siguiendo una distribución de Dirichlet truncada dentro de límites específicos definidos por el mecanismo de censura o el patrón de ausencia de datos.
El Algoritmo EM:
- E-step (Paso E): Calcula el valor esperado de la log-verosimilitud completa. Esto implica calcular la probabilidad a posteriori de pertenencia al grupo ( $\tilde{z}_{ig}$ ) para cada observación, lo cual tiene en cuenta la probabilidad de que la parte no observada caiga dentro de su región de truncamiento específica. También calcula los valores esperados del logaritmo de los componentes no observados ( $\tilde{E}_{ikg}$ ), derivados de las propiedades de la distribución de Dirichlet truncada y la función digamma.
- M-step (Paso M): Maximiza la log-verosimilitud esperada con respecto a las proporciones de mezcla ( $\pi_g$ ) y los parámetros de Dirichlet ( $\alpha_g$ ). Las proporciones de mezcla se actualizan mediante promedios ponderados estándar. Los parámetros de Dirichlet se reparametrizan utilizando variables sin restricciones ( $\beta_{kg} = \ln \alpha_{kg}$ ) y se optimizan mediante un algoritmo de Newton–Raphson (NR).
Mecanismos de Manejo: El marco opera bajo un supuesto de Envejecimiento al Azar (Coarsening At Random, CAR), que engloba la Ausencia Completamente al Azar (MCAR), la Ausencia al Azar (MAR) y la censura determinista. El algoritmo requiere solo un componente observado por composición para funcionar, lo que le permite manejar conjuntos de datos que no poseen filas completamente observadas.
Inicialización y Convergencia: El algoritmo emplea estimaciones del método de momentos para la inicialización y utiliza el criterio de aceleración de Aitken para evaluar la convergencia de la log-verosimilitud de los datos observados.

Contribuciones Clave y Resultados

Estimación e Imputación Simultánea: El método propuesto realiza la estimación de parámetros, la asignación de grupos y la imputación basada en modelos simultáneamente dentro de un único procedimiento de verosimilitud, preservando la estructura composicional.
Estudio de Simulación: Se realizaron simulaciones extensas en conjuntos de datos generados a partir de mezclas de cuatro distribuciones de Dirichlet con dimensiones variables ( $p=6$ $p = 6$ a $10$) y niveles de incompletitud (hasta un 90% de datos faltantes o censurados).
- Desempeño de Agrupamiento (Clustering): El algoritmo mantuvo una precisión de agrupación y un Índice de Rand Ajustado (ARI) no nulos incluso con niveles altos de ausencia de datos (90%), aunque el desempeño naturalmente declinó a medida que la dispersión de los datos aumentó.
- Selección de Modelo: El método propuesto demostró una probabilidad significativamente mayor de identificar correctamente el número real de grupos (cuatro) utilizando los criterios AIC, BIC e ICL en comparación con la alternativa de eliminación de casos. La eliminación de casos resultó en una caída rápida a cero de la probabilidad de selección de modelo correcta una vez que la ausencia de datos superó el 50%, mientras que el método propuesto se mantuvo robusto.
- Censura vs. MAR: El algoritmo funcionó eficazmente bajo mecanismos de MAR y de censura, aunque la precisión de la selección de modelos decayó ligeramente más rápido bajo censura debido a la naturaleza más severa del envejecimiento de los datos.
Aplicaciones en el Mundo Real:
- EarthChem Mantle Xenoliths: Aplicado a un conjunto de datos geoquímicos ( $n=1256$ , 33% de ausencia de datos) para identificar tipos de roca y métodos de especiación. Una mezcla de cuatro componentes reveló perfiles interpretables, distinguiendo peridotitas de entornos cratónicos, piroxenitas de entornos intraplaca y otros grupos geoquímicos distintos, con resultados que se alinean con descriptores geológicos no utilizados en el agrupamiento.
- Sistema de Calidad del Aire (AQS) PM2.5: Aplicado a datos de especiación de material particulado ( $n=99$ ) que contienen tanto valores faltantes como valores censurados por la izquierda. Un modelo de cuatro componentes caracterizó distintos perfiles de contaminación, diferenciando entre grupos dominados por iones inorgánicos secundarios (asociados con temperaturas más frías), fuentes mixtas de carbono/inorgánicas y composiciones dominadas por materia orgánica (asociadas con temperaturas más cálidas).

Significancia y Reivindicaciones
El artículo afirma que la metodología propuesta aborda una brecha crítica en el análisis de datos composicionales al permitir la inferencia basada en la verosimilitud y el agrupamiento directamente en el símplex en presencia de partes no observadas. Al evitar la eliminación de datos o la transformación a espacios sin restricciones, el método preserva la interpretabilidad de las variables originales y las restricciones geométricas de los datos. Los autores sostienen que su enfoque mejora sustancialmente la selección de modelos y el desempeño del agrupamiento en relación con las alternativas existentes, particularmente en escenarios de severa incompletitud de datos. El trabajo refuerza la utilidad de los modelos de mezcla de Dirichlet para poblaciones composicionales heterogéneas y sugiere un cambio de adaptar los datos para ajustarse a modelos sin restricciones hacia el desarrollo de herramientas de estimación que respeten la geometría de los datos composicionales.

El Problema: El Rompecabezas de la "Pieza Faltante"

La Solución: Un Algoritmo de Detective Inteligente

La Prueba: Simulaciones y Misterios del Mundo Real

Por Qué Esto Importa

Resumen Técnico: Manejo de la Ausencia de Datos y Censura en Modelos de Mezcla de Dirichlet

Más como este