📊 statistics

Handling mild outliers and unobserved values in compositional datasets using finite mixtures of mean-parametrised Dirichlet models

Este artículo propone una mezcla finita de modelos de Dirichlet parametrizados por la media, basada en la maximización de la esperanza y de carácter convexo, para gestionar de forma robusta la presencia simultánea de valores faltantes y valores atípicos leves en datos composicionales heterogéneos, demostrando un rendimiento de agrupamiento y una detección de valores atípicos superiores en comparación con los enfoques convencionales.

Autores originales: Jason Pillay, Andriëtte Bekker, Cristina Tortora, Antonio Punzo

Publicado 2026-08-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jason Pillay, Andriëtte Bekker, Cristina Tortora, Antonio Punzo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina intentar comprender cómo las personas pasan su día observando un gráfico de sectores donde las porciones representan las horas dedicadas a trabajar, dormir, cuidar a la familia o relajarse. En estadística, este tipo de datos, donde las partes deben sumar un todo, se denominan datos composicionales. Aparecen en todas partes, desde la composición química de las rocas hasta el tiempo que las personas dedican a diversas actividades. Sin embargo, los datos del mundo real rara vez son perfectos. A menudo, faltan algunas porciones del gráfico porque una persona olvidó reportar una actividad o porque se perdieron los datos. Al mismo tiempo, algunos informes son extraños o inusuales, quizás porque alguien pasó veinte horas trabajando o solo dos horas durmiendo. Estas entradas extrañas, conocidas como valores atípicos (outliers), pueden distorsionar la imagen, dificultando la visión de los verdaderos patrones de comportamiento de un grupo. Durante décadas, los estadísticos han luchado por analizar esta mezcla desordenada de piezas faltantes y puntos extraños sin romper la regla fundamental de que las partes siempre deben sumar un todo.

Un equipo de investigadores ha desarrollado una nueva forma de abordar este problema específico. Crearon un modelo matemático que puede observar datos incompletos y desordenados y, aun así, encontrar grupos claros de comportamientos similares, identificando al mismo tiempo qué entradas son demasiado extrañas para formar parte de esos grupos. Su enfoque se basa en el concepto de la distribución de Dirichlet, una herramienta que se ajusta naturalmente a los datos restringidos a un todo, como un gráfico de sectores. Mientras que los métodos anteriores a menudo intentaban forzar estos datos a una forma diferente para facilitar su análisis, lo que podía introducir errores, este nuevo método trabaja directamente sobre la forma original. Trata la información faltante y los valores atípicos extraños no como obstáculos a ser ignorados, sino como características a ser comprendidas. Los investigadores demostraron que su método puede encontrar la explicación más probable para los datos y que esta explicación es única, lo que significa que solo hay una mejor respuesta al rompecabezas que están resolviendo.

Para probar su idea, los investigadores realizaron miles de simulaciones computacionales. Crearon conjuntos de datos ficticios que imitaban la vida real, con valores faltantes que variaban desde casi ninguno hasta el noventa por ciento de los datos, y añadieron cantidades variables de puntos extraños o atípicos. Descubrieron que su nuevo modelo podía clasificar con éxito los datos en los grupos correctos e identificar las entradas extrañas, incluso cuando los datos estaban muy incompletos. Curiosamente, descubrieron que tener una cantidad moderada de datos faltantes a veces ayudaba al modelo a desempeñarse mejor. Cuando los datos estaban completamente completos pero llenos de ruido, el modelo a veces tenía dificultades para distinguir los grupos reales del caos. Pero cuando faltaban algunos datos, el modelo podía distraerse menos por el ruido y concentrarse más claramente en los patrones subyacentes. Esto sugiere que existe un punto óptimo donde la información faltante ayuda al modelo a ignorar lo peor de los errores.

Los investigadores aplicaron luego su método a un conjunto de datos del mundo real de la Encuesta de Uso del Tiempo de Estados Unidos (American Time Use Survey), que rastrea cómo pasan sus días los estadounidenses. Este conjunto de datos fue particularmente desafiante, con casi la mitad de las actividades reportadas faltantes y una parte significativa de los registros conteniendo patrones de uso del tiempo inusuales. Cuando utilizaron un método estándar y más antiguo para analizar estos datos, el modelo dividió a las personas en cuatro grupos distintos, pero esta división parecía artificial, impulsada en gran medida por los valores atípicos extraños. En contraste, su nuevo modelo identificó solo dos grupos claros y sensatos. Un grupo consistía en personas cuyos días estaban dominados por el trabajo y el cuidado personal, mientras que el otro estaba definido por la vida hogareña, el ocio y la ayuda a la familia. El modelo también señaló aproximadamente el dieciséis por ciento de los registros como valores atípicos, reconociendo que estos individuos tenían rutinas diarias inusuales que no encajaban perfectamente en ninguno de los dos grupos principales. Al mantener el análisis en la escala original de los datos, los investigadores pudieron describir estos grupos en términos sencillos, como "centrados en el trabajo" o "centrados en el hogar", sin necesidad de traducir los resultados desde un espacio matemático distorsionado.

La importancia de este trabajo radica en su capacidad para respetar las restricciones naturales de los datos mientras maneja el desorden de la realidad. En lugar de forzar los datos para que encajen en un molde rígido, el nuevo método se adapta a los datos, permitiendo que los valores faltantes y los puntos extraños coexistan con los patrones principales. Esto significa que los investigadores ahora pueden estudiar comportamientos complejos del mundo real con mayor confianza, sabiendo que sus conclusiones no están siendo sesgadas por vacíos en los datos o por unos pocos registros inusuales. El enfoque ofrece una forma más honesta y precisa de ver el mundo a través del lente de cómo las personas pasan su tiempo, o de cómo se comporta cualquier otro dato proporcional, revelando la verdadera estructura oculta bajo el ruido.

Resumen Técnico: Manejo de Valores Atípicos Leves y Valores No Observados en Conjuntos de Datos Composicionales

Planteamiento del Problema
Los datos composicionales, que residen en un simplex unitario y suman una constante, enfrentan frecuentemente dos desafíos simultáneos: la presencia de puntos atípicos (outliers) y valores faltantes. Los enfoques tradicionales suelen recurrir a la transformación de los datos composicionales hacia el espacio real (por ejemplo, mediante transformaciones de razón logarítmica aditiva o isométrica) para aplicar técnicas multivariantes estándar como la distribución normal. Sin embargo, estas transformaciones pueden distorsionar las posiciones relativas de los valores atípicos, introducir sesgos tras la transformación inversa y no proporcionan un marco de trabajo fundamentado para el manejo de datos faltantes directamente en el simplex. Además, los modelos de mezclas de Dirichlet existentes tienen dificultades para acomodar simultáneamente tanto los valores faltantes como la contaminación sin recurrir a imputaciones o transformaciones ad hoc.

Metodología
Los autores proponen un modelo de mezcla finita de distribuciones de Dirichlet parametrizadas por la media bajo el modelo de contaminación de Huber, diseñado específicamente para datos composicionales incompletos.

Formulación del Modelo:
- Contaminación: El modelo define los valores atípicos directamente en el simplex utilizando una densidad contaminada $f_{CD}$ . Esta densidad es una mezcla de un componente de referencia de tipo Dirichlet y un componente contaminado con variabilidad inflada. La contaminación se controla mediante un parámetro de proporción $\varepsilon$ (probabilidad de un valor atípico) y un parámetro de inflación de la variabilidad $\eta > 1$ .
- Faltantes: El marco asume un mecanismo de Faltante al Azar (MAR, por sus siglas en inglés). Crucialmente, los autores derivan la distribución condicional de las partes faltantes ( $\mathbf{X}_m$ ) dado las partes observadas ( $\mathbf{X}_o$ ) para un vector de Dirichlet. Demuestran que, bajo MAR, las partes faltantes, cuando se escalan por la masa restante, siguen una distribución de Dirichlet con parámetros ajustados. Esto permite la derivación de la distribución marginal de los datos observados sin necesidad de imputación.
- Referencia de Ruido Uniforme: El artículo establece que el ruido uniforme en el simplex sigue una distribución de Dirichlet específica ( $DS_p(\frac{1}{p}\mathbf{1}; \frac{1}{p})$ ), proporcionando un punto de referencia teórico para la detección de valores atípicos.
Inferencia y Optimización:
- Existencia y Unicidad: Los autores establecen que la maximización de la log-verosimilitud observada para la distribución de Dirichlet contaminada parametrizada por la media produce Estimaciones de Máxima Verosimilitud (MLE) únicas. Demuestran que la log-verosimilitud es estrictamente cóncava con respecto a los parámetros de la media y coercitiva con respecto a los parámetros de variabilidad, asegurando la existencia y unicidad de los optimizadores para un solo componente ( $G=1$ ). Para mezclas ( $G>1$ ), la identificabilidad se discute hasta la permutación.
- Algoritmo EM: Se desarrolla un algoritmo de Esperanza-Maximización (EM) adaptado:
  - Paso E: Calcula las probabilidades a posteriori de la pertenencia a un clúster y del estado de contaminación. Incorpora los momentos de la distribución de las partes faltantes, utilizando las distribuciones condicionales derivadas para manejar observaciones incompletas.
  - Paso M: Actualiza los parámetros mediante un método de Newton-Raphson (NR) restringido. Dado que no existen soluciones de forma cerrada para los parámetros de la media ( $\boldsymbol{\mu}$ ), la variabilidad ( $\gamma$ ) y la inflación ( $\eta$ ), los autores derivan actualizaciones iterativas elemento a elemento. El algoritmo utiliza la aceleración de Aitken para determinar la convergencia.
Clustering y Detección:
- El algoritmo realiza simultáneamente el agrupamiento (clustering, asignando observaciones a componentes de la mezcla) y la detección de valores atípicos (marcando observaciones como típicas o contaminadas) basándose en las probabilidades de Máxima Posterior (MAP).

Resultados Clave

Estudio de Simulación: El desempeño fue evaluado en 1,000 conjuntos de datos con grados variables de falta de datos (0–90%), contaminación (10–30%) y tamaños de muestra ( $n=100, 1000$ ).
- Clustering: El modelo propuesto mantuvo una alta precisión y puntuaciones del Índice Rand Ajustado (ARI) incluso con una falta de datos significativa. Curiosamente, una falta de datos moderada a veces mejoró el desempeño del clustering en escenarios de alto ruido al reducir la influencia de las configuraciones de valores atíficos.
- Detección de Valores Atípicos: El modelo demostró una alta precisión en la detección de valores atípicos, aunque las Tasas de Verdaderos Positivos (TPR) disminuyeron a medida que aumentaba la falta de datos (un sesgo hacia clasificar filas dispersas como típicas). Los tamaños de muestra grandes mejoraron significativamente las métricas de detección.
- Recuperación de Parámetros: La estimación de las medias se mantuvo insesgada a través de los niveles de falta de datos. La estimación de los parámetros de variabilidad mostró una relación no monotónica con la falta de datos, revelando un "punto óptimo" de falta de datos moderada donde la recuperación de parámetros fue más precisa.
- Selección de Modelo: Los criterios como AIC, BIC e ICL identificaron con éxito el número correcto de componentes en el modelo contaminado, superando al modelo de mezcla de Dirichlet estándar (no contaminado), el cual tendía a sobre-dividir los clústeres para dar cuenta de los valores atípicos.
Aplicación (Encuesta de Uso del Tiempo Americano):
- Se aplicó a un conjunto de datos con un 49.1% de celdas faltantes; el modelo contaminado ( $G=2$ ) fue seleccionado sobre una mezcla de Dirichlet estándar ( $G=4$ ) basado en la Verosimilitud de Clasificación Integrada (ICL).
- El modelo estándar identificó cuatro clústeres, dividiendo artificialmente un grupo para acomodar los valores atípicos.
- El modelo propuesto identificó dos clústeres interpretables: un grupo "intensivo en trabajo" y un grupo "social/recreativo". Identificó con éxito aproximadamente el 16.4% de las observaciones como valores atípicos (composiciones de uso del tiempo atípicas) sin forzarlas en clústeres separados y potencialmente espurios.

Significancia y Reivindicaciones
El artículo afirma proporcionar una representación fundamentada de los valores atípicos y un método para derivar la distribución de las partes faltantes mientras se tiene en cuenta la contaminación, todo ello sin transformar los datos fuera del simplex. Las contribuciones principales son:

Teóricas: Establecer la existencia, unicidad e identificabilidad de las MLE para mezclas de Dirichlet parametrizadas por la media bajo condiciones de contaminación y MAR.
Metodológicas: Desarrollar un algoritmo EM tratable que maneja valores faltantes y valores atípicos simultáneamente mediante actualizaciones iterativas elemento a elemento, evitando los sesgos introducidos por las transformaciones de razón logarítmica.
Prácticas: Demostrar que modelar los valores atípicos directamente en el simplex evita la división artificial de clústeres que suele ocurrir con los enfoques convencionales, lo que conduce a resultados más interpretables en el análisis de datos composicionales del mundo real.

Los autores concluyen que este marco revierte la perspectiva tradicional de adaptar los datos a modelos no restringidos, desarrollando en su lugar herramientas de estimación que respetan la geometría y las restricciones de los datos composicionales, abriendo así vías para el modelado basado en el simplex.

Resumen Técnico: Manejo de Valores Atípicos Leves y Valores No Observados en Conjuntos de Datos Composicionales

Más como este