📊 statistics

Modeling and estimating skewed and heavy-tailed populations via unsupervised mixture models

Este artículo introduce un modelo de mezcla totalmente no supervisado que combina una distribución lognormal para el cuerpo y una distribución de Pareto generalizada de ubicación cero para la cola para modelar eficazmente datos de cola pesada y no negativos sin requerir la selección de un umbral, ofreciendo una alternativa fácil de estimar a los métodos existentes mediante un algoritmo EM y un paquete de R.

Autores originales: Marco Bee, Flavio Santi

Publicado 2026-07-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Marco Bee, Flavio Santi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando describir una multitud de personas basándote en su altura. La mayoría tiene una estatura promedio, formando una hermosa y suave colina en el centro de la sala. Pero luego, tienes a unos pocos gigantes al fondo, elevándose por encima de todos los demás.

En el mundo de los datos —como las reclamaciones de seguros, el tamaño de las ciudades o las puntuaciones de baloncesto— este "colina con gigantes" es un problema muy común. La parte central (el "cuerpo") suele seguir un patrón predecible, pero los gigantes (la "cola") son tan enormes y raros que rompen las reglas. Si intentas usar una única fórmula matemática para describir a toda la multitud, generalmente fallas. O ajustas perfectamente a las personas promedio pero ignoras a los gigantes, o ajustas a los gigantes pero haces que las personas promedio parezcan extrañas.

Durante años, los estadísticos han intentado resolver esto "empalmeando" dos fórmulas diferentes: una para el cuerpo y otra para la cola. Pero esto es como intentar pegar dos telas diferentes. Tienes que elegir un punto específico para cortarlas y pegarlas, y tienes que asegurarte de que los bordes coincidan perfectamente para que no haya un bulto. Este "punto de corte" (llamado umbral) es un dolor de cabeza para encontrar, y a veces las matemáticas se vuelven tan complicadas que no puedes calcular la respuesta fácilmente.

La Nueva "Mezcla Mágica"
Marco Bee y Flavio Santi, dos investigadores de la Universidad de Trento, han propuesto una nueva forma de mirar a esta multitud. En lugar de pegar dos telas, sugieren mezclarlas como pintura.

Llaman a esto una mezcla lognormal-GPD estática. Así es como funciona:

La Pintura del Cuerpo: Utilizan una fórmula "Lognormal", que es excelente para describir los datos cotidianos y promedio (la colina).
La Pintura de los Gigantes: Utilizan una "Distribución Pareto Generalizada" (GPD), que es una fórmula especial diseñada específicamente para los valores atípicos masivos y raros (los gigantes).
La Cuchara Mezcladora: No cortan y pegan. En su lugar, dicen: "Vamos a mezclar estas dos pinturas". Un cierto porcentaje de los datos proviene de la pintura Lognormal, y el resto proviene de la pintura GPD.

Lo mejor de todo es que no hay punto de corte. El modelo es "no supervisado", lo que significa que no tienes que adivinar dónde terminan las personas promedio y dónde comienzan los gigantes. La transición es suave, como un degradado, en lugar de una costura dentada.

Cómo lo Probaron
Los autores no solo supusieron que esto funcionaría; realizaron una enorme cantidad de simulaciones por computadora para ver si se mantenía en pie.

La Prueba "Correcta": Crearon datos falsos que coincidían perfectamente con su nuevo modelo de mezcla. Cuando intentaron encontrar los ingredientes de vuelta, el método funcionó de maravilla, especialmente cuando tenían muchos datos (500 observaciones o más).
La Prueba "Incorrecta": Intentaron ajustar su nuevo modelo a datos generados por otros métodos más complicados. Incluso cuando los datos no fueron creados por su receta específica, su modelo se ajustó sorprendentemente bien. De hecho, en una prueba utilizando una "Distribución Beta Generalizada", su modelo se ajustó a los datos mejor que los otros dos competidores principales.
La Prueba de Velocidad: Compararon cuánto tiempo tomaba calcular la respuesta. Su método fue mucho más rápido que el método de "mezcla dinámica" (otro enfoque popular), pero ligeramente más lento que el método "empalmado" más simple. Sin embargo, los autores señalan que su método es mucho más fácil de manejar porque no requiere resolver acertijos matemáticos imposibles.

Prueba del Mundo Real
Para ver si esto funciona en el mundo real, los autores lo probaron en dos conjuntos de datos muy desordenados:

Reclamaciones de Seguros de Automóviles: Analizaron 6,773 reclamaciones de automóviles de una aseguradora de EE. UU. Los datos estaban sesgados, con muchas reclamaciones pequeñas y algunas masivas. Su modelo de mezcla se ajustó perfectamente a los datos, mientras que los viejos métodos de una sola fórmula (solo Lognormal o solo GPD) fallaron al capturar la imagen completa.
Fraude Bancario: Analizaron pérdidas por fraude interno en un banco italiano. Nuevamente, los datos eran salvajes y de cola pesada. El modelo de mezcla fue el único que pasó las pruebas de "bondad de ajuste", lo que significa que fue el único que realmente se parecía a los datos reales.

Lo Que Encontraron (y Lo Que No)
El hallazgo principal es que este "mezcla mágica" es una herramienta flexible, confiable y más fácil de usar para modelar datos sesgados y de cola pesada. Sugiere que puedes obtener la misma precisión que los métodos más complejos y difíciles, pero con menos dolores de cabeza computacionales.

Sin embargo, los autores tienen cuidado de no exagerar. Señalan que cuando el tamaño de la muestra es pequeño (como 100 observaciones), las matemáticas pueden volverse un poco inestables, y las estimaciones para la parte "gigante" del modelo pueden variar un poco más. También observan que, aunque el modelo es excelente para ajustar los datos y calcular el riesgo (como el Valor en Riesgo), no fue diseñado principalmente para clasificar a las personas en grupos, aunque las matemáticas sí dan una pista sobre qué "pintura" probablemente creó cada punto de datos.

La Conclusión
El artículo sugiere que para cualquiera que trabaje con datos que tienen una larga cola de valores extremos —como pérdidas de seguros o riesgos financieros— este nuevo modelo de mezcla es un fuerte contendiente. Ofrece una forma suave y sin umbrales de modelar a toda la multitud, desde el promedio hasta el extremo, sin el dolor de cabeza de encontrar el punto de corte perfecto. No es una varita mágica que resuelve todos los problemas instantáneamente, pero es una herramienta más robusta, rápida y flexible que las que están actualmente en el estante.

Todos estos métodos están disponibles de forma gratuita en un paquete de R llamado lognGPD, para que cualquiera pueda intentar mezclar sus propias pinturas.

Resumen Técnico: Modelado y Estimación de Poblaciones Sesgadas y de Cola Pesada mediante Modelos de Mezcla No Supervisados

Planteamiento del Problema
En campos que van desde la ciencia actuarial hasta la macroeconomía, las distribuciones de población se caracterizan frecuentemente por su sesgo y colas pesadas. Un desafío común es que ningún modelo de probabilidad único describe adecuadamente tanto el "cuerpo" (masa central) de los datos como su cola extrema. Las distribuciones clásicas de tamaño (por ejemplo, la Lognormal) suelen ajustar bien el cuerpo, pero decaen demasiado rápido para capturar observaciones extremas, mientras que las Distribuciones de Pareto Generalizado (G GPD) son teóricamente sólidas para las colas, pero a menudo fallan al modelar el cuerpo de los datos. Las soluciones existentes suelen implicar el "empalme" de distribuciones en un umbral específico o el uso de mezclas dinámicas. Sin embargo, los modelos empalmados requieren la selección de un umbral e imponen restricciones de continuidad y diferenciabilidad que reducen el número de parámetros libres. Las mezclas dinámicas, como la propuesta por Frigessi et al. (2002), ofrecen densidades suaves sin umbrales, pero sufren de verosimilitudes intratables debido a constantes de normalización que no tienen forma cerrada, lo que complica la estimación.

Metodología
Los autores proponen un modelo de mezcla estático y no supervisado que combina una distribución Lognormal (para el cuerpo) y una Distribución de Pareto Generalizado (GPD) de ubicación cero (para la cola). La función de densidad de probabilidad se define como:
$f(x; \theta) = p f_1(x; \mu, \sigma^2) + (1-p) f_2(x; 0, \xi, \beta)$
donde $p \in (0,1)$ es el peso de la mezcla, $f_1$ es la densidad Lognormal y $f_2$ es la densidad GPD con ubicación 0.

Características metodológicas clave incluyen:

Naturaleza No Supervisada: A diferencia de los modelos empalmados, este enfoque no requiere un umbral preespecificado. La transición entre el cuerpo y la cola está gobernada por el peso de la mezcla $p$ , y la densidad es automáticamente continua y diferenciable en $[0, +\infty)$ (siempre que $\xi > -1$ ).
Estimación mediante el Algoritmo EM: Los autores desarrollan un algoritmo de Esperanza-Maximización (EM) para la Estimación de Máxima Verosimilitud (MLE).
- Paso E (Expectation): Calcula la probabilidad posterior de que una observación pertenezca al componente Lognormal.
- Paso M (Maximization): Actualiza los parámetros Lognormal ( $p, \mu, \sigma^2$ ) en forma cerrada. Los parámetros de la GPD ( $\xi, \beta$ ) se actualizan mediante la maximización numérica de una log-verosimilitud ponderada.
Implementación: El método se implementa en el paquete de R lognGBD.

Contribuciones Clave

Estructura de Modelo Novedosa: El artículo introduce una mezcla estática de componentes Lognormal y GPD. Según conocimiento de los autores, esta configuración estática específica (con pesos constantes) no había sido considerada previamente en la literatura.
Eficiencia Computacional: Al evitar la constante de normalización intratable encontrada en las mezclas dinámicas (Caso 2) y las complejas restricciones de los modelos empalmados (Caso 1), el modelo propuesto permite un procedimiento de estimación computacionalmente más ligero.
Robustez y Flexibilidad: El modelo está diseñado para ser lo suficientemente flexible como para ajustarse a datos generados de diversos procesos, incluyendo aquellos donde la distribución real difiere de la mezcla asumida.

Resultados
El artículo evalúa el modelo a través de experimentos de simulación y dos aplicaciones de datos reales (siniestros de seguros de automóviles y pérdidas de riesgo operacional).

Experimentos de Simulación:
- Configuración Correctamente Especificada: Cuando los datos se simulan a partir de la mezcla propuesta, el algoritmo EM produce estimadores consistentes. El rendimiento mejora significativamente con el tamaño de la muestra ( $n=500$ vs. $n=100$ ), aunque las estimaciones de los parámetros de la GPD ( $\xi, \beta$ ) pueden ser inestables en muestras pequeñas si el peso de la mezcla $p$ es alto (pocas observaciones en la cola).
- Configuraciones Mal Especificadas: El modelo se ajustó a datos generados de (1) una distribución compuesta Lognormal-Pareto (Scollnik, 2007) y (2) una mezcla dinámica Cauchy-Lognormal-GPD (Frigessi et al., 2002). En ambos casos, la mezcla estática proporcionó un buen ajuste, y las pruebas de Kolmogorov-Smirnov (KS) y Anderson-Darling (AD) no rechazaron el modelo.
- Datos de Beta Generalizada (GB2): Cuando se ajustó a datos de GB2 altamente sesgados (donde todos los modelos están mal especificados), la mezcla estática superó a los modelos compuestos y dinámicos en términos de pruebas de Bondad de Ajuste (GoF) y el Criterio de Información Bayesiano (BIC).
- Costo Computacional: El enfoque basado en EM es más lento que la MLE directa para el modelo compuesto Lognormal-Pareto, pero significativamente más rápido (órdenes de magnitud) que la MLE para la mezcla dinámica, la cual requiere integración numérica para la constante de normalización.
Aplicaciones de Datos Reales:
- Siniestros de Automóvil: La mezcla estática proporcionó un ajuste superior en comparación con los modelos puramente Lognormal o puramente GPD. Arrojó estimaciones de Valor en Riesgo (VaR) consistentes con los cuantiles empíricos, con menor variabilidad que el enfoque de la mezcla dinámica.
- Riesgo Operacional: De manera similar, el modelo de mezcla se ajustó mejor a los datos de pérdidas de cola pesada que los modelos de un solo componente. Aunque las estimaciones tuvieron intervalos de confianza más amplios debido a un tamaño de muestra menor, el modelo capturó con éxito la cola pesada ( $\hat{\xi} > 0$ ) y proporcionó estimaciones de VaR más cercanas a los cuantiles empíricos que los modelos competidores.

Significancia y Reivindicaciones
Los autores afirman que la mezcla estática Lognormal-GPD propuesta ofrece un equilibrio práctico entre flexibilidad de modelo y viabilidad de estimación. Su principal significancia radica en ser un enfoque totalmente no supervisado que elimina la necesidad de seleccionar un umbral evitando al mismo tiempo los cuellos de botella computacionales de las mezclas dinámicas.

El artículo afirma modestamente que el enfoque es "equivalente en términos de bondad de ajuste" a las distribuciones complejas existentes pero "más fácil de estimar". Destaca que el modelo es particularmente útil para la medición de riesgos (VaR) y sugiere que las probabilidades posteriores generadas por el algoritmo EM podrían utilizarse para fines de clasificación (identificando qué observaciones pertenecen a la cola). Los autores reconocen que, aunque el modelo está diseñado para datos de pérdidas, puede ser aplicable a otros fenómenos sesgados y de cola pesada, aunque no reclaman que sea una solución universal para todo tipo de datos.

Resumen Técnico: Modelado y Estimación de Poblaciones Sesgadas y de Cola Pesada mediante Modelos de Mezcla No Supervisados

Más como este