📊 statistics

Modeling and estimating skewed and heavy-tailed populations via unsupervised mixture models

Dieses Paper stellt ein vollständig unüberwachtes Mischmodell vor, das eine Log-Normalverteilung für den Körper und eine verallgemeinerte Pareto-Verteilung mit Null-Lage für den Tail kombiniert, um nicht-negative, schwerfällige Daten effektiv zu modellieren, ohne dass eine Schwellenwertwahl erforderlich ist, und bietet über einen EM-Algorithmus sowie ein R-Paket eine schätzfreundliche Alternative zu bestehenden Methoden.

Ursprüngliche Autoren: Marco Bee, Flavio Santi

Veröffentlicht 2026-07-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Marco Bee, Flavio Santi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine Menschenmenge basierend auf ihrer Körpergröße zu beschreiben. Die meisten Menschen sind durchschnittlich groß und bilden einen schönen, glatten Hügel in der Mitte des Raumes. Aber dann gibt es noch ein paar Riesen im hinteren Teil, die über alle anderen hinausragen.

In der Welt der Daten – wie etwa bei Versicherungsansprüchen, Stadtgrößen oder Basketball-Punkten – ist dieser „Hügel mit den Riesen“ ein sehr verbreitetes Problem. Der mittlere Teil (der „Körper“) folgt meist einem vorhersehbaren Muster, aber die Riesen (der „Schwanz“) sind so gewaltig und selten, dass sie die Regeln brechen. Wenn man versucht, die gesamte Menge mit einer einzigen mathematischen Formel zu beschreiben, scheitert man meistens. Entweder passt man die Durchschnittsmenschen perfekt an und übersieht dabei die Riesen, oder man passt die Riesen an und lässt die Durchschnittsmenschen seltsam aussehen.

Jahrelang haben Statistiker versucht, dies zu lösen, indem sie zwei verschiedene Formeln zusammen „verbinden“ (splicing): eine für den Körper und eine für den Schwanz. Das ist jedoch so, als würde man versuchen, zwei verschiedene Stoffe zusammenzukleben. Man muss einen spezifischen Punkt wählen, an dem man sie schneidet und klebt, und man muss sicherstellen, dass die Kanten perfekt zusammenpassen, damit es keine Beule gibt. Dieser „Schnittpunkt“ (ein Schwellenwert) ist ein Kopfzerbrechen und manchmal wird die Mathematik so kompliziert, dass man das Ergebnis nicht einmal mehr leicht berechnen kann.

Die neue „magische Mischung“
Marco Bee und Flavio Santi, zwei Forscher der Universität Trient, haben einen neuen Weg vorgeschlagen, wie man auf diese Menge blicken kann. Anstatt zwei Stoffe zusammenzukleben, schlagen sie vor, sie wie Farbe zu mischen.

Sie nennen es eine statische Lognormal-GPD-Mischung. So funktioniert es:

Die Körper-Farbe: Sie verwenden eine „Lognormal“-Formel, die hervorragend geeignet ist, um die durchschnittlichen, alltäglichen Daten (den Hügel) zu beschreiben.
Die Riesen-Farbe: Sie verwenden eine „verallgemeinerte Pareto-Verteilung“ (GPD), eine spezielle Formel, die speziell für die massiven, seltenen Ausreißer (die Riesen) entwickelt wurde.
Der Mischlöffel: Sie schneiden und kleben nicht. Stattdessen sagen sie: „Lassen Sie uns diese beiden Farben mischen.“ Ein gewisser Prozentsatz der Daten stammt aus der Lognormal-Farbe, und der Rest stammt aus der GPD-Farbe.

Das Beste daran? Es gibt keinen Schnittpunkt. Das Modell ist „unüberwacht“, was bedeutet, dass man nicht raten muss, wo die Durchschnittsmenschen enden und die Riesen beginnen. Die Mathematik regelt das automatisch. Der Übergang ist glatt, wie ein Farbverlauf, und nicht wie eine gezackte Naht.

Wie sie es getestet haben
Die Autoren haben nicht nur geraten, dass dies funktionieren würde; sie haben eine massive Anzahl von Computersimulationen durchgeführt, um zu sehen, ob es standhält.

Der „Korrekte“-Test: Sie erstellten fiktive Daten, die perfekt zu ihrem neuen Mischmodell passten. Als sie versuchten, die Zutaten zurückzufinden, funktionierte die Methode wunderbar, besonders wenn sie über viele Daten verfügten (500 Beobachtungen oder mehr).
Der „Falsche“-Test: Sie versuchten, ihr neues Modell auf Daten anzuwenden, die durch andere, kompliziertere Methoden generiert wurden. Selbst als die Daten nicht nach ihrem spezifischen Rezept erstellt worden waren, passte ihr Modell überraschend gut. In einem Test mit einer „verallgemeinerten Beta-Verteilung“ passte ihr Modell sogar besser zu den Daten als die anderen beiden führenden Konkurrenten.
Der Geschwindigkeitstest: Sie verglichen, wie lange es dauerte, das Ergebnis zu berechnen. Ihre Methode war viel schneller als die „dynamische Mischung“ (ein anderer populärer Ansatz), aber etwas langsamer als die einfachste „gespleißte“ Methode. Die Autoren merken jedoch an, dass ihre Methode viel einfacher zu handhaben ist, da sie keine unmöglichen mathematischen Rätsel lösen muss.

Praxisbewährter Beweis
Um zu sehen, ob dies in der realen Welt funktioniert, testeten die Autoren es an zwei sehr unordentlichen Datensätzen:

Kfz-Versicherungsansprüche: Sie untersuchten 6.773 Kfz-Versicherungsansprüche eines US-Versicherers. Die Daten waren schief verteilt, mit vielen kleinen Ansprüchen und einigen wenigen massiven. Ihr Mischmodell passte perfekt zu den Daten, während die alten Ein-Formel-Methoden (nur Lognormal oder nur GPD) nicht in der Lage waren, das gesamte Bild zu erfassen.
Bankbetrug: Sie analysierten interne Betrugsverluste einer italienischen Bank. Auch hier waren die Daten wild und schwerfällig in den Enden (heavy-tailed). Nur das Mischmodell bestand die „Goodness-of-fit“-Tests, was bedeutet, dass es das einzige war, das tatsächlich wie die realen Daten aussah.

Was sie fanden (und was sie nicht fanden)
Das Hauptergebnis ist, dass diese „magische Mischung“ ein flexibles, zuverlässiges und einfacher zu bedienendes Werkzeug zur Modellierung schiefer, schwerfälliger Daten ist. Es deutet darauf hin, dass man die gleiche Genauigkeit wie bei den komplexeren, schwierigeren Methoden erreichen kann, aber mit weniger rechnerischem Aufwand.

Die Autoren sind jedoch vorsichtig, nicht zu viel zu versprechen. Sie weisen darauf hin, dass die Mathematik etwas wackelig werden kann, wenn die Stichprobengröße klein ist (wie bei 100 Beobachtungen), und dass die Schätzungen für den „Riesen“-Teil ihres Modells etwas stärker variieren können. Sie merken auch an, dass das Modell zwar hervorragend zum Anpassen der Daten und zur Berechnung von Risiken (wie dem Value-at-Risk) geeignet ist, aber nicht primlich dafür entwickelt wurde, Menschen in Gruppen einzuteilen, obwohl die Mathematik einen Hinweis darauf gibt, welche „Farbe“ wahrscheinlich jeden Datenpunkt erzeugt hat.

Das Fazit
Das Paper legt nahe, dass für jeden, der mit Daten zu tun hat, die einen langen Schwanz extremer Werte aufweisen – wie etwa Versicherungsverluste oder finanzielle Risiken – dieses neue Mischmodell ein starker Kandidat ist. Es bietet einen glatten, schwellenwertfreien Weg, um die gesamte Menge zu modellieren, vom Durchschnitt bis zum Extremen, ohne das Kopfzerbrechen bei der Suche nach dem perfekten Schnittpunkt. Es ist kein Zauberstab, der jedes Problem sofort löst, aber es ist ein robusteres, schnelleres und flexibleres Werkzeug als die derzeit verfügbaren Optionen.

Alle diese Methoden sind kostenlos in einem R-Paket namens lognGPD verfügbar, sodass jeder seine eigenen Farben mischen kann.

Technisches Resümee: Modellierung und Schätzung schiefer und schwerfälliger Populationen mittels unüberwachter Mischmodelle

Problemstellung
In Bereichen, die von der Aktuarwissenschaft bis hin zur Makroökonomie reichen, sind Populationsverteilungen häufig durch Schiefe und schwere Enden (Heavy Tails) gekennzeichnet. Eine gängige Herausforderung besteht darin, dass kein einzelnes Wahrscheinlichkeitsmodell sowohl den „Körper“ (Bulk) der Daten als auch deren extreme Enden adäquat beschreiben kann. Klassische Größenverteilungen (z. B. Lognormal) beschreiben den Körper oft gut, fallen aber zu schnell ab, um extreme Beobachtungen zu erfassen, während verallgemeinerte Pareto-Verteilungen (GPD) für die Enden theoretisch fundiert sind, aber oft daran scheitern, den Körper der Daten zu modellieren. Bestehende Lösungen beinhalten typischerweise das „Zusammenfügen“ (Splicing) von Verteilungen an einem spezifischen Schwellenwert oder die Verwendung dynamischer Mischmodelle. Spliced-Modelle erfordern jedoch die Auswahl eines Schwellenwerts und legen Stetigkeits- und Differenzierbarkeitsbeschränkungen auf, was die Anzahl der freien Parameter reduziert. Dynamische Mischmodelle, wie das von Frigessi et et al. (2002) vorgeschlagene, bieten glatte Dichten ohne Schwellenwerte, leiden jedoch unter intransigiblen Likelihoods aufgrund nicht-geschlossener Normalisierungskonstanten, was die Schätzung erschwert.

Methodik
Die Autoren schlagen ein statisches, unüberwachtes Mischmodell vor, das eine Lognormal-Verteilung (für den Körper) und eine Generalized Pareto Distribution (GPD) mit Lageparameter 0 (für das Ende) kombiniert. Die Wahrscheinlichkeitsdichtefunktion ist definiert als:
$f(x; \theta) = p f_1(x; \mu, \sigma^2) + (1-p) f_2(x; 0, \xi, \beta)$
wobei $p \in (0,1)$ das Mischgewicht ist, $f_1$ die Lognormal-Dichte und $f_2$ die GPD-Dichte mit Lage 0 darstellt.

Zentrale methodische Merkmale sind:

Unüberwachter Charakter: Im Gegensatz zu Spliced-Modellen erfordert dieser Ansatz keinen vorab festgelegten Schwellenwert. Der Übergang zwischen Körper und Ende wird durch das Mischgewicht $p$ gesteuert, und die Dichte ist auf $[0, +\infty)$ automatisch stetig und differenzierbar (vorausgesetzt $\xi > -1$ ).
Schätzung via EM-Algorithmus: Die Autoren entwickeln einen Expectation-Maximization (EM) Algorithmus für die Maximum-Likelihood-Schätzung (MLE).
- E-Schritt: Berechnet die Posteriori-Wahrscheinlichkeit, dass eine Beobachtung zur Lognormal-Komponente gehört.
- M-Schritt: Aktualisiert die Lognormal-Parameter ( $\mu, \sigma^2$ ) in geschlossener Form. Die GPD-Parameter ( $\xi, \beta$ ) werden durch numerische Maximierung der gewichteten Log-Likelihood aktualisiert.
Implementierung: Die Methode ist im R-Paket lognGpd implementiert.

Zentrale Beiträge

Neuartige Modellstruktur: Die Arbeit führt ein statisches Mischmodell aus Lognormal- und GPD-Komponenten ein. Soweit den Autoren bekannt, wurde diese spezifische statische Konfiguration (mit konstanten Gewichten) bisher nicht in der Literatur berücksichtigt.
Recheneffizienz: Durch die Vermeidung der intransigiblen Normalisierungskonstante, die bei dynamischen Mischungen (Fall 2) auftritt, sowie der komplexen Beschränkungen von Spliced-Modellen (Fall 1), ermöglicht das vorgeschlagene Modell ein rechentechnisch leichteres Schätzverfahren.
Robustheit und Flexibilität: Das Modell ist so konzipiert, dass es flexibel genug ist, um Daten aus verschiedenen Prozessen zu fitten, einschließlich solcher, bei denen die wahre Verteilung von der angenommenen Mischung abweicht.

Ergebnisse
Das Papier evaluiert das Modell durch Simulationsexperimente und zwei Anwendungen auf Realdaten (Kraftversicherungsansprüche und operationelle Risikoverluste).

Simulationsexperimente:
- Korrekt spezifizierter Aufbau: Wenn Daten aus der vorgeschlagenen Mischung simuliert wurden, liefert der EM-Algorithmus konsistente Schätzer. Die Leistung verbessert sich signifikant mit der Stichprobengröße ( $n=500$ vs. $n=100$ ), obwohl die GPD-Parameterschätzungen ( $\xi, \beta$ ) in kleinen Stichproben instabil sein können, wenn das Mischgewicht $p$ hoch ist (wenige Beobachtungen im Tail).
- Fehlspezifizierte Setups: Das Modell wurde auf Daten gefittet, die entweder aus einer zusammengesetzten Lognormal-Pareto-Verteilung (Scollnik, 2007) oder einer Cauchy-Lognormal-GPD-dynamischen Mischung (Frigessi et al., 2002) generiert wurden. In beiden Fällen lieferte die statische Mischung eine gute Anpassung, wobei die Kolmogorov-Smirnov- (KS) und Anderson-Darling-Tests (AD) das Modell nicht ablehnten.
- Generalized Beta (GB2) Daten: Beim Fitten an hochgradig schiefe GB2-Daten (wo alle Modelle fehlspezifiziert sind), übertraf die statische Mischung die zusammengesetzten und dynamischen Modelle in Bezug auf Goodness-of-Fit (GoF)-Tests und das Bayesian Information Criterion (BIC).
- Rechenaufwand: Der EM-basierte Ansatz ist langsamer als die direkte MLE für das zusammengesetzte Lognormal-Pareto-Modell, aber um Größenordnungen schneller als die MLE für die dynamische Mischung, die eine numerische Integration für die Normalisierungskonstante erfordert.
Anwendungen auf Realdaten:
- Kraftversicherungsansprüche: Die statische Mischung lieferte eine überlegene Anpassung im Vergleich zu reinen Lognormal- oder reinen GPD-Modellen. Sie lieferte Value-at-Risk (VaR) Schätzungen, die konsistent mit den empirischen Quantilen waren, und wies eine geringere Variabilität als der dynamische Mischansatz auf.
- Operationelles Risiko: Ähnlich passte das Mischmodell die schwerfälligen operativen Verlustdaten besser als Einzelkomponentenmodelle. Obwohl die Schätzungen aufgrund der kleineren Stichprobengröße breitere Konfidenzintervalle aufwiesen, erfasste das Modell erfolgreich den schweren Tail ( $\hat{\xi} > 0$ ) und lieferte VaR-Schätzungen, die näher an den empirischen Quantilen lagen als konkurrierende Modelle.

Bedeutung und Ansprüche
Die Autoren behaupten, dass die vorgeschlagene statische Lognormal-GPD-Mischung ein praktisches Gleichgewicht zwischen Modellflexibilität und Schätzbarkeit bietet. Ihre primäre Bedeutung liegt darin, dass sie ein vollständig unüberwachter Ansatz ist, der die Auswahl eines Schwellenwerts eliminiert und gleichzeitig die Rechenengpässe dynamischer Mischungen vermeidet.

Das Paper stellt bescheiden fest, dass der Ansatz „äquivalent in Bezug auf die Güte der Anpassung“ zu bestehenden komplexen Verteilungen ist, aber „leichter zu schätzen“. Es hebt hervor, dass das Modell besonders nützlich für die Risikomessung (VaR) ist, und schlägt vor, dass die durch den EM-Algorithmus generierten Posteriori-Wahrscheinlichkeiten auch für Klassifizierungszwecke (Identifizierung, welche Beobachtungen zum Tail gehören) genutzt werden könnten. Die Autoren räumen ein, dass das Modell zwar für Verlustdaten konzipiert ist, aber auch für andere schiefe, schwerfällige Phänomene anwendbar sein könnte, beanspruchen jedoch nicht, eine universelle Lösung für alle Datentypen zu sein.

Technisches Resümee: Modellierung und Schätzung schiefer und schwerfälliger Populationen mittels unüberwachter Mischmodelle

Mehr davon