Clustering data with values missing at random using scale mixtures of multivariate skew-normal distributions
Dieses Paper schlägt einen augmentierten EM-Typ-Algorithmus für das modellbasierte Clustering von Daten mit zufällig fehlenden Werten vor, indem es die endliche Mischung aus Skalenmischungen multivariater schief-normaler Verteilungen erweitert, um gleichzeitig Schiefe, schwere Ränder und unvollständige Beobachtungen zu handhaben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, indem er Verdächtige basierend auf ihren Gewohnheiten gruppiert. In der Welt der Datenwissenschaft wird dies als „Clustering“ bezeichnet. Normal-erweise haben Detektive eine perfekte Aufstellung, bei der jeder Verdächtige mit einer vollständigen Akte voller Informationen erscheint. Aber in der realen Welt fehlen oft Seiten in den Akten, die Tinte ist verschmiert oder Zeugen vergessen Details. Dies ist „fehlende Daten“ (missing data). Wenn Sie versuchen, das Rätsel zu lösen, indem Sie die fehlenden Dateien ignorieren, könnten Sie die wichtigsten Hinweise übersehen. Wenn Sie versuchen zu raten, was fehlt, könnten Sie versehentlich einen Verdächtigen erfinden, der nie existiert hat.
Um aus unordentlichen, unvollständigen Informationen Sinn zu gewinnen, verwenden Wissenschaftler oft ein Werkzeug namens „Mischmodell“ (mixture model). Denken Sie an dies wie an einen Beutel mit verschiedenen farbigen Murmeln. Wenn Sie hineingreifen und eine herausziehen, wissen Sie nicht, welche Farbe sie hat, aber Sie wissen, dass der Beutel eine Mischung aus roten, blauen und grünen Murmeln ist. Das Ziel ist es, herauszufinden, wie viele Farben im Beutel sind und wie die „durchschnittliche“ rote Murmel aussieht. Lange Zeit nahmen Wissenschaftler an, dass diese Murmeln perfekt rund und symmetrisch seien, wie Standard-Würfel. Aber reale Daten sind oft asymmetrisch – manche Murmeln sind langgestreckt oder haben schwere Enden (heavy tails), in denen sich Extremwerte herumtreiben. Um dies zu handhaben, entwickelten Wissenschaftler „skew-normal“-Verteilungen, die wie dehnbare, asymmetrische Murmeln sind, die sich an seltsame Formen anpassen können.
Es gab jedoch ein Problem: Diese ausgeklügelten, dehnbaren Murmeln waren großartig, wenn die Daten vollständig waren, aber sie brachen zusammen, wenn die Dateien fehlende Seiten hatten. Man konnte die fehlenden Teile nicht einfach ignorieren, und das Raten war riskant. Dieses Paper tritt an, um diese Lücke zu schließen. Es nimmt die leistungsstarken, dehnbaren „skew-normal“-Murmeln und lehrt sie, wie sie mit fehlenden Informationen umgehen können, ohne die Regeln des Spiels zu brechen.
Die Autoren, ein Team von Statistikern aus Südafrika, den USA und Italien, haben eine neue mathematische Engine namens „Finite Mixture of Scale Mixtures of Multivariate Skew-Normal“ (FMSMSN)-Familie gebaut. Stellen Sie sich diese Familie als einen Werkzeugkasten vor, der vier verschiedene Arten von dehnbaren, asymmetrischen Murmeln enthält: die Standard-Skew-Normal, die Skew-t (die mit extremen Ausreißern umgeht), die Skew-Slash (die mit noch wilderen Ausreißern umgeht) und die Skew-Variance-Gamma (die flexibelste von allen).
Der große Durchbruch in diesem Paper ist, dass sie herausgefunden haben, wie sie diesen gesamten Werkzeugkasten verwenden können, selbst wenn die Daten unvollständig sind. Sie taten dies, indem sie davon ausgingen, dass die Daten „Missing At Random“ (MAR) sind. In Detektivsprache bedeutet dies, dass der Grund, warum eine Datei fehlt, nicht darin liegt, dass ein Verdächtiger etwas Spezifisches über sich selbst verbirgt, sondern dass die Datei vielleicht auf dem Postweg verloren ging oder der Zeuge beschäftigt war. Das Fehlen hängt nicht vom geheimen Wert selbst ab. Unter dieser Annahme haben die Autoren eine neue Regel (einen modifizierten Algorithmus) hergeleitet, die es dem Computer ermöglicht, die „Lücken mathematisch aufzufüllen“, während er die Gruppen ermittelt, anstatt einfach nur zu raten oder die Daten wegzuwerfen.
Um zu sehen, ob ihre neue Engine funktionierte, führte das Team eine Reihe von Computersimulationen durch. Sie erstellten künstliche Datensätze mit zwei Datengruppen, von denen einige nah beieinander und andere weit voneinander entfernt lagen. Sie löschten dann absichtlich 0 %, 20 %, 40 %, 60 % und sogar 80 % der Informationen nach dem Zufallsprinzip. Sie testeten alle vier Arten von Murmeln aus ihrem Werkzeugkasten, um zu sehen, welche die Gruppen korrekt finden und die richtigen Formen der Murmeln erraten konnte.
Die Ergebnisse zeigten, dass es für alle Modelle schwieriger wurde, die Gruppen zu finden, je mehr Daten fehlten, was zu erwarten war. Jedoch machten die komplexeren und flexibleren Modelle (wie die Skew-Variance-Gamma) im Allgemeinen einen besseren Job dabei, die wahren Formen der Daten wiederherzustellen, selbst wenn bis zu 80 % der Informationen fehlten. Das Team stellte fest, dass kein Modell perfekt war, wenn Daten fehlten, aber ihre neue Methode war weitaus überlegen gegenüber dem einfachen Löschen der unvollständigen Zeilen, was kaum noch Daten übrig gelassen hätte.
Schließlich nahmen die Forscher ihre neue Methode aus dem Simulationslabor und wandten sie auf reale Daten an: globale Kohlendioxid-Emissionen (CO2). Sie untersuchten die Emissionen aus sieben verschiedenen Sektoren (wie Elektrizität, Fertigung und Transport) für Länder auf der ganzen Welt. Der Haken dabei? Über 84 % der Zeilen in diesem Datensatz waren unvollständig. Wenn sie die alte „Lösche-die-fehlenden-Daten“-Methode verwendet hätten, hätten sie fast den gesamten Datensatz wegwerfen müssen. Stattdessen verwendeten sie ihren neuen Algorithmus.
Der Algorithmus gruppierte die Länder erfolgreich in zwei deutliche Cluster. Eine Gruppe umfasste Nationen mit im Allgemeinen niedrigeren Emissionen, wie Teile Nordafrikas, Kanada und Japan. Die andere Gruppe umfasste Länder mit höheren Emissionen, darunter die USA, China, Indien und viele Nationen des Globalen Südens. Die Analyse deutete auf einen Zusammenhang zwischen verbesserndem Wirtschaftswachstum (BIP) und steigenden Kohlenstoffemissionen hin, was verdeutlicht, dass entwickelte Volkswirtschaften oft vor einem Kompromiss zwischen Wachstum und Umweltauswirkungen stehen. Die Studie kommt zu dem Schluss, dass Wissenschaftler durch diesen flexiblen, für fehlende Daten geeigneten Ansatz nun in der Lage sind, Muster in unordentlichen, realen Daten aufzudecken, die zuvor unmöglich zu sehen waren, und so ein klareres Bild globaler Trends zu vermitteln, ohne wertvolle Informationen verwerfen zu müssen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.