funOCLUST: Clustering Functional Data with Outliers

Stellen Sie sich vor, Sie haben eine riesige Kiste Spaghetti. Aber das sind keine gewöhnlichen Nudeln; es sind geschwungene, wackelige Linien, die Dinge wie Temperaturschwankungen über einen Tag, Verkehrsflüsse oder das Wachstum einer Pflanze darstellen. In der Welt der Datenwissenschaft werden diese als funktionale Daten bezeichnet. Das Problem? Diese Linien sind unendlichdimensional (sie haben unendlich viele Punkte) und sie sind chaotisch. Manchmal bekommt eine Nudel einen seltsamen Knick, oder eine ganze Charge wird durch einen plötzlichen Sturm aus der Bahn geworfen, was „Ausreißer“ erzeugt, die die Party ruinieren.

Hier kommt funOCLUST ins Spiel, eine neue Methode, die von Katharine M. Clark und Paul D. McNicholas vorgeschlagen wurde. Betrachten Sie funOCLUST als einen superintelligenten, leicht mürrischen Koch, der diese Spaghetti-Nudeln basierend auf ihrer Form in perfekte Haufen sortieren möchte, aber zuerst die seltsamen, verbrannten oder kaputten Stücke herauswerfen muss, die nicht hineinpassen.

Die große Idee: Verwandlung von Schlangenlinien in Vektoren

Man kann nicht einfach unendliche Spaghetti in eine Standard-Sortiermaschine werfen; das ist zu komplex. Die Autoren schlagen einen klugen Trick vor: die Kurven zu glätten.

Sie verwenden etwas namens kubische B-Spline-Basis. Stellen Sie sich vor, man beschreibt jede wackelige Linie nicht durch ihre unendlichen Punkte, sondern durch eine kurze Liste von Zahlen (Koeffizienten), die einem sagen, wie man diese Linie mit einem bestimmten Satz von Bausteinen konstruiert. Es ist, als würde man ein komplexes Gemälde in eine einfache Rezeptkarte verwandeln. Sobald die Kurven in diese kurzen Listen von Zahlen (Vektoren) umgewandelt wurden, ist das Problem viel einfacher zu handhaben.

Die Jagd auf die „Ausreißer“: Das Log-Likelihood-Spiel

Hier geschieht die Magie. Die Autoren nehmen eine bestehende Methode namens OCLUST (die für reguläre Daten entwickelt wurde) und passen sie an diese neuen „Rezeptkarten“ an.

Der Algorithmus spielt ein Spiel nach dem Motto „Was wäre, wenn wir diese eine entfernen?“

1. Er betrachtet die gesamte Gruppe von Kurven.
2. Er fragt: „Wenn ich diese spezifische Kurve rauswerfe, sieht der verbleibende Rest dann mehr wie ein perfekter, ordentlicher Cluster aus?“
3. Er misst dies mit etwas, das Subset-Log-Likelihood genannt wird. Denken Sie an dies als einen „Ordentlichkeitswert“. Wenn das Entfernen einer Kurve den Wert signifikant ansteigen lässt, war diese Kurve wahrscheinlich der Unruhestifter.
4. Der Algorithmus prüft, ob die „Unruhestifter“ einem bestimmten mathematischen Muster folgen (einer verschobenen und skalierten Beta-Verteilung). Wenn die seltsamen Kurven diesem Muster entsprechen, werden sie offiziell als Ausreißer aussortiert.

Die Autoren haben (mathematisch) bewiesen, dass, wenn die Kurven aus einem Standard-Gaußschen Mischmodells generiert werden, sich der „Ordentlichkeitswert“ auf vorhersehbare Weise ändert, wenn man eine normale Kurve entfernt. Wenn sich der Wert zu sehr ändert, ist die Kurve ein Ausreißer.

Was das Paper sagt (und was es nicht sagt)

Die Autoren haben 100 simulierte Datensätze verwendet, um die Fähigkeiten dieses Kochs zu testen. Sie erstellten 8 verschiedene Szenarien und mischten alles durch:

• Cluster: Manchmal gab es 2 Gruppen, manchmal 5.
• Komplexität: Einige Kurven waren einfach (wie eine gerade Linie), andere waren wild (mit Hügeln und Wiggles).
• Sparsity (Dünnbesetztheit): Manchmal waren die Daten dicht (viele Punkte), manchmal spärlich (viele fehlende Punkte).
• Ausreißer: Sie erstellten zwei Arten von Unruhestiftern. Einige waren „Shift-Scale“-Typen (die ganze Kurve wurde größer oder verschob sich nach oben), andere waren „Heavy-Tail“-Typen (zufällige, wilde Fehler).

Die Ergebnisse:

• Heavy-Tail-Fehler: Wenn die Daten wilde, zufällige Fehler (Heavy Tails) aufwiesen, war funOCLUST der klare Gewinner und schlug Konkurrenten wie funHDDC, T-funHDDC und tkmeans.
• Shift-Scale-Fehler: Wenn die Ausreißer lediglich verschobene oder skalierte Versionen der normalen Kurven waren, war tkmeans (eine getrimmte k-Means-Methode) tatsächlich etwas besser, obwohl funOCLUST dennoch gut mithielt.
• Real-Welt-Test 1 (Fußgängerverkehr): Sie testeten dies am stündlichen Fußgängerverkehr in Melbourne. Der Algorithmus konnte Arbeitstage erfolgreich von Wochenenden/Feiertagen unterscheiden. Er identifizierte korrekt 22 „Ausreißer-Tage“, darunter Neujahr, Weihnachten und das chinesische Neujahrsfest. Dies waren Tage, an denen das Verkehrsmuster nicht in das übliche Arbeitstags- oder Wochenendmodell passte.
• Real-Welt-Test 2 (NOx-Daten): Sie testeten es auf Luftverschmutzungsdaten (NOx-Werte) in Barcelona. Die Methode erreichte eine korrekte Klassifizierungsrate (CCR) zwischen 0,51 und 0,86, abhängig von den Modellparametern. Die beste Einstellung (EEE-Kovarianzstruktur) erreichte 0,86, was auf Augenhöhe mit anderen Top-Methoden liegt.

Was das Paper ausschließt

Die Autoren sind vorsichtig bei der Aussage, was ihre Methode nicht ist.

• Sie stellen explizit fest, dass während einige Methoden versuchen, Daten in „Subräumen“ zu clustern (die Dimensionen auf eine bestimmte Weise zu reduzieren), funOCLUST den gesamten funktionalen Bereich intakt hält. Sie argumentieren, dass man manchmal das ganze Bild braucht und nicht nur einen Ausschnitt.
• Sie merken an, dass ihre Methode auf der Annahme beruht, dass die „Rezeptkarten“ (Koeffizienten) aus einer multivariaten Normalverteilung stammen. Wenn die Daten extrem schief verteilt sind oder dieser Form nicht entsprechen, könnte die Methode Schwierigkeiten haben (obwohl sie darauf hinweisen, dass sie für viele reale Fälle robust genug ist).
• Sie behaupten nicht, dass dies ein „gelöstes Problem“ für alle funktionalen Daten ist. Tatsächlich stieg in ihren Simulationen, wenn es 5 Cluster mit hoher Komplexität und spärlichen Daten gab, die Rate der falsch-negativen Ergebnisse (das Übersehen eines Ausreißers) auf 51 %. Sie geben zu, dass die Erkennung von Ausreißern unter diesen spezifischen, chaotischen Bedingungen inhärent schwierig ist.

Das Urteil

Das Paper legt nahe, dass funOCLUST ein robustes neues Werkzeug ist. Es ist kein Zauberstab, der alles sofort perfekt macht, aber es ist ein sehr starker Anwärter, insbesondere wenn die Daten verrauscht sind oder Heavy-Tail-Fehler aufweisen.

Die Autoren kommen zu dem Schluss, dass dies die erste Erweiterung von OCLUST auf funktionale Daten ist. Sie sehen dies als einen Zwischenschritt. Sie schlagen vor, dass dies in Zukunft so erweitert werden könnte, dass die „Rezeptur“ (die Basis-Zerlegung) innerhalb des Clustering-Algorithmus selbst geschätzt wird, anstatt nur als erster Schritt.

Wenn Sie also eine Kiste mit chaotischen, wackeligen Spaghetti haben und diese sortieren müssen, während Sie die verbrannten Teile herausschmeißen, ist funOCLUST ein Koch, den man engagieren kann – erwarten Sie nur nicht, dass er perfekt arbeitet, wenn die Spaghetti zu seltsam sind und die Küche zu dunkel ist!