funOCLUST: Clustering Functional Data with Outliers

Stel je voor dat je een gigantische doos spaghetti hebt. Maar dit zijn geen gewone slierten; het zijn kronkelige, golvende lijnen die dingen vertegenwoordigen zoals temperatuurveranderingen gedurende een dag, verkeersstromen of hoe een plant groeit. In de wereld van data science worden deze functionele data genoemd. Het probleem? Deze lijnen zijn oneindig dimensionaal (ze hebben oneindig veel punten) en ze zijn rommelig. Soms krijgt een sliert een vreemde knik, of wordt een hele partij ontregeld door een plotselinge storm, wat "outliers" (uitschieters) creëert die het feestje verpesten.

Maak kennis met funOCLUST, een nieuwe methode voorgesteld door Katharine M. Clark en Paul D. McNicholas. Zie funOCLUST als een super-slimme, lichtelijk chagrijnige chef die deze spaghetti-slierten in perfecte stapels wil sorteren op basis van hun vorm, maar eerst moet hij de vreemde, verbrande of kapotte stukken eruit trappen die niet in het plaatje passen.

Het Grote Idee: Krommen Veranderen in Vectoren

Je kunt niet zomaar oneindige spaghetti in een standaard sorteermachine gooien; het is te complex. De auteurs stellen een slimme truc voor: het afvlakken van de krommen.

Ze gebruiken iets dat een cubic B-spline basis wordt genoemd. Stel je voor dat je elke kronkelige lijn niet beschrijft aan de hand van zijn oneindige punten, maar door middel van een korte lijst met getallen (coëfficiënten) die vertellen hoe je die lijn kunt bouwen met een specifieke set bouwstenen. Het is alsos je een complex schilderij verandert in een simpel receptenkaartje. Zodra de krommen zijn omgezet in deze korte lijstjes met getallen (vectoren), wordt het probleem veel gemakkelijker te hanteren.

De Zoektocht naar de "Outlier": Het Log-Likelihood Spel

Hier gebeurt de magie. De auteurs nemen een bestaande methode genaamd OCLUST (die ontworpen is voor reguliere data) en passen deze aan voor deze nieuwe "receptenkaartjes".

Het algoritme speelt een spel van "Wat als we deze eruit halen?"

1. Het kijkt naar de hele groep krommen.
2. Het vraagt zich af: "Als ik deze specifieke kromme eruit schop, ziet de resterende groep er dan meer uit als een perfecte, nette cluster?"
3. Het meet dit met iets dat subset log-likelihood wordt genoemd. Denk aan dit als een "netheidsscore". Als het verwijderen van een kromme de score aanzienlijk doet springen, was die kromme waarschijnlijk de boelverstoorder.
4. Het algoritme controleert of de "boelverstoorders" een specifiek wiskundig patroon volgen (een verschoven en geschaalde beta-distributie). Als de vreemde krommen aan dit patroon voldoen, worden ze officieel eruit getrapt als outliers.

De auteurs hebben (wiskundig) bewezen dat als de krommen worden gegenereerd vanuit een standaard Gaussische mengverdeling, de "netheidsscore" op een voorspelbare manier verandert wanneer je een normale kromme verwijdert. Als de score te veel verandert, is de kromme een outlier.

Wat het Papier Zegt (en Niet Zegt)

De auteurs hebben 100 gesimuleerde datasets gebruikt om de vaardigheden van hun chef te testen. Ze creëerden 8 verschillende scenario's, waarbij ze alles mengden:

• Clusters: Soms waren er 2 groepen, soms 5.
• Complexiteit: Sommige krommen waren simpel (zoals een rechte lijn), andere waren wild (met bulten en kronkels).
• Sparsity (IJlheid): Soms was de data dicht (veel punten), soms was de data ijl (veel ontbrekende punten).
• Outliers: Ze creëerden twee soorten boelverstoorders. Sommige waren "shift-scale" (de hele krom werd groter of bewoog omhoog), en andere waren "heavy-tail" (willekeurige, wilde fouten).

De Resultaten:

• Heavy-Tail Fouten: Wanneer de data wilde, willekeurige fouten bevatte (heavy tails), was funOCLUST de duidelijke winnaar en versloeg het concurrenten zoals funHDDC, T-funHDDC en tkmeans.
• Shift-Scale Fouten: Wanneer de outliers slechts verschoven of geschaalde versies van de normale krommen waren, deed tkmeans (een trimmed k-means methode) het eigenlijk iets beter, hoewel funOCLUST ook hier standhield.
• Real-World Test 1 (Voetgangersverkeer): Ze testten dit op de per uur bekende voetgangersstromen in Melbourne. Het algoritme scheidde werkdagen succesvol van weekenden/feestdagen. Het identificeerde correct 22 "outlier"-dagen, waaronder Nieuwjaarsdag, Kerstmis en Chinees Nieuwjaar. Dit waren dagen waarop het verkeerspatroon niet voldeed aan het gebruikelijke werkdag- of weekendmodel.
• Real-World Test 2 (NOx Data): Ze testten het op luchtvervuilingsdata (NOx-niveaus) in Barcelona. De methode bereikte een Correct Classification Rate (CCR) tussen 0,51 en 0,86, afhankelijk van de modelinstellingen. De beste instelling (EEE covariantiestructuur) bereikte 0,86, wat op gelijke hoogte ligt met andere topmethoden.

Wat het Papier Uitsluit

De auteurs zijn voorzichtig in wat hun methode niet is.

• Ze geven expliciet aan dat terwijl sommige methoden proberen data te clusteren in "subruimtes" (dimensies op een specifieke manier reduceren), funOCLUST het volledige functionele domein intact laat. Ze argumenteren dat je soms het hele plaatje nodig hebt, niet alleen een fragment.
• Ze merken op dat hun methode steunt op de aanname dat de "receptenkaartjes" (coëfficiënten) afkomstig zijn van een multivariate normale verdeling. Als de data extreem scheef is of hier niet aan voldoet, kan de methode moeite hebben (hoewel ze suggereren dat het robuust genoeg is voor veel reële gevallen).
• Ze beweren niet dat dit een "opgelost probleem" is voor alle functionele data. Sterker nog, in hun simulaties, wanneer er 5 clusters waren met hoge complexiteit en ijle data, schoot de fout-negatief ratio (het missen van een outlier) omhoog naar 51%. Ze geven toe dat het detecteren van outliers in die specifieke, rommelige omstandigheden inherent moeilijk is.

Het Oordeel

Het artikel suggereert dat funOCLUST een robuust nieuw instrument is. Het is geen toverstaf die alles direct oplost, maar het is een zeer sterke kandidaat, vooral wanneer de data ruis bevat of "heavy-tailed" fouten heeft.

De auteurs concluderen dat dit de eerste uitbreiding is van OCLUST naar functionele data. Ze zien dit als een opstapje. Ze suggereren dat dit in de toekomst uitgebreid kan worden om scheve data te verwerken of zelfs om het "recept" (de basisdecompositie) binnen het clusteringalgoritme zelf te schatten, in plaats van alleen als een eerste stap.

Dus, als je een doos hebt met rommelige, kronkelende spaghetti en je moet ze sorteren terwijl je de verbrande eruit trapt, is funOCLUST een chef die het waard is om in te huren—verwacht alleen niet dat het perfect werkt als de spaghetti te vreemd is en de keuken te donker is!