Handling mild outliers and unobserved values in compositional datasets using finite mixtures of mean-parametrised Dirichlet models
Dit artikel stelt een convexe, op expectation-maximization gebaseerde eindige mengeling van met het gemiddelde geparametriseerde Dirichlet-modellen voor om robuust gelijktijdige ontbrekende waarden en milde uitschieters in heterogene compositionele data te verwerken, waarbij een superieure clusteringprestatie en detectie van uitschieters wordt aangetoond vergeleken met conventionele benaderingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert te begrijpen hoe mensen hun dag doorbrengen door te kijken naar een cirkeldiagram waarbij de taartpunten de uren vertegenwoordigen die worden besteed aan werken, slapen, zorgen voor familie of ontspannen. In de statistiek wordt dit soort data, waarbij delen moeten optellen tot een geheel, compositionele data genoemd. Het komt overal voor, van de chemische samenstelling van gesteenten tot de tijd die mensen besteden aan verschillende activiteiten. Echter, echte wereld-data is zelden perfect. Vaak ontbreken sommige taartpunten omdat iemand een activiteit is vergeten te rapporteren, of omdat de data verloren is gegaan. Tegelijkertijd zijn sommige rapportages vreemd of ongewoon, bijvoorbeeld omdat iemand twintig uur heeft gewerkt of slechts twee uur heeft geslapen. Deze vreemde vermeldingen, bekend als uitschieters (outliers), kunnen het beeld vervormen, waardoor het moeilijk wordt om de ware patronen te zien van hoe een groep zich gedraagt. Decennialang hebben statistici geprobeerd deze rommelige mix van ontbrekende stukjes en vreemde punten te analyseren zonder de fundamentele regel te breken dat de delen altijd moeten optellen tot een geheel.
Een team van onderzoekers heeft een nieuwe manier ontwikkeld om dit specifieke probleem aan te pakken. Ze hebben een wiskundig model ontwikkend dat incomplete, rommelige data kan bekijken en nog steeds duidelijke groepen van vergelijkbaar gedrag kan vinden, terwijl het tegelijkertijd identificeert welke vermeldingen te vreemd zijn om deel uit te maken van die groepen. Hun aanpak is gebouwd op een concept genaamd de Dirichlet-verdeling, een hulpmiddel dat van nature past bij data die beperkt is tot een geheel, zoals een cirkeldiagram. Waar eerdere methoden vaak probeerden deze data in een andere vorm te dwingen om het gemakkelijker te analyseren, wat fouten kon introduceren, werkt deze nieuwe methode direct op de oorspronkelijke vorm. Het behandelt de ontbrekende informatie en de vreemde uitschieters niet als obstakels die genegeerd moeten worden, maar als kenmerken die begrepen moeten worden. De onderzoekers bewezen dat hun methode de meest waarschijnlijke verklaring voor de data kan vinden en dat deze verklaring uniek is, wat betekent dat er slechts één beste antwoord is op het puzzelstukje dat ze oplossen.
Om hun idee te testen, voerden de onderzoekers duizenden computersimulaties uit. Ze creëerden nep-datasets die het echte leven nabootsten, compleet met ontbrekende waarden variërend van bijna niets tot negentig procent van de data, en voegden wisselende hoeveelheden vreemde, uitschieter-punten toe. Ze ontdekten dat hun nieuwe model erin slaagde de data succesvol in de juiste groepen te sorteren en de vreemde vermeldingen te spotten, zelfs wanneer de data zeer incompleet was. Interessant genoeg ontdekten ze dat een matige hoeveelheid ontbrekende data de prestaties van het model soms zelfs verbeterde. Wanneer de data volledig compleet was maar gevuld met ruis, had het model soms moeite om de ware groepen te onderscheiden van de chaos. Maar wanneer een deel van de data ontbrak, werd het model minder afgeleid door de ruis en kon het zich duidelijker concentreren op de onderliggende patronen. Dit suggereert dat er een 'sweet spot' is waar ontbrekende informatie het model helpt om de ergste fouten te negeren.
De onderzoekers pasten hun methode vervolgens toe op een real-world dataset van de American Time Use Survey, die bijhoudt hoe Amerikanen hun dagen doorbrengen. Deze dataset was bijzonder uitdagend, met bijna de helft van de gerapporteerde activiteiten die ontbrak en een aanzienlijk deel van de records die ongebruikelijke patronen in tijdsbesteding bevatten. Wanneer ze een standaard, oudere methode gebruikten om deze data te analyseren, splitste het model de mensen op in vier duidelijke groepen, maar deze splitsing leek kunstmatig, gedreven door de vreemde uitschieters. In tegenstelling hiermee identificeerde hun nieuwe model slechts twee duidelijke, zinvolle groepen. Eén groep bestond uit mensen wiens dagen werden gedomineerd door werk en persoonlijke verzorging, terwijl de andere groep werd gedefinieerd door het gezinsleven, vrije tijd en het helpen van familieleden. Het model markeerde ook ongeveer zestien procent van de records als uitschieters, waarbij het herkende dat deze individuen ongebruikelijke dagelijkse routines hadden die niet netjes in een van de twee hoofdgroepen pasten. Door de analyse op de oorspronkelijke schaal van de data te houden, konden de onderzoekers deze groepen beschrijven in gewone termen, zoals "werkgericht" of "huisgericht", zonder de resultaten terug te hoeven vertalen vanuit een vervormde wiskundige ruimte.
De betekenis van dit werk ligt in het vermogen om de natuurlijke beperkingen van de data te respecteren terwijl de rommeligheid van de realiteit wordt afgehandeld. In plaats van data in een rigide mal te dwingen, past de nieuwe methode zich aan de data aan, waardoor ontbrekende waarden en vreemde punten samen kunnen bestaan met de hoofdpatronen. Dit betekent dat onderzoekers nu complexe, real-world gedragingen met grotere vertrouwen kunnen bestuderen, wetende dat hun conclusies niet worden vertekend door gaten in de data of een paar ongebruikelijke vermeldingen. De aanpak biedt een eerlijkere en nauwkeurigere manier om de wereld te zien door de lens van hoe mensen hun tijd doorbrengen, of hoe enige andere proportionele data zich gedraagt, waarbij de ware structuur verborgen onder de ruis wordt onthuld.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.