Clustering data with values missing at random using scale mixtures of multivariate skew-normal distributions
Dit artikel stelt een uitgebreid EM-type algoritme voor voor modelgebaseerde clustering van gegevens met willekeurig ontbrekende waarden door de eindige mengeling van schaalmengsels van multivariate skew-normale verdelingen uit te breiden om gelijktijdig scheefheid, zware staarten en onvolledige waarnemingen te verwerken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die een mysterie probeert op te lossen door verdachten te groeperen op basis van hun gewoonten. In de wereld van data science wordt dit "clustering" genoemd. Meestal heb je als detective een perfecte opstelling waarbij elke verdachte verschijnt met een volledig dossier vol informatie. Maar in de echte wereld missen bestanden vaak pagina's, is de inkt uitgelopen of vergeten getuigen details. Dit is "ontbrekende data". Als je probeert het mysterie op te lossen door de ontbrekende dossiers te negeren, mis je misschien de belangrijkste aanwijzingen. Als je probeert te raden wat er ontbreekt, creëer je misschien per ongeluk een verdachte die nooit heeft bestaan.
Om zin te krijgen in rommelige, onvolledige informatie, gebruiken wetenschappers vaak een instrument dat een "mixture model" (mengmodel) wordt genoemd. Denk hierbij aan een zak met verschillende gekleurde knikkers. Als je er een uittrekt, weet je niet welke kleur het is, maar je weet wel dat de zak een mengsel is van rood, blauw en groen. Het doel is om te achterhalen hoeveel kleuren er in de zak zitten en hoe de "gemiddelde" rode knikker eruitziet. Lange tijd namen wetenschappers aan dat deze knikkers perfect rond en symmetrisch waren, zoals standaard dobbelstenen. Maar echte data zijn vaak scheef; sommige knikkers zijn uitgerekt, of hebben zware staarten waar extreme waarden zich ophopen. Om dit aan te pakken, ontwikkelden wetenschappers "skew-normal" verdelingen, die lijken op rekbare, scheve knikkers die kunnen buigen om vreemde vormen aan te passen.
Er was echter een probleem: deze chique, rekbare knikkers waren geweldig wanneer de data compleet was, maar ze stortten in wanneer de dossiers ontbrekende pagina's hadden. Je kon de ontbrekende delen niet zomaar negeren, en het gokken ervan was riskant. Dit artikel stapt in om dat gat te dichten. Het neemt de krachtige, rekbare "skew-normal" knikkers en leert ze hoe ze met ontbrekende informatie om moeten gaan zonder de regels van het spel te breken.
De auteurs, een team van statistici uit Zuid-Afrika, de VS en Italië, hebben een nieuwe wiskundige motor gebouwd genaamd de "Finite Mixture of Scale Mixtures of Multivariate Skew-Normal" (FMSMSN) familie. Stel je deze familie voor als een gereedschapskist met vier verschillende soorten rekbare, scheve knikkers: de standaard skew-normal, de skew-t (die extreme uitschieters afhandelt), de skew-slash (die nóg wildere uitschieters afhandelt) en de skew-variance-gamma (de meest flexibele van allemaal).
De grote doorbraak in dit artikel is dat zij ontdekten hoe ze deze hele gereedschapskist kunnen gebruiken, zelfs wanneer de data onvolledig is. Ze deden dit door ervan uit te gaan dat de ontbrekende data "Missing At Random" (MAR) is. In detectivevorm betekent dit dat de reden dat een dossier ontbreekt niet is omdat een verdachte iets specifieks over zichzelf verbergt, maar bijvoorbeeld omdat het dossier verloren is geraakt in de post of omdat de getuige het druk had. Het ontbreken hangt niet af van de geheime waarde zelf. Onder deze aanname hebben de auteurs een nieuwe set regels (een aangepast algoritme) afgeleid die de computer in staat stelt om de "lege plekken" wiskundig in te vullen terwijl hij de groepen bepaalt, in plaats van simpelweg te gokken of data weg te gooien.
Om te zien of hun nieuwe motor werkte, heeft het team een reeks computer-simulaties uitgevoerd. Ze maakten nep-datasets met twee groepen data, waarvan sommige dicht bij elkaar lagen en andere ver uit elkaar. Vervolgens hebben ze doelbewust 0%, 20%, 40%, 60% en zelfs 80% van de informatie willekeurig gewist. Ze testten alle vier de typen knikkers uit hun gereedschapskist om te zien welke er nog steeds in staat was om de groepen correct te vinden en de juiste vormen van de knikkers te raden.
De resultaten lieten zien dat naarmate er meer data ontbrak, het moeilijker werd voor alle modellen om de groepen te vinden, wat te verwachten valt. Echter, de complexere en flexibelere modellen (zoals de skew-variance-gamma) deden over het algemeen een betere taak in het herstellen van de ware vormen van de data, zelfs met tot 80% ontbrekende informatie. Het team kwam tot de conclusie dat hoewel geen enkel model perfect was wanneer data ontbrak, hun nieuwe methode veel superieur was aan simpelweg het verwijderen van de onvolledige rijen, wat hen bijna geen data meer over zou hebben gelaten.
Ten slotte hebben de onderzoekers hun nieuwe methode uit het simulatie-laboratorium gehaald en toegepast op echte wereld-data: wereldwijde CO2-emissies. Ze keken naar emissies van zeven verschillende sectoren (zoals elektriciteit, productie en transport) voor landen over de hele wereld. Het addertje onder het gras? Meer dan 84% van de rijen in deze dataset was onvolledig. Als ze de oude "verwijder de ontbrekende gegevens"-methode hadden gebruikt, hadden ze bijna de hele dataset moeten weggooien. In plaats daarvan gebruikten ze hun nieuwe algoritme.
Het algoritme slaagde erin de landen in twee duidelijke clusters te groeperen. De ene groep bestond uit landen met over het algemeen lagere emissies, zoals delen van Noord-Afrika, Canada en Japan. De andere groep bestond uit landen met hogere emissies, waaronder de VS, China, India en veel landen in het Mondiale Zuiden. De analyse suggereerde een verband tussen verbeterende economische groei (BBP) en toegenomen CO2-emissies, wat benadrukt dat ontwikkelende economieën vaak te maken hebben met een afweging tussen groei en milieu-impact. De studie concludeert dat wetenschappers door dit flexibele, voor ontbrekende data geschikte aanpak nu patronen in rommelige, echte wereld-data kunnen ontdekken die voorheen onmogelijk te zien waren, wat een helder beeld biedt van wereldwijde trends zonder waardevolle informatie weg te hoeven gooien.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.