📊 statistics

Handling Missingness and Censoring in Dirichlet Mixture Models

Dit artikel stelt een nieuw Expectation-Maximization algoritme voor voor het fitten van eindige mengsels van Dirichlet-distributies direct op de simplex om ontbrekende en gecensureerde compositionele data te verwerken, waarbij door middel van simulaties en real-world toepassingen wordt aangetoond dat deze aanpak traditionele case-deletion methoden overtreft in clustering-nauwkeurigheid en modelselectie terwijl de interpreteerbaarheid van de data behouden blijft.

Oorspronkelijke auteurs: Jason Pillay, Andriette Bekker, Cristina Tortora, Antonio Punzo

Gepubliceerd 2026-07-31

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jason Pillay, Andriette Bekker, Cristina Tortora, Antonio Punzo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een smoothie probeert te beschrijven, maar je kunt slechts een paar van de vruchten erin proeven. Misschien weet je dat er aardbei en banaan in zit, maar heeft de blender de mango en de kiwi verborgen. In de wereld van data science wordt dit "compositionele data" genoemd. Het is informatie die beschrijft hoe delen een geheel vormen, zoals de ingrediënten in een recept of de chemicaliën in een rots. Het lastige is dat deze delen aan elkaar gekoppeld zijn: als je meer van het ene ingrediënt hebt, heb je automatisch minder van de andere, omdat ze altijd samen 100% moeten vormen. Wetenschappers gebruiken deze data om alles te begrijpen, van hoe bergen ontstaan tot waarom de lucht steeds smogger wordt. Maar er is een groot probleem: echte wereld-data is rommelig. Soms gaan sensoren kapot, soms zijn chemicaliën te klein om te zien, en soms ontbreekt de data gewoon. Wanneer dit gebeurt, raken de gebruikelijke wiskundige hulpmiddelen in de war omdat ze de "ontbrekende" stukjes niet kunnen verwerken zonder de hele smoothie weg te gooien of het recept op een manier te veranderen waardoor het onherkenbaar wordt.

Dit artikel pakt precies dat hoofdpijndossier aan. De auteurs, Jason Pillay en zijn team, hebben een nieuwe manier van rekenen uitgevonden die de ontbrekende stukjes niet weggooit. In plaats van de data in een vorm te dwingen waar het niet in past, hebben ze een speciaal "detective"-algoritme gebouwd dat kan raden wat de ontbrekende delen zouden kunnen zijn terwijl het de data in groepen sorteert. Denk aan een puzzel waarbij sommige stukjes ontbreken; in plaats van op te geven, gebruikt de detective de vorm van de omliggende stukjes om precies te achterhalen waar de ontbrekende stukjes horen, terwijl de afbeelding van de puzzel trouw blijft aan het origineel. Ze testten deze detective op nepdata met ontbrekende stukjes en op echte data over gesteenten en luchtvervuiling. Ze ontdekten dat hun methode veel beter is in het vinden van de juiste groepen en het kiezen van het juiste aantal categorieën dan de oude manier van simpelweg de rommelige data verwijderen. Het is een manier om betekenis te geven aan onvolledige verhalen zonder de draad kwijt te raken.

Het Probleem: De "Ontbrekende Stukje" Puzzel

In de wetenschap hebben we het vaak over data die een geheel beschrijft door de delen ervan. Stel je een rots voor die bestaat uit verschillende mineralen, of een wolk lucht gevuld met verschillende chemicaliën. De regel is simpel: alle delen moeten samen 100% vormen. Als een rots voor 50% uit kwarts bestaat, kan hij alleen nog maar 50% uit de rest gecombineerd bestaan. Dit wordt "compositionele data" genoemd.

Het probleem ontstaat wanneer de data incompleet is. Misschien heeft een machine een specif으로 mineral niet gemeten, of was een chemische stof te zwak om te zien, waardoor het getal verborgen blijft. In het verleden hadden wetenschappers twee slechte opties:

Weggooien: De hele steekproef verwijderen omdat er één stukje ontbrekend is. Dit verspilt veel informatie.
Faken: Het ontbrekende getal raden en het invullen voordat men de berekening uitvoert. Dit kan de resultaten misleiden en de groepen er verkeerd uit laten zien.

De auteurs van dit artikel wilden een derde weg vinden: een methode die op de "simplex" blijft (de wiskundige naam voor die 100%-regel) en de ontbrekende stukjes direct afhandelt, zonder ze te verwijderen of te faken.

De Oplossing: Een Slim Detective-algoritme

De auteurs hebben een nieuwe versie ontwikkeld van een beroemd wiskundig hulpmiddel genaamd het Expectation-Maximisation (EM) algoritme. Je kunt dit algoritme zien als een super slimme detective die probeert een rommelige stapel aanwijzingen in verschillende groepen te sorteren.

Zo werkt de detective in deze nieuwe methode:

De Opzet: De detective weet dat er verschillende "typen" rotsen of luchtmonsters zijn (clusters), maar weet nog niet welk monster bij welk type hoort.
De Gok (E-stap): Wanneer de detective een monster ziet met ontbrekende stukjes, raakt hij niet in paniek. Hij kij je naar de stukjes die hij wel ziet en vraagt: "Als dit monster bij Groep A hoort, wat zouden de ontbrekende stukjes dan waarschijnlijk zijn?" Hij berekent de waarschijnlijkheid van de ontbrekende delen op basis van de regels van de groep.
De Update (M-stap): Met behulp van die gokken werkt de detective zijn begrip bij van hoe Groep A en Groep B er eigenlijk uitzien.
De Lus: Hij herhaalt dit proces keer op keer. Bij elke lus worden de gokken beter en de groepen duidelijker.

De magie is dat dit alles tegelijkert u gebeurt. Het algoritme bepaalt de ontbrekende waarden en sorteert de monsters in groepen tegelijkertijd, terwijl het de regel respecteert dat alles samen 100% moet zijn.

De Test: Simulaties en Wereldwijde Mysteries

Om te zien of hun detective goed was, lieten de auteurs twee soorten tests uitvoeren.

1. Het Simulatie Lab (De Nepdata)
Ze maakten 1.000 nepdatasets waarbij ze de ware groepen kenden, maar vervolgens verschillende hoeveelheden data verborgen (van 0% tot 90% ontbrekend).

Het Resultaat: Zelfs toen 90% van de data ontbrak, kon hun methode de monsters met verrassende nauwkeurigheid sorteren.
De Vergelijking: Ze vergeleken dit met de oude methode van het simpelweg verwijderen van de incomplete monsters. Wanneer data ontbrak, faalde de oude methode in het vinden van het juiste aantal groepen. De nieuwe methode vond echter veel vaker het juiste aantal groepen (vier, in hun test), zelfs wanneer de data erg schaars was.
Censuur: Ze testten ook "gecensureerde" data, waarbij een waarde verborgen is omdat deze te klein is om te meten (zoals een chemische stof onder de detectiegrens). De nieuwe methode handelde dit net zo goed af als de ontbrekende data.

2. De Wereldwijde Mysteries
Ze pasten hun methode toe op twee echte datasets om te zien of het echte wetenschappelijke puzzels kon oplossen.

Mysterie 1: De Mantel van de Aarde (Xenolieten)
Ze analyseerden 1.256 monsters van gesteenten uit de diepte van de Aarde. Bij deze gesteenten ontbraken 33% van de metingen omdat ze op verschillende plaatsen met verschillende instrumenten waren verzameld.
- De Bevinding: Het algoritme sorteerde de rotsen in vier duidelijke groepen. Deze groepen kwamen perfect overeen met echte geologische types. Zo was één groep rijk aan magnesium en silicium (peridotieten) uit oude, stabiele delen van de aardkorst, terwijl een andere groep meer ijzer en chroom bevatte. De methode identificeerde deze rocktypes succesvol zonder de rommelige monsters weg te hoeven gooien.
Mysterie 2: De Lucht die We Inademen (PM2.5)
Ze bekeken data van het Amerikaanse luchtkwaliteitssysteem, waarbij de beweging van minuscule deeltjes in de lucht werd gevolgd. Deze data bevatte zowel ontbrekende waarden als "gecensureerde" waarden (chemicaliën die te klein waren om te meten).
- De Bevinding: Het algoritme vond vier duidelijke typen luchtvervuiling.
  - Groep 1: Koude lucht met veel sulfaten en nitraten (vaak afkomstig van industriële emissies).
  - Groep 2: Een mix van koolstof en nitraten.
  - Groep 3: Warme lucht waarbij een enorm deel van de vervuiling onbekend was (het "residuele" deel was groot), wat wijst op onzichtbare deeltjes die weinig licht absorberen.
  - Groep 4: Warme lucht gedomineerd door organische koolstof (zoals rook of uitlaatgassen), wat veel voorkomt in steden.
- Het Inzicht: De methode toonde aan dat de samenstelling van de luchtvervuiling verandert bij warmer weer, en dat een groot deel bestaat uit zaken die de sensoren niet eens konden zien. Dit geeft wetenschappers een nieuwe aanwijzing over waar ze in de lucht naar moeten zoeken.

Waarom Dit Belangrijk Is

Het artikel suggereert dat we niet hoeven te kiezen tussen het weggooien van slechte data of het faken van cijfers. Door een model te bouwen dat de regels van het spel begrijpt (de 100%-som) en ontbrekende stukjes kan afhandelen, kunnen wetenschappers duidelijkere antwoorden krijgen uit rommelige data.

De auteurs ontdekten dat hun methode beter is in het vinden van het juiste aantal groepen en het correct sorteren van monsters dan de oude "verwijder de slechte data"-aanpak. Hoewel het artikel niet beweert dat dit elk probleem in de wereld oplost, laat het zien dat voor gesteenten en luchtkwaliteit deze nieuwe detective een krachtig hulpmiddel is. Het stelt onderzoekers in staat om het volledige plaatje te zien, zelfs wanneer sommige stukjes in het donker verborgen blijven.

Technische Samenvatting: Omgaan met ontbrekende gegevens en censoring in Dirichlet-mengmodellen

Probleemstelling
Compositionele data, die de relatieve proporties beschrijven van delen die een geheel vormen, bevinden zich op een simplex in plaats van in een onbeperkte Euclidische ruimte. Een fundamentele beperking bij het analyseren van dergelijke data is de prevalentie van incomplete observaties, inclusief ontbrekende waarden (door defecte apparatuur, non-respons of bemonsteringslimieten) en gecensureerde waarden (waarbij concentraties onder detectiegrenzen vallen). Traditionele likelihood-gebaseerde methoden voor compositionele modellen vereisen doorgaans volledig geobserveerde composities. Bijgevolg grijpen analisten vaak naar het verwijderen van gedeeltelijk geobserveerde data (case deletion) of het transformeren van data naar onbeperkte ruimtes (bijv. via log-ratio transformaties) alvorens de analyse uit te voeren. Deze benaderingen riskeren het opofferen van interpreteerbaarheid, coherentie en statistische efficiëntie, vooral omdat de constante-som-restrictie elke component aan elkaar koppelt, wat betekent dat onzekerheid in één deel de interpretatie van alle andere delen beïnvloedt. Bovoltrek splitsen standaard imputatiemethoden de afhandeling van ontbrekende gegevens van de daaropvolgende clusteringanalyse, waardoor ze er niet in slagen de imputatie-onzekerheid te integreren in de parameterechatting.

Methodologie
Dit artikel stelt een likelihood-gebaseerd Expectation–Maximisation (EM) algoritme voor voor het fitten van eindige mengsels van Dirichlet-verdelingen direct op de simplex, waarbij zowel ontbrekende als gecensureerde componenten worden geaccommodeerd zonder de compositionele ruimte te verlaten.

Theoretisch Kader: De benadering maakt gebruik van de eigenschappen van de Dirichlet-verdeling en de getrunceerde Dirichlet-verdeling. De willekeurige vector wordt gepartitioneerd in geobserveerde ( $X_o$ ) en ongeobserveerde ( $X_u$ ) componenten. De methode leidt de marginale dichtheid van de geobserveerde componenten af en de conditionele verdeling van de ongeobserveerde componenten gegeven de geobserveerde componenten en de clusterlidmaatschap. De ongeobserveerde componenten worden gemodelleerd als een gevolg van een getrunceerde Dirichlet-verdeling binnen specifieke grenzen die worden gedefinieerd door het censoringmechanisme of het patroon van ontbrekende gegevens.
Het EM-algoritme:
- E-stap: Berekent de verwachte waarde van de volledige log-likelihood. Dit omvat het berekenen van de posterieure waarschijnlijkheid van clusterlidmaatschap ( $\tilde{z}_{ig}$ ) voor elke observatie, waarbij rekening wordt gehouden met de waarschijnlijkheid dat het ongeobserveerde deel binnen zijn specifieke truncatiegebied valt. Het berekent ook de verwachte waarden van de logaritmen van de ongeobserveerde componenten ( $\tilde{E}_{ikg}$ ), afgeleid van de eigenschappen van de getrunceerde Dirichlet-verdeling en de digamma-functie.
- M-stap: Maximaliseert de verwachte log-likelihood met betrekking tot de mengverhoudingen ( $\pi_g$ ) en de Dirichlet-parameters ( $\alpha_g$ ). De mengverhoudingen worden bijgewerkt via standaard gewogen gemiddelden. De Dirichlet-parameters worden herparameteriseerd met behulp van onbeperkte variabelen ( $\beta_{kg} = \ln \alpha_{kg}$ ) en geoptimaliseerd met behulp van een Newton–Raphson (NR) algoritme.
Afhandelingsmechanismen: Het raamwerk werkt onder een Coarsening At Random (CAR) aanname, die Missing Completely At Random (MCAR), Missing At Random (MAR) en deterministische censoring omvat. Het algoritme vereist slechts één geobserveerde component per compositie om te kunnen functioneren, waardoor het in staat is datasets te verwerken met geen enkele volledig geobserveerde rijen.
Initialisatie en Convergentie: Het algoritme gebruikt method-of-moments schattingen voor initialisatie en gebruikt het Aitken-acceleratiecriterium om convergentie van de geobserveerde-data log-likelihood te beoordelen.

Belangrijkste Bijdragen en Resultaten

Gelijktijdige Schatting en Imputatie: De voorgestelde methode voert parameterechatting, clusterallocatie en model-gebaseerde imputatie gelijktijdig uit binnen een enkele likelihood-gebaseerde procedure, waarbij de compositionele structuur behouden blijft.
Simulatiestudie: Uitgebreide simulaties werden uitgevoerd op datasets gegenereerd uit mengsels van vier Dirichlet-verdelingen met variërende dimensies ( $p=6$ $p = 6$ tot $10$) en niveaus van incompleetheid (tot 90% ontbrekend of gecensureerd).
- Clusteringprestaties: Het algoritme behield een niet-nul clustering nauwkeurigheid en Adjusted Rand Index (ARI), zelfs bij hoge niveaus van ontbrekende gegevens (90%), hoewel de prestaties natuurlijk afnamen naarmate de data-schaarsheid toenam.
- Modelselectie: De voorgestelde methode vertoonde een significant hogere waarschijnlijkheid van het correct identificeren van het ware aantal clusters (vier) met behulp van AIC, BIC en ICL criteria vergeleken met de alternatieve methode van case deletion. Bij case deletion trad een snelle daling op naar een kans van nul voor correcte modelselectie zodra de ontbrekende gegevens de 50% overschreden, terwijl de voorgestelde methode robuust bleef.
- Censoring vs. MAR: Het algoritme presteerde effectief onder zowel MAR als censoring mechanismen, hoewel de nauwkeurigheid van de modelselectie iets sneller afnam onder censoring vanwege de hardere aard van de coarsening.
Reële Toepassingen:
- EarthChem Mantle Xenoliths: Toegepast op een geochemische dataset ( $n=1256$ , 33% ontbrekend) om rots types en speciatiemethoden te identificeren. Een vier-componenten mengsel onthulde interpreteerbare profielen, waarbij peridotieten van cratonische omgevingen, pyroxenieten van intraplaat-omgevingen en andere onderscheidende geochemische groepen werden onderscheiden, met resultaten die overeenkwamen met geologische beschrijvingen die niet voor de clustering werden gebruikt.
- Air Quality System (AQS) PM2.5: Toegepast op fijnstof-speciatiegegevens ( $n=99$ ) met zowel ontbrekende als links-gecensureerde waarden. Een vier-componenten model karakteriseerde verschillende vervuilingsprofielen, waarbij onderscheid werd gemaakt tussen clusters gedomineerd door secundaire anorganische ionen (geassocieerd met koelere temperaturen), gemengde koolstof/anorganische bronnen, en organisch-gedomineerde composities (geassocieerd met warmere temperaturen).

Betekenis en Claims
Het artikel beweert dat de voorgestelde methodologie een kritieke kloof in de analyse van compositionele data dicht door likelihood-gebaseerde inferentie en clustering direct op de simplex mogelijk te maken in aanwezigheid van ongeobserveerde delen. Door het verwijderen of transformeren van data naar onbeperkte ruimtes te vermijden, behoudt de methode de interpreteerbaarheid van de originele variabelen en de geometrische restricties van de data. De auteurs stellen dat hun benadering de clusteringprestaties en modelselectie aanzienlijk verbetert ten opzichte van bestaande alternatieven, met name in scenario's met ernstige incompleetheid van de data. Het werk benadrukt het nut van Dirichlet-mengmodellen voor heterogene compositionele populaties en suggereert een verschuiving van het aanpassen van data om in onbeperkte modellen te passen naar het ontwikkelen van schattingsinstrumenten die de geometrie van compositionele data respecteren.

Het Probleem: De "Ontbrekende Stukje" Puzzel

De Oplossing: Een Slim Detective-algoritme

De Test: Simulaties en Wereldwijde Mysteries

Waarom Dit Belangrijk Is

Technische Samenvatting: Omgaan met ontbrekende gegevens en censoring in Dirichlet-mengmodellen

Meer zoals dit