📊 statistics

Missing data and cluster graphs: cluster-level missingness vs variable-level missingness

Dit artikel introduceert twee klassen van op clusters gebaseerde ontbrekendheidsgrafieken om herstelbaarheid uit grove structurele informatie te analyseren, waarbij grafische voorwaarden worden vastgesteld voor het herstel van gezamenlijke verdelingen en causale effecten om te verduidelijken wanneer ontbrekendheidsdata op cluster-niveau voldoende is voor geldige inferentie versus wanneer fijnmaziger modellering vereist is.

Oorspronkelijke auteurs: Willow Scott, Eugenio Valdano, Charles Assaad

Gepubliceerd 2026-05-21

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Willow Scott, Eugenio Valdano, Charles Assaad

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een gigantische puzzel op te lossen om te begrijpen hoe verschillende onderdelen van een systeem met elkaar samenwerken – zoals hoe mentale gezondheid, seksuele gewoonten en HIV-status met elkaar verbonden kunnen zijn. Maar er is een probleem: sommige puzzelstukjes ontbreken. In de wereld van datawetenschap noemt men dit "ontbrekende data".

Meestal proberen wetenschappers dit op te lossen door elk ontbrekend stukje individueel te bekijken. Ze vragen zich af: "Waarom ontbreekt dit specifieke stukje? Is dat vanwege het stukje ernaast? Of het stukje aan de andere kant van de kamer?" Dit is alsof je een gedetailleerde kaart hebt van elke enkele straat in een stad.

In het echte leven hebben we echter vaak niet dat niveau van detail. We weten misschien alleen dat hele wijken (clusters) van informatie ontbreken, zonder precies te weten welk huis in de wijk leeg is. Dit artikel, door Willow Scott en collega's, vraagt zich af: Kunnen we de puzzel nog steeds oplossen als we alleen een kaart van de wijken hebben, in plaats van de individuele straten?

De Twee Soorten Kaarten

De auteurs introduceren twee manieren om deze "wijkkaarten" te tekenen om met ontbrekende data om te gaan:

De "Gedetailleerde Wijk" Kaart (m-C-DMG):
Stel je voor dat je weet dat de wijk "Seksueel Gedrag" ontbrekende data heeft. Op deze kaart houd je nog steeds bij welk specifiek huis in die wijk leeg is. Je weet dat het huis "Gebruik van condooms" ontbreekt, maar het huis "Aantal partners" is wel aanwezig. Je houdt de individuele indicatoren van ontbrekende data gescheiden, ook al groepeer je ze in een wijk.
- Analogie: Je weet dat er een stroomstoring is in de wijk "Stadscentrum", maar je hebt nog steeds een lijst van precies welke straatverlichting het niet doet.
De "Vervagende Wijk" Kaart (cm-C-DMG):
Dit is een grovere kaart. Hier weet je alleen dat de hele wijk "Seksueel Gedrag" problemen heeft. Je weet niet of het het huis "Gebruik van condooms" of het huis "Aantal partners" is dat ontbreekt; je ziet alleen een groot "Ontbrekend"-bord boven de hele wijk.
- Analogie: Je ziet een bord "Stroomstoring Stadscentrum", maar je hebt geen idee welke specifieke straatverlichting hierdoor wordt getroffen.

De Grote Ontdekking: Wat Kunnen We Nog Leren?

Het artikel onderzoekt of we het volledige plaatje (de "gezamenlijke verdeling") of de oorzaak-en-gevolgrelaties (zoals "Veroorzaakt gedrag A een uitkomst B?") nog steeds kunnen achterhalen met deze vervagende kaarten.

1. De "Vervagende" Kaart is Minder Krachtig
De auteurs ontdekten dat de "Vervagende Wijk" kaart (cm-C-DMG) een beetje een stap terug is. Omdat het alle ontbrekende details samenvoegt tot één groot blok, verbergt het soms aanwijzingen die nodig zijn om de puzzel op te lossen.

De Metafoor: Als je alleen weet dat de wijk "Stadscentrum" ontbrekende data heeft, zou je kunnen aannemen dat de hele wijk onbetrouwbaar is. Maar op de "Gedetailleerde" kaart zou je misschien beseffen dat slechts één specifiek huis ontbreekt, en de rest van de wijk eigenlijk prima is. De vervagende kaart kan je ertoe brengen goede data weg te gooien omdat je denkt dat het allemaal slecht is, terwijl de gedetailleerde kaart je toestaat het te redden.
De Regel: Als je de puzzel kunt oplossen met de "Vervagende" kaart, kun je hem zeker oplossen met de "Gedetailleerde" kaart. Maar het omgekeerde geldt niet. Soms laat de "Gedetailleerde" kaart je een puzzel oplossen die met de "Vervagende" kaart onmogelijk is.

2. De Puzzel Oplossen (Het Herstel van de Gezamenlijke Verdeling)
Het artikel geeft een specifieke set regels (een checklist) om te zien of je het volledige plaatje kunt reconstrueren uit de ontbrekende data.

De Regel: Je kunt het volledige plaatje herstellen als de "Ontbrekende" borden geen directe, sluwe verbinding hebben met de data die ze zouden moeten verbergen.
Analogie: Stel je een detective voor die probeert een gestolen horloge te vinden. Als de dief (het mechanisme van ontbrekende data) direct naast het horloge staat en geheimen fluistert, kan de detective niet uitzoeken wat er is gebeurd. Maar als de dief in een andere kamer is en het enige pad ertussen geblokkeerd wordt door een "collider" (een derde persoon die het pad blokkeert), kan de detective de zaak nog steeds oplossen. Het artikel zegt: zolang de "Ontbrekende" borden niet direct met de data fluisteren of verbonden zijn via een specifiek type geheim pad, kun je het volledige verhaal reconstrueren.

3. Oorzaak en Gevolg Uitzoeken (Macro Causale Effecten)
De auteurs keken ook of we oorzaak-en-gevolg kunnen achterhalen (bijvoorbeeld: "Veroorzaakt het veranderen van gedrag X een verandering in uitkomst Y?"), zelfs als data ontbreekt.

De Verrassing: Je hoeft niet altijd het hele plaatje te reconstrueren om te weten hoe één stukje een ander beïnvloedt.
Analogie: Je bent misschien niet in staat om het volledige plaatje van de stad weer in elkaar te zetten, maar je bent misschien nog steeds in staat om te bewijzen dat "Verkeersopstoppingen vertraging veroorzaken" door alleen naar de verkeers- en klok-puzzelstukjes te kijken.
Het artikel toont aan dat zelfs als de "Vervagende" kaart het onmogelijk maakt om de volledige staat van het systeem te kennen, het nog steeds mogelijk kan zijn om specifieke oorzaak-en-gevolgrelaties te achterhalen met behulp van een set logische regels (genaamd "do-calculus").

Waarom Is Dit Belangrijk?

In de echte wereld hebben wetenschappers vaak geen perfecte data. Ze weten misschien dat "Mentale Gezondheid" en "Seksueel Gedrag" met elkaar verbonden zijn, maar ze weten niet de exacte relatie tussen elke enkele vragenlijstvraag.

Dit artikel vertelt ons:

Het is prima om data te groeperen in clusters als dat moet, maar we moeten voorzichtig zijn.
Als we te veel groeperen (met de "Vervagende" kaart), verliezen we misschien de mogelijkheid om bepaalde vragen te beantwoorden.
Echter, zelfs met een vervagende kaart kunnen we vaak nog steeds belangrijke "Wat als?"-vragen over oorzaak en gevolg beantwoorden, mits we de juiste logische stappen volgen.

Kortom, het artikel biedt een toolkit voor wetenschappers om precies te weten hoeveel detail ze moeten verzamelen. Als ze een "Vervagende" kaart hebben, weten ze nu welke vragen ze nog steeds kunnen beantwoorden en welke vragen vereisen dat ze terug gaan en een "Gedetailleerde" kaart halen.

Technische Samenvatting: Ontbrekende Data en Clustergrafieken

Probleemstelling
Ontbrekende data is een alomtegenwoordige uitdaging in wetenschappelijke domeinen zoals volksgezondheid, milieuwetenschappen en sociale wetenschappen. Hoewel de klassieke theorie van ontbrekende data (bijv. Rubin [1976], Mohan et al. [2013]) rigoureuze kaders biedt voor herstelbaarheid met behulp van volledig gespecificeerde modellen voor ontbrekendheid op variabele-niveau (specifiek m-ADMG's), ontbreekt het aan veel moderne toepassingen aan de gedetailleerde kennis die nodig is om deze modellen te specificeren. In de praktijk worden variabelen vaak gegroepeerd in clusters vanwege beperkte kennis, vereisten voor interpretatie, of de beschikbaarheid van slechts geaggregeerde structurele informatie. Bijvoorbeeld, in HIV-risicostudies kan "seksueel gedrag" worden behandeld als een cluster van maatregelen (bijv. condoomgebruik, aantal partners) waarbij interne relaties niet gespecificeerd zijn. Bestaande methoden hebben moeite om herstelbaarheid aan te pakken wanneer alleen deze abstracte, op cluster-niveau gebaseerde representaties van ontbrekendheidsmechanismen beschikbaar zijn.

Methodologie
De auteurs introduceren twee klassen van abstracte ontbrekendheidsgrafieken die op cluster-niveau opereren, terwijl ze compatibiliteit behouden met onderliggende structurele causale modellen op variabele-niveau:

m-C-DMG (missingness-C-DMG): Deze abstractie behoudt variabele-specifieke indicatoren voor ontbrekende data ( $R_X$ ) voor elke variabele binnen een cluster, maar stelt causale relaties tussen variabelen voor op cluster-niveau. Het behoudt het onderscheid tussen de ontbrekendheidsmechanismen van individuele variabelen binnen dezelfde cluster.
cm-C-DMG (clustered-missingness-C-DMG): Dit is een grovere abstractie waarbij alle indicatoren voor ontbrekende data op variabele-niveau binnen een specifieke cluster worden samengevoegd tot één enkele vertex voor ontbrekende data op cluster-niveau ( $R_C$ ). Deze representatie aggregeert ontbrekendheidsmechanismen, waardoor het onderscheid tussen de oorzaken van ontbrekende data voor specifieke variabelen verloren gaat.

Het artikel formaliseert het concept van compatibiliteit tussen deze abstracte grafieken en de verzameling onderliggende m-ADMG's op variabele-niveau. Een query wordt gedefinieerd als herstelbaar in een abstracte grafiek als deze consistent kan worden geschat voor elke m-ADMG op variabele-niveau die compatibel is met die abstracte grafiek. De auteurs maken gebruik van hulpmiddelen uit causale inferentie, waaronder d-separatie, gemutiliseerde grafieken en de do-calculus, die zijn aangepast voor deze op clusters gebaseerde grafieken (die cycli kunnen bevatten, in tegenstelling tot standaard ADMG's).

Belangrijkste Bijdragen en Resultaten

Hiërarchie van Abstractie en Herstelbaarheid: De auteurs stellen een strikte inclusierelatie vast tussen de compatibiliteitsklassen van de twee grafieken. De compatibiliteitsklasse van een m-C-DMG is een deelverzameling van die van de corresponderende cm-C-DMG. Bijgevolg, als een query herstelbaar is vanuit een cm-C-DMG, is deze noodzakelijkerwijs herstelbaar vanuit de corresponderende m-C-DMG. Het omgekeerde geldt echter niet; de cm-C-DMG kan variabele-specifieke onderscheidingen onderdrukken die essentieel zijn voor herstel, waardoor sommige queries op cluster-niveau niet herstelbaar zijn, zelfs als ze op variabele-niveau herstelbaar zijn.
Herstelbaarheid van Gezamenlijke Verdelingen: Het artikel biedt noodzakelijke en voldoende grafische voorwaarden voor het herstellen van de gezamenlijke verdeling van clusters ($Pr(C)$) vanuit zowel m-C-DMG's als cm-C-DMG's. De voorwaarde vereist dat voor elke gedeeltelijk waargenomen cluster $C_X$ , $C_X$ en de bijbehorende indicator voor ontbrekende data $R_X$ geen buren zijn, en dat er geen pad tussen hen bestaat waarbij alle tussenliggende vertices colliders zijn die behoren tot de verzameling van gedeeltelijk of volledig waargenomen clusters. Dit resultaat breidt de herstelbaarheidscriteria van Mohan en Pearl [2014] uit naar clustergrafieken, en toont aan dat acycliciteit niet essentieel is voor dit specifieke type herstelbaarheid.
Herstelbaarheid van Macro Causale Effecten: De auteurs leiden voorwaarden af voor het herstellen van macro causale effecten (bijv. het effect van een cluster $C_X$ op een cluster $C_Y$ ) met behulp van de do-calculus die is aangepast voor clustergrafieken. Ze tonen door middel van voorbeelden aan dat de herstelbaarheid van een macro causaal effect niet strikt afhankelijk is van de herstelbaarheid van de volledige gezamenlijke verdeling. Een causaal effect kan identificeerbaar zijn, zelfs wanneer de gezamenlijke verdeling dat niet is, mits specifieke d-separatievoorwaarden in gemutiliseerde grafieken het verwijderen van do-operatoren en indicatoren voor ontbrekende data toelaten.

Betekenis en Beweringen
Het artikel claimt bij te dragen aan het theoretische begrip van problemen met ontbrekende data onder structurele abstractie. De primaire betekenis ligt in het verduidelijken wanneer informatie over ontbrekende data op cluster-niveau voldoende is voor geldige inferentie en wanneer fijnmazigere modellering noodzakelijk is. Door de afweging te formaliseren tussen de eenvoud van abstracte representaties en het verlies aan informatie over specifieke ontbrekendheidsmechanismen, biedt het werk een principiële manier om situaties te analyseren waarbij alleen grove structurele kennis beschikbaar is.

De auteurs merken op dat hun resultaten conservatief zijn: een query die als niet herstelbaar wordt beschouwd vanuit een abstracte grafiek, kan nog steeds herstelbaar zijn in specifieke compatibele grafieken op variabele-niveau. Bovendien hangt de bruikbaarheid van de cm-C-DMG af van of de gekozen clustering de voor de doelquery relevante informatie over ontbrekende data behoudt. Het artikel sluit af met het identificeren van open vragen, waaronder de volledigheid van de afgeleide voorwaarden voor macro causale effecten en de ontwikkeling van directe algoritmen voor herstelbaarheid op deze abstracte grafieken.

De Twee Soorten Kaarten

De Grote Ontdekking: Wat Kunnen We Nog Leren?

Waarom Is Dit Belangrijk?

Technische Samenvatting: Ontbrekende Data en Clustergrafieken

Meer zoals dit