📊 statistics

Neural Parameter Estimation with Incomplete Data

Deze paper introduceert een sneller en statistisch efficiënter likelihood-vrij Monte Carlo-EM-algoritme voor parameterschatting met onvolledige data, dat de beperkingen van de bestaande 'masking'-benadering overwint en wordt gevalideerd op gesimuleerde ruimtelijke modellen en Arctisch zee-ijs.

Oorspronkelijke auteurs: Matthew Sainsbury-Dale, Andrew Zammit-Mangion, Noel Cressie, Raphaël Huser

Gepubliceerd 2026-02-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Matthew Sainsbury-Dale, Andrew Zammit-Mangion, Noel Cressie, Raphaël Huser

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Schatgraven met een AI: Hoe je leert van onvolledige gegevens

Stel je voor dat je een enorme schatkaart hebt, maar er zijn gaten in het papier. Misschien is een deel van de kaart nat geworden door regen (wolken), of is er een stukje afgescheurd (technische storing). Je wilt weten waar de schat ligt, maar je kunt niet alles zien. Dit is precies het probleem waar wetenschappers vaak tegenaan lopen: ze hebben data, maar die data is onvolledig.

In dit artikel vertellen Matthew, Andrew, Noel en Raphaël hoe ze een slimme manier hebben bedacht om kunstmatige intelligentie (AI) te laten werken, zelfs als de data "gebroken" is. Ze vergelijken twee methoden: een oude, snelle truc en een nieuwe, slimmere methode.

De twee methoden: De "Masker-Truc" vs. De "Dromen-Techniek"

1. De oude methode: De "Masker-Truc" (Het Plakwerk)

Stel je voor dat je een puzzel hebt, maar een paar stukjes ontbreken. De oude manier om dit op te lossen is als volgt:

Je plakt een grijs stukje tape op de ontbrekende plekken.
Je geeft de AI een lijstje: "Hier zijn de stukjes die je wel hebt, en hier is een lijstje met stippen die zeggen: 'Hier ontbreekt iets'."
De AI moet dan raden wat er onder die tape zit.

Het probleem: De AI moet nu twee dingen tegelijk doen: de puzzel oplossen én begrijpen waarom de stukjes ontbreken. Als de AI denkt dat de ontbrekende stukjes willekeurig verdwenen zijn (bijvoorbeeld door een willekeurige vlek), maar in werkelijkheid is er een heel groot gat in het midden van de kaart (bijvoorbeeld door een technische beperking), dan raakt de AI in de war. Het antwoord wordt dan vaak verkeerd. Het is alsof je probeert een recept te maken door te raden welke ingrediënten er misten, terwijl je niet weet of ze per ongeluk zijn gevallen of bewust zijn weggehaald.

2. De nieuwe methode: De "Dromen-Techniek" (De EM-methode)

De auteurs van dit artikel hebben een veel slimmere manier bedacht, gebaseerd op een klassieke statistische techniek die ze "Monte Carlo EM" noemen. Laten we het zo uitleggen:

Stap 1: Dromen. De AI kijkt naar de stukken die ze wel hebben en begint te dromen over wat er onder de ontbrekende plekken zou kunnen zitten. Ze maakt geen één guess, maar duizenden kleine "dromen" (simulaties) van hoe de volledige kaart eruit zou kunnen zien.
Stap 2: Controleren. Ze kijken naar al die dromen. "Oké, in deze droom was het hier een berg, in die droom een vallei. Wat is het meest waarschijnlijke?"
Stap 3: Leren. In plaats van de AI te laten leren hoe ze met de "gaten" om moet gaan, trainen ze de AI alleen op volledige kaarten. Ze zeggen tegen de AI: "Leer hoe je een volledige kaart moet lezen."
Stap 4: Toepassen. Als ze nu een onvolledige kaart krijgen, laten ze de AI eerst de gaten "dromen" (invullen) en pas daarna de schat vinden.

De voordelen:

Geen gaten in het hoofd: De AI hoeft niet te leren hoe gaten werken. Ze leert alleen hoe de echte wereld eruit ziet.
Robuust: Het maakt niet uit of de gaten door wolken zijn veroorzaakt of door een technisch defect. De methode werkt altijd goed.
Snel: Zodra de AI eenmaal getraind is (wat even duurt), kan ze in een flits een antwoord geven.

Waarvoor is dit goed? (De ijskap van de Noordpool)

Om te bewijzen dat hun methode werkt, hebben ze het getest op echte data van het Arctische zee-ijs.

Het probleem: Satellieten kijken naar het ijs, maar wolken blokkeren het zicht. Ook is er een groot gat boven de Noordpool waar satellieten niet kunnen kijken. De data is dus vol gaten.
De uitdaging: Ze wilden weten hoe snel het ijs smelt. Maar omdat de data zo complex en onvolledig is, was het voor computers bijna onmogelijk om de juiste berekeningen te maken.
Het resultaat: Met hun nieuwe "Dromen-Techniek" konden ze de gaten slim invullen en een nauwkeurig beeld krijgen van hoe het ijs verdwijnt. Ze zagen dat het ijsgebied inderdaad drastisch krimpt, bijna de helft minder dan vroeger.

Waarom is dit belangrijk?

Vroeger moesten wetenschappers kiezen tussen:

Snelheid: Een snelle methode gebruiken die soms fouten maakt omdat de data niet perfect is.
Nauwkeurigheid: Een zeer nauwkeurige methode gebruiken die dagenlang duurt om uit te rekenen.

Met deze nieuwe methode krijgen ze het beste van twee werelden: het is snel (zoals AI) en zeer nauwkeurig (zoals de beste statistische methoden), zelfs als de data vol gaten zit.

Kort samengevat:
Stel je voor dat je een schilderij probeert te restaureren. De oude methode is alsof je de gaten met een viltstift invult en hoopt dat het er goed uitziet. De nieuwe methode is alsof je een meester-restaurateur bent die eerst duizenden schetsen maakt van hoe het schilderij er had kunnen uitzien, en dan de meest logische versie kiest om het werk af te maken. Het resultaat is een mooier, betrouwbaarder schilderij, en dat allemaal in een fractie van de tijd.

Titel: Neuraal Parameter Schatten met Onvolledige Data

Auteurs: Matthew Sainsbury-Dale, Andrew Zammit-Mangion, Noel Cressie, en Raphaël Huser.

1. Het Probleem

De opkomst van kunstmatige intelligentie (AI) en deep learning heeft geleid tot het gebruik van neurale netwerken voor snelle, "likelihood-free" statistische inferentie. Een specifieke klasse van methoden, Neural Bayes Estimators (NBE's), leert een neurale netwerk om data direct af te beelden naar punt-schattingen van parameters (bijv. de posterior mean of mode).

Een groot obstakel voor de brede toepassing van NBE's is de aanwezigheid van onvolledige data (missing data). In veel praktische scenario's, zoals satellietbeelden (wolkendek), medische dossiers of sensor-netwerken, ontbreken waarden.

Huidige aanpak ("Masking"): Een recente methode (Wang et al., 2024) lost dit op door ontbrekende waarden te vervangen door een constante (bijv. 0) en een binaire "masker"-vector toe te voegen die aangeeft welke data ontbreken.
Beperkingen van Masking: Hoewel computatie-efficiënt, is deze methode niet robuust. Het vereist een specifiek stochastisch model voor het mechanisme van het ontbreken (bijv. Missing Completely At Random - MCAR). Als dit model verkeerd gespecificeerd is (bijv. als data in blokken ontbreken), leidt dit tot statistisch inefficiënte en vertekende (biased) schattingen.

2. Methodologie

De auteurs stellen een alternatieve aanpak voor die gebaseerd is op het Monte Carlo Expectation-Maximization (MCEM) algoritme, maar geïntegreerd met neurale netwerken.

A. De Masking Aanpak (Referentie)

Input: Een gemaskeerde data-vector $U$ (ontbrekende waarden vervangen door $c$ ) en een indicator-vector $W$ (1 voor waargenomen, 0 voor ontbrekend).
Training: Het netwerk $g(U, W)$ wordt getraind om parameters te schatten.
Nadeel: Het netwerk moet een complexe mapping leren van een semi-discrete ruimte ( $U \times W$ ) naar de parameter ruimte. De prestaties hangen sterk af van de verdeling van het ontbrekende mechanisme tijdens het trainen.

B. De voorgestelde EM-Aanpak (Nieuw)

De auteurs introduceren een EM-NBE die gebruikmaakt van data-augmentatie via conditionele simulatie.

Principe: In plaats van het ontbrekende patroon als input te geven, worden de ontbrekende data $Z_2$ gesimuleerd op basis van de waargenomen data $Z_1$ en de huidige parameterschatting $\hat{\theta}^{(l-1)}$ .
Algoritme (Algorithm 2):
- E-stap (Simulatie): Genereer $m$ conditioneel onafhankelijke replicaten van de volledige data $Z$ door de ontbrekende waarden te imputeren via Gibbs-sampling (of andere MCMC-methoden) gegeven $Z_1$ en de huidige schatting.
- M-stap (Neuraal): Gebruik een vooraf getraind neurale netwerk $h(\cdot)$ om direct de MAP-schatting (Maximum A Posteriori) te voorspellen op basis van deze $m$ volledige data-sets.
- Iteratie: Herhaal dit proces totdat de schatting convergeert.
Voordeel: Het neurale netwerk wordt alleen getraind op volledige data. Het hoeft geen kennis te hebben van het ontbrekende mechanisme. De "E-stap" (simulatie) en "M-stap" (voorspelling) vervangen de traditionele, vaak trage numerieke optimalisatie van het klassieke EM-algoritme.

3. Belangrijkste Bijdragen

Likelihood-vrije EM: Een implementatie van het MCEM-algoritme waarbij de M-stap wordt vervangen door een neurale Bayes-schatting. Dit maakt het mogelijk om zeer snel te convergeren zonder numerieke optimalisatie per iteratie.
Robuustheid tegen Ontbrekende Mechanismen: De EM-NBE is agnostisch ten opzichte van het patroon van ontbrekende data (of het nu willekeurig is of in blokken). Dit in tegenstelling tot de masking-methode die gevoelig is voor model-specificatie.
Toepasbaarheid op Intractable Likelihoods: De methode werkt ook voor modellen waar de likelihood-functie niet berekenbaar is (bijv. door een onbekende normalisatieconstante), zolang er alleen maar gesimuleerd kan worden (bijv. via Gibbs-sampling).
Theoretische Onderbouwing: De auteurs tonen aan dat de sequentie van schattingen convergeert naar een stationair AR(1)-proces rondom de ware posterior-mode, mits de benaderingsfout van het neurale netwerk klein is.

4. Resultaten

De auteurs vergelijken de Masking-NBE en de EM-NBE in simulaties en een echte toepassing.

Simulatie 1: Ruimtelijk Gaussisch Proces:
- Bij willekeurig ontbrekende data (MCAR) presteren beide methoden goed.
- Bij systematisch ontbrekende data in blokken (MICB), faalt de Masking-NBE (hoge bias en RMSE) omdat het trainingsmodel (MCAR) niet overeenkwam met de testdata. De EM-NBE behoudt zijn hoge nauwkeurigheid.
Simulatie 2: Hidden Potts Model:
- Een model met een intractable likelihood (geen gesloten vorm voor de likelihood).
- De EM-NBE levert statistisch efficiënte schattingen die vergelijkbaar zijn met de "gold standard" MAP-schatting, terwijl de Masking-NBE weer vertekend is bij misspecification.
- De EM-NBE presteert ook beter dan Approximate Bayesian Computation (ABC), omdat ABC afhankelijk is van handmatig gedefinieerde samenvattende statistieken die moeilijk te vinden zijn voor complexe latent-variable modellen.
Toepassing: Arctisch Zee-ijs:
- Analyse van zee-ijsconcentratie data (NOAA) met complexe ontbrekende patronen (wolkendek + poolgat).
- Het model gebruikt een Hidden Potts model met 4 toestanden.
- Resultaat: De EM-NBE schatte de parameters voor 45 jaar data in slechts 44 seconden (na training). Een vergelijkbare Bayesiaanse analyse in de literatuur had meer dan een dag nodig op een supercomputer.
- De analyse bevestigt een sterke afname van het zee-ijsgebied en toont een sterke ruimtelijke afhankelijkheid (neighboring cells share labels).

5. Betekenis en Conclusie

Dit onderzoek toont aan hoe statistische inferentietools (zoals EM en data-augmentatie) AI-methoden kunnen verbeteren, vooral bij het omgaan met imperfecte data.

Trade-off: De Masking-methode is extreem snel bij inferentie (geen iteraties), maar kwetsbaar voor bias. De EM-methode is iets trager bij inferentie (vereist simulatie en iteratie), maar biedt statistische garanties en is robuust.
Impact: De methode maakt het mogelijk om complexe, intractable modellen (zoals Hidden Markov Random Fields) snel en nauwkeurig te schatten op grote datasets, zelfs als de data onvolledig is.
Software: De methoden zijn geïmplementeerd in het open-source pakket NeuralEstimators (beschikbaar in Julia en R).

Kortom, de auteurs bieden een brug tussen klassieke statistiek en modern deep learning, waardoor neurale netwerken betrouwbaarder worden voor real-world toepassingen waar data nooit perfect is.