📊 statistics

Boosting prediction with data missing not at random

Dit artikel introduceert en analyseert semiparametrische boosting-methode voor voorspelling met ontbrekende responsen, waarbij twee strategieën worden ontwikkeld om de verliesfuncties aan te passen en de convergentie en consistentie van de schatters wiskundig worden bewezen.

Oorspronkelijke auteurs: Yuan Bian, Grace Y. Yi, Wenqing He

Gepubliceerd 2026-02-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuan Bian, Grace Y. Yi, Wenqing He

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Uitdaging: Het Ontbrekende Puzzelstukje

Stel je voor dat je een meesterchef bent die een recept probeert te perfectioneren. Je hebt duizenden proefpersonen nodig om te testen hoe goed je gerecht smaakt. Maar er is een probleem: ongeveer 40% van je proefpersonen heeft de proef niet gedaan en heeft geen smaakverslag ingediend.

In de statistiek noemen we dit ontbrekende data.

Meestal gaan onderzoekers er van uit dat deze mensen gewoon "toevallig" zijn uitgevallen (misschien waren ze te druk). Dat is makkelijk op te lossen: je kijkt gewoon naar de mensen die wél hebben gerapporteerd.

Maar wat als de reden dat ze niet hebben gerapporteerd, juist te maken heeft met hoe het gerecht smaakte?

Als het eten te lekker was, wilden ze misschien niet stoppen met eten om te schrijven.
Als het te vies was, wilden ze misschien niet dat je wist dat ze het hadden geprobeerd.

Dit noemen de auteurs MNAR (Missing Not At Random). Het ontbreken van de data is niet willekeurig; het hangt samen met het antwoord zelf. Als je dit negeert en gewoon kijkt naar de mensen die wel hebben gerapporteerd, krijg je een vertekend beeld. Je denkt misschien dat het eten gemiddeld is, terwijl het in werkelijkheid ofwel fantastisch ofwel vreselijk was.

De Oplossing: Een Slimme "Boosting" Machine

De auteurs (Yuan Bian, Grace Yi en Wenqing He) hebben een nieuwe manier bedacht om met deze "smaakproblemen" om te gaan. Ze gebruiken een techniek uit het machine learning-land die Boosting heet.

Wat is Boosting?
Stel je voor dat je een groepje leerlingen hebt die allemaal heel slecht wiskunde kunnen. Ze zijn "zwakke leerlingen". Boosting is een methode waarbij je deze leerlingen één voor één laat oefenen op de vragen waar de vorige leerlingen het fout hadden.

Leerling 1 probeert het. Hij faalt op vraag 3.
Leerling 2 krijgt de opdracht: "Focus alleen op vraag 3". Hij faalt op vraag 3 en 5.
Leerling 3 krijgt de opdracht: "Focus op vraag 3 en 5".

Als je al deze kleine verbeteringen optelt, krijg je aan het einde een "sterke leerling" die de hele toets perfect kan maken. Dit is hoe Boosting werkt: het bouwt een voorspellingsmodel stap voor stap op.

Het Nieuwe Trucje: De "Gewogen" en "Vervolledigde" Score

Het probleem is dat Boosting normaal gesproken alleen werkt als je alle antwoorden hebt. Als je data ontbreekt (zoals in ons kookvoorbeeld), werkt de standaard Boosting niet meer goed.

De auteurs hebben twee slimme trucjes bedacht om de "score" (de foutenrekening) van Boosting aan te passen, zodat het wel werkt met ontbrekende data:

1. De "Inverse Propensity" Methode (De Beloningssysteem)

Stel je voor dat je een wedstrijd hebt. Mensen die het moeilijk hebben om mee te doen (omdat ze bijvoorbeeld ver weg wonen), krijgen een extra grote prijs als ze toch meedoen.

In de statistiek kijken we naar de kans dat iemand zijn antwoord wel heeft gegeven.
Als iemand een antwoord gaf, maar de kans dat hij dat zou doen erg klein was (bijvoorbeeld omdat hij normaal gesproken heel stil is), dan geven we zijn antwoord extra gewicht in de berekening.
Zo compenseren we voor de mensen die we niet hebben gehoord. Het is alsof we zeggen: "Dit ene antwoord telt voor tien, omdat het zo zeldzaam is dat iemand dit heeft ingevuld."

2. De "Buckley-James" Methode (Het Verstandige Invullen)

Deze methode is iets anders. Stel je voor dat je een proefpersoon hebt die niet heeft gerapporteerd. In plaats van zijn antwoord te negeren, proberen we een geschatte waarde te bedenken die logisch is.

We kijken naar mensen met een vergelijkbaar profiel die wel hebben gerapporteerd.
We berekenen wat de gemiddelde reactie zou zijn geweest voor deze niet-respondent.
We gebruiken deze geschatte waarde om de "foutenrekening" aan te vullen.
Het is alsof je een gissing doet op basis van de rest van de klas, in plaats van de stoel leeg te laten staan.

Waarom is dit belangrijk?

In het verleden hebben onderzoekers vaak geprobeerd om deze ontbrekende stukjes weg te laten of simpelweg te vergeten. Dat leidt tot verkeerde conclusies.

Voorbeeld: Als je wilt voorspellen hoeveel mensen gaan stemmen, maar je vraagt het alleen aan mensen die al een stemkaart hebben ontvangen, krijg je een vertekend beeld. De mensen die de kaart niet kregen (misschien omdat ze minder geïnteresseerd zijn) ontbreken.

De nieuwe methode van Bian, Yi en He zorgt ervoor dat het algoritme (de "meesterchef") rekening houdt met waarom mensen niet hebben gerapporteerd. Ze gebruiken wiskundige formules om te corrigeren voor deze vertekening.

Wat hebben ze bewezen?

De auteurs hebben niet alleen een trucje bedacht, maar ze hebben ook wiskundig bewezen dat hun methode:

Convergeert: Als je het algoritme vaak genoeg laat draaien, komt het altijd uit op het juiste antwoord (net zoals een leerling die eindelijk de toets haalt).
Betrouwbaar is: Zelfs als je niet perfect weet hoe de data precies ontbreekt, werkt de methode nog steeds goed, zolang je maar de juiste aannames doet.

Conclusie

Kortom: Dit artikel is een handleiding voor slimme computerprogramma's om niet in de val te trappen van "ontbrekende data". Het zegt: "Kijk niet alleen naar wat je ziet, maar begrijp ook waarom je sommige dingen niet ziet." Door dit te doen, kunnen we betere voorspellingen doen over de wereld om ons heen, of het nu gaat over inkomen, gezondheid of stemgedrag.

Het is alsof je een spiegel hebt die niet alleen je gezicht laat zien, maar ook de delen die normaal gesproken in de schaduw zouden liggen, zodat je een compleet beeld krijgt.

Probleemstelling

Boosting is een krachtige machinelearningtechniek die zwakke leraars omzet in sterke leraars door iteratieve processen. Echter, de meeste bestaande boosting-algoritmen zijn ontworpen voor complete datasets. In de praktijk komen datasets met ontbrekende waarden vaak voor.

MCAR (Missing Completely At Random): Als data volledig willekeurig ontbreken, kunnen standaard boosting-methoden direct worden toegepast op de beschikbare data zonder vertekening.
MNAR (Missing Not At Random): Dit is het centrale probleem van dit artikel. Bij MNAR hangt de kans dat een waarde ontbreekt af van de waarde zelf (en/of covariaten). Het direct toepassen van boosting op MNAR-data leidt tot gebruikelijke en vertekende resultaten.
Identificeerbaarheidsprobleem: MNAR-data kent inherente identificeerbaarheidsproblemen; zonder extra aannames is de gezamenlijke verdeling van de respons en het ontbreken niet eenduidig te bepalen. Bestaande oplossingen vereisen vaak instrumentele variabelen, wat in de praktijk moeilijk te vinden is.

Methodologie

De auteurs stellen een semiparametrische benadering voor om boosting toe te passen op data met MNAR-responsen. De kern van de methode ligt in het aanpassen van de verliesfunctie (loss function) en het gebruik van een functionele gradiëntafdaal-algoritme (functional gradient descent).

1. Aanpassing van de Verliesfunctie

Om de bias door ontbrekende data te corrigeren, worden twee strategieën ontwikkeld om de verliesfunctie $L$ te modificeren naar een aangepaste verliesfunctie $L^*$ :

Inverse Propensity Weighting (IPW):
De verliesfunctie wordt vermenigvuldigd met het omgekeerde van de propensity score $\pi(y, x) = P(R=1|Y=y, X=x)$ .
$L_{IPW} = \frac{R \cdot L(Y, f(X))}{\pi(Y, X)}$
Dit weegt waarnemingen op basis van de kans dat ze waargenomen zijn.
Buckley-James-type (BJ) aanpassing:
Deze methode probeert ook informatie van de ontbrekende responsen te benutten door een geschatte verwachting te gebruiken voor de ontbrekende waarden.
$L_{BJ} = R \cdot L(Y, f(X)) + (1-R) \cdot \Psi_0(X)$
Waar $\Psi_0(x) = E[L(Y, f(X)) | X=x, R=0]$ . Om dit te berekenen, wordt gebruikgemaakt van de Bayes-regel om de verdeling van $Y$ gegeven $R=0$ te relateren aan de verdeling gegeven $R=1$ en de propensity score.

2. Semiparametrische Schatting

Omdat zowel de responsverdeling $f(y|X, R=1)$ als de propensity score $\pi(y, x)$ onbekend zijn, worden deze geschat:

Propensity Score ( $\pi$ ): Wordt parametrisch gemodelleerd (bijv. logit-model).
Responsverdeling ( $f$ ): Kan zowel parametrisch als niet-parametrisch (kerneldichtheidsschatting) worden geschat.
Identificeerbaarheid: De auteurs hanteren de identificatievoorwaarden van Morikawa en Kim (2021), die testbaar zijn op de waargenomen data en geen instrumentele variabelen vereisen.

3. Het Boosting-algoritme

Het algoritme (Algorithm 1) werkt als volgt:

Start met een initiële functie $f^{(0)}$ .
Bereken de gradiënt van de aangepaste verliesfunctie $L^*$ (gebaseerd op de geschatte $\pi$ en $f$ ).
Zoek een zwakke leraar $h$ die de gradiënt het beste benadert (via B-splines).
Update de functie: $f^{(m+1)} = f^{(m)} + \alpha h$ .
Herhaal tot een stopcriterium is bereikt.

Belangrijkste Bijdragen

Theoretische Fundamenten: De auteurs bewijzen strikt de convergentie van het algoritme en de consistentie van de schatter onder MNAR-omstandigheden. Ze tonen aan dat de geschatte functie convergeert naar de optimale functie $f^*$ als het aantal iteraties en de steekproefgrootte toenemen.
Semiparametrische Flexibiliteit: Door één component parametrisch en de ander niet-parametrisch te modelleren, wordt de gevoeligheid voor modelmisspecificatie verminderd ten opzichte van volledig parametrische benaderingen.
Twee Strategieën: Het introduceren van zowel IPW als BJ-aanpassingen biedt onderzoekers een keuze afhankelijk van de beschikbaarheid van informatie en de complexiteit van de data.
Identificeerbaarheid zonder Instrumenten: Het toepassen van de voorwaarden van Morikawa en Kim maakt het mogelijk om MNAR-problemen op te lossen zonder de vaak onhaalbare zoektocht naar instrumentele variabelen.

Resultaten

De methoden zijn geëvalueerd via simulatiestudies en een analyse van de KLIPS-dataset (Koreaanse Arbeids- en Inkomenspanel).

Simulaties:
- MAR-scenario: Alle methoden presteerden vergelijkbaar, wat aantoont dat de nieuwe methoden geen nadeel hebben als data willekeurig ontbreekt.
- MNAR-scenario: Standaard boosting op incomplete data (N-methode) leverde aanzienlijke vertekening op. De voorgestelde methoden (IPW, IPWN, BJ) herstelden de nauwkeurigheid aanzienlijk en presteerden vergelijkbaar met de "Referentie" methode (die volledige data zou hebben).
- Modelmisspecificatie: De resultaten toonden aan dat het correct specificeren van de propensity score ( $\pi$ ) cruciaal is. Fouten in het model voor de responsverdeling hadden minder impact, wat de robuustheid van de IPW-methode onderstreept.
- Convergentie: Het algoritme convergeerde stabiel in de meeste scenario's, behalve bij zeer hoge dimensies met sterke correlaties tussen covariaten (waar de niet-parametrische schatting van $\pi$ lastig werd).
Real Data (KLIPS):
Bij het voorspellen van inkomens met ongeveer 30% ontbrekende waarden, toonden de voorgestelde methoden een duidelijk ander en plausibeler patroon dan de naïeve methode, vooral aan de randen van het covariaatbereik.

Betekenis en Conclusie

Dit artikel is significant omdat het een theoretisch onderbouwde oplossing biedt voor een veelvoorkomend maar moeilijk probleem in machine learning: het voorspellen met niet-willekeurig ontbrekende data.

Het vult een gat in de literatuur waar boosting-methoden tot nu toe beperkt waren tot complete data of censored data.
Het biedt een praktische, implementeerbare framework (via R-code) dat robuust is tegen modelmisspecificatie.
De resultaten suggereren dat semiparametrische boosting een krachtig alternatief is voor traditionele imputatiemethoden of volledig parametrische modellen in complexe MNAR-situaties.

De auteurs concluderen dat hun aanpak de voorspellende prestaties aanzienlijk verbetert in vergelijking met het negeren van ontbrekende data, en dat de methoden uitbreidbaar zijn naar andere machinelearningtechnieken zoals SVM's en neurale netwerken.