📊 statistics

Semi-supervised linear regression with missing covariates

Deze studie introduceert en analyseert schatters voor semi-superviserende lineaire regressie met ontbrekende covariaten in zowel gelabelde als niet-gelabelde datasets, waarbij de auteurs optimale risicoboven- en ondergrenzen bewijzen voor zowel niet-sparse als hoogdimensionale sparse gevallen.

Oorspronkelijke auteurs: Benedict M. Risebrow, Thomas B. Berrett

Gepubliceerd 2026-02-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Benedict M. Risebrow, Thomas B. Berrett

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: De Kunst van het Invullen van Ontbrekende Puzzelstukjes: Een Verhaal over Data en Huizenprijzen

Stel je voor dat je een enorme puzzel probeert op te lossen. De afbeelding op de doos is de waarheid die je zoekt: bijvoorbeeld, wat bepaalt de prijs van een huis in Californië? Maar er is een groot probleem: veel puzzelstukjes ontbreken.

Soms ontbreekt het stukje "oppervlakte" (de covariaten), soms het stukje "prijs" (de respons), en soms zijn er zelfs stukjes die je helemaal niet hebt, maar wel hebt gezien bij een buurman die een ander soort puzzel maakt.

Dit is precies het probleem dat Benedict Risebrow en Thomas Berrett in hun paper proberen op te lossen. Ze kijken naar een slimme manier om lineaire regressie (een manier om verbanden te vinden) te doen, zelfs als je data onvolledig is.

Hier is hun verhaal, vertaald naar alledaags taal:

1. Het Probleem: De "Gaten" in je Data

In de echte wereld is data zelden perfect.

Het "Sporadische" gat: Soms is een vraag in een enquête niet beantwoord, of een sensor faalt willekeurig. Dit is als een puzzel waarbij hier en daar willekeurige stukjes ontbreken.
Het "Geblokkeerde" gat: Soms zijn hele groepen variabelen ontbrekend. Denk aan medische data: sommige patiënten hebben alleen MRI-scanresultaten, anderen alleen PET-scanresultaten. Als je ze samenvoegt, heb je een puzzel waarbij grote blokken ontbreken.
Het "Onbetaalde" gat: Het verzamelen van de uitkomst (bijv. de daadwerkelijke huisprijs of de ziektestatus) is duur of moeilijk. Je hebt dus veel mensen met alleen hun kenmerken (covariaten), maar zonder de uitkomst. Dit noemen we semi-supervised learning: een beetje gelabelde data (met uitkomst) en veel ongelabelde data (zonder uitkomst).

2. De Oplossing: Twee Slimme Trucs

De auteurs hebben twee methoden bedacht, afhankelijk van hoe complex de puzzel is.

Methode A: De "Slimme Invuller" (Voor simpele data)

Stel je voor dat je een recept hebt, maar je mist de hoeveelheid suiker. Je weet wel dat suiker de taart zoet maakt.

De truc: Ze vullen de ontbrekende getallen in (imputatie), maar ze doen het niet zomaar. Ze geven de invulling een gewicht.
De analogie: Stel je hebt twee groepen mensen. Groep A heeft alle gegevens. Groep B mist de suiker. Als je de data van Groep B gewoon toevoegt aan die van Groep A, verpest je het recept. Maar als je de data van Groep B "lichter" maakt (reweighting), omdat ze minder zekerheid hebben, werkt het wel.
De magie van de ongelabelde data: Ze gebruiken de grote stapel ongelabelde data (de mensen zonder uitkomst) om de verbanden tussen de variabelen zelf te leren. Het is alsof je een enorme bibliotheek hebt van alleen ingrediëntenlijsten. Zelfs als je niet weet hoe de taart smaakt, kun je leren dat suiker en bloem vaak samen voorkomen. Dit helpt je de ontbrekende stukjes in de kleine, dure dataset veel nauwkeuriger te voorspellen.

Methode B: De "Detective met een Lijst" (Voor complexe, hoge data)

Soms heb je duizenden variabelen (bijv. duizenden genen of duizenden sensorwaarden), maar slechts een paar zijn belangrijk. Dit is de "hoge dimensie" situatie.

De truc: Ze gebruiken een techniek genaamd de Dantzig-selector.
De analogie: Stel je bent een detective die een lijst van 1000 verdachten heeft, maar je weet dat er maar 5 echte daders zijn. Je wilt niet iedereen gearresteerd hebben (dat is te duur). Je zoekt naar de kleinste groep die de "bewijzen" (de data) kan verklaren.
Ze passen deze techniek aan voor de situatie met gaten. Ze kijken niet alleen naar wat er is, maar gebruiken ook de ongelabelde data om te begrijpen hoe de verdachten (variabelen) met elkaar samenhangen, zodat ze de echte daders (de belangrijke variabelen) sneller en nauwkeuriger kunnen vinden.

3. Waarom is dit zo belangrijk? (De "Minimax" theorie)

De auteurs doen niet alleen praktische experimenten; ze bewijzen wiskundig dat hun methode de beste mogelijke methode is die er bestaat voor dit probleem.

De "Minimax" gedachte: Stel je voor dat je een spel speelt tegen een slimme tegenstander die probeert je zo veel mogelijk te misleiden met de slechtst mogelijke ontbrekende data. De auteurs bewijzen dat hun methode, zelfs in het slechtst mogelijke scenario, nog steeds beter presteert dan welke andere methode dan ook.
De verrassing: Ze ontdekten dat het hebben van ongelabelde data (de grote stapel zonder uitkomst) de "effectieve steekproefgrootte" enorm vergroot. Het is alsof je met 100 mensen een enquête doet, maar door de hulp van 10.000 mensen die alleen hun naam hebben opgegeven, doe je alsof je 100.000 mensen hebt. Dit verandert de snelheid waarmee je een antwoord kunt vinden drastisch.

4. De Praktijk: De Californische Huizenmarkt

Om te laten zien dat het werkt, hebben ze het getest op de California Housing Dataset.

Ze maakten een situatie na waarbij sommige huizen geen informatie hadden over hun oppervlakte of leeftijd.
Ze voegden een enorme hoeveelheid "onzichtbare" data toe (huizen waarvan ze alleen de locatie kenden, maar niet de prijs).
Het resultaat: Hun methode voorspelde de huizenprijzen veel nauwkeuriger dan de traditionele methoden die alleen keken naar de complete huizen. Ze konden zelfs de invloed van ontbrekende variabelen (zoals de oppervlakte) veel beter inschatten door gebruik te maken van de onvolledige data.

Samenvatting in één zin

De auteurs hebben een nieuwe, wiskundig bewezen optimale manier bedacht om statistische voorspellingen te maken in een wereld vol gaten, waarbij ze slim gebruik maken van de "ruis" van onvolledige data en de kracht van grote hoeveelheden ongelabelde informatie om de puzzel toch perfect op te lossen.

Kortom: Ze hebben een recept gevonden om een perfecte taart te bakken, zelfs als je de helft van de ingrediënten hebt vergeten, zolang je maar een enorme lijst hebt van wat er normaal gesproken in de keuken ligt.

Probleemstelling

Het artikel adresseert een veelvoorkomend maar theoretisch onderbelicht probleem in de toegepaste statistiek: lineaire regressie met ontbrekende covariaten in een semi-supervised setting.
In de praktijk komen datasets vaak voor die zowel ontbrekende waarden in de covariaten (onafhankelijke variabelen) als ontbrekende responsen (afhankelijke variabelen) bevatten. Bestaande literatuur behandelt deze twee vormen van missingness vaak gescheiden:

Ontbrekende covariaten: Meestal onderzocht in volledig gelabelde datasets (supervised).
Semi-supervised learning: Meestal onderzocht met volledig waargenomen covariaten en een mix van gelabelde en ongelabelde data.

De auteurs vullen deze kennislacune door een theoretisch kader te ontwikkelen voor het schatten van regressieparameters ( $\beta^*$ ) wanneer:

De gelabelde dataset ( $L$ ) ontbrekende covariaten heeft (zowel gestructureerd als ongestructureerd).
Een ongelabelde dataset ( $U$ ) beschikbaar is (of de covariantiematrix $\Sigma$ bekend is), die geen responsen bevat maar wel volledige of gedeeltelijke covariaten.

Het doel is om de fundamentele statistische limieten (minimax risico) te karakteriseren en schatters te ontwikkelen die optimaal presteren in deze setting.

Methodologie

De auteurs onderscheiden twee hoofdscenario's gebaseerd op de dimensie van het probleem en de aard van de missingness:

1. Laag-dimensionale setting (Low-dimensional)

Voor het geval $p$ (aantal variabelen) klein is ten opzichte van het aantal samples, wordt een gegewogen imputatie-methode voorgesteld.

Schatting: De schatter $\hat{\beta}$ wordt gevonden door een gewogen kwadratische fout te minimaliseren. De methode imputeert ontbrekende covariaten via de voorwaartse verwachting $E[X_M | X_O]$ (waarbij $M$ de ontbrekende en $O$ de waargenomen variabelen zijn) en past een correctiefactor toe op de residuals.
Gewichten: Een cruciaal onderdeel is het gebruik van optimale gewichten ( $D_k$ ) per missingness-patroon. Deze gewichten compenseren voor de variabiliteit die ontstaat door de imputatie. De auteurs tonen aan dat het schatten van deze gewichten tot op een constante factor voldoende is voor optimaliteit.
Covariantie: In de Ordinary Semi-Supervised (OSS) setting wordt de covariantiematrix $\Sigma$ geschat uit de ongelabelde data. In de Supervised setting wordt dit via cross-fitting gedaan.

2. Hoog-dimensionale setting (High-dimensional, sparse)

Voor het geval $p \gg n$ en $\beta^*$ spaars is (weinig niet-nul elementen), wordt een Dantzig Selector-variant gebruikt.

Aanpassing: In plaats van de standaard LASSO (die niet-convexe problemen kan veroorzaken bij ontbrekende data), gebruiken de auteurs een lineair programma dat de $l_1$ -norm minimaliseert onder de voorwaarde dat de afwijking tussen de geschatte covariantiematrix en de cross-product met de respons binnen een bepaalde drempel ( $\lambda$ ) ligt.
Estimatoren: Ze definiëren onbevooroordeelde schatters voor zowel de covariantiematrix $\hat{\Sigma}$ als de cross-moment $\hat{\gamma} = E[XY]$ , rekening houdend met de verschillende missingness-patronen en de beschikbaarheid van ongelabelde data.

Missingness Patronen

Het artikel analyseert twee types missingness:

Ongestructureerd (Unstructured): Variabelen missen onafhankelijk met een bepaalde kans (bijv. MCAR).
Gestructureerd (Blockwise/Structured): Variabelen missen in blokken, vaak veroorzaakt door het samenvoegen van datasets uit verschillende bronnen (bijv. medische tests die niet bij alle patiënten zijn gedaan).

Belangrijkste Bijdragen

Nieuwe Schatters: Introductie van een gewogen imputatie-schatter voor laag-dimensionale data en een aangepaste Dantzig Selector voor hoog-dimensionale data, specifiek ontworpen voor semi-supervised settings met missing covariaten.
Minimax Optimaliteit: De auteurs leveren niet-asymptotische boven- en ondergrenzen voor het risico van hun schatters. Deze grenzen komen overeen (tot op constante factoren), wat bewijst dat de voorgestelde methoden minimax optimaal zijn.
Invloed van Ongelabelde Data: Een kerninzicht is dat ongelabelde data de effectieve observatiekans kan verhogen.
- In de ongestructureerde setting verbetert ongelabelde data de convergentiesnelheid van $\rho$ naar $\rho^{1/2}$ (waarbij $\rho$ de kans is dat een variabele waargenomen wordt).
- In de gestructureerde setting (bijv. monotone missingness) kan ongelabelde data leiden tot een reductie in effectieve dimensionaliteit. Bijvoorbeeld, als de laatste $p_0$ variabelen missen in veel gelabelde samples, maar wel volledig aanwezig zijn in de ongelabelde data, kan de schatter presteren alsof het probleem $p_0$ dimensies heeft in plaats van $p$ .
Oplossen van Conjectures: Voor de hoog-dimensionale ongestructureerde setting wordt een conjecture van Wang et al. (2019) opgelost door een ondergrens te leveren die de afhankelijkheid van de missingness-kans $\rho$ en het aantal ongelabelde samples $N$ correct karakteriseert.
Veiligheid (Safety): De methode is veilig, wat betekent dat deze altijd minstens even goed presteert als de beste puur-supervised schatter, zelfs als de ongelabelde data niet helpt.

Resultaten

De theoretische resultaten worden ondersteund door:

Simulaties: Uitgebreide simulaties tonen aan dat de voorgestelde methoden (OSS) significant beter presteren dan traditionele imputatiemethoden (zoals Mean Imputation, kNN, MICE) en puur-supervised methoden (Complete Case Analysis).
- De gewogen imputatie (met correcte gewichten) is essentieel; ongewogen imputatie kan leiden tot een verslechtering ten opzichte van complete case analyse.
- Zelfs een klein aantal ongelabelde samples kan de prestaties sterk verbeteren, vooral bij een lage ruis ( $\sigma$ ).
Real-world Applicatie: Een toepassing op het California Housing dataset met synthetisch gegenereerde missingness. De resultaten tonen aan dat de OSS-schatter de fout in het schatten van de regressiecoëfficiënten aanzienlijk verlaagt ten opzichte van een standaard OLS-schatter op alleen de complete gevallen, vooral wanneer het aantal complete gevallen klein is.

Significantie

Dit werk is significant omdat het de theoretische brug slaat tussen twee belangrijke gebieden: missing data en semi-supervised learning.

Het toont aan dat ongelabelde data niet alleen nuttig is voor het schatten van de covariantiematrix, maar ook fundamenteel de statistische complexiteit van het regressieprobleem kan veranderen (door de effectieve dimensionaliteit te verlagen).
Het biedt de eerste matching upper and lower bounds voor de minimax rate in zowel gestructureerde als ongestructureerde missingness settings, zowel voor supervised als semi-supervised scenario's.
De methoden zijn robuust en vereisen geen strenge verdelingsaannames (zoals Gaussisch) voor de covariaten, wat ze praktisch toepasbaar maakt in diverse domeinen zoals gezondheidszorg en finance, waar data vaak geblokkeerd of onvolledig is.

Kortom, het artikel levert een fundamenteel theoretisch kader en praktische tools om lineaire regressie nauwkeurig uit te voeren in realistische scenario's met complexe missingness en beperkte gelabelde data.