🤖 machine learning

On design-unbiased algorithmic Machine Learning

Dit artikel stelt een op ontwerp gebaseerd raamwerk voor om onbevooroordeelde voorspellingen en classificaties in machine learning-algoritmen te bereiken door gebruik te maken van bekende steekproefkansen in plaats van onderliggende datamodellen te veronderstellen, waardoor daarmee wordt voldaan aan de behoefte aan onbevooroordeelde inferentie in contexten zoals officiële statistiek.

Oorspronkelijke auteurs: Li-Chun Zhang, Siu-Ming Tam, Luis Sanguiao-Sande, Wesley Yung, Anders Holmberg

Gepubliceerd 2026-06-30

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Li-Chun Zhang, Siu-Ming Tam, Luis Sanguiao-Sande, Wesley Yung, Anders Holmberg

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef bent die probeert het perfecte recept te creëren voor een enorm banket voor 10.000 gasten (de populatie). Je kunt niet elke gerecht proeven voordat het geserveerd wordt, dus neem je een kleine proeflepel uit de keuken (de steekproef) om het hele maaltijd te beoordelen.

In de wereld van Machine Learning (ML) proberen chefs meestal hun proeflepel zo "accuraat" mogelijk te maken door fouten te minimaliseren. Ze passen hun recept aan totdat de smaak op de lepel perfect is.

Deze paper gaat over een nieuwe manier van koken: Design-Unbiased Machine Learning. In plaats van alleen maar te hopen dat de proeflepel het hele gerecht vertegenwoordigt, gebruiken ze een strikte set regels (een "design") om ervoor te zorgen dat wat je leert van de lepel wiskundig gegarandeerd het hele gerecht vertegenwoordigt, zelfs als je het "ware" recept van het universum niet kent.

Hier is de uitsplitsing van hun methode met eenvoudige analogieën:

1. Het Probleen: De "Geluksvolle Lepel"

Standaard ML-algoritmen (zoals k-Nearest Neighbors of Random Forests) zijn als chefs die een gerecht proeven en zeggen: "Dit is goed!" op basis van de ingrediënten die ze zien. Ze proberen het verschil tussen hun gok en de werkelijke smaak te minimaleren.

Het probleem: Als je je proeflepel van de bovenkant van de pot pakt (waar de room zit), zal je gok over de hele pot bevooroordeeld zijn. Je denkt misschien dat de hele soep romig is, maar de bodem is waterig. In de statistiek wordt dit bias genoemd. Standaard ML probeert "accuraat" te zijn (lage fout), maar faalt vaak om "unbiased" (eerlijk over de hele populatie) te zijn.

2. De Oplossing: De Regel van "Representatieve Training"

De auteurs introduceren een concept genaamd Representatieve Training.

De analogie: Stel je voor dat je een zak knikkers hebt (de populatie). Je haalt een handvol eruit (de steekproef). Om een eerlijke voorspelling te doen over de rest van de zak, moet je ervoor zorgen dat de handvol die je gebruikt om je brein te trainen (de trainingsset) een eerlijke reflectie is van de handvol die je gebruikt om je brein te testen (de testset).
De regel: Als je je trainingsknikkers en je testknikkers gebruikt via een specifiek, eerlijk loterijsysteem (een pq-design), dan zal het "gemiddelde gokje" dat je algoritme maakt voor de testknikkers exact hetzelfde zijn als het "gemiddelde gokje" dat het zou maken voor de knikkers die je helemaal niet hebt gezien.
Waarom dit belangrijk is: Dit stelt je in staat om de fouten die je ziet op je testlepel te gebruiken om je voorspelling voor de hele pot te corrigeren.

3. De Fix: "Out-of-Bag" Afstemming

Zodra je deze eerlijke opstelling hebt, kun je de bias oplossen.

De analogie: Stel je voor dat je chef (het algoritme) een lepel proeft en zegt: "Ik denk dat de soep te zout is." Maar wacht, de chef maakte een fout omdat hij de lepel proefde terwijl hij aan het koken was.
De truc: De auteurs stellen een "Out-of-Bag" (OOB) aanpak voor. Dit is als het hebben van een tweede chef die de soep proeft zonder te hebben geholpen bij het koken van die specifieke lepel.
- Je splitst je steekproef in twee groepen: Groep A (Train) en Groep B (Test).
- Je traint het algoritme op Groep A.
- Je vraagt het algoritme om Groep B te voorspellen.
- Je vergelijkt de voorspelling met de werkelijke smaak van Groep B.
- De magie: Als het algoritme de zoutheid op Groep B consequent overschat, weet je dat het waarschijnlijk ook de zoutheid voor de gehele pot zal overschatten. Je trekt vervolgens die "hoeveelheid overschatting" af van je uiteindelijke voorspelling voor de hele pot.
Het resultaat: Deze "afstemming" garandeert dat je uiteindelijke voorspelling voor de hele populatie unbiased is. Het maakt niet uit of je algoritme complex of simpel is; als de bemonsteringsregels worden gevolgd, garandeert de wiskunde dat het resultaat eerlijk is.

4. Classificatie versus Voorspelling (Het "Ja/Nee" Menu)

De paper kijkt ook naar classificatie (bijv. "Is dit een koffieveld of niet?" in plaats van "Hoeveel koffie is er?").

De uitdaging: Als je alleen maar "Ja" of "Nee" zegt op basis van een drempelwaarde (bijv. "Als de kans > 50% is, is het koffie"), introduceer je vaak bias.
De fix: De auteurs stellen een gerandomiseerde classifier voor. In plaats van een harde "Ja/Nee", stel je je een gewogen munt voorwerpen voor. Als het algoritme zegt dat er een kans van 70% is dat het koffie is, gooi je een munt die 70% van de tijd op "Koffie" landt.
Waarom: Deze willekeur vlakt de fouten af. Wanneer je deze muntworpen middelt over de hele populatie, werkt de wiskunde precies uit om volledig unbiased te zijn, waardoor je nauwkeurig kunt tellen hoeveel koffievelden er zijn.

5. Bewijs in de Praktijk (De Satellietfoto's)

Om te bewijzen dat dit werkt, gebruikten de auteurs een echte dataset van satellietbeelden om koffievelden te identificeren.

Ze namen een steekproef van beelden, trainden een k-Nearest Neighbor (kNN) algoritme en pasten vervolgens hun "Out-of-Bag" afstemming toe.
Het resultaat: Het standaardalgoritme (zonder afstemming) maakte kleine maar merkbare fouten in de totale telling. Het afgestemde algoritme, gebruikmakend van hun nieuwe regels, produceerde een telling die statistisch ononderscheidbaar was van het werkelijke totaal (unbiased).
Bonus: Ze lieten ook zien dat je de nauwkeurigheid van de "Ja/Nee" classificatie kunt meten zonder de ware antwoorden voor elk individueel beeld te hoeven weten, simpelweg door dezelfde "Out-of-Bag" logica te gebruiken.

Samenvatting

Beschouw deze paper als een nieuwe set keukenveiligheidsregels voor Machine Learning.

Vertrouw de smaak niet blindelings: Standaard ML probeert de fout te minimaliseren, maar dat garandeert geen eerlijkheid.
Volg de loterij: Gebruik specifieke bemonsteringsregels (pq-design) om ervoor te zorgen dat je trainingsdata en testdata eerlijke reflecties zijn van de hele populatie.
Proef de restjes: Gebruik de "Out-of-Bag" fouten (wat het algoritme fout deed op de testset) om de uiteindelijke voorspelling voor de hele populie wiskundig te corrigeren.
De garantie: Als je deze regels volgt, is je eindcijfer (of het nu een totale telling of een classificatiesnelheid is) unbiased, wat betekent dat het een waarheidsgetrouwe representatie is van de echte wereld, ongeacht hoe complex je "recept" (algoritme) ook is.

Dit is cruciaal voor zaken als officiële overheidsstatistieken, waar "dichtbij zijn" niet genoeg is; je moet wiskundig eerlijk zijn over de gehele populatie, niet alleen over het deel waar je toevallig naar hebt gekeken.

Technische Samenvatting: Design-Unbiased Algoritmisch Machine Learning

Probleemstelling

Machine Learning (ML) algoritmen, zoals k-Nearest Neighbors (kNN) en Random Forests, geven prioriteit aan voorspellende prestaties (bijv. het minimaliseren van MSE of F-score) boven het bestaan van ware datamodellen. Hoewel dit effectief is voor voorspelling, garandeert het minimaliseren van deze metrieken niet inherent de onbevooroordeeldheid (unbiasedness) in schatting of classificatie. Dit gebrek aan onbevooroordeeldheid is cruciaal in toepassingen zoals officiële statistiek, waar populatietotalen en proporties nauwkeurige beschrijvingen moeten zijn van eindige populaties.

Traditionele steekproefverzameling vertrouwt op waarschijnlijkheidsontwerpen (p-designs) en schatters zoals Horvitz-Thompson om design-onbevooroordeeldheid te waarborgen, onafhankelijk van een onderliggend datamodel. Echter, wanneer ML-algoritmen in dit kader worden geïntegreerd — vaak getraind op deelverzamelingen van de steekproef (trainingssets) om uitkomsten voor de rest te voorspellen (out-of-sample eenheden) — kunnen standaard ML-praktijken bias introduceren. Bestaande literatuur leunt vaak op asymptotische consistentie (wanneer de populatiegrootte $N \to \infty$ ), wat mogelijk niet van toepassing is op eindige populaties als "reële entiteiten". Bovendien heeft eerder werk over design-onbevooroordeelde ML (bijv. Zhang et al., 2025) niet volledig de algemene voorwaarden behandeld waaronder ML-algoritmen design-onbevooroordeelde voorspellingen opleveren of hoe classificatienauwkeurigheid zonder bias kan worden beoordeeld.

Methodologie

Het artikel stelt een raamwerk voor Design-Unbiased Algoritmisch Machine Learning gebaseerd op een $pq$-design. Dit design bestaat uit:

$p$ -design: Een waarschijnlijkheidssteekproefontwerp dat een steekproef $s$ selecteert uit een eindige populatie $U$ .
$q$ -design: Een specifiek ontwerp voor het splitsen van de steekproef $s$ in een trainingsset $s_1$ en een testset $s_2$ (waarbij $s_2 = s \setminus s_1$ ).

De kern van de theoretische bijdrage is het concept van Representatieve Training. Een $pq$-design levert representatieve training op als de verwachte predictor $\mu(x, s_1)$ voor elke eenheid $i$ identiek is, of $i$ nu in de testset $s_2$ zit (in-sample maar out-of-training) of in de out-of-sample set $R = U \setminus s$ . Wiskundig vereist dit:
$E_{pq}(\mu(x_i, s_1) \mid i \in s_2) = E_{pq}(\mu(x_i, s_1) \mid i \notin s)$

De auteurs leiden voorwaarden af waaronder dit geldt:

Algemene Voorwaarde: De covariantie tussen de predictor en de voorwaardelijke inclusiekans van de testset moet nul zijn.
Voldoende Voorwaarde: De voorwaardelijke kans dat een eenheid in de testset zit gegeven de trainingsset, $\pi_{2i} = Pr(i \in s_2 \mid s_1)$ , moet voldoen aan een specifieke relatie met de algemene inclusiekans $\pi_i$ . Dit wordt voldaan door designs zoals SRS-SRS (Simple Random Sampling voor beide stadia) en Poisson-Bernoulli designs.

Afstemming voor Onbevooroordeeldheid (Tuning for Unbiasedness)

Zelfs met representatieve training kunnen standaard ML-predictors bevooroordeeld zijn. Het artikel introduceert een afstemmechanisme om exacte design-onbevoordeeldheid te bereiken:

Subsampling Rao-Blackwell (SRB): De predictor wordt gemiddeld over alle mogelijke training/test-splits om variantie te verminderen.
Bias Correctie: Een correctieterm $\tau_\mu(s)$ wordt afgetrokken van de SRB-predictor. Deze term is afgeleid van de gewogen som van in-sample Out-of-Bag (OOB) voorspellingsfouten.
Onbevooroordeelde Schatting: Het artikel biedt formules om de bias en de Mean Squared Error (MSE) van deze afgestemde schatters te schatten met behulp van de geobserveerde OOB-fouten en steekproefgewichten, zonder een waar datamodel te veronderstellen.

Classificatie

Het raamwerk wordt uitgebreid naar binaire classificatie. De auteurs stellen dat deterministische classifiers (bijv. drempelwaarde op 0.5) over het algemeen niet design-onbevooroordeeld zijn. In plaats daarvan stellen ze gerandomiseerde classifiers voor (waarbij de classificatiebeslissing probabilistisch is op basis van de voorspelde waarschijnlijkheid), die aan een regulariteitsvoorwaarde voldoen waardoor onbevooroordeelde schatting van de out-of-sample classificatienauwkeurigheid mogelijk is met behulp van de OOB-fouten.

Belangrijkste Resultaten

Het artikel valideert de theorie via analytische voorbeelden, simulaties en een toepassing op reële gegevens met behulp van kNN ( $k=5$ ).

Analytisch Voorbeeld: In een geconstrueerde populatie vertoonden standaard kNN en SRB-kNN predictors een niet-nulle bias. Echter, de OOB-getunede SRB-kNN (met gebruik van de voorgestelde correctie) bereikte exact nul bias.
Simulatiestudie:
- Directe toepassing van kNN (sample-kNN) en ongetunede SRB-kNN resulteerden in significante bias (bijv. $EBias \approx -0.795$ voor SRB-5NN in één scenario).
- OOB-getunede SRB-kNN slaagde erin de bias te reduceren tot bijna-nul niveaus ( $EBias \approx -0.069$ ), terwijl het competitieve of lagere MSE behield vergeleken met residu-getunede alternatieven.
- De studie toonde aan dat de voorgestelde methode onbevooroordeelde schatting van de bias en MSE van de predictors zelf mogelijk maakt.
Reële Toepassing (CropHarvest Dataset):
- Toegepast op satellietbeeldclassificatie (koffievelden versus niet-koffie).
- De resultaten bevestigden dat OOB-getunede SRB-5NN in essentie onbevooroordeeld is voor populatiemiddelden over verschillende feature sets.
- Impact van Feature Selectie: De studie benadrukte dat feature selectie cruciaal is. Slechte feature sets (bijv. geselecteerd via LASSO voor logistische regressie maar gebruikt voor kNN) verhoogden zowel de bias als de variantie.
- Trade-off in Classificatienauwkeurigheid: Hoewel debiasing zorgt voor nauwkeurige populatieschatting, kan het afstemproces voorspelde waarschijnlijkheden soms buiten $[0, 1]$ duwen, wat afkaping (truncation) vereist. Dit kan de classificatienauwkeurigheid iets verminderen ten opzichte van bevooroordeelde predictors. Het artikel merkt op dat zinvolle feature selectie dit risico kan beperken.

Betekenis en Claims

Het artikel claimt een rigoureuze theoretische basis te bieden voor het gebruik van ML in de inferentie van eindige populaties waar design-onbevooroordeeldheid van groot belang is. De betekenis ligt in:

Generalisering van Representatieve Steekproeven: Het breidt het concept van "representatieve training" uit van IID-settings (zoals cross-validatie) naar eindige populatie-steekproeven met ongelijke waarschijnlijkheden en zonder teruglegging.
Ontkoppeling van Ware Modellen: Het toont aan dat onbevooroordeeldheid kan worden bereikt op basis van het bekende waarschijnlijkheidsontwerp van de steekproef en de trainingssets, zonder dat een ML-algoritme een "waar" datamodel hoeft te benaderen.
Praktische Afstemming: Het biedt een concreet, implementeerbaar recept (OOB-tuning) om bias te corrigeren in populaire algoritmen zoals kNN en Random Forests.
Verenigde Inferentie: Het maakt onbevooroordeelde beoordeling van zowel voorspellingsfouten als classificatienauwkeurigheid voor out-of-sample eenheden mogelijk, waarmee een gat in de eerdere literatuur wordt gedicht.

De auteurs positioneren dit werk als een uitbreiding van Neymans (1934) fundamentele werk over eindige populatie-steekproefverzameling, waarbij zij een intuïtieve basis bieden voor "consistente" ML-schatting in officiële statistiek en andere toepassingen met eindige populaties. Zij erkennen dat hoewel onbevooroordeelde populatieschatting wordt bereikt, dit ten koste kan gaan van een licht verminderde eenheid-specifieke classificatienauwkeurigheid, een trade-off die verder onderzoek verdient.