📊 statistics

Moving beyond spatial and random cross-validation in environmental modelling: a call for prediction-domain adaptive evaluation

Dit artikel pleit voor "adaptieve evaluatie in het voorspellingsdomein" als een nieuwe categorie van kruisvalidatiemethoden om betrouwbaardere nauwkeurigheidsramingen te bieden voor ruimtelijke milieumodellen in real-world scenario's die liggen tussen de uitersten van willekeurige en ruimtelijke data-distributies.

Oorspronkelijke auteurs: Jan Linnenbrink, Jakub Nowosad, Hanna Meyer

Gepubliceerd 2026-05-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jan Linnenbrink, Jakub Nowosad, Hanna Meyer

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Hoe weten we of onze kaarten goed zijn?

Stel je voor dat je een cartograaf bent die probeert een kaart te tekenen van waar een specifiek type boom groeit in een bos. Je hebt een hoop datapunten (steekproeven) die aangeven waar je deze bomen hebt gevonden. Je voert deze gegevens in bij een computerprogramma (een machinelearning-model) om het te leren wat de bomen eruitzien. Zodra de computer heeft geleerd, tekent het een kaart die voorspelt waar de bomen overal anders zijn.

Maar hier zit het probleem: Hoe weet je of je kaart eigenlijk wel accuraat is?

Om de kaart te controleren, moet je hem testen. Maar je kunt niet dezelfde gegevens gebruiken waarmee je de computer hebt geleerd, anders zal de computer gewoon "tricken" en een perfecte score geven omdat hij de antwoorden al kent. Je moet wat gegevens achterhouden om hem mee te testen. Dit noemen we Cross-Validation (kruisvalidatie).

Het artikel stelt dat de manier waarop wetenschappers momenteel hun gegevens splitsen om deze kaarten te testen, vaak verkeerd is, wat leidt tot kaarten die er op papier geweldig uitzien maar in de echte wereld falen.

De Drie Manieren om de Kaart te Testen

Het artikel bespreekt drie hoofdwijzen om je gegevens te splitsen om het model te testen. Denk hierbij aan drie verschillende manieren om een rijexamen te doen.

1. Random Cross-Validation (De "Pop Quiz"-benadering)

Hoe het werkt: Je neemt je datapunten en gooit ze in een hoed, waarbij je willekeurig enkele eruit trekt om de "testvragen" te zijn.
De Tekortkoming: In de echte wereld is de natuur niet willekeurig. Als je een boom op één plek vond, is de kans groot dat er direct ernaast nog een boom staat. Als je willekeurig een testpunt kiest dat direct naast een trainingspunt ligt, wordt de computer niet echt getest op zijn vermogen om te voorspellen; het wordt alleen getest op zijn vermogen om te onthouden.
Het Resultaat: Dit geeft je een nep hoge score. Het is als een student die een rijexamen doet waarbij de instructeur vraagt: "Wat doe je bij een stopbord?" en de student correct antwoordt omdat hij het bord net vijf seconden geleden heeft gezien. Ze hebben niet bewezen dat ze kunnen rijden in een nieuwe wijk.

2. Spatial Cross-Validation (De "Hard Mode"-benadering)

Hoe het werkt: Om het trucje-probleem op te lossen, zijn wetenschappers begonnen met het scheiden van de testpunten ver weg van de trainingspunten. Ze zorgen ervoor dat de testgegevens in een volledig ander deel van de kaart zitten.
De Tekortkoming: Hoewel dit het trucje stopt, creëert het een nieuw probleem. Als je trainingsgegevens over de hele kaart verspreid zijn, maar je dwingt de testgegevens om in een totaal ander, ver verwijderd gebied te zitten, test je de computer op een situatie die hij nooit zal tegenkomen.
Het Resultaat: Dit geeft je een nep lage score. Het is als het testen van een bestuurder die alleen in zonnig Californië heeft gereden, door ze plotseling in een sneeuwstorm in Alaska te laten belanden. Ze zullen het examen falen, niet omdat ze slechte bestuurders zijn, maar omdat de test oneerlijk was.

3. Prediction-Domain Adaptive Evaluation (De "Real-World Simulation"-benadering)

Het Nieuwe Idee: De auteurs stellen een derde manier voor. In plaats van de test te dwingen willekeurig te zijn of te dwingen ver weg te zijn, moet je de werkelijke situatie nabootsen waar de kaart voor zal worden gebruikt.
Hoe het werkt: Je kijkt hoe de gegevens in de echte wereld daadwerkelijk zijn verdeeld.
- Als je real-world gegevens willekeurig verspreid zijn, moet je test ook willekeurig verspreid zijn.
- Als je real-world gegevens in groepen bij elkaar zitten (met gaten ertussen), moet je test ook gegroepeerd zijn, met vergelijkbare gaten.
- Als je probeert een compleet nieuw gebied te voorspellen dat je nog nooit hebt gezien, moet je test die moeilijkheid weerspiegelen.
Het Resultaat: Dit geeft je een realistische score. Het is als de bestuurder een test geven die exact overeenkomt met de verkeersomstandigheden die ze morgen zullen tegenkomen. Als ze goed rijden tijdens de test, kun je ze vertrouwen op de weg.

Het "Extrapolatie-continuüm" (Het Spectrum van Moeilijkheid)

Het artikel stelt dat we niet alleen in zwart-wit moeten denken (Interpolatie versus Extrapolatie). Denk er in plaats daarvan aan als een schuifregelaar.

Linkerkant (Makkelijk): Je hebt overal gegevens. Het voorspellen van het midden is makkelijk.
Rechterkant (Moeilijk): Je hebt gegevens in één hoek, en je probeert een totaal ander continent te voorspellen. Dit is zeer moeilijk.
Het Midden: De meeste real-world problemen vallen ergens in het midden. Je hebt misschien gegevens in een paar dichte clusters met grote lege ruimtes ertussen.

Het artikel zegt: Je testmethode moet meeschuiven met de moeilijkheidsgraad.

Als de taak makkelijk is, gebruik een "Random"-stijl test.
Als de taak moeilijk is, gebruik een "Spatial"-stijl test.
Als de taak in het midden zit, gebruik de nieuwe Adaptieve methode die past bij de specifieke gaten in je gegevens.

Het "Toepassingsgebied" (De Veiligheidszone)

Er is nog één laatste waarschuwing in het artikel. Zelfs met de beste testmethode kun je niet overal op je kaart vertrouwen.

Stel je voor dat je je computer alleen hebt getraind op bomen in een tropisch regenwoud. Als je vraagt om bomen in een woestijn te voorspellen, zal het raden, maar het zal blind raden. Het artikel noemt de veilige zone waar de computer daadwerkelijk vergelijkbare gegevens heeft gezien het "Toepassingsgebied".

De Les: Je moet alleen vertrouwen op de nauwkeurigheidsnummers voor de delen van de kaart die lijken op de gegevens die je hebt gebruikt om het model te trainen. Als je probeert buiten die zone te voorspellen, zijn de nauwkeurigheidsnummers betekenisloos, ongeacht hoe goed je testmethode was.

Samenvatting van de Hoofdpunten van de Auteurs

Willekeurige testen zijn te makkelijk voor gegroepeerde gegevens (het overschat de nauwkeurigheid).
Ruimtelijke testen zijn vaak te moeilijk voor willekeurige gegevens (het onderschat de nauwkeurigheid).
De oplossing is "Adaptieve Testen": Laat je testmethode overeenkomen met het specifieke patroon van je gegevens. Als je gegevens gaten hebben, moet je test ook gaten hebben.
Ken je grenzen: Vertrouw alleen op de nauwkeurigheid van de kaart in de gebieden waar het model daadwerkelijk is getraind. Vertrouw er niet op in volledig nieuwe territoria.

Kortom: Stop met het gebruik van een "one-size-fits-all" test. Pas je evaluatie aan op de specifieke uitdagingen van je kaart om een echt beeld te krijgen van hoe goed het eigenlijk is.

Technische Samenvatting: Voorbij Ruimtelijke en Toevallige Cross-Validatie in Milieumodellering

1. Probleemstelling

De toepassing van ruimtelijke voorspellende modellering in de ecologie en geowetenschappen staat voor een kritieke uitdaging: hoe de nauwkeurigheid van kaarten op passende wijze te evalueren wanneer er geen formele kanssteekproef van het voorspellingsgebied beschikbaar is. Hoewel er consensus bestaat dat onafhankelijke kanssteekproeven de gouden standaard zijn voor nauwkeurigheidschatting, zijn dergelijke steekproeven vaak onuitvoerbaar met grote, opportunistische ecologische databases (bijvoorbeeld GBIF, sPlotOpen).

Derhalve vertrouwen onderzoekers op strategieën voor het splitsen van gegevens, voornamelijk toevallige cross-validatie (CV) en ruimtelijke cross-validatie. Er bestaat echter een aanzienlijk debat over welke methode onbevooroordeelde schattingen oplevert:

Toevallige CV gaat ervan uit dat gegevens onafhankelijk en identiek verdeeld (iid) zijn. Critici betogen dat dit ruimtelijke autocorrelatie negeert, wat leidt tot datalekken en overdreven optimistische nauwkeurigheidschattingen wanneer trainingspunten geclusterd zijn.
Ruimtelijke CV (bijvoorbeeld blok-CV) dwingt ruimtelijke onafhankelijkheid af tussen trainings- en testfolden. Critici betogen dat dit kunstmatige extrapolatiescenario's creëert voor willekeurig verdeelde gegevens, wat leidt tot overdreven pessimistische foutschattingen.

Het kernprobleem is dat de literatuur 'interpolatie' (trainings- en voorspellingsgebieden overlappen) en 'extrapolatie' (voorspellen naar nieuwe gebieden) vaak als binaire tegenpolen behandelt. In de praktijk vallen de meeste ecologische datasets op een continuüm tussen deze extremen, gekenmerkt door variërende graden van steekproefbias en clustering. Bestaande methoden slagen er niet in om zich flexibel aan dit continuüm aan te passen, wat resulteert in onbetrouwbare nauwkeurigheidschattingen die de daadwerkelijke voorspellingmoeilijkheid niet weerspiegelen.

2. Methodologie

Om deze kloof aan te pakken, reproduceren en uitbreiden de auteurs een simulatiestudie die oorspronkelijk werd gepresenteerd door Wadoux et al. (2021), met de nadruk op de voorspelling van bovengrondse biomassa (AGB) van bossen in het Amazonebekken met behulp van Random Forest-modellen en 28 omgevingspredictoren.

Simulatieontwerp

De studie genereerde vier verschillende steekproefontwerpen om het extrapolatiecontinuüm te vertegenwoordigen:

Toevallig: Trainingspunten willekeurig verdeeld over het voorspellingsgebied.
Zwak geclusterd: Matige clustering van trainingspunten.
Sterk geclusterd: Hoge dichtheid van trainingspunten in specifieke gebieden, met grote gaten ertussen.
Extrapolatie: Trainingspunten in één regio, voorspellingsgebied in een volledig ander geografisch gebied.

Vergelijkde Evaluatiestrategieën

De studie vergeleek drie cross-validatiestrategieën met een op ontwerp gebaseerde inferentie als referentiepunt (met gebruik van onafhankelijke toevallige teststeekproeven):

Toevallige CV: Standaard willekeurige splitsing.
Ruimtelijke CV: Splitsing met behulp van ruimtelijke blokken om afstand tussen folden af te dwingen.
Voorspellingsdomein-adaptieve CV: Een nieuwe categorie methoden geïmplementeerd met k-Nearest Neighbour Distance Matching (kNNDM). Deze aanpak beoogt expliciet de verdeling van afstanden tot de dichtstbijzijnde buren tussen trainings- en testfolden te laten overeenkomen met de verdeling van afstanden tussen het voorspellingsdomein en de trainingsgegevens.

Kwantitatieve Metrieken

Wasserstein-statistiek ( $W$ ): Gebruikt om de mate van extrapolatie te kwantificeren door het verschil te meten tussen de dichtheid van ruimtelijke afstanden tot de dichtstbijzijnde buren binnen de trainingsset versus de afstand tussen voorspellingslocaties en de trainingsset.
Root Mean Square Error (RMSE): De primaire metriek voor het evalueren van nauwkeurigheid. De studie berekende het verschil tussen de geschatte RMSE (uit CV) en de ware RMSE (berekend tegenover de gesimuleerde waarheid over het hele gebied).
Gebied van Toepasbaarheid (AoA): Een dissimilariteitsindex die wordt gebruikt om het geografische uitgestrektheid te definiëren waar het model is getraind en gevalideerd, waardoor nauwkeurigheidschattingen worden beperkt tot gebieden waar de voorspellingmoeilijkheid lijkt op de trainingsgegevens.

3. Belangrijkste Bijdragen

Conceptueel: Het Extrapolatiecontinuüm

Het artikel pleit tegen een binaire visie op interpolatie versus extrapolatie. In plaats daarvan stelt het voor dat voorspellingsscenario's bestaan op een continuüm dat wordt gedefinieerd door de dichtheid van ruimtelijke afstanden tot de dichtstbijzijnde buren. De moeilijkheid van voorspelling neemt toe naarmate de kloof tussen trainings- en voorspellingslocaties groter wordt, gekwantificeerd door de Wasserstein-statistiek.

Methodologisch: Voorspellingsdomein-adaptieve Evaluatie

De auteurs introduceren voorspellingsdomein-adaptieve evaluatie als een nieuwe categorie cross-validatie. In tegenstelling tot toevallige of ruimtelijke CV, die vaste regels afdwingen (toevalligheid of onafhankelijkheid), passen adaptieve methoden (specifiek kNNDM) de resamplingstrategie flexibel aan om de voorspellingssituatie te benaderen.

In toevallige steekproefscenario's nabootst het toevallige CV (kleine afstanden).
In geclusterde of extrapolatiescenario's nabootst het ruimtelijke CV (grote afstanden).
Het doel is niet om onafhankelijkheid per se af te dwingen, maar om ervoor te zorgen dat de 'voorspellingmoeilijkheid' in de validatiefolden overeenkomt met de moeilijkheid in het daadwerkelijke voorspellingsdomein.

Empirisch: Oplossen van het Bias-dilemma

De studie toont aan dat:

Toevallige CV consistent de nauwkeurigheid overschat (foutschatting onderschat) in geclusterde en extrapolatiescenario's als gevolg van datalekken.
Ruimtelijke CV consistent de nauwkeurigheid onderschat (foutschatting overschat) in toevallige of zwak geclusterde scenario's omdat het extrapolatie afdwingt waar deze niet bestaat.
Voorspellingsdomein-adaptieve CV de meest betrouwbare schattingen levert over het hele continuüm, waarbij de ware RMSE consistent wordt benaderd in toevallige, zwak geclusterde en sterk geclusterde scenario's.

Beperking van Globale Nauwkeurigheid

Het artikel benadrukt dat zelfs de beste CV-methode faalt in pure extrapolatiescenario's (voorspellen naar een volledig nieuw gebied). In deze gevallen blijven CV-schattingen overdreven optimistisch omdat het model voorspellerwaarden tegenkomt die buiten de verdeling van de training liggen. De auteurs benadrukken dat nauwkeurigheidschattingen alleen geldig zijn binnen het Gebied van Toepasbaarheid (AoA), waar het voorspellingsdomein lijkt op het trainingsdomein.

4. Resultaten

De simulatieresultaten (gevisualiseerd in Figuur 2 van het artikel) tonen aan:

Toevallige CV: Leverde een negatieve bias op (onderschatting van fout) voor geclusterde en extrapolatieontwerpen.
Ruimtelijke CV: Leverde een positieve bias op (overschatting van fout) voor toevallige en zwak geclusterde ontwerpen.
Voorspellingsdomein-adaptieve CV: Leverde schattingen op die het dichtst bij nul verschil lagen (perfecte schatting) voor toevallige, zwak geclusterde en sterk geclusterde ontwerpen.
Extrapolatiescenario: Zelfs adaptieve CV had moeite om de ware fout voor het hele gebied nauwkeurig te schatten, wat bevestigt dat prestatiestatistieken niet generaliseren naar gebieden die fundamenteel verschillen van de trainingsgegevens. Wanneer de evaluatie echter wordt beperkt tot het Gebied van Toepasbaarheid, verbeterden de schattingen aanzienlijk.

5. Betekenis en Claims

De auteurs positioneren dit werk als een consolidatie van het lopende debat tussen voorstanders van toevallige en ruimtelijke cross-validatie. Zij stellen het volgende:

Onbevooroordeelde Schatting: Alleen een kanssteekproef biedt een echt onbevooroordeelde schatting van kaartnauwkeurigheid; alle CV-methoden zijn proxies.
Contextuele Geschiktheid: Er is geen enkele 'beste' CV-methode. Toevallige CV is geschikt voor toevallige gegevens; ruimtelijke methoden zijn geschikt voor extrapolatie. Echter, de meeste real-world gevallen vallen ergens ertussenin.
Adaptieve Oplossing: Voorspellingsdomein-adaptieve evaluatie biedt een unificerend kader dat zich aanpast aan de specifieke voorspellingcontext (het extrapolatiecontinuüm), waardoor realistischere nauwkeurigheidschattingen worden verkregen dan met starre toevallige of ruimtelijke benaderingen.
Reikwijdte van Geldigheid: Nauwkeurigheidschattingen afgeleid van CV zijn alleen zinvol voor nieuwe voorspellingssituaties die qua voorspellingmoeilijkheid lijken op de validatiefolden. Derhalve moeten voorspellingen en hun bijbehorende nauwkeurigheidsbeoordelingen worden beperkt tot het Gebied van Toepasbaarheid.

Het artikel concludeert dat, hoewel cross-validatie niet kan vervangen door op ontwerp gebaseerde inferentie, voorspellingsdomein-adaptieve evaluatie een gebalanceerde, flexibele aanpak biedt voor modeltuning en nauwkeurigheidschatting bij afwezigheid van kanssteekproeven, waarmee effectief de afweging tussen datalekken en kunstmatige extrapolatie wordt opgelost.