Geostatistical Reachability for Qualifying Spatial Model Classes Before Predictive Ranking

In de wereld van de geologie en de milieuwetenschappen begint het begrijpen van wat zich onder het oppervlak bevindt vaak met een kaart. Wetenschappers gebruiken wiskundige modellen om te beschrijven hoe eigenschappen zoals de dichtheid van gesteente, bodemvocht of minerale concentratie veranderen over een landschap. Deze modellen zijn niet alleen plaatjes; het zijn sets regels die definiitseren hoe één punt op de grond zich verhoudt tot een ander. Soms is de grond uniform, waarbij eigenschappen in alle richtingen vloeiend veranderen. Andere keren is de aarde gelaagd, waarbij eigenschappen zich uitstrekken in lange, parallelle banden. In complexere scenario's wordt het landschap doorsneden door onzichtbare muren of barrières, zoals breuklijnen of ondoorlatende rotslagen, die de stroom van vloeistoffen of de verspreiding van mineralen tegenhouden. Het kiezen van de juiste set regels om deze verborgen wereld te beschrijven is cruciaal. Als een wetenschapper aanneemt dat de grond uniform is terwijl deze eigenlijk gelaagd is, of een verborgen barrière mist, kunnen de daaruit voortvloeiende voorspellingen over waterstroom of de locatie van hulpbronnen gevaarlijk fout zijn. De uitdaging is altijd geweest om te weten welke set regels men moet vertrouwen voordat men die voorspellingen doet.

Decennialang was de standaardaanpak voor dit probleem om veel verschillende modellen te testen en te zien welke het beste past bij de beschikbare gegevens. Als een model de waarden op bekende locaties met hoge nauwkeurigheid kan voorspellen, wordt het vaak als winnaar gekozen. Echter, deze methode heeft een blinde vlek. Een model kan de bekende punten goed voorspellen simpelweg door geluk of door fouten uit te middelen, zelfs als het de onderliggende structuur van de aarde volledig verkeerd begrijpt. Het is mogelijk dat een eenvoudig, uniform model enkele verspreide datapunten accuraat voorspelt, terwijl het er niet in slaagt een massieve, verborgen barrière te vatten die het hele systeem beheerst. Dit artikel introduceert een nieuwe manier om modellen te controleren nog voordat ze worden gerangschikt. In plaats van te vragen welk model het beste bij de gegevens past, stelt de onderzoeker een simpelere, meer fundamentele vraag: is het überhaupt mogelijk voor dit type model om de specifieke structurele kenmerken te produceren die we in de gegevens zien? Ze noemen dit proces "geostatistische bereikbaarheid" (geostatistical reachability).

De onderzoeker ontwikkelde een methode waarbij verschillende soorten geologische modellen als afzonderlijke families worden behandeld. Eén familie gaat ervan uit dat de grond in elke richting hetzelfde is. Een andere mag voor directionele uitrekking zorgen, zoals lagen sediment. Een derde familie kan de mogelijkheid van harde barrières bevatten die beweging blokkeren. Het team creëerde een systeem om te testen of enig lid van deze families in staat is om de specifieke patronen die in een dataset worden waargenomen, te genereren. Dit deden ze door duizenden computersimulaties voor elke familie uit te voeren, waarbij ze een enorme bibliotheek van mogelijke landschappen creëerden. Vervolgens definieerden ze een set strikte regels, of diagnostieken, om naar specifieke kenmerken te zoeken, zoals hoe snel eigenschappen over korte afstanden veranderen of hoe ze zich gedragen bij het oversteken van een potentiële barrière. Cruciaal was dat ze dezelfde regels toepasten op zowel de real-world data als de gesimuleerde landschappen. Als een familie van modellen niet in staat was een landschap te produceren dat aan deze strikte regels voldeed, werd die hele familie uitgesloten, ongeacht hoe goed het individuele punten zou kunnen voorspellen.

Om dit idee te testen, gebruikte de auteur een synthetische benchmark, een gecontroleerde digitale omgeving waarin de exacte waarheid bekend was. Ze creëerden twee verschillende typen verborgen landschappen. Het eerste was een sterk gelaagde wereld, waar eigenschappen zich in één richting uitstrekten. Het tweede was een complexere wereld met een verborgen barrière die een kleine opening had, zoals een poort in een muur. Ze testten vervolgens drie modelfamilies tegen deze landschappen: een eenvoudige isotrope familie die geen directionaliteit veronderstelde, een globale anisotrope familie die ruimte liet voor richting, en een barrière-bewuste familie die muren en poorten kon verwerken. Wanneer de onderzoeker toegang had tot een volledige kaart van de digitale wereld, waren de resultaten duidelijk. Het eenvoudige, richtingloze model kon de gelaagde landscape nooit reproduceren. Het directionele model kon de lagen perfect reproduceren, maar faalde in het creëren van de barrière met de poort. Alleen het meest complexe, barrière-bewuste model kon de verborgen poort reproduceren. De methode identificeerde succesvol dat het eenvoudigste model dat in staat was de gegevens te verklaren, het directionele model was voor het eerste landschap, en het barrière-bewuste model voor het tweede landschap.

De studie onthulde ook een verrassende beperking die volledig afhangt van de hoeveelheid beschikbare data. Wanneer de onderzoeker een scenario simuleerde waarin slechts een klein deel van de grond werd waargenomen — zoals het hebben van slechts enkele verspreide boorgaten in plaats van een volledige kaart — verdween het vermogen om tussen de modellen te onderscheiden. Bij schaarse data leek het plotseling alsof het eenvoudige, richtingloze model een geldige verklaring was voor het complexe barrièrelandschap. Dit gebeurde niet omdat de grond was veranderd, maar omdat de beperkte data te schaars was om de verborgen barrière te onthullen. De methode markeerde dit correct als een falen van de observatie in plaats van een falen van het model. Het toonde aan dat met slechts 25% van de datapunten beschikbaar, het onderscheid tussen een eenvoudige wereld en een complexe wereld instortte, waardoor het onmogelijk werd om te weten welk model werkelijk correct was. Deze bevinding suggereert dat in veel real-world situaties het probleem niet is dat we het verkeerde model hebben, maar dat we niet genoeg data hebben om de structuur duidelijk te zien.

De onderzoeker testte ook of hun methode kon omgaan met modellen die iets verschilden van de modellen die gebruikt waren om de data te creëren. Ze introduceerden een "midpoint refinement"-stap, een proces waarbij de computer automatisch op zoek ging naar een betere pasvorm als de initiële set modellen te grofmazig was. Wanneer ze een landschap testten dat was gecreëerd met parameters die niet exact overeenkwamen met de vooraf ingestelde modelinstellingen, faalde de initiële controle om een match te vinden. Echter, nadat de computer de zoekopdracht verfijnde door tussenliggende instellingen te testen, vond hij succesvol een match. Dit bewees dat de methode robuust is en kan adapteren om de juiste structurele klasse te vinden, zelfs als het initiële raster van opties niet perfect was.

Ten slotte behandelde het artikel een veelvoorkomend misverstand: dat het beste model voor het voorspellen van waarden altijd het beste model is voor het begrijpen van de structuur. De onderzoeker vergeleek de resultaten van de structurele kwalificatie met de standaard voorspellende prestaties. Ze ontdekten dat voor het barrièrelandschap alle drie de modelfamilies bijna identieke voorspellingen produceerden voor de waarden op niet-geobserveerde punten. Het eenvoudige model, het directionele model en het complexe barrièremodel voorspelden de getallen allemaal met vergelijkbare nauwkeurigheid. Toch was alleen het complexe barrièremodel structureel compatibel met de verborgen poort. Dit bewijst dat een model uitstekend kan zijn in het raden van getallen, terwijl het volledig fout kan zijn over de fysieke realiteit die het beoogt te representeren.

Het werk concludeert dat wetenschappers, voordat ze tijd besteden aan het rangschikken van modellen om te zien welke het best voorspelt, eerst de modellen moeten kwalificeren om te verzekeren dat ze in staat zijn de fysieke wereld te representeren. De methode scheidt de vraag "kan dit model bestaan?" van de vraag "past dit model het best?". Het biedt een manier om hele klassen van modellen uit te sluiten die fundamenteel incompatibel zijn met het structurele bewijs, en het benadrukt wanneer de data te schaars is om een beslissing te nemen. Door de focus te leggen op de vraag of een modelklasse de geobserveerde structurele kenmerken kan bereiken, in plaats van alleen hoe goed het de getallen past, biedt de aanpak een betrouwbaardere basis voor geologische interpretatie. De resultaten laten zien dat hoewel complexe modellen vaak nodig zijn om de verborgen barrières van de aarde te verklaren, het vermogen om deze te detecteren sterk afhangt van de dichtheid van de verzamelde data. Zonder voldoende data kan zelfs het meest geavanceerde model niet worden onderscheiden van een eenvoudig, incorrect model.