INLA-RF: A Hybrid Modeling Strategy for Spatio-Temporal Environmental Data

Technische Samenvatting: INLA-RF: Een Hybride Modelleringstrategie voor Spatio-Temporale Omgevingsdata

Probleemstelling
Omgevingsprocessen vertonen vaak complexe, niet-lineaire patronen en discontinuïteiten in de ruimte en tijd, wat aanzienlijke uitdagingingen oplevert voor traditionele geostatistische modellering. Hoewel statistische modellen, met name die gebaseerd zijn op de Integrated Nested Laplace Approximation (INLA) gecombineerd met de Stochastic Partial Differential Equation (SPDE)-benadering, een principiële onzekerheidskwantificering en interpretatie bieden, kunnen ze de flexibiliteit missen om ingewikkelde niet-lineaire relaties en hoogdimensionale afhankelijkheden vast te leggen. Omgekeerd excelleren Machine Learning (ML) methoden zoals Random Forest (RF) in het modelleren van niet-lineariteiten en hoogdimensionale data, maar lijden ze doorgaans onder beperkte interpretatie, een gebrek aan ingebouwde mechanismen voor onzekerheidskwantificering, en een impliciete in plaats van expliciete behandeling van spatio-temporale afhankelijkheid. Bestaande hybride benaderingen slagen er vaak niet in om onzekerheid door te geven tussen modelleringstappen of vertrouwen op eenvoudige ensemble-methoden die de sterke punten van beide paradigma's niet volledig integreren.

Methodologie
Het artikel stelt een hybride modelleringstrategie voor, collectief aangeduid als INLA-RF, die iteratief een Bayesiaans spatio-temporaal model (gefit via INLA-SPDE) koppelt aan Random Forest. Het raamwerk werkt op een Latent Gaussian Model (LGM) waarbij de respons $y$ wordt ontleed in een component op grote schaal (LS) gedreven door covariaten en een residu-component (RE) die spatio-temporale afhankelijkheid en ruis vastlegt. De kerninnovatie ligt in een iteratief twee-stapschema:

1. STAP 1 (INLA): Een parametrisch spatio-temporaal LGM wordt gefit om spatio-temporale afhankelijkheid vast te leggen.
2. STAP 2 (RF): Random Forest wordt getraind op de residuen van het INLA-model om resterende niet-lineaire structuren te leren.

De RF-output wordt vervolgens teruggevoerd naar de INLA-fase om het model te verfijnen. Het artikel introduceert twee distincte algoritmen binnen dit raamwerk:

• INLA-RF1 (Offset-benadering): Dit algoritme behandelt de RF-predictie als een correctieterm die in het INLA-model wordt opgenomen als een offset. Het voert effectief een middencorrectie uit. Een belangrijk kenmerk is de optie voor onzekerheidsdoorgeven, waarbij de out-of-bag (OOB) gemiddelde kwadratische fout van de RF wordt gebruikt als een vaste variantiecomponent in de Gaussische likelihood van het INLA-model. Dit zorgt ervoor dat onzekere RF-correcties een verminderde invloed hebben op de uiteindelijke fit.
• INLA-RF2 (Correctie van Latente Veldknopen): Dit algoritme richt zich op specifieke "stressknopen" binnen het latente veld van het LGM. In plaats van een globale offset, introduceert het een extra onafhankelijk en identiek verdeeld (IID) random effect dat alleen is geïndexeerd op een geselecteerde subset van latente knopen ($K$). Deze knopen worden geselecteerd op basis van criteria zoals de hoogste marginale posterior varianties of de grootste voorspellingsfouten. De RF-output wordt geaggregeerd naar deze knopen om het gemiddelde en de precisie van deze extra latente component bij te werken, waardoor lokale correcties mogelijk zijn voor abrupte veranderingen of discontinuïteiten die de gladde componenten van een standaard LGM zouden kunnen missen.

Beide algoritmen gebruiken de Kullback-Leibler Divergentie (KLD) tussen de posterior-verdelingen van het latente veld in opeenvolgende iteraties als stopcriterium. Deze datagedreven benadering bepaalt het aantal iteraties, vermijdt willekeurige tuneerparameters en vermindert het risico op overfitting.

Belangrijkste Bijdragen

1. Nieuwe Hybride Algoritmen: De introductie van INLA-RF1 en INLA-RF2, die RF-residuleerling expliciet integreren in het Bayesiaanse INLA-SPDE-raamwerk.
2. Onzekerheidsdoorgeven: In tegenstelling tot veel hybride benaderingen, geeft het voorgestelde raamwerk onzekerheid expliciet door van de ML-fase (via OOB-MSE) terug naar het statistische model, hetzij via een offsetvariantie (INLA-RF1) of via de precisie van een latente correctiecomponent (INLA-RF2).
3. Adaptief Stopcriterium: Het gebruik van KLD als stopcriterium biedt een principiële methode om het iteratieve proces te beëindigen wanneer de posterior-verdeling stabiliseert, wat de computationele efficiëntie verbetert.
4. Gerichte Lokale Correctie: INLA-RF2 biedt een mechanisme om specifieke regio's van het latente veld te corrigeren, waardoor structurele breuken of lokale misspecificaties worden aangepakt die globale modellen mogelijk niet kunnen vastleggen.

Resultaten
De prestaties van INLA-RF werden geëvalueerd via twee simulatiestudies en een real-world toepassing met dagelijkse PM10-concentraties in de regio Lombardije, Italië (2016–2021).

• Spatio-Temporale Simulatie (INLA-RF1): In een scenario met niet-lineaire covariaterelaties verbeterde INLA-RF1 de voorspellende nauwkeurigheid (lagere RMSE en MAE) in vergelijking met zowel het standalone INLA-model als standaard RF. De versie met onzekerheidsdoorgeven (INLA-RF1.2) leverde beter gekalibreerde onzekerheid op (hogere Dekkingskans) ten koste van bredere voorspellingsintervallen, terwijl de versie zonder doorgeven (INLA-RF1.1) scherpere voorspellingen opleverde.
• Temporele Discontinuïteit Simulatie (INLA-RF2): In een puur temporele setting met abrupte sprongen verbeterde INLA-RF2 de schatting aanzienlijk bij de geselecteerde "stresspunten" (knopen nabij sprongen). De RMSE bij deze punten daalde van 0,93 (benchmark INLA) naar 0,22, en de Dekkingskans steeg van 0,47 naar 0,92, wat de capaciteit van het algoritme aantoont om latente velden te corrigeren in regio's met hoge onzekerheid of structurele verandering.
• Real Case Study (Agrimonia Dataset): Toegepast op luchtvervuilingsdata, presteerde INLA-RF1 (beide versies) beter dan de benchmark INLA-model en standaard RF op het gebied van RMSE en MAE. INLA-RF1.2 bereikte aanzienlijk hogere dekking dan de benchmark. Daarentegen leverde INLA-RF2 in deze specifieke toepassing geen significante verbeteringen op ten opzichte van de benchmark, waarschijnlijk omdat de real-world data geen duidelijke gelokaliseerde kenmerken vertoonde die knop-niveau correctie vereisten waarvoor het algoritme is ontworpen.

Betekenis en Beweringen
Het artikel beweert dat het INLA-RF-raamwerk met succes de kloof overbrugt tussen de interpretatie en onzekerheidskwantificering van Bayesiaanse statistische modellen en de voorspellende flexibiliteit van machine learning. De resultaten wijzen erop dat INLA-RF de spatio-temporale voorspellende nauwkeurigheid kan verbeteren, met name in aanwezigheid van temporele discontinuïteiten of niet-lineaire relaties tussen covariaten en de respons. De auteurs benadrukken dat de keuze tussen INLA-RF1 en INLA-RF2 afhangt van het modelleringdoel: INLA-RF1 is preferabel voor het verbeteren van de algehele voorspellende prestatie met minimale complexiteit, terwijl INLA-RF2 geschikt is voor het corrigeren van specifieke regio's van het latente veld, hoewel dit een zorgvuldige selectie van stressknopen vereist. Het raamwerk wordt gepresenteerd als een flexibel instrument dat de computationele efficiëntie van de INLA-SPDE-benadering behoudt, terwijl het de capaciteit versterkt om complexe omgevingsdata te modelleren.