INLA-RF: A Hybrid Modeling Strategy for Spatio-Temporal Environmental Data

Technische Zusammenfassung: INLA-RF: Eine hybride Modellierungsstrategie für räumlich-zeitliche Umweltdaten

Problemstellung
Umweltprozesse weisen häufig komplexe, nicht-lineare Muster und Diskontinuitäten über Raum und Zeit auf, was erhebliche Herausforderungen für die traditionelle geostatistische Modellierung darstellt. Während statistische Modelle, insbesondere solche, die auf der Integrated Nested Laplace Approximation (INLA) in Kombination mit dem Stochastic Partial Differential Equation (SPDE)-Ansatz basieren, eine fundierte Unsicherheitsquantifizierung und Interpretierbarkeit bieten, fehlt es ihnen möglicherweise an der Flexibilität, um komplexe nicht-lineare Zusammenhänge und hochdimensionale Abhängigkeiten zu erfassen. Umgekehrt zeichnen sich Machine-Learning-Methoden (ML) wie Random Forest (RF) durch ihre Fähigkeit zur Modellierung von Nicht-Linearitäten und hochdimensionalen Daten aus, leiden jedoch typischerweise unter eingeschränkter Interpretierbarkeit, dem Fehlen nativer Mechanismen zur Unsicherheitsquantifizierung sowie einer impliziten statt expliziten Behandlung räumlich-zeitlicher Abhängigkeiten. Bestehende hybride Ansätze versagen oft darin, Unsicherheit über die Modellierungsstufen hinweg fortzupflanzen, oder verlassen sich auf einfache Ensemble-Methoden, die die Stärken beider Paradigmen nicht vollständig integrieren.

Methodik
Der Artikel schlägt eine hybride Modellierungsstrategie vor, die kollektiv als INLA-RF bezeichnet wird und ein bayessches räumlich-zeitliches Modell (angepasst via INLA-SPDE) iterativ mit Random Forest koppelt. Das Framework operiert auf einem Latent Gaussian Model (LGM), bei dem die Antwortvariable $y$ in eine großskalige Komponente (LS), die durch Kovariaten getrieben wird, und eine Residualkomponente (RE) zerlegt wird, die räumlich-zeitliche Abhängigkeiten und Rauschen erfasst. Die Kerninnovation liegt in einem iterativen Zwei-Stufen-Schema:

1. SCHRITT 1 (INLA): Ein parametrisches räumlich-zeitliches LGM wird angepasst, um räumlich-zeitliche Abhängigkeiten zu erfassen.
2. SCHRITT 2 (RF): Random Forest wird auf den Residuen des INLA-Modells trainiert, um verbleibende nicht-lineare Strukturen zu erlernen.

Die RF-Ausgabe wird dann zurück in die INLA-Stufe eingespeist, um das Modell zu verfeinern. Der Artikel stellt zwei unterschiedliche Algorithmen innerhalb dieses Frameworks vor:

• INLA-RF1 (Offset-Ansatz): Dieser Algorithmus behandelt die RF-Vorhersage als Korrekturterm, der als Offset in das INLA-Modell integriert wird. Er führt effektiv eine Mittelwertkorrektur durch. Ein wesentliches Merkmal ist die Option zur Unsicherheitsfortpflanzung, wobei der Out-of-Bag (OOB)-Mittlere Quadratische Fehler (MSE) aus dem RF als feste Varianzkomponente in der Gaußschen Likelihood des INLA-Modells verwendet wird. Dies stellt sicher, dass unsichere RF-Korrekturen einen geringeren Einfluss auf die endgültige Anpassung haben.
• INLA-RF2 (Korrektur latenter Feldknoten): Dieser Algorithmus zielt auf spezifische „Stressknoten" innerhalb des latenten Feldes des LGM ab. Anstelle eines globalen Offsets führt er einen zusätzlichen unabhängigen und identisch verteilten (IID) Zufallseffekt ein, der nur auf einer ausgewählten Teilmenge latenter Knoten ($K$) indiziert ist. Diese Knoten werden basierend auf Kriterien wie den höchsten marginalen Posterior-Varianzen oder den größten Vorhersagefehlern ausgewählt. Die RF-Ausgabe wird auf diese Knoten aggregiert, um den Mittelwert und die Präzision dieser zusätzlichen latenten Komponente zu aktualisieren, was lokale Korrekturen für abrupte Änderungen oder Diskontinuitäten ermöglicht, die die glatten Komponenten eines Standard-LGM möglicherweise übersehen.

Beide Algorithmen nutzen die Kullback-Leibler-Divergenz (KLD) zwischen den Posterior-Verteilungen des latenten Feldes in aufeinanderfolgenden Iterationen als Abbruchkriterium. Dieser datengesteuerte Ansatz bestimmt die Anzahl der Iterationen, vermeidet willkürliche Tuning-Parameter und reduziert das Risiko einer Überanpassung.

Hauptbeiträge

1. Neuartige hybride Algorithmen: Die Einführung von INLA-RF1 und INLA-RF2, die das Residuenlernen von RF explizit in das bayessche INLA-SPDE-Framework integrieren.
2. Unsicherheitsfortpflanzung: Im Gegensatz zu vielen hybriden Ansätzen propagiert das vorgeschlagene Framework die Unsicherheit aus der ML-Stufe (via OOB-MSE) explizit zurück in das statistische Modell, entweder durch eine Offset-Varianz (INLA-RF1) oder durch die Präzision einer latenten Korrekturkomponente (INLA-RF2).
3. Adaptives Abbruchkriterium: Die Verwendung der KLD als Abbruchkriterium bietet eine fundierte Methode, um den iterativen Prozess zu beenden, wenn sich die Posterior-Verteilung stabilisiert, was die Recheneffizienz erhöht.
4. Zielgerichtete lokale Korrektur: INLA-RF2 bietet einen Mechanismus zur Korrektur spezifischer Regionen des latenten Feldes und adressiert strukturelle Brüche oder lokale Fehlspezifikationen, die globale Modelle möglicherweise nicht erfassen können.

Ergebnisse
Die Leistungsfähigkeit von INLA-RF wurde durch zwei Simulationsstudien und eine reale Anwendung mit täglichen PM10-Konzentrationen in der Region Lombardei, Italien (2016–2021), evaluiert.

• Räumlich-zeitliche Simulation (INLA-RF1): In einem Szenario mit nicht-linearen Kovariatenbeziehungen verbesserte INLA-RF1 die Vorhersagegenauigkeit (niedrigerer RMSE und MAE) im Vergleich sowohl zum eigenständigen INLA-Modell als auch zum Standard-RF. Die Version mit Unsicherheitsfortpflanzung (INLA-RF1.2) lieferte besser kalibrierte Unsicherheiten (höhere Abdeckungswahrscheinlichkeit) auf Kosten breiterer Vorhersageintervalle, während die Version ohne Fortpflanzung (INLA-RF1.1) schärfere Vorhersagen erzielte.
• Simulation zeitlicher Diskontinuitäten (INLA-RF2): In einer rein zeitlichen Setting mit abrupten Sprüngen verbesserte INLA-RF2 die Schätzung an den ausgewählten „Stresspunkten" (Knoten in der Nähe von Sprüngen) signifikant. Der RMSE an diesen Punkten sank von 0,93 (Benchmark-INLA) auf 0,22, und die Abdeckungswahrscheinlichkeit stieg von 0,47 auf 0,92, was die Fähigkeit des Algorithmus demonstriert, latente Felder in Regionen hoher Unsicherheit oder struktureller Veränderung zu korrigieren.
• Realfallstudie (Agrimonia-Datensatz): Auf Luftverschmutzungsdaten angewendet, übertraf INLA-RF1 (beide Versionen) das Benchmark-INLA-Modell und den Standard-RF in Bezug auf RMSE und MAE. INLA-RF1.2 erreichte eine deutlich höhere Abdeckung als das Benchmark. Im Gegensatz dazu brachte INLA-RF2 in dieser spezifischen Anwendung keine signifikanten Verbesserungen gegenüber dem Benchmark, wahrscheinlich weil die realen Daten keine klaren lokalisierten Merkmale aufwiesen, die eine Knoten-Korrektur erfordern würden, für die der Algorithmus ausgelegt ist.

Bedeutung und Behauptungen
Der Artikel behauptet, dass das INLA-RF-Framework die Lücke zwischen der Interpretierbarkeit und Unsicherheitsquantifizierung bayesscher statistischer Modelle und der Vorhersageflexibilität des Machine Learning erfolgreich überbrückt. Die Ergebnisse deuten darauf hin, dass INLA-RF die räumlich-zeitliche Vorhersagegenauigkeit verbessern kann, insbesondere bei Vorliegen zeitlicher Diskontinuitäten oder nicht-linearer Beziehungen zwischen Kovariaten und der Antwortvariable. Die Autoren betonen, dass die Wahl zwischen INLA-RF1 und INLA-RF2 vom Modellierungsziel abhängt: INLA-RF1 ist vorzuziehen, um die allgemeine Vorhersageleistung mit minimaler Komplexität zu verbessern, während INLA-RF2 geeignet ist, spezifische Regionen des latenten Feldes zu korrigieren, obwohl dies eine sorgfältige Auswahl der Stressknoten erfordert. Das Framework wird als flexibles Werkzeug präsentiert, das die Recheneffizienz des INLA-SPDE-Ansatzes beibehält und gleichzeitig seine Fähigkeit zur Modellierung komplexer Umweltdaten verbessert.