📊 statistics

Warped multifidelity Gaussian processes for data fusion of skewed environmental data

Dieser Beitrag stellt den verzerrten multifidelen Gauß-Prozess (WMFGP) vor, eine neuartige Methode zur Datenfusion, die für die Bewältigung von schiefen Umweltdaten und unterschiedlichen Datenauflösungen entwickelt wurde und durch Simulationen sowie eine Fallstudie zum Windgeschwindigkeitsnetzwerk von ARPA Lombardia nachgewiesen wird, um Lücken in den Daten effektiv zu schließen und das Luftqualitätsmanagement zu verbessern.

Ursprüngliche Autoren: Pietro Colombo, Claire Miller, Xiaochen Yang, Ruth O'Donnell, Paolo Maranzano

Veröffentlicht 2026-04-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Pietro Colombo, Claire Miller, Xiaochen Yang, Ruth O'Donnell, Paolo Maranzano

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein perfektes Bild des Windes zu malen, der über eine Region weht. Sie haben zwei Arten von Helfern, die Ihnen Informationen geben:

Der Experte (Hohe Genauigkeit): Diese Person steht an wenigen spezifischen Orten, liefert Ihnen sehr genaue, hochwertige Windmessungen, ist aber teuer zu engagieren und kann nur für kurze Zeiträume vor Ort sein. Manchmal geht sie sogar in den Urlaub und hinterlässt große Lücken in Ihren Daten.
Der Novize (Geringe Genauigkeit): Diese Person ist überall und liefert Ihnen ständig Windmessungen. Allerdings sind ihre Messungen etwas „verrauscht" oder unzuverlässig. Sie könnten leicht danebenliegen, aber sie sind immer da, um die Lücken zu füllen.

Das Problem:
Winddaten sind normalerweise keine glatte, vorhersehbare Kurve wie eine Glockenkurve. Sie sind „schiefe". Stellen Sie sich eine Menschenmenge vor: An den meisten Tagen ist der Wind sanft, aber gelegentlich trifft ein massiver Sturm zu. Wenn Sie versuchen, Standard-Mathematik-Tools (die davon ausgehen, dass alles eine perfekte Glockenkurve ist) zu verwenden, um die Daten des Experten und des Novizen zu kombinieren, gerät die Mathematik durch diese plötzlichen Stürme in Verwirrung. Sie versucht, die Daten in eine Form zu zwingen, die nicht passt, was zu schlechten Vorhersagen führt.

Die Lösung: Der „Verzerrte" Gaußsche Prozess
Die Autoren dieses Papiers haben ein neues Werkzeug namens Verzerrter Multifidelity-Gaußscher Prozess (WMFGP) erfunden. So funktioniert es, mit einer einfachen Analogie:

Die Verzerrung: Stellen Sie sich vor, die Winddaten sind ein Stück Gummi, das aufgrund dieser plötzlichen Stürme gedehnt und verdreht wurde. Der „Verzerrungs"-Teil ihrer Methode ist wie ein magisches Paar Hände, das dieses Gummi sanft dehnt und neu formt, bis es glatt und rund (normal) wird.
Die Fusion: Sobald die Daten geglättet sind, kombiniert das Werkzeug die genauen, aber spärlichen Daten des Experten mit den reichlich vorhandenen, aber verrauschten Daten des Novizen. Da die Daten nun „glatt" sind, kann die Mathematik leicht erkennen, wie die beiden Quellen miteinander zusammenhängen.
Die Ent-Verzerrung: Nachdem die Mathematik ihre Arbeit getan hat und die fehlenden Windgeschwindigkeiten vorhergesagt hat, kehrt das Werkzeug die Magie um. Es dehnt die glatte Vorhersage zurück in ihre ursprüngliche, „schiefe" Form, damit sie wieder der Realität entspricht.

Warum ist das besonders?
Die meisten früheren Methoden versuchten, eine einzige „Dehnungsregel" sowohl für den Experten als auch für den Novizen zu verwenden. Da es sich jedoch um unterschiedliche Personen handelt, benötigen sie unterschiedliche Regeln. Wenn man beide auf die gleiche Weise dehnt, wird die Beziehung zwischen ihnen zerstört.

Diese neue Methode ist intelligent genug, um eine einzigartige Dehnungsregel für jede Datenquelle zu erlernen, während sichergestellt wird, dass die Reihenfolge der Daten gleich bleibt. (Wenn der Wind vor dem Dehnen an Station A stärker war als an Station B, bleibt er auch nach dem Dehnen stärker). Dies ermöglicht es ihnen, die Daten perfekt zu fusionieren, ohne die Verbindung zwischen den beiden Quellen zu unterbrechen.

Der Realwelt-Test
Die Autoren testeten dies mit echten Daten von ARPA Lombardia, einer Umweltbehörde in Italien. Ihr Netzwerk von Wetterstationen weist aufgrund von Geräteausfällen oder schlechtem Wetter viele Lücken in den Daten auf.

Die Herausforderung: Sie mussten fehlende Windgeschwindigkeitsdaten füllen, insbesondere während langer Lücken (bis zu einer Woche), um die Vorhersage der Luftverschmutzung zu unterstützen.
Das Ergebnis: Ihre neue „verzerrte" Methode war besser darin, diese Lücken zu füllen als ältere Methoden. Sie war besonders gut geeignet, weil Windgeschwindigkeitsdaten von Natur aus „schiefe" sind (viele ruhige Tage, wenige stürmische Tage), und ihre Methode diese Form perfekt handhabte.

Zusammenfassung
Dieses Papier stellt einen klugen Weg vor, hochwertige, aber knappe Daten mit minderwertigen, aber reichlich vorhandenen Daten zu mischen. Indem sie die Daten zunächst in eine glatte Form „verzerren", die Mathematik durchführen und sie dann wieder „ent-verzerren", können sie fehlende Wetteraufzeichnungen genau ergänzen, selbst wenn die Daten unordentlich und voller extremer Ausreißer sind. Dies hilft Umweltbehörden, ein klareres Bild des Windes zu erhalten, was für das Management der Luftqualität entscheidend ist.

1. Problemstellung

Umweltüberwachungsnetze, wie sie von regionalen Behörden (z. B. ARPA Lombardia in Italien) verwaltet werden, leiden häufig unter Datenlücken (fehlende Sequenzen) und schiefer Datenverteilung.

Die Herausforderung: Standardmethoden zur Datenfusion und Imputation, insbesondere solche, die auf Gaußschen Prozessen (GP) basieren, gehen davon aus, dass Daten und Fehler einer Normalverteilung (Gaußverteilung) folgen. Umweltvariablen wie Windgeschwindigkeit, Temperatur und Niederschlag weisen jedoch häufig signifikante Schiefe auf.
Die Einschränkung bestehender Methoden:
- Standard-Multifidelity-Gaußsche Prozesse (MFGP) gehen von linearen Beziehungen und Normalität aus, was zu einer schlechten Vorhersageleistung führt, wenn die Daten schief verteilt sind.
- Parametrische Transformationen (z. B. Box-Cox) werden häufig zur Normalisierung von Daten verwendet, erfordern jedoch datenabhängige Parameter. In einem Multifidelity-Kontext, der mehrere Datenquellen (High-Fidelity und Low-Fidelity) umfasst, kann die Anwendung unterschiedlicher Transformationen auf jede Quelle die Beziehung zwischen ihnen verzerren und das Prinzip der Quantilinvarianz verletzen.
- Bestehende Methoden haben Schwierigkeiten, lange fehlende Sequenzen (strukturelles Fehlen) effektiv zu rekonstruieren, insbesondere wenn die Längendauer die Korrelationslängenskala standardmäßiger GPs überschreitet.

2. Methodik: Warped Multifidelity Gaussian Process (WMFGP)

Die Autoren schlagen den Warped Multifidelity Gaussian Process (WMFGP) vor, eine Erweiterung des autoregressiven MFGP-Rahmens, der eine nicht-parametrische Warping-Funktion zur Behandlung von Schiefe integriert.

Kernkonzept

Die Methode arbeitet in einem latenten Raum, in dem nicht-normalverteilte Daten in eine Normalverteilung transformiert werden, das Multifidelity-Modell trainiert wird und die Ergebnisse zurück in den ursprünglichen Raum transformiert werden.

Schlüsselschritte:

Nicht-parametrisches Warping (Transformation):
- Anstelle parametrischer Transformationen verwendet die Methode eine datengesteuerte, nicht-parametrische Warping-Funktion ( $g(\cdot)$ ).
- Sie schätzt die kumulative Verteilungsfunktion (CDF) der beobachteten Daten (sowohl High-Fidelity $y_H$ als auch Low-Fidelity $y_L$ ) mittels Kernel-Dichteschätzung.
- Die Daten werden unter Verwendung der Inversen der Standard-Normal-CDF ( $\Phi^{-1}$ ) in einen latenten Raum abgebildet:
  $N_y = \Phi^{-1}(F_y(y))$
- Dies gewährleistet Quantilinvarianz: Die relative Reihenfolge der Datenpunkte bleibt erhalten, und die Beziehung zwischen HF- und LF-Daten bleibt im latenten Raum konsistent.
Multifidelity-Modellierung im latenten Raum:
- Das autoregressive MFGP-Modell wird auf die normalisierten latenten Daten ( $N_{y_H}, N_{y_L}$ ) angewendet.
- Das Modell geht von einer rekursiven Beziehung aus: $u_H = \rho u_L + \delta + \epsilon$ , wobei $\rho$ der Skalierungsparameter und $\delta$ ein Diskrepanzprozess ist.
- Da die Daten im latenten Raum normalisiert sind, sind die Standard-GP-Annahmen (Normalverteilung der Fehler) erfüllt.
Rücktransformation:
- Vorhersagen (Mittelwert und Varianz), die im latenten Raum getroffen wurden, werden unter Verwendung einer inversen Nachschlagetabelle, die aus den geschätzten CDFs abgeleitet wurde, zurück in den ursprünglichen physikalischen Raum transformiert.
- Dieser Schritt rekonstruiert die schiefen Verteilungseigenschaften der Originaldaten.
Anwendungsstrategie (Clustering):
- Um räumliche Heterogenität zu bewältigen, setzen die Autoren eingeschränktes k-Means-Clustering basierend auf Breitengrad, Längengrad und Höhe ein.
- Überwachungsstationen werden in Cluster gruppiert. Innerhalb eines Clusters wird eine Station mit fehlenden Daten (HF) mit einer nahegelegenen, hochkorrelierten Station (LF) gepaart, um eine Datenfusion durchzuführen.

3. Hauptbeiträge

Neuer Algorithmus: Einführung von WMFGP, das nicht-parametrisches Warping erfolgreich mit autoregressiven Multifidelity-Gaußschen Prozessen integriert.
Behandlung von Schiefe: Die Methode adressiert explizit die Nicht-Normalität von Umweltdaten, ohne die Korrelationsstruktur zwischen verschiedenen Fidelitätsstufen zu verletzen.
Quantilinvarianz: Durch die Verwendung von CDF-basiertem Warping stellt die Methode sicher, dass die statistische Beziehung zwischen High-Fidelity- und Low-Fidelity-Daten während der Transformation erhalten bleibt.
Automatisierung: Im Gegensatz zu parametrischen Ansätzen, die eine manuelle Anpassung für jede Zeitreihe erfordern, kann WMFGP für große Netzwerke unterschiedlicher Zeitreihen automatisiert werden.

4. Experimentelle Ergebnisse

Die Studie validiert die Methode durch zwei Simulationsexperimente und eine reale Fallstudie.

Experiment 1: Zufälliges Fehlen

Aufbau: Simulierte Windgeschwindigkeitsdaten mit varying Grad an Schiefe (unter Verwendung von Closed Skew-Normal- und Weibull-Verteilungen) und zufälligen Mustern fehlender Daten.
Vergleich: WMFGP vs. Standard-GP, Warped GP (WGP), Standard-MFGP und Box-Cox MFGP (BCMF).
Ergebnisse:
- WMFGP schnitt konsistent besser ab als alle anderen Modelle in Bezug auf den mittleren absoluten Fehler (MAE), unabhängig vom Schiefe-Niveau.
- Standard-MFGP und BCMF hatten bei hoher Schiefe Schwierigkeiten. BCMF versagte insbesondere, wenn Fehler aus Weibull-Verteilungen generiert wurden, was die Empfindlichkeit parametrischer Transformationen gegenüber der Datenverteilung unterstreicht.
- WMFGP zeigte Stabilität, selbst wenn das Verhältnis von HF- zu LF-Daten niedrig war (bis zu 30–35 % HF-Daten).

Experiment 2: Strukturelles Fehlen (Lange Lücken)

Aufbau: Simulierte lange fehlende Sequenzen (24 bis 192 Stunden) in realen Windgeschwindigkeitsdaten von ARPA Lombardia.
Vergleich: WMFGP vs. GP, MFGP, Surrogat (nur LF) und einfache Imputation (SI).
Ergebnisse:
- WMFGP erzielte den niedrigsten MAE über alle Lückendauern hinweg.
- Es reduzierte die Diskrepanz zwischen der Vorhersage und den tatsächlichen High-Fidelity-Daten um etwa 50 % im Vergleich zum rohen Unterschied zwischen LF- und HF-Daten.
- Im Gegensatz zur Standard-Interpolation verschlechterte sich die WMFGP-Leistung mit zunehmender Lückendauer nicht signifikant, was auf Robustheit bei langfristigen fehlenden Daten hindeutet.
- Unsicherheit: Die 95 %-Vorhersageintervalle wiesen eine Abdeckungswahrscheinlichkeit von ca. 90–91 % auf, was auf eine zuverlässige Unsicherheitsquantifizierung hindeutet.

Fallstudie: ARPA Lombardia

Anwendung: Schließung von Windgeschwindigkeitslücken im regionalen Netz der Lombardei (120+ Stationen).
Ergebnis: Die Methode rekonstruierte erfolgreich fehlende Windgeschwindigkeitsdaten und erfasste saisonale und zyklische Muster, die von einfacher Interpolation übersehen wurden. Dies ist für das Luftqualitätsmanagement entscheidend, da die Windgeschwindigkeit die Ausbreitung von Schadstoffen antreibt.

5. Bedeutung und Auswirkung

Umweltmanagement: Bietet ein robustes Werkzeug für Umweltbehörden, um Datenlücken in Überwachungsnetzen zu schließen, was zu genaueren Luftqualitätsbewertungen und besser informierten politischen Entscheidungen führt.
Skalierbarkeit: Die Methode ist recheneffizient und automatisierbar, was sie für großflächige Umweltdatensätze mit Tausenden von Zeitreihen geeignet macht.
Theoretischer Fortschritt: Überbrückt die Lücke zwischen Multifidelity-Modellierung und dem Umgang mit nicht-normalverteilten Daten und bietet eine Lösung dort, wo traditionelle GP-Annahmen versagen.
Zukünftige Richtungen: Die Autoren stellen fest, dass sich der aktuelle Rahmen zwar auf zeitliche Korrelation konzentriert, zukünftige Arbeiten jedoch räumliche Dimensionen einbeziehen könnten (z. B. Lidar-Integration für Windparks), obwohl dies die rechnerische Komplexität erhöhen würde.

Zusammenfassend stellt das Papier einen bedeutenden Fortschritt in der Umwelt-Datenfusion dar, indem es demonstriert, dass nicht-parametrisches Warping es Multifidelity-Gaußschen Prozessen ermöglicht, schiefe Daten effektiv zu handhaben und bestehende Methoden sowohl in Bezug auf Genauigkeit als auch Robustheit bei der Schließung kritischer Datenlücken zu übertreffen.