Assessment of Spatio-Temporal Predictors in the Presence of Missing and Heterogeneous Data

Diese Arbeit stellt ein residualkorrelationsbasiertes Framework vor, das unter minimalen Annahmen die Leistungsfähigkeit von räumlich-zeitlichen Deep-Learning-Modellen bei unvollständigen und heterogenen Daten bewertet, indem es durch maßgeschneiderte Graphen und verteilungsfreie Statistiken spezifische Regionen identifiziert, in denen die Vorhersagegenauigkeit verbessert werden kann.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr klugen Koch, der eine riesige Suppe für eine ganze Stadt kocht. Diese Suppe ist komplex: Sie enthält Zutaten aus verschiedenen Regionen (Raum) und muss zu verschiedenen Tageszeiten schmecken (Zeit). Der Koch nutzt einen hochmodernen, künstlichen Intelligenz-Rezeptur-Algorithmus, um vorherzusagen, wie die Suppe schmecken wird, bevor sie überhaupt gekocht ist.

Normalerweise prüfen wir, ob der Koch gut ist, indem wir probieren: „Schmeckt die Suppe gut?" (Das ist der Vorhersagefehler). Wenn der Fehler klein ist, sagen wir: „Super, der Koch ist perfekt!"

Aber was, wenn der Koch die Suppe zufällig gut schmecken lässt, obwohl er die eigentlichen Geheimnisse des Rezepts gar nicht verstanden hat? Oder was, wenn er an bestimmten Tagen oder für bestimmte Stadtteile die Suppe versehentlich verdorben hat, aber der Durchschnittsschmeck trotzdem gut ist?

Genau hier kommt die AZ-Analyse aus diesem Papier ins Spiel. Sie ist wie ein Detektiv, der nicht nur schmeckt, sondern die Spuren (die Reste) untersucht, die der Koch hinterlässt.

Das Hauptproblem: Der „versteckte" Fehler

Wenn ein KI-Modell (der Koch) eine Vorhersage macht, gibt es immer einen Unterschied zwischen dem, was passiert ist, und dem, was vorhergesagt wurde. Diese Differenz nennt man Residuum (oder Rest).

In der alten Welt der Statistik sagten die Detektive: „Wenn die Reste zufällig verteilt sind (wie Würfelwürfe), dann ist der Koch gut." Aber das funktionierte nur, wenn:

1. Alle Daten da waren (keine fehlenden Zutaten).
2. Alle Zutaten gleich waren (homogene Daten).
3. Alles perfekt synchron lief.

In der echten Welt (Verkehr, Energie, Wetter) ist das aber selten der Fall. Daten fehlen, Sensoren sind unterschiedlich, und das Wetter ändert sich ständig. Die alten Detektive waren hier blind.

Die Lösung: Die AZ-Analyse (Der neue Detektiv)

Die Autoren Daniele Zambon und Cesare Alippi haben einen neuen Detektiv erfunden, der AZ-Analyse heißt. Er ist besonders clever, weil er:

• Keine strengen Regeln braucht: Er funktioniert auch, wenn Daten fehlen oder chaotisch sind.
• Nach Mustern sucht: Er fragt nicht nur „Ist der Fehler groß?", sondern „Hängen die Fehler zusammen?".

Die Analogie des „Korrelations-Rasters":
Stellen Sie sich vor, die Reste des Kochs liegen auf einem riesigen Tisch.

• Raum (Spatio): Wenn der Koch in Berlin die Suppe falsch würzt, schmeckt sie vielleicht auch in Potsdam falsch. Das ist eine räumliche Korrelation.
• Zeit (Temporal): Wenn der Koch morgens die Suppe falsch würzt, tut er das vielleicht auch den ganzen Vormittag. Das ist eine zeitliche Korrelation.

Die AZ-Analyse baut eine Landkarte (einen Graphen) über diesen Tisch. Sie verbindet Punkte, die nah beieinander liegen (gleicher Ort, ähnliche Zeit). Dann prüft sie: „Liegen die Fehler hier in einer Gruppe? Zeigen sie alle in die gleiche Richtung?"

Wenn ja, dann hat der Koch ein Muster übersehen! Er hat nicht einfach „Pech" gehabt, sondern er versteht die Zusammenhänge in diesem Bereich noch nicht.

Was kann dieser Detektiv konkret tun?

1. Das „Gesamt-Bild" prüfen (Frage 1):
   Ist der Koch überhaupt gut? Die AZ-Analyse gibt eine einzige Zahl aus. Wenn diese Zahl hoch ist, weiß man sofort: „Achtung, hier ist etwas faul, die Fehler hängen alle zusammen!"

2. Den „schlechten Viertel" finden (Frage 2):
   Vielleicht kocht der Koch in München perfekt, aber in Hamburg katastrophal. Die AZ-Analyse zeigt genau an, welche Sensoren (welche Stadtteile) Probleme machen. Man kann dann sagen: „Hey, wir brauchen einen besseren Rezept für Hamburg!"

3. Die „schlechte Tageszeit" finden (Frage 3):
   Vielleicht ist der Koch morgens super, aber gegen Mittag verwirrt er sich. Die AZ-Analyse zeigt: „Achtung, zwischen 12:00 und 14:00 Uhr sind die Fehler korreliert!"

Warum ist das so wichtig? (Die echten Beispiele)

In dem Papier testen die Autoren das an zwei echten Szenarien:

• Verkehrsvorhersage: Sie haben gesehen, dass das Modell an Stellen, wo Daten fehlten und künstlich nachgefüllt wurden, zwar einen kleinen Fehler hatte, aber die AZ-Analyse zeigte: „Hier hängen die Fehler zusammen!" Das Modell hat die Lücken nicht wirklich verstanden, es hat nur geraten.
• Energieproduktion (Sonne): Bei Sonneneinstrahlung ist der Fehler morgens und abends (Dämmerung) oft klein, aber die AZ-Analyse zeigte: „Hier hängen die Fehler zusammen!" Das Modell versteht den Übergang von Nacht zu Tag noch nicht richtig, auch wenn der durchschnittliche Fehler niedrig aussieht.

Zusammenfassung in einem Satz

Die AZ-Analyse ist wie ein Röntgenbild für KI-Modelle: Sie zeigt nicht nur, wie „schmerzhaft" der Fehler ist (wie groß er ist), sondern wo und warum das Modell die Zusammenhänge in Raum und Zeit noch nicht verstanden hat – selbst wenn die Daten lückenhaft oder chaotisch sind.

So können Ingenieure und Wissenschaftler ihre Modelle nicht nur „besser" machen, sondern gezielt dort verbessern, wo es wirklich hakt.

Technische Zusammenfassung

1. Problemstellung

Deep-Learning-Modelle erzielen zwar hervorragende Vorhersageergebnisse bei komplexen, großskaligen Daten, doch die Bewertung ihrer Modellqualität wird zunehmend schwierig, da klassische statistische Annahmen oft nicht mehr gelten. Dies gilt insbesondere für spatio-temporale Daten (räumlich-zeitliche Daten), die durch folgende Merkmale gekennzeichnet sind:

• Abhängigkeiten über Raum und Zeit hinweg.
• Nichtlineare Dynamiken und Zeitvarianz.
• Fehlende Beobachtungen (Missing Data) und heterogene Datenquellen (z. B. Sensoren mit unterschiedlichen Verteilungen oder Sampling-Raten).

Herkömmliche Bewertungsmetriken (wie MSE, MAE, MAPE) sind rein vergleichend und messen nur die Größe der Fehler, nicht aber die Optimalität des Modells. Sie geben keine Auskunft darüber, wo (welche Sensoren, welche Zeitintervalle) das Modell versagt oder welche strukturellen Informationen nicht erfasst wurden. Bestehende statistische Tests auf Residualkorrelation (z. B. Ljung-Box, Durbin-Watson) scheitern oft an den strengen Annahmen vollständiger, synchroner und identisch verteilter Daten.

2. Methodik: AZ-Analysis

Das Paper stellt einen neuen Rahmen zur Analyse von Residuen vor, die AZ-Analysis, die auf dem AZ-Whiteness-Test aufbaut. Das Ziel ist es, Korrelationen in den Vorhersageresiduen zu erkennen, da korrelierte Residuen auf nicht erfasste strukturelle Informationen hindeuten.

Kernkonzepte:

• Spatio-temporale Graphen: Die Daten werden als Multiplex-Graph $g^*$ modelliert, der zeitliche und räumliche Abhängigkeiten kodiert. Knoten repräsentieren Residuenvektoren $r_{t,v}$, Kanten verbinden benachbarte Sensoren (räumlich) oder aufeinanderfolgende Zeitpunkte (zeitlich).
• Sign-basierte Statistik: Anstatt die Magnitude der Residuen zu nutzen, verwendet die Methode das Vorzeichen des Skalarprodukts benachbarter Residuenvektoren ($\text{sgn}(r_{t,v}^\top r_{\tau,u})$). Dies ermöglicht die Analyse ohne Annahmen über die Verteilung der Daten (nicht-parametrisch).
• AZ-Whiteness-Test ($C_\lambda$): Ein globaler Teststatistik, der prüft, ob Residuen weißes Rauschen sind (unkorreliert). Er kombiniert räumliche ($\tilde{C}_{sp}$) und zeitliche ($\tilde{C}_{tm}$) Beiträge durch einen Parameter $\lambda$. Unter der Nullhypothese (keine Korrelation) konvergiert die Statistik asymptotisch zu einer Standard-Normalverteilung, unabhängig von der Datenverteilung.
• Korrelations-Scores ($c_\lambda$): Um Korrelationen lokalisiert zu identifizieren, wird die Statistik $C_\lambda$ normalisiert, um einen Score im Bereich $[-1, 1]$ zu erhalten. Dieser Score ist unabhängig von der Anzahl der Kanten im Subgraphen und erlaubt den Vergleich unterschiedlicher Regionen.

Drei Analyse-Ebenen (Beantwortung der Fragen Q1–Q3):

1. Globale Bewertung (Q1): Prüfung des gesamten Graphen auf das Vorhandensein von Autokorrelation und Kreuzkorrelation.
2. Knotenebene (Q2): Berechnung von Scores $c_\lambda(v)$ für einzelne Sensoren/Zeitreihen, um lokale Schwächen zu identifizieren.
3. Zeitliche und lokale Ebene (Q3): Berechnung von Scores für Zeitintervalle $c_\lambda(t)$ und lokale spatio-temporale Regionen $c_\lambda(t, v)$, um Drifts oder spezifische Ausfälle zu lokalisieren.

3. Wichtige Beiträge

• Robustheit gegenüber unvollständigen und heterogenen Daten: Die Methode erfordert keine vollständigen Datenreihen und keine identische Verteilung der Sensoren. Die einzige Voraussetzung ist, dass die Residuen um Null zentriert sind (Median = 0).
• Lokalisierung von Modellfehlern: Im Gegensatz zu globalen Metriken kann die AZ-Analysis genau lokalisieren, welche Sensoren oder welche Zeitintervalle von unkorrelierten Mustern betroffen sind.
• Neue Metrik für Modelloptimierung: Sie bietet eine ergänzende, metrik-unabhängige Bewertung der Modellqualität, die Aufschluss über die Struktur der Fehler gibt, die reine Fehlermaße (wie MAE) übersehen.
• Erweiterung des AZ-Whiteness-Tests: Die Umwandlung des globalen Tests in ein lokales Analysewerkzeug durch die Definition von Subgraphen und normalisierten Scores.

4. Ergebnisse und Validierung

Die Wirksamkeit wurde durch synthetische und reale Experimente validiert:

• Synthetische Daten:

  • Die Scores konnten gezielt künstlich induzierte räumliche und zeitliche Korrelationen in definierten Regionen (Sets A und B) identifizieren.
  • Die Methode funktionierte zuverlässig auch bei 20 % fehlenden Daten und bei heterogenen Datenverteilungen (Mischung aus Gauß-, Laplace- und bimodalen Verteilungen).
  • Der Vergleich mit etablierten Methoden (Autokorrelation, Moran's I) zeigte, dass die AZ-Scores ähnlich oder besser funktionieren, insbesondere bei der Lokalisierung von Mustern in unvollständigen Daten.

• Anwendungsfälle:

  1. Verkehrsflussvorhersage (MetrLA-Dataset):
     • Die Analyse deckte hohe Korrelationen in Zeitintervallen auf, in denen Daten durch Interpolation (Imputation) ersetzt wurden, obwohl die Vorhersagefehler (MAE) dort nicht signifikant höher waren.
     • Sie identifizierte spezifische Sensoren (Nodes 28, 29), deren Zeitreihen ebenfalls interpoliert wurden und deren Residuen korreliert waren.
     • Sie zeigte, dass Korrelationen bei langfristigen Vorhersagen (Multi-Step) stärker ausgeprägt sind als bei kurzfristigen.
  2. Energieproduktion (Photovoltaik, EngRAD-Dataset):
     • Die Scores zeigten eine klare tägliche Zyklik, mit erhöhten Korrelationen in den Übergangszeiten (Dämmerung/Dämmerung), wo das Modell trotz niedrigen MAE relative Fehler (MAPE) aufwies.
     • Es wurden Phasen identifiziert, in denen das Modell trotz niedriger Fehlerkorrelationen suboptimale Vorhersagen lieferte, was auf Trainingsverzerrungen hindeutete.

5. Bedeutung und Ausblick

Die AZ-Analysis stellt einen Paradigmenwechsel in der Bewertung spatio-temporaler Modelle dar. Sie verschiebt den Fokus von der reinen Fehlerminimierung hin zur diagnostischen Analyse der Residuenstruktur.

• Praktischer Nutzen: Sie dient als Werkzeug für Praktiker, um zu verstehen, warum ein Modell an bestimmten Stellen versagt (z. B. durch nicht erfasste Nicht-Stationarität, Probleme bei der Datenerfassung oder unzureichende Modellarchitektur).
• Skalierbarkeit: Die Komplexität skaliert linear mit der Anzahl der Kanten im Graphen, was die Anwendung auf große, reale Datensätze ermöglicht.
• Zukunft: Die Methode bietet eine Grundlage für adaptive Modelle, die ihre Parameter basierend auf den identifizierten Korrelationsmustern in spezifischen Regionen oder Zeitfenstern anpassen können.

Zusammenfassend bietet das Paper einen robusten, datenverteilungsunabhängigen Rahmen, um die Grenzen und Verbesserungspotenziale von Deep-Learning-Modellen für spatio-temporale Daten in realen, unvollständigen Szenarien zu verstehen.