🤖 machine learning

Global Explanations for Multivariate Time Series Forecasting Models via $K$ -Order Markov Approximations

Das Papier stellt KARMA vor, eine neuartige Methode zur Generierung globaler Erklärungen für multivariate Zeitreihenprognosemodelle durch die Konstruktion eines $K$ -Ordnung-Markov-Surrogatmodells, das zeitliche Abhängigkeiten erfasst und kausale Strukturen effektiver als bestehende Attributionsverfahren wiederherstellt.

Ursprüngliche Autoren: Amadeo Tunyi

Veröffentlicht 2026-06-29

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Amadeo Tunyi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine superintelligente, aber völlig undurchsichtige Kristallkugel, die die Zukunft basierend auf einem Datenstrom (wie Wetter, Aktienkursen oder Herzfrequenzen) vorhersagt. Sie wissen, dass sie gut funktioniert, aber Sie haben keine Ahnung, warum sie die Vorhersagen macht, die sie macht. Es ist eine „Black Box“.

Die meisten aktuellen Methoden, um in diese Box hineinzuschauen, sind so, als würde man fragen: „Was würde passieren, wenn ich diesen einen Datenpunkt magisch auslöschen würde?“ Das Problem bei Zeitreihendaten (wie einer Wettervorhersage) ist, dass man nicht einfach die gestrige Temperatur löschen kann, ohne die Gesetze der Physik zu verletzen; das heutige Wetter ist tief mit dem gestrigen verbunden. Das Löschen erzeugt ein fiktives Szenario, das in der Realität nie vorkommt, was zu verwirrenden oder falschen Ergebnissen führt.

Hier kommt KARMA ins Spiel.

Das Paper stellt eine neue Methode namens KARMA (K-Order Markov Approximation for Multivariate Time Series) vor. Anstatt zu versuchen, Daten zu löschen, stellt KARMA eine einfachere, natürlichere Frage: „Wenn das System in den letzten paar Schritten in diesem spezifischen Zustand gewesen wäre, was erwartet das Modell als Nächstes?“

So funktioniert KARMA, aufgeschlüsselt in einfache Konzepte:

1. Der Detektiv für das „Gedächtnislimit“ (Säule 1)

Stellen Sie sich vor, Sie versuchen, das nächste Wort in einem Satz zu erraten. Müssen Sie den ganzen Absatz im Gedächtnis behalten oder nur die letzten paar Wörter?
KARMA agiert wie ein Detektiv, um das „Gedächtnislimit“ des Modells zu finden. Es testet das Modell mit der Frage: „Wie weit in die Vergangenheit muss dieses Modell tatsächlich zurückblicken, um eine gute Vorhersage zu treffen?“

Es findet eine spezifische Zahl, nennen wir sie K.
Wenn das Modell nur die letzten 4 Stunden der Daten benötigt, um die nächste Stunde vorherzusagen, beweist KARMA, dass ein Rückblick auf 100 Stunden nutzlos ist.
Das Ergebnis: Es sagt Ihnen: „Dieses Modell interessiert sich nur für die letzten 4 Schritte. Alles davor ist Rauschen.“

2. Die „Zertifizierte Null“-Baseline (Säule 2)

Sobald KARMA weiß, wie weit das Modell zurückblickt (K), tut es etwas Mächtiges. Es erstellt eine „Baseline“ (einen Standard-Ausgangspunkt), die mathematisch bewiesen die beste Anpassung darstellt.

Da das Modell alles ignoriert, was älter als K ist, kann KARMA mit 100-prozentiger Sicherheit sagen: „Die Bedeutung jeglicher Daten, die älter als K sind, ist exakt Null.“
Die meisten anderen Methoden sagen: „Diese alten Daten haben einen winzigen, winzigen Einfluss.“ KARMA sagt: „Nein, sie haben keinen Einfluss.“ Dies ist eine „zertifizierte Null“, was ein großer Durchbruch für das Vertrauen ist.

3. Die „Fünf-Ebenen“-Erklärungskarte (Säule 3)

Sobald KARMA diese vereinfachte „Gedächtniskarte“ (eine sogenannte Markov-Surrogat-Funktion) erstellt hat, generiert es einen Bericht auf fünf Ebenen, um das Verhalten des Modells zu erklären – wie das Schälen einer Zwiebel:

Ebene 1: Wer ist wichtig? (Variablenrelevanz)
- Analogie: In einer Band, wer ist der Leadsänger?
- KARMA ordnet die Variablen (z. B. Temperatur, Wind, Druck) ein, um zu sehen, welche die Vorhersagen am stärksten antreiben. Es sagt Ihnen: „Die Temperatur ist der Star; die Windrichtung ist nur Hintergrundrauschen.“
Ebene 2: Wann ist es wichtig? (Lag-Profile)
- Analogie: Wie lange hallt die Stimme des Leadsängers nach?
- Es zeigt, wie der Einfluss einer Variable im Laufe der Zeit abnimmt. Interessiert sich das Modell für die Temperatur vor 1 Stunde oder vor 3 Stunden? Es offenbart, ob das Modell nach „Momentum“ (Dinge setzen sich fort) oder „Mean Reversion“ (Dinge kehren zum Mittelwert zurück) sucht.
Ebene 3: Was sind die „besonderen Momente“? (Regime-Erklärung)
- Analogie: Wann wechselt die Band von einer Ballade zu einem Rocksong?
- Es identifiziert spezifische Muster in der Vergangenheit (Historien), bei denen das Modell sich seltsam oder einzigartig verhält. Zum Beispiel: „Wenn es heiß UND windig ist, sagt das Modell Regen voraus, aber wenn es heiß UND ruhig ist, sagt es Sonne voraus.“
Ebene 4: Was wäre, wenn wir Dinge ändern? (Interventionelle Effekte)
- Analogie: Wenn wir den Schlagzeuger zwingen, einen anderen Takt zu spielen, wie verändert sich das Lied?
- Es simuliert die Änderung eines spezifischen vergangenen Wertes (z. B. „Was wäre, wenn der Wind gestern stärker gewesen wäre?“) und misst, wie stark sich die Vorhersage verschiebt. Dies baut eine Karte von Ursache-Wirkungs-Beziehungen auf, die das Modell gelernt hat.
Ebene 5: Wie sicher sind wir? (Unsicherheit)
- Analogie: Spielt die Band ein Lied, das sie auswendig kennt, oder improvisiert sie?
- Es misst zwei Arten von Unsicherheit:
  1. Aleatorisch: Ist die Zukunft von Natur aus chaotisch? (Das Modell ist unsicher, weil die Daten verrauscht sind).
  2. Epistemisch: Hat das Modell diese Situation noch nie gesehen? (Das Modell ist unsicher, weil ihm Daten fehlen).
- Dies fungt als „Zuverlässigkeitsabzeichen“, das Ihnen sagt, wann Sie der Erklärung vertrauen können und wann Sie skeptisch sein sollten.

Wie es getestet wurde

Die Autoren haben KARMA auf zwei Arten getestet:

Synthetische Daten (Die „Falsche Welt“): Sie erschufen eine künstliche Welt, in der sie die exakten Regeln (die „wahren“ Ursache-Wirkungs-Beziehungen) kannten. KARMA war in der Lage, diese Regeln perfekt zu rekonstruieren, fand jede wahre Verbindung und ignorierte die falschen. Andere Methoden wurden durch die Komplexität verwirrt.
Reale Daten (Die „Echte Welt“): Sie verwendeten echte Wetterdaten (Beijing PM 2.5) und Finanzdaten. KARMA schnitt ebenso gut oder sogar besser ab als die besten existierenden Methoden bei der Identifizierung, welche Zeitschritte tatsächlich wichtig für die Vorhersage waren.

Das Fazit

KARMA ist ein neuer Weg, um Zeitreihenmodelle zu erklären, der respektiert, dass Zeit in einer Sequenz fließt. Anstatt die Zeitlinie zu unterbrechen, um zu sehen, was wichtig ist, baut es eine vereinfachte, probabilistische Karte davon auf, wie das Modell die Vergangenheit mit der Zukunft verbindet. Es liefert Ihnen eine Rangliste der wichtigsten Faktoren, sagt Ihnen genau, wie weit in die Vergangenheit das Modell zurückblickt, und gibt sogar einen „Vertrauenswert“ für seine eigenen Erklärungen an.

Erwähnte Einschränkungen im Paper:
Die Methode funktioniert am besten, wenn die Anzahl der Variablen und die „Gedächtnislänge“ nicht zu groß sind. Wenn man tausende von Variablen hat, wird die Mathematik sehr schwerfällig (exponentielles Wachstum), obwohl die Autoren Tricks anwenden, um es für die meisten realen Fälle handhabbar zu halten.

Technisches Resümee: KARMA – Globale Erklärungen für multivariate Zeitreihenprognosen mittels K-Ordnung-Markov-Approximationen

1. Problemstellung

Der Einsatz von Deep-Learning-Modellen (z. B. RNNs, TCNs, Transformer) zur multivariaten Zeitreihenprognose in hochsensiblen Bereichen (Finanzen, klinisches Monitoring, industrielle Sensorik) steht vor der Herausforderung der mangelnden Transparenz. Bestehende Methoden der erklärbaren KI (XAI), wie LIME, SHAP und gradientenbasierte Attribuierungen, sind primär für statische, identisch und unabhängig verteilte (i.i.d.) Daten konzipiert. Bei der Anwendung auf Zeitreihen verletzen diese Methoden oft fundamentale temporale Eigenschaften:

Unabhängigkeitsannahme: Sie setzen implizit voraus, dass Zeitstempel-Features unabhängig sind, wodurch die temporale Autokorrelation und die intervariable Granger-Kausalität ignoriert werden.
Off-Manifold-Perturbationen: Zufällige Perturbationen in SHAP oder LIME brechen sequentielle Strukturen auf und erzeugen Kontrafaktuale, die in der Datenverteilung nicht existieren.
Lokal vs. Global: Gradientenbasierte Methoden beschreiben die lokale Geometrie an einem einzelnen Punkt statt der systematischen konditionalen Struktur, die global vom Modell gelernt wurde.
Baseline-Selektion: Methoden wie TimeSHAP kämpfen mit dem „Baseline-Selektionsproblem“ in sequentiellen Kontexten, in denen die Wahl der Baseline nicht trivial ist.

Das Paper argumentiert, dass Erklärungen für Zeitreihen die sequentielle und kausale Struktur der Daten respektieren müssen, indem sie sich von perturbationsbasierten oder gradientenbasierten lokalen Approximationen wegbewegen hin zu einem probabilistischen, globalen Surrogat-Ansatz.

2. Methodik: Das KARMA-Framework

Die Autoren schlagen KARMA (K-Order Markov Approximation) vor, ein Framework, das einen Black-Box-Zeitreihenprädiktor $f$ erklärt, indem es ein Markov-Surrogatmodell der Ordnung K konstruiert. Die Kernprämisse ist, dass das Verhalten eines komplexen Prädiktors auf einer multivariaten Zeitreihe durch eine Markov-Kette einer spezifischen Ordnung $K$ getreu approximiert werden kann.

Die Methodik gliedert sich in drei Säulen:

Säule 1: Markov-Surrogat und Ordnungsselektion

Diskretisierung: Kontinuierliche Zeitreihenvariablen werden mithilfe von Quantilgrenzen, die aus den Trainingsdaten abgeleitet wurden, in $N$ Bins diskretisiert, wodurch ein diskreter Zustandsraum $S = [N]^D$ entsteht.
Ordnungsselektion ( $K^*$ ): Die Methode identifiziert die minimale Historienlänge $K^*$ , die prädiktiv ausreichend ist. Dies wird über eine Surrogat-Prädiktivitäts-Validitäts-Stoppregel erreicht. Der Algorithmus testet zunehmende Lag-Längen $K$ , indem er den Präfix eines Input-Fensters durch eine Baseline $b$ ersetzt und die Diskrepanz der Vorhersage $\hat{\Delta}_{pred}(K, b)$ misst.
Stoppkriterium: $K^*$ ist das kleinste $K$ , bei dem die minimale Diskrepanz unter eine Toleranz $\epsilon$ fällt. Dies zertifiziert, dass das Modell gegenüber Inputs jenseits von Lag $K^*$ unempfindlich ist.

Säule 2: Kompression und zertifizierte Attribuierung

Modellkompression: Wenn $K^* < W$ (das Input-Fenster des Modells), ist das Modell nachweislich unempfindlich gegenüber Inputs jenseits von Lag $K^*$ . Dies ergibt eine Kompressionsrate von $W/K^*$ .
Zertifizierte Baseline ( $b^*$ ): Die Baseline $b^*$ wird nicht vom Analysten gewählt, sondern ist modellzertifiziert; es ist der spezifische Präfix, der die Vorhersagediskrepanz bei Substitution minimiert.
Zertifizierte Null-Attribuierungen: Für alle Lags $k > K^*$ sind die Attribuierungen mathematisch gesehen Null (innerhalb des Approximationsfehlers), was die Mehrdeutigkeit von „kleiner“ vs. „Null“-Wichtigkeit findet, die in anderen Methoden auftritt.

Säule 3: Fünfstufige Hierarchie der globalen Erklärung

Sobeder der $K^*$ -Ordnung-Markov-Übergangskern $\hat{T}^f_{K^*}$ geschätzt wurde, leitet KARMA fünf Ebenen globaler Erklärungen ab, ohne zusätzliche Oracle-Abfragen zu benötigen:

Ebene 1 (Variablenwichtigkeit): Berechnet den gesamten distributional Einfluss der Quellvariablen auf die Zielvorhersagen über alle Lags hinweg, indem Variablen nach ihrem marginalen Total-Variation-Einfluss rankt.
Ebene 2 (Lag-Profile): Löst den Einfluss nach spezifischem Lag $k$ auf und offenbart die temporalen Dynamiken (z. B. Momentum, Mean-Reversion) für jede Variable.
Ebene 3 (Regime-Distinktheit): Identifiziert distinkte historische Regime (Pfade), in denen die konditionale Prognose des Modells signifikant von seinem typischen Verhalten abweicht, unter Verwendung eines marginalen Interdependenz-Index.
Ebene 4 (Interventionelle Effekte): Berechnet durchschnittliche interventionelle Effekte (AIE) und Edge-Beiträge, um einen modellinduzierten kausalen Graphen zu erstellen, der direkt mit der Wichtigkeit aus Ebene 1 verknüpft ist.
Ebene 5 (Unsicherheitsschätzung): Liefert Zuverlässigkeitszertifikate:
- Aleatorische Unsicherheit: Entropie der prädiktiven Verteilung (echte Modellunsicherheit).
- Epistemische Unsicherheit: Varianz der Kernel-Schätzungen (markiert Historien mit unzureichender Datenabdeckung).

Kernel-Schätzung: Um die exponentielle Komplexität der Schätzung des vollen gemeinsamen Kernels ( $N^{DK^*}$ ) zu vermeiden, schätzt KARMA $D$ faktorisierte marginale Kerne. Es verwendet standardmäßig eine Strategie B (b-prefix Monte Carlo)*, welche die Schätzung auf den beobachteten Historien-Support $H^+_{K^*}$ beschränkt, was linear mit der Serienlänge $T$ statt exponentiell mit der Dimension skaliert.

3. Kernergebnisse

Synthetische Daten (VAR-Oracle)

Rekuperation der kausalen Struktur: Bei synthetischen Vektor-Autoregressiven (VAR) Daten mit bekannter Ground-Truth-Kausalitätsstruktur erreichte KARMA eine perfekte Recall (1.00) in allen außer der komplexesten Konfiguration (xlarge, wo der Recall 0.71 betrug). Es hielt eine hohe Präzision aufrecht und schloss spureneffektive Kanten effektiv aus.
Feature-Ranking: KARMA war die einzige Top-rangierte Methode (höchster Kendall's $\tau$ ) in den mittleren, großen und xlarge Konfigurationen. Konkurrierende Methoden (TimeSHAP, WinIT, Feature Occlusion) degradierten mit zunehmender Graph-Dichte.
Vergleich: Integrated Gradients (IG) wurde in den synthetischen Tests ausgeschlossen, da es auf linearen VARs zu exakten Koeffizienten reduziert, was den Vergleich degenerieren ließe.

Reale Benchmarks

Die Experimente wurden auf drei Datensätzen (ETTh1, Beijing PM2.5, Exchange Rate) über drei Architekturen (GRU, LSTM, TCN) unter Verwendung eines temporal-bewussten Lag-basierten AUC-Scores ( $AUClag@25\%$ ) durchgeführt.

ETTh1: KARMA erzielte die höchsten Scores über alle Architekturen hinweg und übertraf insbesondere die nächstbeste Methode bei TCN (0.71 vs. 0.49).
Beijing PM2.5: KARMA war wettbewerbsfähig und erreichte oder lag leicht hinter den stärksten Baselines.
Exchange Rate: Alle Methoden brachen auf nahezu Null zusammen. Die Autoren interpretieren dies korrekt: Der Datensatz nähert sich einem Random Walk mit wenig lernbarer temporaler Struktur an, was bedeutet, dass keine Methode Zeitpunkte identifizieren kann, deren Entfernung die Prognose verändert. Dies validiert das Verhalten der Metrik selbst, statt ein Versagen des Explainers anzuzeigen.

4. Bedeutung und Ansprüche

Das Paper positioniert KARMA als prinzipielle Alternative zu bestehenden XAI-Methoden für Zeitreihen, indem es:

Die temporale Geometrie respektiert: Im Gegensatz zu perturbationsbasierten Methoden, die die sequentielle Struktur brechen, operiert die Markov-Approximation von KARMA in der nativen Sprache des Fachbereichs (konditionale Abhängigkeiten).
Statistische Garantien bietet: Es liefert zertifizierte Null-Attribuierungen für irrelevante Lags sowie explizite Zuverlässigkeitszertifikate (Ebene 5) für die Erklärungen – ein Merkmal, das in früheren Arbeiten fehlt.
Global vs. Lokal: Es bietet eine globale Erklärungshierarchie, die aus einem einzigen geschätzten Kernel abgeleitet wird, statt lokaler Instanz-Ebene-Approximationen.
Modellagnostische Validität: Die Selektion von $K^*$ und der Baseline $b^*$ werden direkt aus dem Verhalten des Modells abgeleitet und nicht aus Analystenannahmen.

Anerkannte Limitationen:
Die Autoren merken an, dass der Zustandsraum exponentiell mit $N^{DK^*}$ wächst, was die Schätzung des vollen Kernels herausfordernd macht. KARMA mildert dies durch marginale Kerne und Sampling-Strategien ab, aber die Skalierung auf sehr hochdimensionale Systeme bleibt eine offene Forschungsrichtung.

Das Paper schließt mit der Feststellung, dass das Paradigma der Markov-Approximation eine robuste, unterexplorierte Richtung für XAI in sequentiellen Domänen darstellt, die anwendbar auf Finanzen, Neurowissenschaften und Genomik ist.