PatchDecomp: Interpretable Patch-Based Time Series Forecasting

Das Paper stellt PatchDecomp vor, ein interpretierbares neuronales Netzwerk für die Zeitreihenvorhersage, das durch die Aufteilung von Daten in Patches und die Aggregation ihrer Beiträge sowohl hohe Vorhersagegenauigkeit als auch eine klare Nachvollziehbarkeit der Entscheidungsfindung erreicht.

Das Wesentliche

Das Problem: Der „Black Box"-Orakel

Stellen Sie sich vor, Sie haben einen sehr klugen, aber verschwiegenen Wettervorhersager. Er sagt Ihnen: „Morgen wird es regnen." Er hat recht, aber wenn Sie fragen: „Warum?", zuckt er nur mit den Schultern. Er sagt: „Mein Gehirn hat das einfach so entschieden."

In der Welt der künstlichen Intelligenz (KI) ist das ein großes Problem. Moderne Modelle können die Zukunft (z. B. Strompreise oder Verkehr) oft extrem gut vorhersagen, aber niemand versteht wirklich, warum sie zu diesem Ergebnis kommen. Sie sind wie eine Black Box: Man wirft Daten rein, und ein Ergebnis kommt heraus – aber der Weg dazwischen ist undurchsichtig. In kritischen Bereichen wie der Stromversorgung oder im Gesundheitswesen wollen die Menschen aber nicht nur das Ergebnis, sie wollen auch die Begründung.

Die Lösung: PatchDecomp – Der Detektiv mit Lupen

Die Forscher von Mitsubishi Electric haben eine neue Methode namens PatchDecomp entwickelt. Man kann sich das wie einen genialen Detektiv vorstellen, der nicht nur das Endergebnis liefert, sondern auch genau aufzeigt, welche Spur ihn dorthin geführt hat.

1. Der „Puzzle"-Ansatz (Das Patching)

Statt den gesamten Stromverbrauch der letzten Woche als einen riesigen, unübersichtlichen Block zu betrachten, schneidet PatchDecomp die Zeitreihe in kleine, handliche Stücke.

• Die Analogie: Stellen Sie sich ein riesiges, langes Foto vor. PatchDecomp schneidet es in kleine Puzzleteile (die sogenannten „Patches"). Jedes Teil repräsentiert einen kurzen Zeitraum (z. B. 24 Stunden).
• Der Vorteil: Anstatt zu sagen „Der ganze Monat war wichtig", kann das Modell jetzt sagen: „Aha! Das Puzzleteil von gestern Abend und das von letzter Woche Dienstag waren die entscheidenden Hinweise."

2. Die „Zutaten"-Liste (Exogene Variablen)

Oft hängt die Zukunft nicht nur von der Vergangenheit ab, sondern auch von externen Faktoren.

• Beispiel: Um den Strompreis vorherzusagen, reicht es nicht zu wissen, wie viel Strom gestern verbraucht wurde. Man muss auch wissen: Wie stark weht der Wind heute? (Windkraft) Wie ist das Wetter? (Klimaanlagen laufen mehr).
• PatchDecomp macht: Es nimmt diese externen Faktoren (Wind, Wetter, Feiertage) und schneidet sie ebenfalls in Puzzleteile. Es fragt dann für jedes Vorhersage-Ziel: „Welches Puzzleteil vom Wind war heute wichtiger als das vom Wetter?"

3. Die „Rechnung" (Interpretierbarkeit)

Das ist der magische Teil. Herkömmliche Modelle sagen nur: „Ich denke, der Preis wird 50 Euro." PatchDecomp sagt:

• „Der Preis wird 50 Euro."
• „Und hier ist die Rechnung:"
  • • 10 Euro wegen des hohen Stromverbrauchs gestern Abend (Puzzle-Teil A).
  • • 5 Euro wegen des starken Windes morgen (Puzzle-Teil B).
  • • 2 Euro, weil es Sonntag ist (Puzzle-Teil C).

Das Modell zerlegt die Vorhersage also in Beiträge. Es zeigt visuell an, welche Teile der Eingabe (die Puzzleteile) wie viel zur Vorhersage beigetragen haben.

Warum ist das besser als andere Methoden?

Andere KI-Modelle nutzen oft „Aufmerksamkeitsmechanismen" (Attention). Das ist wie ein Suchscheinwerfer, der auf bestimmte Datenpunkte leuchtet. Das Problem: Der Scheinwerfer zeigt nur, wo das Modell hinsieht, aber nicht genau, wie stark dieser Blick das Endergebnis verändert.

PatchDecomp hingegen ist wie ein Buchhalter. Es rechnet nicht nur, wo das Licht war, sondern addiert genau auf, wie viel Geld (Daten) von welchem Konto (Puzzle-Teil) in die Kasse (Vorhersage) geflossen ist.

Das Ergebnis in der Praxis

Die Forscher haben PatchDecomp an echten Daten getestet (z. B. Strompreise in verschiedenen Ländern).

1. Genauigkeit: Es ist genauso gut wie die besten aktuellen Modelle. Es macht keine Fehler, nur weil es „ehrlich" ist.
2. Verständlichkeit: Wenn die Vorhersage seltsam aussieht, können die Menschen sofort nachschauen: „Oh, das Modell hat sich auf das Puzzleteil 'Sturmwarnung' gestützt. Das erklärt die hohe Vorhersage."

Zusammenfassung

PatchDecomp ist wie ein KI-Modell, das nicht nur die Zukunft vorhersagt, sondern auch seine Hausaufgaben vorzeigt. Es schneidet die Vergangenheit in kleine, verständliche Häppchen (Patches), rechnet aus, welches Häppchen wie viel zur Vorhersage beigetragen hat, und zeigt das Ergebnis in einer klaren Grafik. So wird aus einer undurchsichtigen Black Box ein transparenter, vertrauenswürdiger Assistent.

Technische Zusammenfassung

1. Problemstellung

Zeitreihenvorhersage (Time Series Forecasting, TSF) ist in vielen Bereichen wie Fertigung, Logistik und Gesundheitswesen von zentraler Bedeutung. Zwar haben neuronale Netze (insbesondere Transformer und MLPs) die Vorhersagegenauigkeit erheblich gesteigert, doch bleiben diese Modelle oft als „Blackbox" wahrgenommen.

• Mangelnde Interpretierbarkeit: In sicherheitskritischen Anwendungen (z. B. Stromnetze) ist es für Nutzer oft nicht akzeptabel, Vorhersagen ohne nachvollziehbare Begründung zu erhalten.
• Limitationen bestehender XAI-Methoden: Bestehende Ansätze zur Erklärung von TSF-Modellen (z. B. Visualisierung von Attention-Gewichten oder linearen Gewichten) sind oft unzureichend. Sie erklären selten, wie spezifische Teilsequenzen (Subsequenzen) der Eingangsvariablen – einschließlich exogener Variablen wie Wetterdaten – konkret zum endgültigen Vorhersagewert beitragen.
• Ziel: Entwicklung eines Modells, das sowohl hohe Vorhersagegenauigkeit als auch eine strenge, patch-basierte Interpretierbarkeit bietet.

2. Methodik: PatchDecomp

PatchDecomp ist ein neuronales Netzwerk, das Eingangsdaten in Teilsequenzen („Patches") unterteilt und die Vorhersage durch eine dekomponierte Aggregation der Beiträge dieser Patches berechnet.

Architektur-Komponenten:

1. Patch-Encoder:

   • Vorverarbeitung: Die Zeitreihen werden mittels Reversible Instance Normalization (RevIN) standardisiert.
   • Patching: Die Zeitreihen werden in Patches fester Länge $P$ unterteilt.
   • Embedding: Jeder Patch wird linear transformiert. Zusätzlich werden Positionscodings (für die zeitliche Reihenfolge) und statische Variablen (z. B. Produkt-ID) eingebettet.
   • Encoding: Ein Residual-Block (MLP mit Skip-Connections) kodiert diese Informationen in latente Vektoren ($z_{src}$ für Eingabe, $z_{tgt}$ für Ausgabe).

2. Patch-Decoder:

   • Multi-Head Attention: Die latenten Vektoren der Ausgabe-Patches ($z_{tgt}$) dienen als Query, während die Eingabe-Patches ($z_{src}$) als Key und Value dienen.
   • Dekomponierte Berechnung: Im Gegensatz zu herkömmlichen Attention-Mechanismen, die nur Gewichte visualisieren, berechnet PatchDecomp die Beiträge explizit. Es wird ein elementweises Produkt zwischen den Eingabe-Latent-Vektoren und einem Bias-Vektor gebildet, gefolgt von einer Summation über die Patch-Dimension.
   • Rekonstruktion: Die resultierenden Vektoren werden linear transformiert und durch Denormalisierung (RevIN) in die ursprüngliche Skala zurückgeführt, um die Vorhersage $\hat{y}$ zu erhalten.

Schlüsselmechanismus der Interpretierbarkeit:
Das Modell zerlegt die endgültige Vorhersage in die Summe der Beiträge jedes einzelnen Eingabe-Patches. Dies ermöglicht es, genau zu sehen, welcher Zeitabschnitt (Patch) welcher Variable (z. B. „Systemlast der letzten 24 Stunden") wie stark zur Vorhersage beigetragen hat.

3. Wichtige Beiträge

• Neues Modell: Einführung von PatchDecomp, einem TSF-Modell, das exogene Variablen verarbeitet und die Beiträge jedes Eingabe-Patches zur Vorhersage explizit dekomponiert.
• Umfassende Interpretierbarkeit: Im Gegensatz zu reinen Attention-Visualisierungen bietet PatchDecomp eine quantitative und qualitative Aufschlüsselung der Vorhersage auf Patch-Ebene. Dies erlaubt Nutzern zu verstehen, ob z. B. „gestrige Daten" oder „Wettervorhersagen" die Prognose dominieren.
• Wettbewerbsfähige Genauigkeit: Trotz des Fokus auf Interpretierbarkeit erreicht das Modell eine Vorhersagegenauigkeit, die mit State-of-the-Art-Methoden vergleichbar ist.

4. Ergebnisse

Die Autoren führten Experimente auf sieben Benchmark-Datensätzen (z. B. ETTh1/2, ECL, Traffic) und einem Electricity Price Forecasting (EPF)-Datensatz mit exogenen Variablen durch.

• Vorhersagegenauigkeit (LTSF & EPF):

  • In Langzeitvorhersageaufgaben (LTSF) erzielte PatchDecomp auf mehreren Datensätzen (insbesondere ETTh1 und ETTh2) sehr gute Ergebnisse, die oft unter den Top-Performern lagen (gemessen an MSE und MAE).
  • Bei der Strompreisvorhersage (EPF) mit exogenen Variablen (Systemlast, Windkraft) war PatchDecomp zusammen mit TFT (Temporal Fusion Transformer) am genauesten.
  • Statistische Tests (Critical Difference Diagrams, Conover-Test) bestätigten, dass PatchDecomp signifikant zu den besten Modellen gehört und den Baselines nicht unterlegen ist.

• Interpretierbarkeit (Qualitativ & Quantitativ):

  • Qualitativ: Visualisierungen zeigen klar, welche Patches (z. B. der Patch direkt vor der Vorhersage oder zukünftige Systemlasten) die größten Beiträge leisten. Im Vergleich zu TFT, dessen Attention-Gewichte oft unklar verteilt sind, konzentriert PatchDecomp die Erklärungen auf wenige, signifikante Patches.
  • Quantitativ (AOPCR): Mittels Area Over the Perturbation Curve for Regression (AOPCR) wurde gemessen, wie stark die Vorhersage sinkt, wenn die wichtigsten Patches entfernt werden. PatchDecomp zeigte hier eine überlegene Leistung im Vergleich zu zufälligen Patches und zu TFT (sowohl punkt- als auch patch-basiert), was beweist, dass das Modell tatsächlich die informativsten Teile der Eingabe identifiziert.

5. Bedeutung und Ausblick

PatchDecomp adressiert die kritische Lücke zwischen hoher Genauigkeit und Transparenz in der Zeitreihenvorhersage.

• Praktischer Nutzen: Durch die Fähigkeit, Vorhersagen auf Patch-Ebene zu erklären, können Fachleute (z. B. in der Energiebranche) die Plausibilität von Prognosen besser einschätzen und Anomalien schneller erkennen.
• Forschungsbeitrag: Das Paper zeigt, dass es möglich ist, komplexe neuronale Netze so zu designen, dass sie nicht nur vorhersagen, sondern auch ihre Entscheidungsfindung nachvollziehbar machen, ohne dabei an Leistung einzubüßen.
• Zukünftige Arbeit: Eine aktuelle Einschränkung ist, dass statische exogene Variablen (z. B. Produktkategorien) noch nicht explizit in der Beitragsdekomposition dargestellt werden können, was in zukünftigen Studien adressiert werden soll.

Zusammenfassend stellt PatchDecomp einen wichtigen Schritt hin zu vertrauenswürdiger KI in der Zeitreihenanalyse dar, indem es die „Blackbox" durch eine transparente, patch-basierte Zerlegung der Vorhersage öffnet.