Multi-Scale Convolution with Optimal Transport Attention Effect on Multivariate Time Series

Stellen Sie sich vor, Sie versuchen, die Zukunft einer geschäftigen Stadt vorherzusagen. Sie verfügen über Daten von Hunderten verschiedener Sensoren: Ampeln, Wetterstationen, Stromnetzen und Aktienmärkten. Dies ist das, was Wissenschaftler als multivariante Zeitreihen bezeichnen. Das Ziel ist es, all diese beweglichen Teile zu betrachten und zu erraten, was als Nächstes passiert.

Eine Zeit lang war der klügste Weg, dies zu tun, die Verwendung eines „Transformer“-Modells – einer Art KI, die wie ein superaufmerksamer Bibliothekar agiert. Aber es gab einen Haken. Traditionelle Bibliothekare griffen nach einem einzelnen Moment in der Zeit (wie „9:00 Uhr“) und betrachteten alle Sensoren gleichzeitig. Sie waren großartig darin zu sehen, wie sich die Ampel von 9:00 auf 9:01 Uhr veränderte, aber sie waren schlecht darin, zu verstehen, wie die gesamte Geschichte der Ampel (die letzte Stunde) das Stromnetz beeinflusst hat.

Dann kam eine neue Idee namens iTransformer auf. Sie drehte das Skript um! Anstatt einen einzelnen Moment über alle Sensoren hinweg zu betrachten, betrachtete sie die gesamte Historie eines Sensors als einen einzelnen „Token“ (eine einzelne Informationseinheit). Dies war ein riesiger Gewinn für das Verständnis darüber, wie verschiedene Sensoren miteinander kommunizieren. Die Autoren dieser Arbeit, HaoChong Fu und Jian Xu, bemerkten jedoch ein Problem: Indem sie eine ganze Stunde an Daten in einen winzigen Token „quetschten“, verloren sie die winzigen, lokalen Details. Es war, als würde man die Zusammenfassung eines Romans lesen und dabei den spezifischen, lustigen Dialog in Kapitel 3 verpassen.

Die große Idee: MSC-OT
Um dies zu beheben, entwickelten die Autoren ein neues System namens MSC-OT (Multi-Scale Convolution with Optimal Transport). Denken Sie an das Geben des Bibliothekars einer Superbrille und eines sehr strengen Regelbuchs.

1. Die Superbrille (Multi-Scale Convolution)
Der Teil „Multi-Scale Convolution“ ist wie das Geben des Modells verschiedener Linsen, um die Daten zu betrachten.

• Stellen Sie sich vor, Sie schauen auf eine Menschenmenge. Eine Linse zoomt auf eine Gruppe von drei Personen ein, die sich unterhalten (ein kleines Muster). Eine andere Linse zoomt heraus, um eine ganze Reihe von Menschen zu sehen (ein größeres Muster).
• Die Arbeit verwendet zwei spezifische Linsen: eine, die auf 3x3 Blöcke von Daten schaut, und eine andere, die auf 5x5 Blöcke schaut.
• Dies ermöglicht es dem Modell, die „lokalen Strukturmuster“ zu erfassen – die kleinen Wellen und kurzfristigen Fluktuationen, die die vorherige „gequetschte“ Token-Methode übersehen hat. Es ist, als würde man erkennen, dass während die ganze Stadt beschäftigt ist, eine bestimmte Straßenecke einen einzigartigen Rhythmus hat, der für die Vorhersage wichtig ist.

2. Das strenge Regelbuch (Sinkhorn Optimal Transport)
Der zweite Teil, Sinkhorn Optimal Transport, ist die Art und Weise, wie das Modell ruhig bleibt, wenn es chaotisch wird.

• In der Realität sind Daten unordentlich. Manchmal hat ein Sensor einen Schluckauf und sendet einen massiven, falschen Ausschlag in den Zahlen (einen Ausreißer). Eine normale KI könnte in Panik geraten und sagen: „Oh nein, dieser riesige Ausschlag muss das Wichtigste sein!“ und alles andere ignorieren.
• Die Autoren verwenden eine mathematische Methode namens Optimal Transport (gelöst mit dem Sinkhorn-Algorithmus), die wie ein „Wackelbalance-Balken“ fungiert.
• Denken Sie an eine faire Lehrkraft, die eine Klasse bewertet. Wenn ein Schüler die lauteste Antwort gibt (der Ausreißer), gibt die Lehrkraft ihm nicht einfach alle Punkte. Stattdessen stellt die Lehrkraft sicher, dass die Punkte fair über die gesamte Klasse verteilt werden.
• Die Arbeit setzt einen spezifischen „Balance-Regler“ (genannt $\lambda$) auf 5,0. Diese Zahl ist so abgestimmt, dass sie die Dinge gerade so weit glättet, dass das Rauschen ignoriert wird, ohne das echte Signal zu verlieren. Sie zwingt das Modell, das Gesamtbild zu betrachten, anstatt sich von einem seltsamen Datenpunkt ablenken zu lassen.

Der magische Mixer (Adaptive Fusion)
Wie arbeiten diese drei Dinge zusammen? Die Basis-Attention (der ursprüngliche Bibliothekar), die Superbrille (Convolution) und das Regelbuch (Optimal Transport).

• Das Modell wählt nicht nur eines; es mischt sie alle.
• Es verwendet einen „lernbaren“ Mixer. Stellen Sie sich einen DJ mit drei Reglern vor. Zu Beginn stellt der DJ die Basis-Attention auf 0,7 (70 %), die Convolution auf 0,2 (20 %) und das Regelbuch auf 0,1 (10 %).
• Während des Trainings lernt das Modell, diese Regler anzupassen. Beispielsweise lernte das Modell auf dem ECL-Datensatz (Elektrizität), sich stärker auf die „Superbrille“ (Convolution) zu verlassen, indem es dieses Gewicht auf über 40 % steigerte, da dieser Datensatz mehr lokale Details benötigte. Auf dem Traffic-Datensatz hielt es die Basis-Attention hoch bei etwa 63 %.
• Dies beweist, dass die beste Mischung nicht für jede Stadt dieselbe ist; das Modell lernt das richtige Rezept für jede spezifische Aufgabe.

Hat es funktioniert?
Die Autoren testeten es auf fünf realen Datensätzen: ECL (Elektrizität), ETT (Energie), Exchange (Währung), Traffic und Weather (Wetter). Sie verglichen ihr neues Modell mit den besten Modellen der letzten Jahre, wie iTransformer, PatchTST und TimesNet.

Die Ergebnisse waren vielversprechend. Die Arbeit berichtet, dass MSC-OT die beste Genauigkeit (den niedrigsten Fehler) auf drei der fünf Datensätze (ECL, Traffic und Weather) erreichte und beim Exchange-Datensatz auf Platz zwei landete.

• Im Vergleich zu Crossformer verbesserte es die Leistung um 27 %.
• Im Vergleich zu TimesNet um 35 %.
• Im Vergleich zu Fedformer um 19 %.

Die Autoren führten auch „Ablationsstudien“ durch, was eine schicke Art zu sagen ist: „Lass uns Teile wegnehmen, um zu sehen, was passiert.“ Wenn sie die „Superbrille“ oder das „Regelbuch“ entfernten, wurde das Modell schlechter. Dies bestätigt, dass beide Teile notwendig sind und besser zusammenarbeiten als allein.

Was die Arbeit NICHT behauptet
Es ist wichtig anzumerken, was diese Arbeit nicht behauptet. Die Autoren argumentieren explizit gegen die Idee, dass die alte Art des Daten-Embeddings (alle Sensoren zu einem einzigen Zeitpunkt zu betrachten) der beste Ansatz ist. Sie legen auch nahe, dass es einfacher sein könnte, rein lineare Schichten (sehr einfache Mathematik) zu verwenden, falls man nicht die invertierte Embedding-Methode nutzt, aber sie argumentieren, dass mit den richtigen Erweiterungen (wie ihren) der Transformer-Ansatz immer noch überlegen ist, wenn es um komplexe, multivariate Aufgaben geht.

Das Urteil
Die Arbeit legt nahe, dass wir durch die Kombination einer Methode, um feine Details zu sehen (Multi-Scale Convolution), mit einer Methode, um Rauschen zu ignorieren und im Gleichgewicht zu bleiben (Optimal Transport), eine viel bessere Kristallkugel für die Vorhersage komplexer Systeme bauen können. Die Autoren sind zuversichtlich in ihre Ergebnisse, die konsistente Verbesserungen über verschiedene Zeithorizonte (von 96 bis 720 Schritten in die Zukunft) zeigen, präsentieren dies jedoch als praktische, effektive Lösung und nicht als magische Wunderwaffe, die jedes Problem des Universums löst. Sie haben sogar ihren Code auf GitHub geteilt, damit andere ihn ausprobieren können!