Disentangled Mode-Specific Representations for Tensor Time Series via Contrastive Learning

Die Arbeit stellt MoST vor, eine neuartige Methode zum Erlernen entkoppelter, modusspezifischer und modus-invarianter Repräsentationen für Tensor-Zeitreihen mittels kontrastiven Lernens, die in Experimenten die State-of-the-Art-Methoden bei Klassifizierung und Vorhersage übertrifft.

Das Wesentliche

Stellen Sie sich vor, Sie beobachten eine riesige, lebendige Stadt. Nicht nur die Menschen, sondern auch die Autos, die Lichter und das Wetter ändern sich jede Sekunde. Um diese Stadt zu verstehen, müssten Sie drei Dinge gleichzeitig im Blick behalten: Wo etwas passiert (Standort), Was passiert (z. B. ein bestimmtes Ereignis) und Wann es passiert (Zeit).

In der Datenwissenschaft nennen wir diese Art von komplexen Daten einen „Tensor-Zeitreihen-Datensatz". Das klingt kompliziert, ist aber im Grunde wie ein mehrdimensionales Fotoalbum, das sich ständig weiterdreht.

Das Problem: Herkömmliche Methoden versuchen, dieses riesige Fotoalbum einfach nur flach zu drücken oder in kleine Teile zu zerlegen. Dabei gehen wichtige Zusammenhänge verloren. Es ist, als würde man versuchen, ein 3D-Modell eines Hauses zu verstehen, indem man nur die 2D-Fotos der Wände betrachtet – man verpasst die Struktur.

Hier kommt MoST ins Spiel, die neue Methode aus dem Papier. Man kann sich MoST wie einen genialen Detektiv vorstellen, der ein neues Werkzeug entwickelt hat, um diese komplexen Daten zu entschlüsseln.

1. Der Trick: Das „Schneiden" des Kuchens (Tensor Slicing)

Stellen Sie sich Ihren Daten-Tensor als einen riesigen, mehrschichtigen Schichtkuchen vor.

• Die Schichten sind die verschiedenen Kategorien (z. B. Standorte und Suchbegriffe).
• Die Zeit ist der Moment, in dem der Kuchen geschnitten wird.

Frühere Methoden haben versucht, den ganzen Kuchen auf einmal zu essen. MoST hingegen nimmt ein Messer und schneidet den Kuchen in einzelne Scheiben entlang der verschiedenen Kategorien.

• Es schneidet alle Scheiben, die nur einen bestimmten Standort betreffen.
• Es schneidet alle Scheiben, die nur einen bestimmten Suchbegriff betreffen.

Durch dieses „Schneiden" kann der Detektiv jede Scheibe einzeln untersuchen. So erkennt er Muster, die nur in dieser spezifischen Kategorie existieren (z. B. „In Kalifornien suchen alle nach 'Surfbrettern'"). Das nennt man modenspezifische Merkmale.

2. Das Geheimnis: Der „Spiegel" und der „Klatsch" (Contrastive Learning)

Aber MoST macht noch mehr. Es nutzt eine Technik namens „Kontrastives Lernen". Stellen Sie sich das wie ein Spiegel-Training vor:

• Der Spiegel (Modus-invariante Merkmale): MoST schaut sich die Scheiben aus verschiedenen Kategorien an (z. B. die Scheibe für „Surfbretter" und die für „Wintersport"). Es stellt fest: „Hey, obwohl die Themen unterschiedlich sind, passiert das Gleiche zur Weihnachtszeit!" Beide gehen hoch, wenn Weihnachten kommt. MoST lernt also, was in allen Kategorien gleich ist (die saisonalen Muster).
• Der Klatsch (Augmentation): Um sicherzugehen, dass MoST wirklich alles versteht, nimmt es die Daten und schneidet sie zufällig etwas anders zu (wie wenn man ein Foto leicht verschiebt oder zuschneidet). Es fragt sich dann: „Ist das hier noch das Gleiche?" Wenn ja, lernt das System, dass es robust ist und nicht auf Kleinigkeiten reagiert.

3. Das Ergebnis: Ein getrenntes, aber vollständiges Verständnis

Das Geniale an MoST ist, dass es die Daten entwirrt (disentangled).
Stellen Sie sich vor, Sie hören ein Orchester. Frühere Methoden hörten nur einen lauten, unverständlichen Brei aus Musik. MoST hingegen kann die Geigen von den Trompeten trennen.

• Es versteht die Geigen (Modus 1) genau.
• Es versteht die Trompeten (Modus 2) genau.
• Und es versteht, wie sie zusammen harmonieren (die Zeit).

Warum ist das wichtig?

In der echten Welt hilft das uns bei Dingen wie:

• Vorhersagen: Wenn wir wissen, wie sich Suchanfragen in verschiedenen Ländern und zu verschiedenen Themen verhalten, können wir besser vorhersagen, was als Nächstes passieren wird (z. B. bei Verkehr oder Epidemien).
• Klassifizierung: Wir können automatisch erkennen, ob eine Aktivität „normal" oder „verdächtig" ist, indem wir die feinen Unterschiede in den Datenmustern erkennen.

Zusammenfassend:
MoST ist wie ein neuer, hochintelligenter Übersetzer für die Sprache der Daten. Statt die Daten als einen undurchdringlichen Block zu sehen, schneidet es sie in verständliche Teile, lernt die Besonderheiten jedes Teils und erkennt gleichzeitig die gemeinsamen Rhythmen, die alle Teile verbinden. Dadurch wird es viel besser darin, die Zukunft vorherzusagen und Muster zu erkennen als alle bisherigen Methoden.

Technische Zusammenfassung

1. Problemstellung

Tensor-Zeitreihen (Tensor Time Series, TTS) sind komplexe Datenstrukturen, die in vielen Domänen wie Suchmaschinen, Umweltmonitoring und Finanzanalysen vorkommen. Ein TTS besteht aus mehreren Modi (Dimensionen), wobei einer davon die Zeit ist und die anderen nicht-temporalen Modi (z. B. Standorte, Suchanfragen, Sensoren) verschiedene Variablen repräsentieren.

Die Herausforderung beim Lernen von Repräsentationen aus TTS-Daten liegt in der Komplexität der Struktur:

• Intra-Modus-Abhängigkeiten: Variablen innerhalb desselben nicht-temporalen Modus (z. B. die Beziehung zwischen verschiedenen Suchanfragen) weisen spezifische Interaktionen auf.
• Temporale Abhängigkeiten: Es gibt gemeinsame zeitliche Muster (z. B. Saisonalität), die über alle Modi hinweg invariant sind.
• Limitationen bestehender Methoden: Herkömmliche Tensor-Zerlegungen (Tucker/CP) zielen oft nur auf eine genaue Rekonstruktion ab und vernachlässigen zeitliche Abhängigkeiten. Bestehende Contrastive-Learning-Ansätze für Zeitreihen (wie TS2Vec) behandeln oft alle Modi gleich oder ignorieren die spezifische Tensor-Struktur, wodurch sie sowohl die intra-modalen als auch die gemeinsamen zeitlichen Merkmale nicht optimal erfassen können.

2. Methodik: MoST

Die Autoren schlagen MoST (Mode-Specific Representations for Tensor Time Series) vor, eine neue Methode zur Darstellungslernen, die speziell für die TTS-Struktur entwickelt wurde. Das Modell besteht aus drei Hauptkomponenten und nutzt einen kontrastiven Lernrahmen:

A. Tensor-Slicing (Tensor-Zerlegung)

Um die Komplexität zu reduzieren und die Struktur zu nutzen, wird der TTS in Mengen von „Modus-Slices" zerlegt.

• Ein TTS der Ordnung 3 (Modus 1, Modus 2, Zeit) wird in zwei Sätze von Slices aufgeteilt:
  • Modus-1-Tensor: Eine Menge von Slices, die entlang des zweiten Modus geschnitten sind (jeder Slice ist eine multivariate Zeitreihe des ersten Modus).
  • Modus-2-Tensor: Eine Menge von Slices, die entlang des ersten Modus geschnitten sind.
• Dies ermöglicht es, die Intra-Modus-Abhängigkeiten jedes einzelnen Modus separat zu modellieren.

B. Slice Feature Encoder & Aggregator

• Slice Feature Encoder: Jeder Slice wird unabhängig in einen latenten Raum projiziert. Dies geschieht durch einen Embedding-Layer und einen kausalen Faltungs-Encoder (Causal Convolutional Encoder). Dieser Encoder erfasst sowohl die intra-modalen Interaktionen als auch die zeitlichen Abhängigkeiten über verschiedene Zeitskalen.
• Aggregator: Die latenten Darstellungen aller Slices eines bestimmten Modus werden durch Pooling (Durchschnitt oder Maximum) zusammengefasst, um eine modusspezifische Repräsentation zu erhalten.
• Das Endergebnis sind entwirrte (disentangled) Repräsentationen: $V = [V^{(d1)}; V^{(d2)}]$, wobei $V^{(d1)}$ die Modus-1-spezifischen Merkmale und $V^{(d2)}$ die Modus-2-spezifischen Merkmale enthält.

C. Contrastive Learning Framework

Die Parameter werden durch eine Kombination aus zwei Verlustfunktionen optimiert, die auf dem InfoNCE-Prinzip basieren:

1. Instance Loss (Modus-spezifisch):
   • Ziel: Lernen von modusspezifischen Merkmalen.
   • Methode: Zufälliges Cropping (Random Cropping) erzeugt zwei Augmentierungen desselben Tensors. Repräsentationen desselben Zeitstempels in verschiedenen Augmentierungen werden als positive Paare behandelt, während andere Zeitreihen als negative Paare dienen.
2. Mode Loss (Modus-invariant):
   • Ziel: Lernen von gemeinsamen, modus-invarianten Merkmalen (z. B. globale Saisonalität).
   • Methode: Die Repräsentationen desselben Zeitstempels aus unterschiedlichen Modus-Slices (z. B. $V^{(d1)}$ und $V^{(d2)}$ desselben Samples) werden als positive Paare behandelt. Dies zwingt das Modell, die gemeinsamen zeitlichen Muster über die verschiedenen Modi hinweg zu erkennen.

Der Gesamtverlust ist eine gewichtete Summe: $L = L_I + \alpha(L_M^{(d1)} + L_M^{(d2)})$.

3. Hauptbeiträge

• Neue Architektur: MoST ist die erste Methode, die Contrastive Learning (CL) speziell für Tensor-Zeitreihen nutzt, um entwirrte, modusspezifische Repräsentationen zu lernen.
• Tensor-Slicing-Ansatz: Einführung einer Zerlegungsmethode, die es erlaubt, intra-modale Abhängigkeiten separat zu erfassen, bevor sie zu einer gemeinsamen Darstellung aggregiert werden.
• Dualer Verlust: Entwicklung einer speziellen Verlustfunktion, die sowohl modusspezifische als auch modus-invariante Merkmale durch den Kontrast zwischen Slices und Augmentierungen lernt.
• Umfassende Evaluation: Validierung auf 11 realen Datensätzen für Klassifizierungs- und Prognoseaufgaben.

4. Ergebnisse

Die Experimente wurden auf 11 realen Datensätzen (u. a. Google Trends, Umweltmessdaten, Bewegungsdaten) durchgeführt und mit State-of-the-Art-Methoden verglichen (CoST, TS2Vec, TS-TCC, ATD, etc.).

• Klassifizierung: MoST übertraf alle Baselines (CoST, TS2Vec, ATD) signifikant in der Genauigkeit (Acc). Beispielsweise erreichte MoST auf dem „Daily"-Datensatz 72,6 % Genauigkeit im Vergleich zu 68,8 % bei TS2Vec.
• Prognose (Forecasting): MoST erzielte konsistent niedrigere Fehlerwerte (MSE, MAE) über verschiedene Vorhersagehorizonte (2, 8, 32 Wochen) als reine Zeitreihen-Methoden und Tensor-Zerlegungsansätze.
• Ablationsstudie:
  • Das Entfernen der Tensor-Slicing-Struktur (z. B. Behandlung als flache Zeitreihe) führte zu starken Leistungseinbußen.
  • Beide Verlustkomponenten (Instance und Mode Loss) waren essenziell für die Leistung.
  • Die getrennte Optimierung der Repräsentationen durch CL war effektiver als direktes end-to-end Training mit einem MSE-Verlust für die Prognose.
• Visualisierung (t-SNE): Im Gegensatz zu CoST und TS2Vec konnte MoST verschiedene intra-modale Abhängigkeiten im latenten Raum klar voneinander trennen, was die Wirksamkeit des „Disentangling"-Ansatzes beweist.

5. Bedeutung und Fazit

MoST adressiert eine kritische Lücke im Bereich des maschinellen Lernens für komplexe multidimensionale Zeitreihen. Indem es die inhärente Struktur von Tensoren nutzt, anstatt sie als einfache Matrizen oder Vektoren zu behandeln, ermöglicht es das Lernen von reichhaltigeren und aussagekräftigeren Repräsentationen.

Die Methode ist nicht nur für spezifische Aufgaben (wie Prognose) optimiert, sondern generiert generische Repräsentationen, die für verschiedene Downstream-Aufgaben (Klassifizierung, Imputation, Prognose) verwendet werden können. Dies bietet ein neues Paradigma für die Analyse von Daten aus Bereichen wie IoT, Umweltwissenschaften und digitalen Plattformen, wo Daten natürlicherweise in tensorieller Form vorliegen. Der Code ist öffentlich verfügbar, was die Reproduzierbarkeit und weitere Forschung fördert.