TSPulse: Tiny Pre-Trained Models with Disentangled Representations for Rapid Time-Series Analysis

Die Arbeit stellt TSPulse vor, eine Familie ultra-leichter, vortrainierter Modelle mit entkoppelten Repräsentationen, die durch ein neuartiges Pre-Training-Framework und hybride Maskierungsstrategien in der Lage sind, auf über 75 Datensätzen in verschiedenen Zeitreihenaufgaben wie Anomalieerkennung und Imputation state-of-the-art Zero-Shot-Leistungen zu erzielen und dabei deutlich größere Modelle zu übertreffen.

Das Wesentliche

🌊 TSPulse: Der kleine Zeitreise-Detektiv mit drei Brillen

Stell dir vor, du hast einen riesigen Berg von Daten, die wie eine unendliche Melodie klingen – das sind Zeitreihen. Das können Herzschläge, Börsenkurse, Temperaturwerte in einer Fabrik oder der Stromverbrauch eines Hauses sein.

Bisher waren die Computer-Modelle, die diese Melodien verstehen sollten, wie riesige, schwerfällige Elefanten. Sie waren extrem mächtig, brauchten aber enorme Rechenleistung (oft spezielle Grafikkarten) und waren schwer zu bewegen. Außerdem verstanden sie die Musik oft nur als ein einziges, undurchsichtiges Gemisch. Wenn sie nach einem bestimmten Fehler suchten, mussten sie das ganze Gemisch durchkauen, was langsam und ineffizient war.

TSPulse ist der neue Held in dieser Geschichte. Er ist winzig (nur 1 Million Parameter – das ist winzig im Vergleich zu den Giganten), aber er ist unglaublich schlau und schnell. Hier ist, wie er funktioniert, mit ein paar einfachen Vergleichen:

1. Die drei Brillen (Entwirrung)

Das größte Problem früherer Modelle war, dass sie alle Informationen in einen einzigen Sack warfen. TSPulse macht etwas Cleveres: Er gibt sich drei verschiedene Brillen, durch die er die Welt betrachtet.

• Brille 1: Der Zeit-Maler (Zeit-Domäne)
  Diese Brille sieht die Daten genau so, wie sie passieren: Punkt für Punkt. Sie erkennt plötzliche Spitzen oder Aussetzer. Analogie: Wie wenn du dir einen Film im Zeitraffer ansiehst und genau siehst, wann jemand stolpert.
• Brille 2: Der Klang-Analyst (Frequenz-Domäne)
  Diese Brille hört nicht auf die einzelnen Töne, sondern auf das Muster der Musik. Sie erkennt Rhythmen, Wiederholungen und Zyklen. Analogie: Wie wenn ein Musikproduzent den Song analysiert, um zu hören, ob der Bass zu oft kommt oder ob eine Melodie sich wiederholt.
• Brille 3: Der Philosoph (Semantik)
  Diese Brille ignoriert die Details und fragt: „Was ist das eigentlich für ein Muster?" Sie fasst die Essenz zusammen. Analogie: Wie wenn du jemandem sagst: „Das ist ein trauriger Song", ohne die einzelnen Noten zu nennen. Sie ist robust gegen Rauschen und kleine Fehler.

Frühere Modelle mussten raten, welche Brille sie gerade brauchen. TSPulse hat sie alle gleichzeitig an und kann sie je nach Aufgabe mischen.

2. Der Trainings-Trick (Hybrid-Masking)

Um diese Brillen zu schärfen, muss das Modell trainieren. Stell dir vor, du lernst eine Sprache, indem man dir Wörter aus einem Satz entfernt, und du musst sie erraten.

• Die alten Methoden: Sie rissen immer ganze Blöcke von Wörtern heraus (z. B. immer genau 5 Wörter hintereinander). Das war zu vorhersehbar. In der echten Welt gehen aber Daten oft chaotisch verloren (ein Sensor fällt aus, ein Kabel wackelt).
• Der TSPulse-Trick: Er nutzt eine Hybrid-Maskierung. Manchmal fehlen ganze Blöcke, manchmal nur ein paar einzelne Punkte, und manchmal ist es ein wilder Mix.
  • Vergleich: Statt nur zu üben, Lücken in einem Text zu füllen, wenn immer ganze Sätze fehlen, übt TSPulse, Lücken zu füllen, egal ob es ein einzelnes Wort ist oder ein ganzer Absatz. Das macht ihn viel robuster für die echte Welt.

3. Der schnelle Spezialist (Post-Hoc Fuser)

Wenn TSPulse eine Aufgabe bekommt, schaltet er nicht alle Brillen gleich laut an. Er nutzt kleine, clevere „Mischer" (Fuser), die entscheiden, welche Brille gerade wichtig ist.

• Bei Anomalie-Erkennung (Fehler finden): Er schaut sich die Zeit-Brille (plötzliche Spitzen) und die Klang-Brille (gebrochene Rhythmen) genau an. Wenn beide etwas Seltsames sehen, ist es ein Fehler.
• Bei Ähnlichkeitssuche (Muster finden): Er schaut fast nur durch die Philosophen-Brille. Er fragt: „Sieht das Muster im Großen und Ganzen ähnlich aus?", egal ob es ein bisschen verrauscht ist oder wo es genau beginnt.

4. Warum ist das so cool?

• Größe: TSPulse ist so klein, dass er auf einem ganz normalen Laptop oder sogar einem einfachen Server läuft. Du brauchst keine teuren Supercomputer-Grafikkarten.
• Geschwindigkeit: Da er so klein ist, ist er blitzschnell. Er kann in Echtzeit arbeiten, während die großen Modelle noch laden.
• Leistung: Das Überraschende ist: Obwohl er 10- bis 100-mal kleiner ist als die Riesen-Modelle, ist er in Tests oft besser. Er findet Fehler genauer, füllt Lücken besser und findet ähnliche Muster schneller.

Zusammenfassung in einem Satz

TSPulse ist wie ein schlanker, vielseitiger Detektiv, der nicht alles in einen Sack packt, sondern mit drei spezialisierten Brillen (Zeit, Klang, Sinn) die Welt betrachtet, durch chaotisches Training lernt und damit selbst auf kleinen Computern Aufgaben löst, für die früher riesige Maschinen nötig waren.

Es ist der Beweis, dass man nicht immer größer sein muss, um klüger zu sein – man muss nur die Informationen besser entwirren. 🕵️‍♂️⚡

Technische Zusammenfassung

1. Problemstellung

Zeitreihenanalyse-Aufgaben (wie Anomalieerkennung, Imputation, Klassifizierung und Ähnlichkeitssuche) profitieren oft von Signalen, die in verschiedenen Darstellungsräumen (z. B. Zeit vs. Frequenz) und auf unterschiedlichen Abstraktionsebenen (lokale Muster vs. globale Semantik) ausgedrückt werden.

• Herausforderung: Bestehende vortrainierte Zeitreihenmodelle (Foundation Models) entflechten diese heterogenen Signale nicht. Sie fassen sie in einem einzigen großen Embedding zusammen, was die Übertragbarkeit (Transferability) einschränkt und die direkte Nutzung im Zero-Shot-Modus erschwert.
• Limitationen aktueller Ansätze:
  • Größe: Viele State-of-the-Art-Modelle sind sehr groß (oft >100M Parameter), was den Einsatz in Echtzeit, auf ressourcenbeschränkten Geräten oder CPU-only-Umgebungen verhindert.
  • Maskierungs-Bias: Herkömmliche Pre-Training-Strategien nutzen oft feste Block-Maskierungen. Dies führt zu einem Bias, da reale Lücken in Zeitreihen oft unregelmäßig (punktuell oder variierende Längen) auftreten, was die Robustheit bei der Imputation mindert.
  • Entanglement: Das Lernen aller Informationen in einem einzigen Embedding macht es schwierig, spezifische Informationen (z. B. nur Frequenzmuster) für bestimmte Downstream-Aufgaben selektiv abzurufen.

2. Methodik: TSPulse Architektur

TSPulse ist eine Familie ultra-leichter vortrainierter Modelle (ca. 1 Million Parameter), die auf einer neuartigen Architektur und einem Pre-Training-Framework basieren.

A. Entflechtete Repräsentationen (Disentangled Representations)

Das Kernkonzept ist die Erzeugung von drei komplementären Embedding-Ansichten während des Pre-Trainings:

1. Temporale Embeddings: Für feinkörnige Zeitanalysen (lokale Muster).
2. Spektrale (FFT) Embeddings: Für frequenzbewusste Genauigkeit (periodische Muster).
3. Semantische Embeddings: Für hochleveliges Aufgabenverständnis (globale Strukturen).

Dies wird durch einen Multi-Objective-Head-Ansatz erreicht:

• Der Encoder verarbeitet sowohl zeit- als auch frequenzdomänenbasierte Eingaben.
• Ein Mini-Decoder (nur 10–20% der Größe des Encoders) erzeugt die Rekonstruktionen.
• Heads:
  • Full Reconstruction Heads: Rekonstruieren das Zeit- und Frequenzsignal separat (MSE-Verlust).
  • Semantic Heads: Trainieren Register-Token (Register Embeddings), um eine globale Frequenz-Signatur (Softmax über Log-Magnitude-Spektrum) vorherzusagen (Cross-Entropy-Verlust). Optional wird ein Next-Point-Prediction-Head hinzugefügt, um zeitliche Hinweise in die Semantik zu integrieren.

B. Hybrid-Masking-Strategie

Um den Bias durch feste Masken zu vermeiden, führt TSPulse eine Hybrid-Masking-Strategie ein:

• Statt nur ganzer Blöcke zu maskieren, werden innerhalb eines Samples sowohl vollständige Patches als auch einzelne Punkte mit variierenden Maskierungs-Raten zufällig ausgewählt.
• Dies simuliert realistischere Lückenmuster (z. B. Sensorausfälle) und verhindert Overfitting auf feste Maskenmuster.

C. Backbone und Effizienz

• Anstelle von schweren Transformer-Architekturen nutzt TSPulse TSMixer (ein auf MLP-Mixer basierendes, leichtgewichtiges Modell).
• Es werden Register-Token eingeführt (inspiriert von Vision Transformern), um die Trainingsstabilität zu erhöhen und semantische Informationen zu bündeln.
• Das Modell wird im univariaten Modus vortrainiert (Channel-Independence), wobei Channel-Mixing erst während des Fine-Tunings aktiviert wird, um Inter-Channel-Korrelationen zu lernen.

D. Post-Hoc Fuser für Downstream-Aufgaben

Da verschiedene Aufgaben unterschiedliche Kombinationen der entflechteten Ansichten benötigen, werden leichte Fuser-Module eingeführt:

• TSLens (für Klassifizierung): Ersetzt einfaches Pooling durch einen lernbaren Mechanismus, der selektiv auf feinkörnige Patch-Embeddings und hochlevelige Register-Token achtet.
• Multi-Head Triangulation (für Anomalieerkennung): Nutzt die Abweichungen der drei Heads (Zeit, Frequenz, Vorhersage), um Anomalien zu triangulieren. Dies ermöglicht die Erkennung verschiedener Anomalietypen (z. B. plötzliche Spitzen im Zeitbereich vs. Brüche der Periodizität im Frequenzbereich).

3. Wichtige Beiträge

1. Kompaktheit & Vielseitigkeit: Einführung einer ultra-leichten Familie von Modellen (1M Parameter) mit Unterstützung für Zero-Shot und schnelles Fine-Tuning auf vier diagnostischen Aufgaben.
2. Architektonische Neuheiten:
   • Entflechtetes Maskiertes Rekonstruieren über mehrere Räume und Abstraktionsebenen.
   • Einfache, aber effektive Post-Hoc-Fuser (MHT, TSLens).
   • Hybrid-Masking zur Minderung von Pre-Training-Bias.
3. Emergente Eigenschaften: Die entflechteten Embeddings zeigen unterschiedliche Robustheit gegenüber Störungen (z. B. sind semantische Embeddings robust gegenüber Zeitverschiebungen und Rauschen, während temporale Embeddings empfindlich darauf reagieren).
4. GPU-freie Bereitstellung: Das Modell ist so effizient, dass es auf CPUs in Echtzeit inferieren kann, ohne GPU-Ressourcen zu benötigen.

4. Ergebnisse

TSPulse wurde auf über 75 Datensätzen evaluiert und schlägt Modelle, die 10- bis 100-mal größer sind:

• Anomalieerkennung (TSB-AD Leaderboard):
  • +20% Verbesserung auf dem VUS-PR-Metriken-Score (Zero-Shot).
  • Rang 1 sowohl im univariaten als auch im multivariaten Setting.
• Ähnlichkeitssuche (Similarity Search):
  • +25% Verbesserung bei der Family-Match-Aufgabe und +40% bei der Fine-Grained-Match-Aufgabe im Vergleich zu MOMENT.
  • +100% Verbesserung gegenüber Chronos.
  • Deutlich robustere Embeddings gegenüber Zeitverschiebungen, Skalierungen und Rauschen.
• Imputation:
  • +50% Verbesserung im Zero-Shot-Modus gegenüber bestehenden vortrainierten Modellen unter hybriden Maskierungsbedingungen.
  • Übertrifft lineare Interpolation und statistische Methoden signifikant.
• Klassifizierung (UEA Archive):
  • +5–16% Genauigkeitsgewinn gegenüber SOTA-Modellen (wie Moment, UniTS, VQShape).
• Effizienz:
  • Inferenz auf der CPU ist 10–100-mal schneller als bei großen Baselines.
  • Modellgröße ist 40-mal kleiner als die der Vergleichsmodelle.

5. Bedeutung und Ausblick

TSPulse setzt einen neuen Maßstab für ultra-kompakte Zeitreihen-Foundation-Modelle.

• Praktische Relevanz: Durch die geringe Größe und die CPU-Kompatibilität ermöglicht TSPulse den Einsatz in Echtzeit-Anwendungen, Edge-Computing und Umgebungen mit begrenzten Ressourcen, wo große Modelle unpraktisch sind.
• Paradigmenwechsel: Das Paper zeigt, dass Entflechtung (Disentanglement) von Repräsentationen und spezialisierte Pre-Training-Strategien (Hybrid-Masking) wichtiger sind als reine Skalierung der Modellgröße.
• Zukunft: Die Arbeit ebnet den Weg für effiziente, robuste und vielseitige Zeitreihenmodelle, die ohne massive Rechenressourcen State-of-the-Art-Ergebnisse liefern. Sie demonstriert, dass kleine Modelle durch intelligente Architektur und Training die Lücke zu großen Foundation Models schließen können.

Das Modell und der Quellcode sind öffentlich unter https://huggingface.co/ibm-granite/granite-timeseries-tspulse-r1 verfügbar.