UTICA: Multi-Objective Self-Distllation Foundation Model Pretraining for Time Series Classification

Die Arbeit stellt UTICA vor, ein auf nicht-kontrastiver Selbst-Distillation basierendes Foundation-Modell für Zeitreihen, das durch die Kombination von Mantis-Tokenizer und Transformer-Architektur sowohl zeitliche Invarianz als auch feingranulare lokale Strukturen erfasst und damit neue State-of-the-Art-Ergebnisse auf den UCR- und UEA-Benchmarks erzielt.

Das Wesentliche

Stell dir vor, du möchtest ein Genie für Zeitreihen erschaffen – ein KI-Modell, das Muster in Daten wie Herzschlägen, Aktienkursen oder Sensordaten versteht, ohne dass ihm jemand tausende Beispiele mit Lösungen vorlegt. Das ist das Ziel des Papers über Utica.

Hier ist die Geschichte von Utica, erzählt wie ein Abenteuer im Land der Daten:

1. Das Problem: Der falsche Lehrer

Bisher haben KI-Modelle für Zeitreihen oft so gelernt wie ein Schüler, der für eine Prüfung lernt, indem er zwei Bilder vergleicht: „Dieses Bild ist ein Hund, das andere eine Katze. Sie sind unterschiedlich!" (Das nennt man kontrastives Lernen).

Das Problem bei Zeitreihen ist aber: Oft sehen sich zwei völlig verschiedene Datenströme auf den ersten Blick sehr ähnlich. Sie haben vielleicht die gleiche Frequenz oder ähnliche Schwankungen. Wenn die KI dann annimmt, „Oh, die sehen ähnlich aus, also müssen sie das Gleiche bedeuten", macht sie einen Fehler. Sie verwechselt Dinge, die eigentlich unterschiedlich sind. Es ist, als würde ein Lehrer sagen: „Weil beide Schüler rote Hemden tragen, sind sie Zwillinge."

2. Die Lösung: Utica – Der Meister des „Selbst-Verstehens"

Die Autoren von Utica haben sich eine andere Strategie ausgedacht, inspiriert von einem erfolgreichen KI-Modell namens DINOv2 (das ursprünglich für Bilder entwickelt wurde).

Stell dir Utica vor wie einen Kunststudenten und seinen strengen Meister:

• Der Schüler (Student): Er sieht die Daten in verschiedenen, verzerrten Versionen.
• Der Meister (Teacher): Er sieht die Daten in ihrer ursprünglichen, klaren Form.

Der Schüler muss lernen, das Wesentliche zu erkennen, egal wie die Daten „verunstaltet" wurden. Er darf nicht auf Details wie Rauschen oder kleine Verschiebungen achten, sondern muss das Ganze verstehen.

3. Die zwei Geheimwaffen (Die Trainingsmethoden)

Utica nutzt zwei spezielle Übungen, um das Gehirn des Schülers zu trainieren:

Übung A: Der „Fotocrop"-Trick (Multi-Crop)
Stell dir vor, du hast ein langes Video.

• Der Meister zeigt dem Schüler das ganze Video (oder große Teile davon).
• Der Schüler bekommt aber auch kleine, zufällige Ausschnitte (wie ein Zoom auf eine Handbewegung) und muss trotzdem verstehen, worum es im ganzen Video geht.
• Warum? Damit das Modell lernt, dass ein Muster auch dann ein Muster bleibt, wenn man nur einen kleinen Teil davon sieht oder wenn es schneller/schneller abläuft. Es lernt, das „Große Ganze" zu sehen, auch wenn nur ein „Flickenteppich" vorliegt.

Übung B: Das „Versteck-Spiel" (Masking)
Jetzt wird es noch kniffliger.

• Der Schüler bekommt das Video, aber einige Szenen sind schwarz gemalt (maskiert).
• Er muss raten, was in den schwarzen Lücken passiert ist, basierend auf dem Rest des Videos.
• Warum? Damit das Modell nicht nur oberflächliche Muster lernt, sondern die tiefe Struktur und den Zusammenhang zwischen den einzelnen Datenpunkten versteht. Es zwingt das Gehirn, die Lücken logisch zu füllen, statt nur zu schauen.

4. Die synthetische Fabrik

Bevor das Modell echte Daten (wie medizinische Messwerte) sieht, wird es in einer Fakten-Fabrik geschult. Die Autoren generieren Millionen von künstlichen Zeitreihen mit einem mathematischen Generator (einem „DAG").

• Die Analogie: Stell dir vor, ein Architekt baut erst eine riesige Bibliothek aus imaginären Gebäuden, bevor er echte Häuser baut. So kann das Modell unzählige Szenarien durchspielen, ohne dass echte, teure Daten benötigt werden.

5. Das Ergebnis: Der neue Champion

Als Utica dann auf die echten Prüfungen (die berühmten UCR- und UEA-Datenbanken) geschickt wurde, schnitt es besser ab als alle bisherigen Champions (wie Mantis oder Moment).

• Beim „Linear Probing" (Schnelltest): Utica gewann in 52 von 128 Fällen.
• Beim „Fine-Tuning" (Volltraining): Es gewann in 60 von 128 Fällen.

Fazit in einem Satz

Utica ist wie ein Detektiv, der nicht nur darauf achtet, wie zwei Fälle aussehen, sondern lernt, die Struktur eines Falls zu verstehen, indem er ihn in Stücke schneidet, Teile davon versteckt und trotzdem die Lösung findet. Dadurch wird er zum besten Allrounder für Zeitreihen, der Fehler in Maschinen, Krankheiten im Körper oder Trends in der Wirtschaft viel besser erkennt als seine Vorgänger.

Kurz gesagt: Utica lernt nicht durch Vergleichen von „Gut vs. Schlecht", sondern durch das Verstehen von „Was ist das Wesentliche, egal wie ich es betrachte?" – und das funktioniert hervorragend.

Technische Zusammenfassung

1. Problemstellung und Motivation

Die Entwicklung von Foundation Models für Zeitreihen (TSFMs) hat in den letzten Jahren erhebliche Fortschritte gemacht, wobei der Fokus oft auf Vorhersageaufgaben (Forecasting) lag. Die gängigen Trainingsziele hierfür sind autoregressive Modelle, überwachte Lernansätze oder Masked Reconstruction (ähnlich wie BERT). Diese Ziele priorisieren jedoch oft die lokale zeitliche Konsistenz auf Kosten der globalen semantischen Struktur, was für Klassifikationsaufgaben (z. B. Fehlererkennung, medizinische Diagnostik) nachteilig sein kann.

Ein weiterer Ansatz ist das kontrastive Lernen (z. B. Mantis), das positive Paare (Augmentierungen desselben Samples) zusammenbringt und negative Paare (andere Samples im Batch) trennt. Das Paper identifiziert hier ein fundamentales Problem:

• Das Risiko falscher Negatives: In der Zeitreihenanalyse teilen verschiedene Samples oft ähnliche Dynamiken, Frequenzinhalte oder zeitliche Strukturen. Die Annahme, dass alle anderen Samples im Batch semantisch unterschiedlich sind, ist daher oft falsch. Dies führt zu „falschen Negativen", die die Repräsentationsqualität verschlechtern und verhindern, dass das Modell global geteilte Muster lernt.

Ziel der Arbeit ist es, eine nicht-kontrastive, selbstüberwachte Methode zu entwickeln, die die Stärken von Computer-Vision-Ansätzen (insbesondere DINOv2) auf Zeitreihendaten überträgt, um robustere und allgemeinere Repräsentationen für Klassifikationsaufgaben zu lernen.

2. Methodik: UTICA

Das vorgestellte Framework UTICA adaptiert den DINOv2-Ansatz der Selbst-Distillation für Zeitreihen. Es kombiniert ein Student-Lehrer-Netzwerk mit multiplen Verlustfunktionen und Augmentierungsstrategien.

Architektur und Backbone

• Backbone: Das Modell nutzt einen Transformer-Encoder, der auf der Mantis-Architektur aufbaut.
• Tokenisierung: Univariate Zeitreihen werden durch drei komplementäre Transformationen repräsentiert:
  1. Die instanznormalisierte Reihe.
  2. Die erste Ableitung (zur Erfassung der Stationarität).
  3. Patch-Level-Codierungen von Mittelwert und Standardabweichung der Rohdaten.
• Diese Embeddings werden zu einer Dimension $D=256$ projiziert und durch 6 Transformer-Layer verarbeitet. Ein lernbarer [CLS]-Token dient als globale Repräsentation.

Trainings-Datensatz (Synthetische Daten)

In Anlehnung an frühere Arbeiten (Xie et al., 2025) wird das Modell vollständig auf synthetischen Daten vortrainiert. Diese werden mittels eines kausalen DAGs (Directed Acyclic Graph) generiert:

• Wurzelknoten werden aus Gauß-Prozessen ($GP$) mit nicht-stationären Mittelwerten und zufällig zusammengesetzten Kovarianzkernen gezogen.
• Nicht-Wurzelknoten werden als gewichtete Summe ihrer Elternknoten plus einer zufälligen Nichtlinearität generiert.
• Dies ermöglicht die Erzeugung einer großen Vielfalt an zeitlichen Mustern ohne Abhängigkeit von begrenzten realen Datensätzen.

Selbst-Distillation Framework (Student-Lehrer)

• Student & Teacher: Zwei Netzwerke mit identischer Architektur. Der Teacher wird nicht durch Gradientenabstieg, sondern durch ein Exponential Moving Average (EMA) der Student-Gewichte aktualisiert.
• Verlustfunktionen (Multi-Objective): Der Gesamtverlust $L$ setzt sich aus drei Komponenten zusammen:
  1. DINO-Loss (Global & Lokal):
     • Ziel: Invarianz gegenüber zeitlicher Skalierung und lokalem Rauschen.
     • Strategie: Multi-Crop-Augmentierung.
       • Global: Zwei zufällige Crops (40–100% der Länge), auf $T=512$ skaliert.
       • Lokal: Acht kleine Crops (10–40% der Länge), auf $T_{local}=256$ skaliert.
     • Der Student sieht alle Augmentierungen (Global + Lokal), der Teacher nur die Globalen.
     • Der Loss minimiert die Kreuzentropie zwischen den [CLS]-Token-Verteilungen von Student und Teacher.
  2. iBOT-Loss (Dichte lokale Features):
     • Ziel: Lernen von feinkörnigen lokalen Strukturen.
     • Strategie: Patch-Level-Masking auf den globalen Views des Students. Ein zufälliger Anteil (10–70%) der Patches wird maskiert.
     • Der Student muss die Verteilung der maskierten Patches vorhersagen, basierend auf dem unmaskierten Signal des Teachers.
  3. KoLeo-Regularizer:
     • Ziel: Verhinderung von Modellkollaps (Collapse) und Förderung einer gleichmäßigen Verteilung der Features im Batch.
     • Methode: Anwendung des Kozachenko-Leonenko-Schätzers für Differentialentropie auf die [CLS]-Tokens des Students vor der Projektion.

3. Wichtige Beiträge

1. Adaption von DINOv2 für Zeitreihen: Erster Nachweis, dass die reine Selbst-Distillation (ohne explizite negative Beispiele) effektiv auf Zeitreihen-Foundation-Modelle übertragbar ist und die Probleme kontrastiver Methoden (falsche Negatives) umgeht.
2. Hybride Augmentierungsstrategie: Die Kombination aus Multi-Crop (für globale Invarianz) und Patch-Masking (für lokale Detailtreue) wird als ideal für zeitliche Daten identifiziert. Dies ermöglicht das Lernen von Darstellungen, die robust gegenüber Skalierung, partieller Beobachtbarkeit und zeitlichen Verschiebungen sind.
3. Synthetisches Vortraining: Demonstration, dass Foundation Models für Zeitreihen effizient ausschließlich auf synthetischen, kausal generierten Daten vortrainiert werden können, um State-of-the-Art-Ergebnisse auf realen Benchmarks zu erzielen.
4. Multi-Objective Loss Design: Die erfolgreiche Integration von DINO, iBOT und KoLeo in einem einzigen Framework für Zeitreihen.

4. Experimentelle Ergebnisse

Die Evaluation erfolgte auf den Standard-Benchmarks UCR (128 univariate Datensätze) und UEA (21 multivariate Datensätze).

• Vergleichsbaselines: UTICA wurde gegen führende Modelle verglichen:

  • Mantis (kontrastiv, 8M Parameter)
  • Moment (Masked Autoencoder, 385M Parameter)
  • NuTime (Selbst-Distillation, 2M Parameter)
  • GPT4TS (teilweise feinabgestimmt)

• Leistung (Linear Probing & Fine-Tuning):

  • UCR (Linear Probing): UTICA erreichte eine durchschnittliche Genauigkeit von 0,794 (52 Siege von 128 Datensätzen), gefolgt von Mantis (0,792) und Moment (0,779).
  • UCR (Fine-Tuning): UTICA erreichte 0,857 (60 Siege), deutlich vor Mantis (0,850).
  • UEA: UTICA erzielte in beiden Settings den besten durchschnittlichen Rang (1,60 bei Linear Probing, 1,50 bei Fine-Tuning).

• Ablationsstudie:

  • Die Kombination aus iBOT und DINO (mit KoLeo) übertraf signifikant die einzelnen Komponenten (iBOT allein: 0,735; DINO allein: 0,747; Kombination: 0,794). Dies bestätigt die Komplementarität der Verlustfunktionen.
  • UTICA übertraf das reine Selbst-Distillations-Modell data2vec um 1,38 % auf dem UCR-Datensatz.

5. Bedeutung und Ausblick

Die Arbeit zeigt, dass nicht-kontrastive Methoden eine vielversprechende und komplementäre Strategie für das Vortraining von Zeitreihen-Foundation-Modellen darstellen. Sie lösen das Problem der falschen Negativen, das bei kontrastiven Ansätzen in Zeitreihen häufig auftritt, und fördern das Lernen globaler semantischer Strukturen, die für Klassifikationsaufgaben entscheidend sind.

Die Ergebnisse legen nahe, dass die Architektur und die Trainingsziele aus dem Computer-Vision-Bereich (DINOv2) erfolgreich auf den zeitlichen Bereich übertragen werden können. Zukünftige Arbeiten könnten alternative Backbone-Architekturen erforschen und die Skalierung der Modellparameter weiter vorantreiben.

Zusammenfassend stellt UTICA einen neuen State-of-the-Art für Zeitreihenklassifikation dar, der durch eine innovative Kombination aus synthetischem Vortraining, Multi-Crop-Augmentierung und Selbst-Distillation erreicht wird.