Adapt Data to Model: Adaptive Transformation Optimization for Domain-shared Time Series Foundation Models

Die Arbeit stellt TATO vor, ein datenzentriertes Framework, das einen einzelnen eingefrorenen vortrainierten Zeitreihen-Foundation-Modell durch eine optimierte Transformationspipeline an verschiedene Zielbereiche anpasst und dabei die Vorhersagegenauigkeit signifikant verbessert, ohne neue Modellinstanzen zu erfordern.

Das Wesentliche

Stell dir vor, du hast einen Super-Koch, der in einer riesigen Küche trainiert wurde. Dieser Koch (das ist unser "Large Time Series Model" oder LTM) kann theoretisch jede Art von Gericht kochen: von Pizza über Sushi bis hin zu vegetarischen Gerichten. Er ist extrem talentiert und kennt die Grundregeln des Kochens perfekt.

Aber hier ist das Problem: Wenn du ihm einen ganz spezifischen Auftrag gibst – zum Beispiel, ein traditionelles, sehr würziges sibirisches Gericht zu kochen – stolpert er manchmal. Warum? Weil er zwar die Grundregeln kennt, aber nicht genau weiß, wie man mit den besonderen Zutaten dieses einen Gerichts umgehen muss. Vielleicht ist das Fleisch zu zart, oder die Gewürze sind zu stark. Wenn man ihn jetzt für jedes einzelne Gericht neu ausbilden würde (das nennt man "Fine-Tuning"), würde das ewig dauern, extrem teuer sein und er würde dabei vielleicht seine Fähigkeit verlieren, andere Gerichte gut zu kochen.

Die Lösung: TATO (Der clevere Küchen-Assistent)

Die Forscher aus dieser Arbeit haben eine geniale Idee entwickelt, die sie TATO nennen. Statt den Super-Koch neu zu schulen, geben sie ihm einen intelligenten Küchen-Assistenten an die Seite, der die Zutaten bevor sie zum Kochen kommen, perfekt vorbereitet.

Hier ist, wie das funktioniert, einfach erklärt:

1. Das Problem: "Ein Modell für alle" scheitert oft

Der Super-Koch (das KI-Modell) ist "eingefroren". Das bedeutet, wir verändern ihn nicht. Aber die Daten (die Zutaten) aus der echten Welt sind chaotisch.

• Manchmal sind die Daten verrauscht (wie wenn jemand versehentlich Salz in den Kaffee kippt).
• Manchmal sind die Zahlen zu groß oder zu klein (wie wenn man Zutaten in Gramm statt in Kilogramm misst).
• Manchmal gibt es seltsame Ausreißer (wie ein ganzes Huhn in einer Suppe, das nicht dorthin gehört).

Wenn der Koch diese rohen, chaotischen Daten direkt bekommt, macht er Fehler.

2. Die Lösung: "Die Daten an das Modell anpassen"

TATO ist wie ein chirurgischer Küchen-Assistent, der genau weiß, was der Koch braucht. Bevor die Daten zum Koch kommen, führt TATO drei Dinge durch:

• Der "Schneider" (Context Slicing): Er schneidet die Zutaten so zu, dass sie genau in den Topf des Kochs passen. Wenn der Koch nur die letzten 10 Minuten braucht, schneidet er den Rest ab oder fügt mehr hinzu.
• Der "Waagen-Meister" (Scale Normalization): Er stellt sicher, dass alle Zutaten auf der gleichen Skala sind. Wenn eine Zutat riesig ist und eine winzig, macht er sie vergleichbar, damit der Koch sie richtig einschätzen kann.
• Der "Fehler-Korrigierer" (Outlier Correction): Er entfernt seltsame Dinge. Wenn ein Sensor einen falschen, extrem hohen Wert meldet (wie ein riesiger Felsbrocken in der Suppe), erkennt er das und ersetzt es durch einen normalen Wert.

3. Der "Probier-Lauf" (Optimierung)

Wie weiß TATO, welche Kombination am besten ist? Er probiert es aus!
Stell dir vor, TATO hat einen riesigen Werkzeugkasten. Er nimmt eine kleine Probe der Zutaten (nur 2% der Daten!), probiert verschiedene Kombinationen von Zuschneiden, Wiegen und Bereinigen aus und gibt sie dem Super-Koch.

• "Hey Koch, probier mal diese Version mit geschnittenen Zutaten." -> Ergebnis: Gut!
• "Probier mal diese Version mit bereinigten Ausreißern." -> Ergebnis: Noch besser!

TATO sucht automatisch nach der perfekten Kombination, die dem Koch am meisten hilft. Das ganze dauert nur 2 Minuten – viel schneller, als den Koch neu zu trainieren.

4. Der "Qualitäts-Check" (Zwei-Stufen-Ranking)

Damit TATO nicht irgendeine zufällige Lösung wählt, die nur bei einem Test gut aussieht, nutzt er einen strengen Qualitäts-Check:

1. Stabilitäts-Test: Er schaut, ob die Lösung bei vielen verschiedenen Tests (auch bei verrückten, künstlich erzeugten Szenarien) funktioniert. Wenn sie nur bei einem Test gut ist, wird sie verworfen.
2. Finale Auswahl: Von den besten Kandidaten wählt er den aus, der den geringsten Fehler macht.

Warum ist das so toll? (Die Ergebnisse)

In ihren Tests haben die Forscher gezeigt, dass dieser Ansatz Wunder wirkt:

• Die Vorhersagen wurden im Durchschnitt 13,6 % genauer.
• In den schlimmsten Fällen (wo der Koch vorher total versagt hat) wurde die Genauigkeit um bis zu 65 % verbessert!
• Es ist extrem schnell und billig, weil man den teuren Super-Koch nicht neu trainieren muss.

Zusammenfassung in einem Satz

Statt einen genialen, aber starren Koch neu zu lehren, wie man mit verschiedenen Zutaten umgeht, geben wir ihm einen super-smarten Assistenten, der die Zutaten so zubereitet, dass der Koch sie perfekt verarbeiten kann – und das alles in wenigen Minuten.

Das ist die Essenz von TATO: Daten anpassen, statt das Modell zu verändern.

Technische Zusammenfassung

1. Problemstellung

Große Zeitreihenmodelle (Large Time Series Models, LTMs) haben sich als leistungsfähige Werkzeuge für universelle Vorhersagen etabliert. Sie versprechen Zero-Shot-Fähigkeiten, bei denen ein einziges vortrainiertes Modell auf diverse Downstream-Domänen angewendet werden kann, ohne nachtrainiert zu werden.

Das Hauptproblem liegt jedoch in der inhärenten Vielfalt und Nicht-Stationarität realer Zeitreihendaten. Unterschiedliche Domänen (z. B. Wetter, Energieverbrauch, Börsenkurse) weisen stark variierende zeitliche Merkmale auf. Ein einzelnes, eingefrorenes (frozen) LTM stößt oft an Grenzen, da es Schwierigkeiten hat, sich an diese spezifischen Domänenmerkmale anzupassen.

• Der aktuelle Ansatz: Das Feinabstimmen (Fine-Tuning) neuer LTM-Instanzen für jede Domäne verbessert zwar die Genauigkeit, zerstört aber die Generalisierungsfähigkeit des Modells und verursacht prohibitive Rechenkosten.
• Die Lücke: Die Daten selbst werden oft als statisch betrachtet, während der Fokus rein auf der Modelloptimierung liegt. Die Potenziale von Daten-Transformationen zur Anpassung an das Modell wurden bisher unzureichend erforscht.

2. Methodik: TATO (Time-series Adaptive Transformation Optimization)

Die Autoren schlagen einen neuen Paradigmenwechsel vor: „FrozenForecasting". Dabei bleibt das vortrainierte LTM komplett eingefroren (keine Parameteränderung), und stattdessen wird eine adaptive Transformation der Eingabedaten optimiert, um sie besser an das Modell anzupassen.

Das Kernwerkzeug ist TATO, ein datenzentriertes Framework, das folgende Komponenten umfasst:

A. Suchraum der Transformationen

TATO definiert einen Suchraum für Vorverarbeitungs-Pipelines, der aus drei Hauptkategorien von Operatoren besteht:

1. Kontext-Slicing (Context Slicing): Passt den Lookback-Horizont an (z. B. durch „Trimmer") oder ändert die Abtastrate (Downsampling/„Sampler"), um Periodizitäten zu betonen oder Rauschen zu reduzieren.
2. Skalennormalisierung (Scale Normalization): Passt den Wertebereich an (z. B. Standardisierung, Robust-Scaler) oder induziert Stationarität durch Differenzbildung („Differencer") oder logarithmische Transformationen („Warper").
3. Ausreißerkorrektur (Outlier Correction): Identifiziert und korrigiert Anomalien vor der Inferenz (z. B. mittels $k$-Sigma oder IQR) und nutzt Interpolation oder Glättung („Denoiser", „Imputator", „Clipper").

B. Optimierungsprozess

Die Suche nach der optimalen Pipeline wird als Hyperparameter-Optimierungsproblem formuliert:

• Datenvorbereitung: Um Robustheit zu gewährleisten, werden während der Suche diverse Daten-Augmentierungen (z. B. Flipping, Warping, Rauschen, Verschiebungen) auf die historischen Trainingsdaten angewendet. Dies simuliert verschiedene Verteilungsverschiebungen.
• Suchalgorithmus: Ein Black-Box-Optimizer (basierend auf Bayesian Optimization, speziell TPE – Tree-structured Parzen Estimator) sucht nach der besten Kombination von Operatoren und deren Parametern.
• Zwei-Stufen-Bewertung (Two-Stage Ranking):
  1. Pareto-Filterung: Kandidaten-Pipelines werden auf den augmentierten Daten evaluiert. Pipelines, die bei bestimmten Metriken schlecht abschneiden, werden eliminiert, um Risiken zu minimieren.
  2. Gewichtete Rangfolge: Die verbleibenden Kandidaten werden auf den originalen (nicht augmentierten) Validierungsdaten bewertet. Die finale Auswahl erfolgt durch eine gewichtete Summe der Ränge verschiedener Fehlermetriken (MSE, MAE, MAPE, etc.), wobei MSE und MSPE höher gewichtet werden.

3. Wichtige Beiträge

1. Neues Paradigma (FrozenForecasting): Einführung eines Ansatzes, der ein einziges, eingefrorenes LTM für alle Domänen nutzt, indem die Daten adaptiert werden, anstatt das Modell für jede Domäne neu zu trainieren.
2. Spezialisierter Suchraum: Entwicklung eines kompakten, aber ausdrucksstarken Suchraums mit neun spezifischen Operatoren, die die kritischen Aspekte Kontext, Skala und Ausreißer abdecken.
3. Robustes Optimierungsframework: TATO integriert Daten-Augmentierung und einen zweistufigen Pareto-basierten Ranking-Mechanismus, um Pipelines zu finden, die nicht nur auf spezifischen Metriken, sondern über verschiedene Szenarien hinweg robust sind.

4. Ergebnisse

Die Autoren führten umfangreiche Experimente mit acht gängigen Zeitreihendatensätzen (u. a. ETT, Electricity, Exchange, Traffic, Weather) und mehreren State-of-the-Art LTMs (Timer, Moirai, Chronos) durch.

• Leistungssteigerung: TATO verbessert die Vorhersagegenauigkeit konsistent und signifikant.
  • Durchschnittliche Reduktion des MSE: 13,6 %.
  • Maximale Reduktion des MSE: 65,4 % (auf dem Exchange-Datensatz).
  • In 84,3 % der getesteten Szenarien (192 Kombinationen aus Modellen, Datensätzen und Vorhersagehorizonten) übertraf TATO das Baseline-Modell ohne Transformation.
• Effizienz: Die Optimierung ist extrem schnell. Der Prozess dauert typischerweise unter 2 Minuten (oft sogar unter 120 Sekunden), da keine Modellparameter aktualisiert werden müssen. Dies ist deutlich effizienter als Fine-Tuning oder Test-Time-Adaptation (TTA) mit Training.
• Komplementarität zu Fine-Tuning: Selbst auf Modellen, die bereits universell auf allen Domänen feinabgestimmt wurden, konnte TATO die Leistung weiter verbessern (durchschnittlich +7,3 % MSE-Verbesserung), was zeigt, dass Datenanpassung und Parameteranpassung komplementäre Ansätze sind.

5. Bedeutung und Fazit

Das Paper unterstreicht die Bedeutung eines datenzentrierten Ansatzes im Zeitalter großer Modelle. TATO demonstriert, dass die Anpassung von Daten an ein festes Modell eine praktikable, kosteneffiziente und hochwirksame Alternative zum ständigen Nachtrainieren von Modellen darstellt.

• Praktische Relevanz: Die Methode ermöglicht den Einsatz großer, vortrainierter Modelle in realen Szenarien mit begrenzten Ressourcen und strengen Latenzanforderungen, ohne die Generalisierungsfähigkeit zu opfern.
• Zukunftsausblick: Die Autoren sehen Potenzial in der Erweiterung auf multivariate Szenarien, die Anpassung der Operatoren an spezialisierte Domänen und die Integration von Test-Time-Adaptation.

Zusammenfassend bietet TATO einen robusten Weg, um das volle Potenzial eingefrorener Zeitreihen-Foundation-Modelle zu erschließen, indem es die Daten intelligent transformiert, um sie mit den Annahmen und Fähigkeiten des Modells in Einklang zu bringen.