🤖 machine learning

Olivia: Harmonizing Time Series Foundation Models with Power Spectral Density

Dieses Papier stellt Olivia vor, ein neuartiges Zeitreihen-Foundation-Modell, das einen Harmonizer-Modul und einen HarmonicAttention-Mechanismus nutzt, um Datensätze über eine normalisierte Leistungsdichtespektrum auszurichten und damit state-of-the-art-Leistung in Zero-Shot-, Few-Shot- und Full-Shot-Prognose-Szenarien zu erzielen.

Ursprüngliche Autoren: Jingru Fei, Kun Yi, Alex Xing Wang, Qingsong Wen, Xiangxiang Zhu, Wei Fan

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jingru Fei, Kun Yi, Alex Xing Wang, Qingsong Wen, Xiangxiang Zhu, Wei Fan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen einzigen, superscharfsinnigen Koch darin zu unterrichten, Gerichte aus jeder Kultur der Erde zuzubereiten: italienische Pasta, japanische Sushi, mexikanische Tacos und äthiopisches Injera.

Das Problem? Jede Küche hat ihren eigenen Rhythmus, ihre eigenen Zutaten und ihren eigenen Kochstil. Wenn Sie einfach alle diese Rezepte in einen riesigen Topf werfen und sagen: „Lerne alles", gerät der Koch in Verwirrung. Das Zischen des Woks kollidiert mit dem Köcheln der Suppe. Das Ergebnis ist ein Koch, der in allem durchschnittlich gut, aber in nichts großartig ist, oder einer, der stecken bleibt, weil er versucht, einen Sushi-Rollen so schmecken zu lassen wie Spaghetti.

Genau diese Herausforderung löst Olivia, ein neues KI-Modell für Zeitreihendaten. Zeitreihendaten sind einfach eine Aufzeichnung von Dingen, die sich im Laufe der Zeit verändern (wie Aktienkurse, Wetter oder Verkehr). Unterschiedliche Quellen (Domänen) haben sehr unterschiedliche „Rhythmen".

So erklärt das Papier die Lösung unter Verwendung einfacher Analogien:

1. Das Problem: Ein Clash der Rhythmen

Wenn KI-Modelle versuchen, gleichzeitig aus vielen verschiedenen Datensätzen zu lernen, haben sie Schwierigkeiten, weil der „Beat" der Daten überall unterschiedlich ist.

Energiedaten könnten einen starken täglichen Rhythmus haben (Menschen wachen auf, verbrauchen Strom, schlafen).
Verkehrsdaten könnten einen wöchentlichen Rhythmus haben (Stoßzeiten an Wochentagen, ruhig am Wochenende).
Gesundheitsdaten könnten unregelmäßige Spitzen aufweisen.

Alle diese gleichzeitig zu lernen, ist wie der Versuch, einer Jazzband, einer Marschkapelle und einem Chor gleichzeitig zuzuhören, während sie alle spielen. Die KI geht im Lärm unter.

2. Das geheime Ingredient: Der „Spektrale Fingerabdruck" (PSD)

Die Autoren erkannten, dass jede Zeitreihe einen versteckten „Fingerabdruck" besitzt, der Leistungsdichtespektrum (Power Spectral Density, PSD) genannt wird.

Die Analogie: Stellen Sie sich einen Smoothie vor. Sie können die einzelnen Früchte darin nicht sehen, aber wenn Sie ihn durch eine spezielle Maschine laufen lassen, sagt Ihnen diese genau, wie viel Erdbeere, Banane und Mango in der Mischung enthalten sind.
Die Wissenschaft: PSD macht dies für die Zeit. Sie zerlegt die Daten, um zu zeigen, wie viel „Energie" in schnellen Veränderungen (hohe Frequenz) im Vergleich zu langsamen Veränderungen (niedrige Frequenz) steckt. Sie enthüllt den zugrunde liegenden Rhythmus der Daten und ignoriert spezifische Details wie beispielsweise, ob die Zahlen groß oder klein sind.

3. Die Lösung: Der „Harmonizer"

Das Papier stellt ein spezielles Modul namens Harmonizer vor.

Die Analogie: Betrachten Sie den Harmonizer als einen universellen Übersetzer für Rhythmen. Bevor die KI zu lernen versucht, nimmt der Harmonizer das chaotische Jazz-, Marsch- und Chormusik und stimmt sie alle auf dieselbe Tonart ab.
Wie es funktioniert: Es verändert nicht die eigentlichen Noten (die Datenwerte); es ordnet lediglich den Takt so um, dass der „Beat" der Energiedaten mit dem „Beat" der Verkehrsdaten übereinstimmt. Es zwingt all diese verschiedenen Datensätze, dieselbe rhythmische Sprache zu sprechen.
Das Ergebnis: Sobald die Daten „harmonisiert" sind, kann die KI endlich die gemeinsamen Muster darunter erkennen. Es ist, als würde der Koch erkennen, dass trotz der verschiedenen Küchen alle auf denselben grundlegenden Prinzipien von Hitze und Timing beruhen.

4. Der Motor: „Harmonische Aufmerksamkeit"

Sobald die Daten harmonisiert sind, benötigt die KI einen Weg, um sie effizient zu verarbeiten. Das Papier führt die Harmonische Aufmerksamkeit ein.

Die Analogie: Stellen Sie sich einen überfüllten Raum vor, in dem jeder versucht, gleichzeitig mit jedem anderen zu sprechen. Es ist chaotisch und langsam (so funktioniert Standard-KI).
Die Innovation: Anstatt jeden jeden anbrüllen zu lassen, setzt die Harmonische Aufmerksamkeit ein paar „Resonatoren" (wie Megafone oder Dirigenten) in den Raum. Jeder spricht mit den Dirigenten, und die Dirigenten sprechen miteinander.
Warum es hilft: Dies ist viel schneller und klarer. Da die Daten bereits vom Harmonizer harmonisiert wurden, können diese wenigen Dirigenten die wichtigsten Informationen erfassen, ohne jeden einzelnen Flüstern im Raum hören zu müssen.

5. Das Ergebnis: Olivia

Das endgültige Modell, Olivia, kombiniert den Harmonizer und die Harmonische Aufmerksamkeit.

Der Test: Die Forscher testeten Olivia an massiven Datenmengen aus verschiedenen Welten (Wetter, Elektrizität, Verkehr, Gesundheit).
Das Ergebnis: Olivia wurde zu einem Meisterkoch. Sie konnte einen neuen Datensatz betrachten, den sie noch nie gesehen hatte (Zero-Shot), und die Zukunft mit hoher Genauigkeit vorhersagen. Sie übertraf andere große Modelle, obwohl sie kleiner war und weniger Ressourcen benötigte.
Die Kernaussage: Indem verschiedene Datenquellen vor dem Training zunächst auf denselben Rhythmus „abgestimmt" wurden, lernte das Modell, sich viel besser zu verallgemeinern. Es memorisierte die Daten nicht einfach; es lernte die universelle Sprache der Zeit.

Zusammenfassung

Das Papier behauptet, dass durch die Verwendung eines mathematischen Werkzeugs (PSD), um die „Rhythmen" verschiedener Datensätze vor dem Training auszurichten, und durch die anschließende Verwendung einer intelligenten, effizienten Methode zur Verarbeitung dieser ausgerichteten Daten (Harmonische Aufmerksamkeit), ein Zeitreihen-KI-Modell gebaut werden kann, das schneller, genauer und besser darin ist, neue, ungesehene Daten zu verarbeiten als frühere Modelle.

Was das Papier NICHT behauptet:

Es wird nicht behauptet, dass dies Krankheiten heilen oder spezifische Börsencrashs zur Gewinnmitnahme vorhersagen wird.
Es wird nicht behauptet, dass das Modell für jeden Datentyp ohne Grenzen funktioniert (es wird angemerkt, dass sehr große Datensätze das Modell manchmal verwirren können, wenn sie nicht gut verwaltet werden).
Es konzentriert sich strikt auf die mathematischen und architektonischen Verbesserungen, um die KI besser in der Vorhersage zeitbasierter Daten zu machen.

Technische Zusammenfassung: Olivia: Harmonisierung von Zeitreihen-Foundation-Modellen mit der Leistungsdichtespektrum

1. Problemstellung

Zeitreihen-Foundation-Modelle zielen darauf ab, vereinheitlichte, universelle Repräsentationen aus diversen Datensätzen über mehrere Domänen hinweg (z. B. Energie, Verkehr, Gesundheit) zu erlernen, um eine effektive Übertragung auf nachgelagerte Prognoseaufgaben zu ermöglichen. Die Heterogenität zeitlicher Muster über diese Domänen hinweg stellt jedoch eine erhebliche Herausforderung dar. Datensätze, die aus unterschiedlichen Domänen stammen, weisen aufgrund variierender physikalischer Dynamiken, Betriebszyklen und Messkonfigurationen unterschiedliche periodische Strukturen und langfristige Abhängigkeiten auf.

Aus Optimierungssicht führt das gemeinsame Training auf Datensätzen mit unterschiedlichen zeitlichen Merkmalen häufig zu einer langsameren Konvergenz und suboptimalen Ergebnissen. Aus Sicht des Repräsentationslernens hat das Modell Schwierigkeiten, vereinheitlichte, übertragbare Repräsentationen zu bilden, wenn es gezwungen wird, gleichzeitig inkompatible zeitliche Strukturen zu berücksichtigen. Während bestehende Ansätze versuchen, Diskrepanzen zwischen Domänen durch architektonische Modularisierung oder kapazitätsbasierte Spezialisierung zu mildern, versagen sie oft darin, die grundlegenden Unterschiede in den zeitlichen Verteilungen, insbesondere im Spektralbereich, explizit anzugehen.

2. Methodik

Die Arbeit stellt Olivia vor, ein neuartiges Zeitreihen-Foundation-Modell, das die Heterogenität zwischen Domänen durch Harmonisierung von Datensätzen mittels Leistungsdichtespektrum (PSD) im Spektralbereich adressiert. Die Kernhypothese besagt, dass die Normalisierung von PSDs Diskrepanzen zwischen Datensätzen verringern und die Wirksamkeit des Vor-Trainings verbessern kann.

2.1. Der Harmonizer: Bidirektionale PSD-Reparametrisierung

Die direkte Minimierung spektraler Diskrepanzen (z. B. mittels Jensen-Shannon-Divergenz) über Datensätze hinweg ist für das großskalige Vor-Training aufgrund der Diskrepanz zwischen datensatzübergreifenden Zielen und instanzspezifischer Optimierung rechnerisch nicht praktikabel. Um dies zu überwinden, schlagen die Autoren den Harmonizer vor, ein strukturelles Modul, das PSDs implizit harmonisiert, indem es Korrelationen zweiter Ordnung zeitlicher Daten neu organisiert.

Der Harmonizer besteht aus zwei bidirektionalen Submodulen:

Aligner: Projiziert rohe Zeitreihendaten in einen gemeinsamen, PSD-harmonisierten latenten Unterraum. Er nutzt eine lernbare orthogonale Matrix $Q$ , parametrisiert durch eine Sequenz von Householder-Reflexionen ( $Q = \prod H_k$ ), um strenge Orthogonalität sicherzustellen. Diese Transformation organisiert die zeitlichen Dynamiken so neu, dass die resultierende Momentenmatrix blockdiagonal wird und gemeinsame Unterraum-Dynamiken von datensatzspezifischen Variationen trennt.
Restorer: Führt die inverse isometrische Abbildung durch, um die verarbeiteten Repräsentationen nach der Dekodierung zurück in den ursprünglichen, domänenspezifischen zeitlichen Raum zu projizieren, wodurch sichergestellt wird, dass die Ausgabe die ursprüngliche zeitliche Struktur bewahrt.

Theoretisch entspricht dieser Ansatz einer gemeinsamen Reparametrisierung von Korrelationen zweiter Ordnung zeitlicher Daten, die eine gemeinsame strukturelle Form über diverse Datensätze hinweg induziert, ohne die Instabilität einer direkten Divergenz-Optimierung.

2.2. HarmonicFormer und HarmonicAttention

Aufbauend auf den harmonisierten Repräsentationen stellen die Autoren HarmonicFormer vor, ein Encoder-Decoder-Rückgrat im Transformer-Stil. Die Kerninnovation ist HarmonicAttention, das dichte All-zu-All-Token-Interaktionen durch einen niedrigdimensionalen Interaktionsraum ersetzt, der durch eine kompakte Menge von Resonatoren vermittelt wird.

Token-zu-Resonator-Aggregation: Globale Informationen werden von Tokens in eine kleine Menge von $M$ latenten Resonatoren aggregiert ( $M \ll L$ , wobei $L$ die Anzahl der Tokens ist).
Cross-Resonator-Interaktion: Die Selbstattention wird innerhalb des kompakten $M \times M$ Resonatorraums durchgeführt, anstatt im vollen $L \times L$ Tokenraum.
Globale Resonator-Projektion: Die interagierten Resonatorinformationen werden zurück auf die Tokens verteilt.

Dieses Design reduziert die rechnerische Komplexität von $O(L^2P)$ auf $O(LMP + M^2P)$ , ermöglicht eine lineare Skalierbarkeit für lange Sequenzen und modelliert gleichzeitig globale Abhängigkeiten durch den harmonisierten spektralen Unterraum.

2.3. Trainingspipeline

Olivia folgt einer dreistufigen Pipeline:

Vor-Training: Das Training erfolgt auf großskaligen heterogenen Datensätzen (z. B. UTSD) unter Verwendung eines Rekonstruktionsziels. Der Aligner und der Restorer werden gemeinsam optimiert, um eine gemeinsame zeitliche Organisation zu erlernen, die spektrale Diskrepanzen zwischen Domänen reduziert.
Feinabstimmung (Tuning): Das Modell passt sich an spezifische Prognoseaufgaben an. Der Aligner des Harmonizers bleibt lernbar, um die zeitliche Reparametrisierung zu verfeinern, während die Gewichte von Encoder und Decoder eingefroren werden, um die vor-trainierten Repräsentationen zu bewahren.
Inferenz: Das vollständig trainierte Modell führt Prognosen durch, wobei alle Parameter eingefroren sind.

3. Hauptbeiträge

Prinzipieller Harmonisierungsansatz: Die Arbeit stellt eine Methode vor, um die Vielfalt der Vor-Trainingsdatensätze zu adressieren, indem PSDs implizit durch die Neuorganisation von Korrelationen zweiter Ordnung zeitlicher Daten harmonisiert werden, wodurch unstrukturierte Behandlungen der Domänenlücke überwunden werden.
HarmonicAttention-Mechanismus: Ein neuartiger Aufmerksamkeitsmechanismus, der niedrigdimensionale Token-Interaktionen ermöglicht, die durch eine kompakte Menge von Resonatoren vermittelt werden, und so eine effiziente fundamentale Modellierung durch die HarmonicFormer-Architektur unterstützt.
Olivia-Modell: Ein neues Zeitreihen-Foundation-Modell, das diese Mechanismen integriert und in Szenarien mit Zero-Shot, Few-Shot und Full-Shot überlegene Leistung zeigt.

4. Experimentelle Ergebnisse

Umfangreiche Experimente wurden auf zwei großskaligen Benchmarks (TSLib und GIFT-Eval) sowie auf sechs zusätzlichen Datensätzen von GluonTS durchgeführt.

Zero-Shot-Leistung: Olivia übertraf konsistent state-of-the-art Foundation-Modelle (einschließlich SEMPO, Time-MoE, Timer, Moirai, Chronos und TimesFM) sowie aufgabenspezifische Baselines. Auf dem TSLib-Benchmark erzielte es signifikante Reduktionen bei MSE und MAE im Vergleich zu großskaligen Modellen wie Time-MoE (durchschnittliche MSE-Reduktion von 26,3 %).
Few-Shot und Full-Shot: Olivia zeigte starke Leistung in datenarmen Regimen (Few-Shot) und Full-Shot-Szenarien und erzielte konsistent niedrigere durchschnittliche MSE- und MAE-Werte als sowohl vor-trainierte Foundation-Modelle als auch spezialisierte Prognosemodelle (z. B. iTransformer, DLinear).
Effizienz: Trotz des zusätzlichen Overheads durch den Harmonizer behielt Olivia (5,1 Mio. Parameter) eine kompakte Größe bei und erreichte Inferenzgeschwindigkeiten, die deutlich schneller waren als bei großskaligen Modellen wie Time-MoE (113 Mio.–2,4 Mrd. Parameter) und Moirai, während es gleichzeitig leichtgewichtige Baselines wie SEMPO in puncto Genauigkeit übertraf.
Ablationsstudien: Das Entfernen des Harmonizers oder das Ersetzen von HarmonicAttention durch Standard-Full-Attention, Linear-Attention oder Nyström-Attention führte zu einer konsistenten Leistungsverschlechterung, was die Notwendigkeit der spektralen Harmonisierung und niedrigdimensionaler Resonator-Interaktionen validiert.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass Olivia den Wert der strukturellen Harmonisierung zeitlicher Dynamiken zur Entwicklung skalierbarer und generalisierbarer Zeitreihen-Foundation-Modelle demonstriert. Durch die Ausrichtung unterschiedlicher spektraler Signaturen auf einen gemeinsamen Unterraum lernt das Modell universelle zeitliche Primitive, die gegenüber domänenspezifischen Verschiebungen invariant sind.

Die Autoren positionieren ihre Arbeit als prinzipielle Lösung für das Problem der „unstrukturierten Domänenlücke" beim Vor-Training von Zeitreihen. Sie argumentieren, dass die explizite Behandlung von zeitlichen Strukturen zweiter Ordnung mittels PSD-gesteuerter Reparametrisierung einen effektiveren Transfer-Learning-Prozess ermöglicht als frühere Methoden, die sich ausschließlich auf architektonische Modularisierung verlassen. Die Ergebnisse deuten darauf hin, dass PSD-konsistente Repräsentationen einen günstigen Kompromiss zwischen Modelleffizienz, Genauigkeit und Generalisierungsfähigkeit über heterogene reale Datensätze hinweg ermöglichen.

Die Arbeit erkennt eine Einschränkung hinsichtlich des zusätzlichen Inferenz-Overheads an, der durch die sequenziellen Householder-Reflexionen im Harmonizer eingeführt wird, und identifiziert effizientere Strategien zur orthogonalen Parametrisierung als Richtung für zukünftige Arbeiten. Dennoch behauptet sie, dass das aktuelle Design ein robustes Gleichgewicht zwischen architektonischer Strenge und praktischer Geschwindigkeit bietet.