Technisches Resümee: Warum benötigen Zeitreihenmodelle lange Kontextfenster?

Problemformulierung

Moderne Deep-Learning-Ansätze für die Prognose von Gruppen von Zeitreihen, insbesondere Foundation Models, verlassen sich zunehmend auf lange Beobachtungsfenster. Während die vorherrschende Erklärung diesen Bedarf auf der Erfassung weitreichender zeitlicher Abhängigkeiten (long-range temporal dependencies) begründet, argumentieren die Autoren, dass diese Sichtweise unvollständig ist. Die Arbeit postuliert, dass das Training eines globalen Modells auf einer Sammlung von Zeitreihen, die durch diverse Prozesse generiert wurden, zwei distinkte, gekoppelte Ziele beinhaltet:

1. Generative Process Identification (GPI): Inferenz des spezifischen latenten stochastischen Prozesses ($\phi_n$), der die beobachtete Eingabesequenz erzeugt hat.
2. Conditional Forecasting (CF): Vorhersage zukünftiger Werte unter der Bedingung der Vergangenheit, unter der Annahme, dass der Prozess bekannt ist.

Das Kernproblem, das adressiert wird, ist das Verständnis darüber, warum globale Modelle – insbesondere solche, die induktiv auf heterogenen Daten trainiert wurden (Foundation Models) – Eingabefenster benötigen, die signifikant größer sind als die theoretische Gedächtnislänge ($P$) der zugrunde liegenden Prozesse, um eine optimale Leistung zu erzielen. Die Arbeit stellt die Annahme infrage, dass lange Fenster ausschließlich für die Erfassung zeitlicher Abhängigkeiten notwendig sind, und legt stattdessen nahe, dass sie notwendig sind, um die Unsicherheit über den datengenerierenden Prozess zu reduzieren.

Methodik und theoretischer Rahmen

Theoretische Dekomposition

Die Autoren formalisieren die Prognoseaufgabe als Minimierung des erwarteten Verlusts über eine Familie von stochastischen Prozessen. Durch Anwendung des Gesetzes der totalen bedingten Erwartung dekomponieren sie den optimalen Prädiktor in einen Bayes'schen Posterior-Mittelwert:
$$\hat{x}_t = \int \mathbb{E}[x_t | x_{t-W:t}, \phi] \cdot p(\phi | x_{t-W:t}) \, d\phi$$
Hierbei repräsentiert der Term $\mathbb{E}[x_t | x_{t-W:t}, \phi]$ die Komponente der Conditional Forecasting (CF), während $p(\phi | x_{t-W:t})$ die Komponente der Generative Process Identification (GPI) darstellt. Das Eingabefenster $W$ erfüllt zwei Rollen:

• Für CF sind streng genommen nur die letzten $P$ Beobachtungen (wobei $P$ die Gedächtnislänge des Prozesses ist) notwendig.
• Für GPI liefert das gesamte Fenster Evidenz, um die Posterior-Verteilung über die Prozessparameter $\phi$ zu kontrahieren.

Theoretische Beweise

Die Arbeit beweist den Theorem 3.2, welcher besagt, dass für Prozesse mit der Gedächtnislänge $P$ ein Eingabefenster der Größe $W > P$ eine notwendige Bedingung ist, um im globalen Setting den minimal erreichbaren Fehler (die irreduzible Rauschvarianz) zu erreichen.

• Annahme: Die Arbeit nimmt an, dass verschiedene Prozesse innerhalb der Familie nicht allein aus den letzten $P$ Beobachtungen eindeutig identifiziert werden können (d. h. die Varianz der bedingten Erwartung über mögliche Prozesse hinweg ist gegeben $P$ Beobachtungen ungleich Null).
• Implikation: Selbst wenn die wahren zeitlichen Abhängigkeiten kurz sind, erfordert die Unsicherheit darüber, welcher Prozess die Daten generiert, zusätzliche Beobachtungen, um diese Unsicherheit aufzulösen. Dies wird als eine Form des In-Context Learning (ICL) gerahmt, bei dem das Modell eine latente Aufgabenvariable (die Prozessparameter) aus der Eingabesequenz inferiert.

Experimentelles Design

Die Autoren validieren ihre Theorie durch:

1. Synthetische Experimente: Generierung von Zeitreihen aus nichtlinearen autoregressiven (NAR) und linearen AR-Prozessen mit bekannten Ordnungen ($P$). Sie vergleichen lokale Modelle (trainiert auf einzelnen Serien) mit globalen Modellen (trainiert auf mehreren Serien) sowie Modellen, die einen "Kontext" nutzen (eine historische Sequenz, die durch eine Lücke von der Prognose-Sequenz getrennt ist).
2. Foundation Model Probing: Testen von vortrainierten Foundation Models (Moirai2, TimerXL), indem ihnen ein kurzes, zusammenhängendes Fenster plus ein entfernter historischer Kontext eingespeist wird. Wenn die Leistung von weitreichenden Abhängigkeiten abhängt, sollte die Lücke die Genauigkeit verschlechtern; wenn sie auf GPI basiert, sollte der entfernte Kontext die Genauigkeit beibringen oder verbessern.
3. Domänenspezifische vs. Foundation Models: Vergleich von Modellen, die auf einer einzelnen Domäne trainiert wurden, mit solchen, die auf mehreren Domänen trainiert wurden, um den "Kostenfaktor" der GPI in Bezug auf die erforderliche Fensterlänge zu quantifizieren.
4. Dekoppelte Architektur: Vorschlag eines Designs, bei dem GPI und CF getrennt sind. Ein Modul $G(\cdot)$ verarbeitet einen langen historischen Kontext, um ein latentes Embedding $e_n$ zu erzeugen, welches dann von einem leichtgewichtigen Prädiktor $F(\cdot)$ verwendet wird, der auf einem kurzen, aktuellen Fenster operiert.

Kernbeiträge

1. Problemformulierung: Die Arbeit definiert die globale Zeitreihenprognose als duale Aufgabe aus GPI und CF neu und bietet einen Rahmen zur Charakterisierung von Zeitreihen-Foundation-Models.
2. Theoretische Notwendigkeit von $W > P$: Es wird bewiesen, dass für globale Modelle das Eingabefenster die Gedächtnislänge des Prozesses strikt überschreiten muss, um den Fehler zu minimieren, getrieben durch die Notwendigkeit, den generierenden Prozess zu identifizieren.
3. Empirische Evidenz für GPI: Experimente zeigen, dass Foundation Models von historischem Kontext profitieren, selbst wenn dieser durch eine zeitliche Lücke getrennt ist, was bestätigt, dass sie Eingabedaten zur Prozessidentifikation statt nur zur Modellierung zeitlicher Abhängigkeiten nutzen.
4. Kostenanalyse: Die Studie zeigt, dass Foundation Models signifikant längere Fenster benötigen als domänenspezifische globale Modelle, um eine vergleichbare Leistung zu erbringen, was sie der höheren Unsicherheit (Varianz) in der Pretraining-Verteilung zuschreibt.
5. Methodischer Vorschlag: Die Autoren schlagen vor, GPI und CF zu entkoppeln, um die Skalierbarkeit zu verbessern. Durch die Amortisierung der Kosten der GPI (Verarbeitung langer Kontexte) und die Wiederverwendung der resultierenden Embeddings für mehrere Prognosen, reduziert dieser Ansatz die Inferenzkosten (FLs, Speicher, Latenz), ohne die Genauigkeit zu beeinträchtigen.

Ergebnisse

• Synthetische Daten: Globale Modelle benötigten $W \gg P$, um den Fehlerboden lokaler Modelle zu erreichen. Wenn jedoch ein langer historischer Kontext (getrennt durch eine Lücke) und ein kurzes Fenster ($W=P$) bereitgestellt wurden, erreichten globale Modelle einen nahezu optimalen Fehler, was bestätigt, dass die zusätzlichen Daten für die GPI und nicht für die zeitliche Abhängigkeit genutzt wurden.
• Foundation Models: Beim Testen auf realen Datensätzen (Verkehr, Energie, Klima) behielten Foundation Models (Moirai2, TimerXL) ihre Leistung bei einem kurzen Fenster ($W=24$) bei, sofern ein langer historischer Kontext ($C=720$) zur Verfügung stand, trotz der zeitlichen Lücke. Dies deutet darauf hin, dass die Modelle den Prozess aus dem Kontext inferieren statt sich auf zusammenhängende, weitreichende Abhängigkeiten zu verlassen.
• Multi-Domain Training: Modelle, die auf mehreren Domänen trainiert wurden (Simulation von Foundation Models), benötigten größere Fenster, um die Leistung von Single-Domain-Modellen zu erreichen. Eine Erhöhung der Fenstergröße ermöglichte es Multi-Domain-Modellen, die Leistung zu regenerieren, indem die Prozessunsicherheit reduziert wurde.
• Dekoppelte Architektur: Das vorgeschlagene dekuppelte Design (langer Kontext für GPI, kurzes Fenster für CF) erreichte Pareto-optimale Leistungs-Kosten-Abwägungen. Es erreichte die Genauigkeit von Standardmodellen mit großen Fenstern und reduzierte gleichzeitig die Rechenkosten signifikant (bis zu 27-fache Reduktion der FLOPs und des Speichers in einigen Szenarien) durch das Caching des GPI-Embeddings.

Bedeutung und Ansprüche

Die Arbeit beansprucht, einen grundlegenden Wandel im Verständnis darüber zu bieten, warum Zeitreihen-Foundation-Models lange Kontextfenster benötigen. Anstatt lange Fenster lediglich als Mechanismus zur Erfassung weitreichender zeitlicher Abhängigkeiten zu betrachten, argumentieren die Autoren, dass sie essenziell sind, um die Unsicherheit über den datengenerierenden Prozess (GPI) zu reduzieren.

Die Bedeutung dieser Erkenntnis liegt in:

• Designprinzipien: Sie legt nahe, dass zukünftige Foundation Models nicht einfach Fenstergrößen monolithisch skalieren sollten. Stattdessen sollten Architekturen die Aufgaben der Identifikation des Prozesskontexts und der Durchführung der Prognose explizit entkoppeln.
• Effizienz: Durch die Trennung von GPI (welches einmal berechnet und gecacht werden kann) und CF (welches häufig berechnet wird), können Modelle eine hohe Genauigkeit mit geringerem Rechenaufwand erreichen, was sie für den realen Einsatz skalierbarer macht.
• Interpretierbarkeit: Die Arbeit stellt eine theoretische Verbindung zwischen Zeitreihenprognose und In-Context Learning (ICL) her, indem sie das Eingabefenster als eine Menge von Beispielen rahmt, die zur Inferenz einer latenten Aufgabenvariable dienen.

Die Autoren bleiben bescheiden und merken an, dass sie zwar die Relevanz dieser Erkenntnisse demonstriert haben, die Entwicklung eines vollumfänglichen Foundation Models basierend auf dieser dekuppelten Architektur jedoch als zukünftige Arbeit deklariert wird. Sie räumen zudem ein, dass für hochgradig zeitvariante Prozesse die statische Natur des GPI-Embeddings dynamische Updates erfordern könnte, was eine offene Forschungsrichtung darstellt.