💻 computer science

TS-ICL: A Flexible Time-Indexed Foundation Model for Time Series via In-Context Learning

TS-ICL ist ein neuartiges zeitindexiertes Foundation-Modell, das In-Context-Learning nutzt, um Prognose und Imputation zu vereinheitlichen und durch die Formulierung von Aufgaben als zeitstempel-ausgerichtete Regression mit synthetischen kausalen Abhängigkeiten eine Spitzenleistung bei unregelmäßigen und teilweise beobachteten Zeitreihen zu erzielen.

Ursprüngliche Autoren: Etienne Le Naour, Tahar Nabil, Adrien Petralia

Veröffentlicht 2026-06-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Etienne Le Naour, Tahar Nabil, Adrien Petralia

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen das Wetter vorherzusagen, aber Ihre Wetterstation ist defekt. Manchmal hört sie für Stunden auf aufzuzeichnen; manchmal liefert sie nur die Temperatur, aber keine Windgeschwindigkeit; und manchmal kommen die Daten in seltsamen, unregelmäßigen Intervallen rein. Die meisten aktuellen „superintelligenten“ Computermodelle (genannt Foundation Models) sind großartig darin, die Zukunft zu erraten, wenn die Daten perfekt und regelmäßig sind, aber sie geraten ins Straucheln, wenn die Daten unordentlich oder lückenhaft sind.

Dieses Paper stellt TS-ICL vor, eine neue Art von KI-Modell, das speziell für diese unordentliche Realität entwickelt wurde. Betrachten Sie es als einen universellen zeitreisenden Detektiv, der zwei verschiedene Rätsel gleichzeitig lösen kann: das Ausfüllen fehlender Seiten in einem Tagebuch (Imputation) und das Vorhersagen dessen, was als Nächstes passiert (Forecasting).

So funktioniert es, unter Verwendung einfacher Analogien:

1. Der „Kontext“-Detektiv (In-Context Learning)

Die meisten KI-Modelle sind wie Schüler, die ein bestimmtes Lehrbuch auswendig lernen. Wenn man ihnen eine Frage zu einem Thema stellt, das sie nicht studiert haben, scheitern sie. TS-ICL ist anders. Es nutzt eine Technik namens In-Context Learning.

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Verbrechen aufzuklären. Anstatt ein vorgefertigtes Regelwerk zu nutzen, betrachten Sie die Hinweise direkt vor Ihnen (den „Kontext“).

Die Analogie: Wenn Sie ein Muster von Fußabdrücken sehen, die zu einer Tür führen, müssen Sie nicht schon einmal vor dieser spezifischen Tür gestanden haben, um zu wissen, dass jemand hineingegangen ist. Sie schauen einfach auf die Fußabdrücke, die Sie gerade jetzt vor sich haben, und erkennen das Muster.
Wie TS-ICL es macht: Es nimmt die Daten, die Sie ihm geben (das „Look-back“-Fenster), und behandelt sie wie eine Mini-Lektion. Es lernt das Muster aus diesen spezifischen Hinweisen und wendet diese Lektion sofort an, um die Zukunft vorherzusagen oder die Lücken zu füllen, ohne dafür jedes Mal neu trainiert werden zu müssen.

2. Die „zeitindexierte“ Karte (Umgang mit unregelmäßigen Daten)

Traditionelle Modelle zwingen Zeitreihendaten oft in ein starres Gitter, wie eine Tabelle, in der jede Zeile exakt eine Stunde auseinanderliegen muss. Wenn ein Sensor eine Messung verpasst, bricht die ganze Zeile ab, oder das Modell muss raten, wo die fehlende Zeile hingehört.

TS-ICL ist eher wie ein GPS-Navigationssystem als wie eine Tabelle.

Die Analogie: Eine Tabelle sagt: „Zeile 1 ist 13:00 Uhr, Zeile 2 ist 14:00 Uhr.“ Wenn Sie 14:00 Uhr verpassen, ist die Tabelle verwirrt. Ein GPS sagt: „Sie sind bei 13:00 Uhr, und der nächste Punkt ist um 14:15 Uhr.“ Es versteht, dass Zeit ein kontinuierlicher Fluss ist und nicht aus festen Boxen besteht.
Der Vorteil: Da TS-ICL spezifische Zeitstempel versteht, kann es mit Daten umgehen, die fehlen, unregelmäßig sind oder verspätet eintreffen, ohne dabei Probleme zu machen. Es muss die Daten nicht erst „reparieren“; es liest einfach die Zeitstempel und macht weiter.

3. Das „Sidekick“-System (Kovariaten)

Manchmal benötigt man mehr als nur die Hauptgeschichte, um die Zukunft vorherzusagen. Um beispielsweise den Stromverbrauch vorherzusagen, muss man vielleicht die Temperatur kennen (eine „Kovariante“).

Die Analogie: Stellen Sie sich vor, Sie sagen voraus, wie schnell ein Auto fahren wird. Die Hauptdaten sind die Geschwindigkeit des Autos. Aber wenn Sie zusätzlich die Windgeschwindigkeit und die Straßenneigung kennen (die „Sidekicks“), wird Ihre Vorhersage viel besser.
Wie TS-ICL es macht: Es besitzt einen speziellen Mechanismus, um auf diese „Sidekick“-Signale zu hören. Es kann herausfinden, ob die Windgeschwindigkeit tatsächlich für die Geschwindigkeit des Autos wichtig ist oder ob sie nur Rauschen darstellt. Es lernt, irrelevante Sidekicks zu ignorieren und sich auf die hilfreichen zu konzentrieren, während es gleichzeitig die Hauptgeschichte betrachtet.

4. Die Zwei-in-einem-Superkraft

Normalerweise benötigen Sie ein Werkzeug, um fehlende Daten zu ergänzen (Imputation), und ein anderes Werkzeug, um die Zukunft vorherzusagen (Forecasting).

Die Analogie: Es ist wie ein Schweizer Taschenmesser, das sowohl ein Schraubendreher als auch ein Flaschenöffner ist, aber besser funktioniert, als zwei separate Werkzeuge zu kaufen.
Das Ergebnis: TS-ICL vereint diese Aufgaben. Es kann eine unordentliche, unvollständige Historie betrachten, die fehlenden Teile ergänzen und dann sofort die Zukunft vorhersagen – alles in einem einzigen Schritt.

Was das Paper behauptet (Die Ergebnisse)

Die Autoren haben diesen „Detektiv“ gegen die besten existierenden Modelle getestet:

Das Auffüllen von Lücken: TS-ICL ist der neue Champion beim Auffüllen fehlender Daten. Es schlägt die bisherigen besten Modelle (genannt Tabular Foundation Models) deutlich und tut dies 50-mal schneller.
Die Vorhersage der Zukunft: Wenn es um das Forecasting geht, ist es genauso gut wie die Top-Modelle (wie Chronos-2), obwohl es einen anderen Ansatz verwendet.
Der „Broken Data“-Test: Die beeindruckendste Behauptung ist seine Leistung, wenn die vergangenen Daten fehlerhaft sind. Wenn man einem Standardmodell eine Historie mit 50 % fehlenden Daten gibt, wird seine Vorhersage sehr schlecht. TS-ICL hingegen bleibt stark und genau, weil es nativ darauf ausgelegt ist, unregelmäßige Zeitstempel zu verarbeiten.

Zusammenfassung

TS-ICL ist ein flexibles, intelligentes Modell, dem es egal ist, ob Ihre Daten unordentlich, lückenhaft oder unregelmäßig sind. Es behandelt die Zeit als einen kontinuierlichen Fluss, lernt aus den Hinweisen direkt vor sich und nutzt Zusatzinformationen (wie Temperatur oder Wind) nur dann, wenn sie hilfreich sind. Es ist derzeit das beste Modell, um defekte Datensätze zu reparieren, und ein Spitzenreiter im Wettbewerb um die Vorhersage der Zukunft – und das alles, während es bei der Arbeit mit fehlenden Informationen viel schneller ist als seine Rivalen.

Technisches Resümee: TS-ICL

Problemstellung

Time Series Foundation Models (TSFMs) haben das Paradigma von aufgabenspezifischen Modellen hin zu allgemeingültigen Zero-Shot-Inferenzsystemen verschoben. Bestehende Ansätze stehen jedoch vor drei kritischen Einschränkungen in realen Anwendungen:

Aufgabenfragmentierung: Die meisten TSFMs konzentrieren sich ausschließlich auf die Vorhersage (Forecasting) und unterstützen nativ keine Imputation für fehlende Werte, was bei unregelmäßig abgetasteten Daten häufig der Fall ist.
Kovariaten-Handhabung: Viele Modelle verfügen über keine robusten Mechanismen für kovariatenbewusste Inferenz, obwohl externe Informationen für viele praktische Aufgaben notwendig sind.
Starrheit der Abtastung: Standardmäßige Patch-basierte Architekturen (z. B. Chronos, TimesFM) setzen regelmäßig abgetastete Eingaben voraus, was ihre Fähigkeit einschränkt, asynchrone oder teilweise beobachtete Zeitreihen ohne Vorverarbeitung zu handhaben.

Obwohl Tabular Foundation Models (TFMs), die für Zeitreihen angepasst wurden (z. B. TabPFN-TS), Kovariaten und Imputation unterstützen, verlassen sie sich oft auf handgefertigte zeitliche Merkmale und leiden unter hohen Inferenzkosten, wodurch sie in Forecasting-Benchmarks hinter reinen TSFMs zurückbleiben. Es besteht ein Bedarf an einem vereinheitlichten Framework, das Forecasting und Imputation gemeinsam handhabt, Kovariaten unterstützt und effizient auf unregelmäßig abgetasteten Daten operiert.

Methodik

Die Autoren führen TS-ICL (Time-Series In-Context Learning) ein, ein probabilistisches Transformer-Foundation-Modell, das die Zeitreihenmodellierung als ein zeitindexiertes In-Context-Regressionsproblem neu formuliert. Die Architektur besteht aus vier sequenziellen Modulen:

Zeitreihen-Encoder ( $E$ ): Basierend auf einem Perceiver-Encoder-Design verarbeitet dieses Modul Kontext-Zeitstempel und -Werte (sowie optionale Kovariaten) kanalunabhängig. Es verwendet eine feste Menge lernbarer Token, die mittels Cross-Attention auf Zeitstempel-Wert-Paare zugreifen und so beliebige Eingabelängen in eine kompakte latente Sequenz ( $Z_{val}$ ) komprimieren.
Channel Mixer ( $M$ ): Dieses Modul aggregiert Informationen über Kanäle hinweg. Es nutzt Cross-Attention, um der Ziel-Zeitreihe zu ermöglichen, Kovariaten-Token abzufragen, wodurch die Kanaldimension in eine vereinheitlichte, kovariatenbewusste Repräsentation ( $Z_{final}$ ) kollabiert wird. Nachfolgende Self-Attention-Schichten modellieren globale Abhängigkeiten.
Temporal Context Query Modul ( $C$ ): Um die Brücke zwischen diskreten latenten Token und dem kontinuierlichen Zeitbereich zu schlagen, bettet dieses Modul jeden Abfrage-Zeitstempel $t$ mittels frequenzbasierter Positionskodierung ein. Es nutzt Cross-Attention auf $Z_{final}$ , um eine kontextbewusste Repräsentation $H(t)$ für beliebige Zeitstempel zu erzeugen, was eine flexible Handhabung unregelmäßiger Abtastungen ermöglicht.
In-Context Learning Regressor ( $R$ ): Das abschließende Modul behandelt die Vorhersage als In-Context-Regressionsaufgabe. Es konstruiert einen Trainingsdatensatz $D_{train}$ aus beobachteten Kontextpaaren $(H(t), x_t)$ und verwendet kausale Self-Attention, um Zielwerte an ungesehenen Zeitstempeln abzuleiten. Es gibt eine dichte Menge von Quantils-Schätzungen aus, die mittels eines geglätteten Pinball-Loss trainiert wurden.

Daten-Prior und Training:
TS-ICL wird auf einem strukturierten Daten-Prior trainiert, der reale Datensätze und synthetische Daten kombiniert.

Univariat: Eine Mischung aus 31 realen Datensätzen und synthetischen Signalen von TempoPFN, die verschiedene Domänen und Frequenzen abdecken.
Multivariat (Kovariaten): Synthetische Ziel-Kovariaten-Strukturen werden unter Verwendung von gerichteten azyklischen Graphen (DAGs) und einem Register von Strukturellen Kausalmodellen (SCMs) generiert. Dies stellt sicher, dass das Modell eine robuste Zero-Shot-Generalisierung auf ungesehene Abhängigkeitsstrukturen lernt, einschließlich informativer, redundanter und unabhängiger Kovariaten.
Aufgaben: Das Training wechselt dynamisch zwischen Imputation (Maskierung von Punkten oder Blöcken) und Forecasting (Maskierung zukünftiger Horizonte).

Zentrale Beiträge

Vereinheitlichte Architektur: TS-ICL ist ein neuartiges probabilistisches TSFM, das Forecasting und Imputation innerhalb eines einzigen kontinuierlichen Zeitrahmens vereinheitlicht und beide Aufgaben nativ ohne Architekturänderungen unterstützt.
Strukturierter synthetischer Prior: Die Autoren entwerfen einen DAG-basierten kausalen Prior für Ziel-Kovariaten-Beziehungen, der es dem Modell ermöglicht, eine robuste Zero-Shot-Generalisierung auf komplexe Abhängigkeitsstrukturen zu lernen.
State-of-the-Art Imputation: TS-ICL erreicht neue State-of-the-Art-Leistungen auf Zero-Shot-Imputation-Benchmarks und übertrifft sowohl aufgabenspezifische Modelle als auch adaptierte TFMs.
Effiziente kovariatenbewusste Inferenz: Das Modell unterstützt effiziente Inferenz mit Kovariaten und handhabt beliebige Verfügbarkeitsmuster (z. B. Kovariaten, die nur im Look-back-Fenster oder sowohl im Look-back- als auch im Horizon-Fenster beobachtet werden).
Robustheit gegenüber fehlenden Daten: Im Gegensatz zu Patch-basierten Modellen ermöglicht die zeitindexierte Formulierung von TS-ICL, dass es robust bleibt, wenn historische Beobachtungen teilweise fehlen.

Experimentelle Ergebnisse

Das Modell wurde auf fm-impute-bench (Imputation) und fev-bench (Forecasting) evaluiert, mit zusätzlicher Validierung auf dem TIME Benchmark.

Imputation: TS-ICL setzt einen neuen State-of-the-Art auf Zero-Shot-Imputation-Benchmarks. Es verbessert die punktuellen (NMAE) und probabilistischen (CRPS) Scores gegenüber führenden TFMs (TabPFNv2.5-TS, TabICLv2-TS) um signifikante Margen (z. B. 17 % und 15 % Verbesserung gegenüber TabICLv2-TS). Entscheidend ist, dass es bei der Inferenz bis zu 50-mal schneller ist als diese TFMs.
Forecasting: Bei Forecasting-Benchmarks bleibt TS-ICL wettbewerbsfähig mit führenden TSFMs wie Chronos-2 und TiRex und gehört zu den Top-Performern. Es nutzt Kovariaten effektiv, sofern sie verfügbar sind, was seine relative Platzierung unter den TSFMs verbessert.
Robustheit gegenüber fehlender Historie: In Experimenten mit zunehmendem Grad an Fehlstellen im Look-back-Fenster (30 %–90 %) übertrifft TS-ICL Chronos-2 konsistent. Während die Leistung von Chron-2 signifikant sinkt, wenn der Kontext spärlicher wird, behält TS-ICL seine Stabilität bei, was den Vorteil der zeitindexierten Formulierung gegenüber Patch-basierten Ansätzen unterstreicht.
Effizienz: Während TS-ICL etwa 4-mal langsamer ist als das hochoptimierte Chronos-2, ist es etwa 40-mal schneller als TFMs und bietet somit einen starken Genauigkeits-Effizienz-Trade-off.

Bedeutung und Ansprüche

Das Paper behauptet, dass TS-ICL die Fragmentierung in der aktuellen Zeitreihenmodellierung adressiert, indem es eine einzige Architektur bereitstellt, die zu vereinheitlichtem Forecasting und Imputation mit nativer Kovariaten-Unterstützung fähig ist.

Die primäre Bedeutung liegt in der Robustheit gegenüber unvollständigen historischen Beobachtungen. Die Autoren zeigen, dass Patch-basierte Modelle empfindlich auf fehlenden Kontext reagieren, während die zeitindexierte Formulierung von TS-ICL es ermöglicht, realistische Forecasting-Szenarien anzugehen, in denen Daten unregelmäßig oder teilweise beobachtet werden. Durch die Kombination der Flexibilität von In-Context-Learning mit einem strukturierten kausalen Prior bietet TS-ICL eine skalierbare Alternative zu spezialisierten Modellen und erreicht eine State-of-the-Art-Leistung bei der Imputation, während es gleichzeitig wettbewerbsfähige Forecasting-Fähigkeiten beibehält.

Die Autoren weisen auf Einschränkungen hin, insbesondere dass die punktuelle Regressionsformulierung höhere Rechenkosten verursacht als hochoptimierte Patch-basierte Modelle (wie Chronos-2), was jedoch durch die überlegene Geschwindigkeit im Vergleich zu TFMs abgemildert wird. Sie schlagen vor, dass zukünftige Arbeiten architektonische Optimierungen (z. B. Caching) und eine weitere Diversifizierung des Trainings-Priors beinhalten könnten, um die Zero-Shot-Generalisierung zu verbessern.