🤖 machine learning

Falcon-X: A Time Series Foundation Model for Heterogeneous Multivariate Modeling

Falcon-X ist ein neuartiges Zeitreihen-Grundlagenmodell, das die Grenzen bestehender univariater und Rohraum-Ansätze überwindet, indem es Variablen in einen einheitlichen latenten Prototypenraum entkoppelt, einen Diff-Attention-Mechanismus zur Ausrichtung heterogener Größen und zur Erfassung komplexer Wechselwirkungen nutzt sowie einen Variate Reassembly Router einsetzt, um state-of-the-art-Leistungen bei multivariaten Prognosen zu erzielen.

Ursprüngliche Autoren: Yiding Liu, Yifan Hu, Hongjie Xia, Peiyuan Liu, Hongzhou Chen, Xilin Dai, Zewei Dong, Jiang-Ming Yang

Veröffentlicht 2026-05-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yiding Liu, Yifan Hu, Hongjie Xia, Peiyuan Liu, Hongzhou Chen, Xilin Dai, Zewei Dong, Jiang-Ming Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, die Zukunft eines komplexen Systems vorherzusagen, wie etwa das Wetter, einen Aktienmarkt oder den Verkehrsfluss. Diese Systeme bestehen aus vielen verschiedenen beweglichen Teilen (Variablen), die miteinander interagieren. Manchmal steigt, wenn eine Größe zunimmt, auch eine andere (Synergie). Zu anderen Zeiten sinkt eine andere, wenn eine zunimmt (Antagonismus).

Lange Zeit hatten Computermodelle, die versuchten, diese Zukünfte vorherzusagen, zwei große Probleme:

Die „Sprachbarriere": Sie versuchten, verschiedene Datentypen (wie Temperatur und Verkehrsgeschwindigkeit) direkt miteinander zu vermischen, was so ist, als würde man versuchen, Äpfel und Orangen in einem Mixer zu vermengen und eine glatte Saftmischung zu erwarten. Der Computer gerät in Verwirrung, weil die Einheiten und Bedeutungen völlig unterschiedlich sind.
Der „Einheitsgröße"-Blindflecken: Die meisten Modelle betrachteten nur eine Variable auf einmal oder gingen davon aus, dass alles freundlich ist. Sie übersahen die Tatsache, dass einige Variablen miteinander konkurrieren (negative Korrelation), während andere zusammenarbeiten.

Dann kommt Falcon-X ins Spiel, ein neues „Time Series Foundation Model". Denken Sie daran als an einen superklugen Übersetzer und Dirigenten für diese chaotischen Systeme. So funktioniert es, aufgeteilt in einfache Schritte:

1. Der „Universelle Übersetzer" (Latenter Prototyp-Raum)

Anstatt den Computer zu zwingen, Rohdaten zu vergleichen (wie „100 Grad" vs. „50 Autos"), übersetzt Falcon-X zunächst alles in eine geheime, universelle Sprache namens Latenter Prototyp-Raum.

Die Analogie: Stellen Sie sich einen Raum voller Menschen vor, die verschiedene Sprachen sprechen (Englisch, Mandarin, Spanisch usw.). Anstatt zu versuchen, sie direkt miteinander sprechen zu lassen, haben Sie eine Gruppe von Experten-Übersetzern (die Prototypen). Jeder spricht mit den Übersetzern, die die Bedeutung hinter den Wörtern verstehen, nicht nur die spezifische Sprache.
Warum es hilft: Dies löst die „Sprachbarriere". Es ist egal, ob Ihre Daten über Elektrizität oder Verkehr handeln; Falcon-X übersetzt sie in dieselbe „Bedeutung", damit sie sich tatsächlich verstehen können.

2. Die „Dual-View-Linse" (Diff-Attention)

Die meisten KI-Modelle sind wie eine Kamera, die nur positive Dinge sieht. Wenn sich zwei Dinge gemeinsam bewegen, sagt die Kamera „Gut!". Wenn sie sich auseinanderbewegen, gerät die Kamera in Verwirrung oder ignoriert es.

Falcon-X verfügt über einen speziellen Diff-Attention-Mechanismus. Er verwendet zwei Linsen:

Die Synergie-Linse: Sucht nach Dingen, die sich gegenseitig helfen (z. B. Regen und Regenschirme).
Die Antagonismus-Linse: Sucht nach Dingen, die sich gegenseitig bekämpfen (z. B. Preis und Nachfrage).
Die Analogie: Stellen Sie sich einen Richter in einem Gerichtssaal vor. Anstatt nur die „Pro"-Seite anzuhören, hat dieser Richter die besondere Fähigkeit, sowohl die „Pro"- als auch die „Contra"-Argumente gleichzeitig zu hören und gegeneinander abzuwägen. Dies ermöglicht dem Modell, komplexe Beziehungen zu verstehen, bei denen eine Variable eine andere in die entgegengesetzte Richtung drückt.

3. Der „Intelligente Disponent" (Variate Reassembly Router)

Nachdem die Übersetzer ihre Arbeit getan und der Richter die Argumente abgewogen hat, muss das Modell die universelle Bedeutung zurück in spezifische Vorhersagen für Ihre ursprünglichen Daten verwandeln (z. B. „Wie hoch wird die Temperatur sein?").

Die Analogie: Denken Sie an eine geschäftige Restaurantküche. Der Koch (das Modell) bereitet einen riesigen, perfekten Eintopf vor (das universelle Verständnis). Aber Sie haben eine bestimmte Suppe bestellt, und Ihr Freund einen Salat. Der Router ist der Kellner, der genau weiß, welche Zutaten aus dem großen Eintopf in Ihre Suppe gehören und welche in den Salat Ihres Freundes. Er kippt nicht einfach den ganzen Topf auf Ihren Teller; er wählt sorgfältig die richtigen Teile aus und fügt sie für jedes spezifische Gericht zusammen.
Warum es hilft: Dies stellt sicher, dass das Modell, obwohl es aus einer Mischung vieler verschiedener Systeme gelernt hat, Ihnen dennoch eine präzise Antwort für Ihr spezifisches System geben kann, ohne die Details zu vermischen.

Die Ergebnisse

Die Autoren testeten Falcon-X an massiven Sammlungen realer Daten (wie Wetter, Energienetze und Verkäufe).

Die Punktzahl: Es schlug alle bisherigen besten Modelle (wie Chronos-2 und Moirai) in puncto Genauigkeit.
Die „Zero-Shot"-Superkraft: Da es diese „universelle Sprache" gelernt hat, kann es Dinge vorhersagen, die es noch nie gesehen hat. Wenn Sie ihm einen neuen Datensatz zeigen, auf den es nicht trainiert wurde, kann es dennoch gute Vermutungen anstellen, weil es die zugrunde liegenden Muster versteht und nicht nur die spezifischen Zahlen.

Zusammenfassung

Falcon-X ist wie ein chaotischer Raum voller Menschen, die verschiedene Sprachen sprechen, kämpfen und kooperieren. Es schickt sie zu einer Gruppe von Übersetzern, die alles in eine gemeinsame Sprache übersetzen, lässt einen Richter sowohl die freundlichen als auch die feindlichen Beziehungen abwägen und schickt dann einen intelligenten Kellner zurück, um jedem genau das zu servieren, was er braucht. Das Ergebnis ist ein viel klareres, genaueres Bild davon, was als Nächstes passiert.

Technische Zusammenfassung: Falcon-X

Problemstellung

Zeitreihen-Fundamentmodelle (TSFMs) verändern die Prognose durch den Einsatz von großskaligem, domänenübergreifendem Pretraining. Allerdings sehen sich bestehende TSFMs bei der Verarbeitung heterogener multivariater Daten mit zwei grundlegenden Einschränkungen konfrontiert:

Semantische Fehlausrichtung: Die meisten Modelle operieren direkt im Raum der rohen Variablen. Beim Mischen heterogener physikalischer Größen (z. B. Temperatur vs. Verkehrsaufkommen) aus verschiedenen Datensätzen versagen Standard-Gruppenaufmerksamkeitsmechanismen darin, ihre unterschiedlichen Semantiken auszurichten. Dies führt zu einem „semantischen Kollaps", bei dem das Modell spuriose, datenspezifische Korrelationen anstelle übertragbarer temporaler Strukturen lernt.
Begrenzte relationale Ausdruckskraft: Reale Systeme weisen komplexe Interaktionen auf, einschließlich sowohl synergistischer (positiver) als auch antagonistischer (negativer) Abhängigkeiten. Standard-Aufmerksamkeitsmechanismen, die auf nicht-negativen Softmax-Werten basieren, erfassen primär aggregierende Effekte und haben Schwierigkeiten, entgegengesetzte Dynamiken oder antagonistische Beziehungen explizit zu modellieren.

Gängige Ansätze flachen multivariate Reihen oft ab oder verwenden Gruppenaufmerksamkeit innerhalb des Rohraums, was entweder schlecht mit der Dimensionalität skaliert oder das Entwirren heterogener Semantiken versagt, was die Fähigkeiten zum Zero-Shot-Transfer einschränkt.

Methodik: Falcon-X

Falcon-X ist ein Encoder-only-Fundamentmodell (591 Millionen Parameter), das entwickelt wurde, um physikalische Variablen vom Interaktionsraum zu entkoppeln. Es führt ein Paradigma des Unified Latent Prototype Space (Einheitlicher latenter Prototypenraum) ein, das aus vier Hauptphasen besteht:

1. Vorverarbeitung und Tokenisierung

Normalisierung: Eingaben unterliegen einer Arcus-Sinus-Transformation unter Verwendung von instanzspezifischen Mittelwerten und Standardabweichungen, die ausschließlich aus beobachteten Werten berechnet werden, um fehlende Einträge zu erhalten.
Tokenisierung: Die Sequenz wird um relative Zeitstempel und eine binäre Beobachtungsmaske erweitert. Anschließend wird sie in nicht-überlappende Patches unterteilt und über einen residualen Patch-Embedding-Mechanismus in eine verborgene Dimension projiziert.

2. Zeit-Aufmerksamkeit

Falcon-X verwendet eine Encoder-only-Transformer-Architektur, um zunächst intrinsische zeitliche Muster zu erfassen. $n$ Schichten der Zeit-Aufmerksamkeit werden unabhängig für jede Variable entlang der Zeitdimension angewendet. Dies stellt sicher, dass robuste zeitliche Dynamiken extrahiert werden, bevor eine kreuzvariable Interaktion stattfindet, und verhindert eine vorzeitige semantische Verflechtung.

3. Variablen-Aufmerksamkeit (Kerninnovation)

Diese Phase überbrückt die Lücke zwischen heterogenen Eingaben und einer einheitlichen Repräsentation:

Unified Prototype Diff-Attention (UPDA): Anstatt rohe Variablen zu mischen, projiziert Falcon-X sie in einen festdimensionalen latenten Prototypenraum ( $C$ $C$ ). Es nutzt einen Differential-Aufmerksamkeitsmechanismus mit zwei lernbaren Schlüsselmatrizen: $K_{pos}$ $K_{p os}$ (synergistisch) und $K_{neg}$ $K_{n e g}$ (antagonistisch).
- Das Modell berechnet Aufmerksamkeitswerte gegen beide Schlüssel: $A_{pos} = \text{softmax}(QK_{pos}^T)$ und $A_{neg} = \text{softmax}(QK_{neg}^T)$ .
- Die einheitliche Repräsentation wird durch Aggregation der Werte basierend auf dem Differenzwert abgeleitet: $H_C = (A_{pos} - \lambda A_{neg})^T V$ .
- Ein Orthogonalitätsverlust zwingt $K_{pos}$ und $K_{neg}$ zur Sicherstellung semantischer Unterscheidbarkeit. Dies ermöglicht dem Modell, sowohl positive als auch negative Affinitäten explizit zu erfassen.
Latent Entity Attention (LEA): Sobald im gemeinsamen Prototypenraum ausgerichtet, werden globale kreuzvariable Interaktionen über Standard-Multi-Head-Aufmerksamkeit durchgeführt. Da alle Entitäten im selben dimensionsunabhängigen semantischen Raum existieren, erleichtert dies nahtlosen Zero-Shot-Transfer über Datensätze mit unterschiedlichen Variablenanzahlen und physikalischen Bedeutungen hinweg.
Variate Reassembly Router (VRR): Um spezifische Trajektorien wiederherzustellen, wird ein Request-and-Dispatch-Mechanismus verwendet. Eine Routing-Anfrage ( $R_{req}$ $R_{r e q}$ ) aus der ursprünglichen temporalen Einbettung wird gegen einen Prototypenindex ( $P_{idx}$ $P_{i d x}$ ) abgeglichen, um relevante semantische Nutzlasten aus dem Quellkontext ( $S_{ctx}$ $S_{c t x}$ ) abzurufen.
- Die endgültige Ausgabe fusioniert die ursprünglichen temporalen Einbettungen mit den reassemblierten kreuzvariablen Repräsentationen über eine gated residual connection: $\hat{H} = H_T + G(H_T) \odot H_V$ . Dieses Gate reguliert die Fusion dynamisch und verhindert semantische Interferenzen in schwach korrelierten Systemen, während es Abhängigkeiten in stark korrelierten Systemen nutzt.

4. Prognosekopf

Das Modell übernimmt ein probabilistisches Prognoseparadigma und sagt zukünftige Verteilungen über eine Menge von Quantilen unter Verwendung eines Quantile Loss vorher.

Hauptbeiträge

Ein neues Paradigma für heterogene Modellierung: Falcon-X wechselt vom Mischen im Rohraum zu einem einheitlichen latenten Prototypenraum. Dies schafft ein universelles Koordinatensystem, das semantische Diskrepanzen über Datensätze hinweg auflöst und einen prinzipiellen Zero-Shot-Wissenstransfer ermöglicht.
Architektonische Innovation:
- Differential Prototype Attention: Modelliert explizit sowohl synergistische als auch antagonistische Dynamiken und überwindet die Einschränkungen nicht-negativer Aufmerksamkeit.
- Variate Reassembly Router: Ein gated Mechanismus, der globalen Kontext adaptiv mit lokalen zeitlichen Signalen fusioniert und so Robustheit über diverse Abhängigkeitsstärken hinweg gewährleistet.
Empirische Exzellenz: Das Modell zeigt State-of-the-Art-Leistung auf umfassenden Benchmarks und validiert seine strukturelle Anpassungsfähigkeit.

Experimentelle Ergebnisse

Falcon-X wurde auf GIFT-Eval und fev-bench evaluiert, zwei großskaligen Benchmarks, die diverse Domänen abdecken (Natur, Energie, Finanzen, Gesundheitswesen usw.).

GIFT-Eval: Falcon-X erzielte die beste Gesamtleistung mit 0,666 MASE und 0,453 CRPS. Es übertraf starke Baselines einschließlich STRIDE (+1,2 % MASE), Toto-2.0-FT (+1,9 % MASE) und Timer-S1 (+3,9 % MASE). Bemerkenswerterweise nahm sein Vorteil mit längeren Prognosehorizonten zu und erzielte die besten Ergebnisse für mittelfristige (0,68 MASE) und langfristige (0,70 MASE) Vorhersagen.
fev-bench: Falcon-X rangierte knapp hinter Chronos-2 (0,652 vs. 0,645 MASE), während es sich strikt auf endogene Zielreihen stützte, und übertraf andere neuere Modelle wie TiRex und Moirai 2.0.
Ablationsstudien: Das Entfernen des negativen Prototypenschlüssels ( $K_{neg}$ ) verursachte den schwerwiegendsten Leistungsabfall und bestätigte die Notwendigkeit der Modellierung antagonistischer Beziehungen. Das gemeinsame Training (univariat + multivariat) erwies sich als überlegen gegenüber einem zweistufigen Curriculum-Learning.
Skalierung: Das Modell folgt den neuronalen Skalierungsgesetzen und zeigt konsistente Leistungsverbesserungen, wenn die Parameter von 59 Millionen auf 591 Millionen skaliert werden.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Falcon-X ein prinzipielles und skalierbares Paradigma für komplexe multivariate Umgebungen bietet. Durch die Entkopplung physikalischer Variablen vom Interaktionsraum und die explizite Modellierung dualer Abhängigkeiten (synergistisch und antagonistisch) adressiert es die Engpässe der semantischen Ausrichtung und relationalen Ausdruckskraft aktueller TSFMs. Die Autoren gehen davon aus, dass dieser Ansatz einen robusten Zero-Shot-Strukturtransfer ermöglicht, der es dem Modell erlaubt, wiederverwendbare domänenübergreifende Muster zu lernen, ohne an rohe Variablendimensionen gekoppelt zu sein. Die Arbeit wird als Schritt hin zu einheitlicheren und ausdrucksstärkeren Fundamentmodellen für Zeitreihen präsentiert, wobei der Code öffentlich freigegeben wurde, um zukünftige Forschung zu unterstützen.