🤖 machine learning

Falcon-X: A Time Series Foundation Model for Heterogeneous Multivariate Modeling

Falcon-X is een nieuw fundamenteel model voor tijdreeksen dat de beperkingen van bestaande univariate en ruwe-ruimtebenaderingen aanpakt door variaten te ontkoppelen in een verenigde latente prototypenruimte, gebruik te maken van een Diff-Attention-mechanisme om heterogene grootheden af te stemmen en complexe interacties vast te leggen, en een Variate Reassembly Router in te zetten om state-of-the-art prestaties voor multivariate voorspelling te bereiken.

Oorspronkelijke auteurs: Yiding Liu, Yifan Hu, Hongjie Xia, Peiyuan Liu, Hongzhou Chen, Xilin Dai, Zewei Dong, Jiang-Ming Yang

Gepubliceerd 2026-05-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yiding Liu, Yifan Hu, Hongjie Xia, Peiyuan Liu, Hongzhou Chen, Xilin Dai, Zewei Dong, Jiang-Ming Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert de toekomst van een complex systeem te voorspellen, zoals het weer, de beurs of het verkeersverkeer. Deze systemen hebben vele verschillende bewegende onderdelen (variabelen) die met elkaar communiceren. Soms gaat, wanneer één ding omhoog gaat, een ander er ook omhoog (synergie). Op andere momenten gaat, wanneer één ding omhoog gaat, het andere juist omlaag (antagonisme).

Al geruime tijd hebben computermodellen die proberen deze toekomst te voorspellen, twee grote problemen:

De "Taalbarrière": Ze probeerden verschillende soorten data (zoals temperatuur en verkeerssnelheid) direct met elkaar te mengen, wat vergelijkbaar is met het proberen appels en sinaasappels in een blender te mengen en vervolgens een gladde jus te verwachten. De computer raakt in de war omdat de eenheden en betekenissen totaal verschillend zijn.
Het "Eén-maat-voor-alles" Blinde Vlek: De meeste modellen keken slechts naar één variabele tegelijk of gingen ervan uit dat alles vriendelijk was. Ze misten het feit dat sommige variabelen met elkaar vechten (negatieve correlatie) terwijl anderen samenwerken.

Dan is er Falcon-X, een nieuw "Time Series Foundation Model". Denk hierbij aan een superintuïtieve vertaler en dirigent voor deze chaotische systemen. Hieronder wordt uitgelegd hoe het werkt, opgesplitst in eenvoudige stappen:

1. De "Universele Vertaler" (Latent Prototype Space)

In plaats van de computer te dwingen ruwe data te vergelijken (zoals "100 graden" versus "50 auto's"), vertaalt Falcon-X eerst alles naar een geheim, universeel taalgebied dat een Latent Prototype Space wordt genoemd.

De Analogie: Stel je een kamer vol mensen voor die verschillende talen spreken (Engels, Mandarijn, Spaans, enz.). In plaats van te proberen ze direct met elkaar te laten praten, heb je een groep expertvertalers (de Prototypes). Iedereen spreekt tegen de vertalers, die de betekenis achter de woorden begrijpen, niet alleen de specifieke taal.
Waarom dit helpt: Dit lost de "Taalbarrière" op. Het maakt niet uit of je data over elektriciteit of verkeer gaat; Falcon-X vertaalt ze naar dezelfde "betekenis" zodat ze elkaar daadwerkelijk kunnen begrijpen.

2. De "Dual-View Lens" (Diff-Attention)

De meeste AI-modellen zijn als een camera die alleen positieve dingen ziet. Als twee dingen samen bewegen, zegt de camera "Goed!". Als ze uit elkaar bewegen, raakt de camera in de war of negeert het.

Falcon-X heeft een speciaal Diff-Attention mechanisme. Het gebruikt twee lenzen:

De Synergie Lens: Zoekt naar dingen die elkaar helpen (bijvoorbeeld regen en paraplu's).
De Antagonisme Lens: Zoekt naar dingen die met elkaar vechten (bijvoorbeeld prijs en vraag).
De Analogie: Stel je een rechter voor in een rechtszaal. In plaats van alleen naar de "pro"-kant te luisteren, heeft deze rechter een speciale gave om zowel de "pro"- als de "con"-argumenten simultaan te horen en tegen elkaar af te wegen. Hierdoor kan het model complexe relaties begrijpen waarbij één variabele een andere in de tegenovergestelde richting duwt.

3. De "Slimme Dispatcher" (Variate Reassembly Router)

Nadat de vertalers hun werk hebben gedaan en de rechter de argumenten heeft afgewogen, moet het model de universele betekenis weer omzetten in specifieke voorspellingen voor je oorspronkelijke data (bijvoorbeeld: "Wat zal de temperatuur zijn?").

De Analogie: Denk aan een drukke restaurantkeuken. De chef (het model) bereidt een perfecte, grote stoofpot voor (het universele begrip). Maar jij hebt een specifieke soep besteld en je vriend een salade. De Router is de ober die precies weet welke ingrediënten uit de grote stoofpot bij jouw soep horen en welke bij de salade van je vriend. Het giet niet de hele pot op je bord; het selecteert en assembleert zorgvuldig de juiste onderdelen voor elk specifiek gerecht.
Waarom dit helpt: Dit zorgt ervoor dat, hoewel het model heeft geleerd van een mix van vele verschillende systemen, het toch een nauwkeurig antwoord kan geven voor jouw specifieke systeem zonder de details door elkaar te halen.

De Resultaten

De auteurs hebben Falcon-X getest op enorme verzamelingen real-world data (zoals weer, energienetten en verkoop).

De Score: Het versloeg alle vorige beste modellen (zoals Chronos-2 en Moirai) in nauwkeurigheid.
De "Zero-Shot" Superkracht: Omdat het deze "universele taal" heeft geleerd, kan het dingen voorspellen die het nog nooit heeft gezien. Als je het een nieuwe dataset laat zien waar het niet op is getraind, kan het nog steeds goede schattingen maken omdat het de onderliggende patronen begrijpt, niet alleen de specifieke getallen.

Samenvattend

Falcon-X is als het nemen van een chaotische kamer vol mensen die verschillende talen spreken, vechten en samenwerken. Het stuurt hen naar een groep vertalers die alles vertalen naar een gemeenschappelijke taal, laat een rechter zowel de vriendelijke als de vijandige relaties afwegen, en stuurt vervolgens een slimme ober terug om elke persoon precies te serveren wat ze nodig hebben. Het resultaat is een veel duidelijker, nauwkeuriger beeld van wat er als volgende gebeurt.

Technische Samenvatting: Falcon-X

Probleemstelling

Time Series Foundation Models (TSFMs) veranderen de voorspelling door gebruik te maken van pretraining op grote schaal over verschillende domeinen. Echter, bestaande TSFMs staan voor twee fundamentele beperkingen bij het verwerken van heterogene multivariate data:

Semantische Misalignering: De meeste modellen werken direct in de ruwe variabele-ruimte. Bij het mengen van heterogene fysische grootheden (bijvoorbeeld temperatuur versus verkeersvolume) uit verschillende datasets, falen standaard groepsattentie-mechanismen om hun onderscheidende semantiek uit te lijnen. Dit leidt tot "semantische instorting", waarbij het model spurieze, dataset-specifieke correlaties leert in plaats van overdraagbare temporele structuren.
Beperkte Relationele Expressiviteit: Real-world systemen vertonen complexe interacties, inclusief zowel synergetische (positieve) als antagonistische (negatieve) afhankelijkheden. Standaard attentiemechanismen, die vertrouwen op niet-negatieve softmax-scores, vangen voornamelijk aggregatieve effecten en hebben moeite om expliciet tegenstrijdige dynamieken of antagonistische relaties te modelleren.

Huidige benaderingen flatten vaak multivariate reeksen of gebruiken groepsattentie binnen de ruwe ruimte, wat ofwel slecht schaalt met dimensionaliteit of faalt in het ontrafelen van heterogene semantiek, waardoor zero-shot transfermogelijkheden worden beperkt.

Methodologie: Falcon-X

Falcon-X is een encoder-only foundation model (591M parameters) ontworpen om fysische variabelen te ontkoppelen van de interactieruimte. Het introduceert een paradigma van Unificatie Latente Prototypruimte, bestaande uit vier hoofdfasen:

1. Pre-processing en Tokenisatie

Normalisatie: Invoer ondergaat een arcsine-transformatie met gebruik van per-instantie gemiddelde en standaardafwijking, berekend uitsluitend uit waargenomen waarden om ontbrekende entries te behouden.
Tokenisatie: De reeks wordt aangevuld met relatieve tijdstempels en een binaire waarnemingsmasker. Vervolgens wordt deze opgedeeld in niet-overlappende patches en geprojecteerd naar een verborgen dimensie via een residu-patch-embeddingsmechanisme.

2. Time Attention

Falcon-X maakt gebruik van een encoder-only Transformer-architectuur om eerst intrinsieke temporele patronen te vangen. $n$ lagen Time Attention worden onafhankelijk toegepast op elke variabele langs de tijddimensie. Dit zorgt ervoor dat robuuste temporele dynamieken worden gedestilleerd voordat enige cross-variabele interactie plaatsvindt, waardoor voortijdige semantische verstrengeling wordt voorkomen.

3. Variate Attention (Kerninnovatie)

Deze fase overbrugt de kloof tussen heterogene invoer en een verenigde representatie:

Unified Prototype Diff-Attention (UPDA): In plaats van ruwe variabelen te mengen, projecteert Falcon-X ze naar een vaste dimensie latente prototypruimte ( $C$ $C$ ). Het maakt gebruik van een Differential Attention-mechanisme met twee leerbare sleutelmatrices: $K_{pos}$ $K_{p os}$ (synergetisch) en $K_{neg}$ $K_{n e g}$ (antagonistisch).
- Het model berekent attentiescores tegen beide sleutels: $A_{pos} = \text{softmax}(QK_{pos}^T)$ en $A_{neg} = \text{softmax}(QK_{neg}^T)$ .
- De verenigde representatie wordt afgeleid door waarden te aggregeren op basis van het differentieel: $H_C = (A_{pos} - \lambda A_{neg})^T V$ .
- Een orthogonaliteitsverlies beperkt $K_{pos}$ en $K_{neg}$ om semantische onderscheidendheid te waarborgen. Dit stelt het model in staat om expliciet zowel positieve als negatieve affiniteiten te vangen.
Latent Entity Attention (LEA): Zodra ze zijn uitgelijnd in de gedeelde prototypruimte, worden globale cross-variabele interacties uitgevoerd via standaard Multi-Head Attention. Omdat alle entiteiten zich in dezelfde dimensie-onafhankelijke semantische ruimte bevinden, faciliteert dit naadloze zero-shot transfer over datasets met verschillende variabeletellingen en fysische betekenissen.
Variate Reassembly Router (VRR): Om specifieke trajecten te reconstrueren, wordt een verzoek-en-dispatchmechanisme gebruikt. Een routingverzoek ( $R_{req}$ $R_{r e q}$ ) uit de originele temporele embedding wordt vergeleken met een prototype-index ( $P_{idx}$ $P_{i d x}$ ) om relevante semantische ladingen op te halen uit de broncontext ( $S_{ctx}$ $S_{c t x}$ ).
- De uiteindelijke output fuseert de originele temporele embeddigns met de herboude cross-variabele representaties via een gated residual connection: $\hat{H} = H_T + G(H_T) \odot H_V$ . Deze gate reguleert de fusie dynamisch, waardoor semantische interferentie wordt voorkomen in zwak gecorreleerde systemen, terwijl afhankelijkheden in sterk gecorreleerde systemen worden benut.

4. Forecasting Head

Het model adopteert een probabilistische voorspellingsparadigma, waarbij toekomstige distributies worden voorspeld over een reeks quantielen met gebruik van een Quantile Loss.

Belangrijkste Bijdragen

Een Nieuw Paradigma voor Heterogene Modellering: Falcon-X verschuift van mengen in de ruwe ruimte naar een verenigde latente prototypruimte. Dit creëert een universeel coördinatenstelsel dat semantische discrepanties over datasets oplost, waardoor principiële zero-shot kennisoverdracht mogelijk wordt.
Architecturale Innovatie:
- Differential Prototype Attention: Modelleren expliciet zowel synergetische als antagonistische dynamieken, waardoor de beperkingen van niet-negatieve attention worden overwonnen.
- Variate Reassembly Router: Een gated mechanisme dat globaal context adaptief fuseert met lokale temporele signalen, waardoor robuustheid wordt gewaarborgd over diverse sterktes van afhankelijkheid.
Empirische Uitmuntendheid: Het model demonstreert state-of-the-art prestaties op uitgebreide benchmarks, wat de structurele aanpasbaarheid bevestigt.

Experimentele Resultaten

Falcon-X werd geëvalueerd op GIFT-Eval en fev-bench, twee grote benchmarks die diverse domeinen bestrijken (natuur, energie, financiën, gezondheidszorg, enz.).

GIFT-Eval: Falcon-X behaalde de beste algehele prestatie met 0.666 MASE en 0.453 CRPS. Het presteerde beter dan sterke baselines zoals STRIDE (+1.2% MASE), Toto-2.0-FT (+1.9% MASE) en Timer-S1 (+3.9% MASE). Opmerkelijk is dat het voordeel toenam bij langere voorspellingshorizons, met de beste resultaten voor de middellange termijn (0.68 MASE) en lange termijn (0.70 MASE).
fev-bench: Falcon-X eindigde dicht achter Chronos-2 (0.652 versus 0.645 MASE) terwijl het strikt leunde op endogene doelse series, en presteerde beter dan andere recente modellen zoals TiRex en Moirai 2.0.
Ablatiestudies: Het verwijderen van de negatieve prototypesleutel ( $K_{neg}$ ) veroorzaakte de ernstigste prestatiedaling, wat de noodzaak bevestigt van het modelleren van antagonistische relaties. Gecombineerde training (univariaat + multivariaat) bleek superieur aan twee-staps curriculum learning.
Schaling: Het model voldoet aan de neurale schalingswetten, met consistente prestatieverbeteringen naarmate de parameters schalen van 59M naar 591M.

Betekenis en Claims

Het artikel claimt dat Falcon-X een principieel en schaalbaar paradigma biedt voor complexe multivariate omgevingen. Door fysische variabelen te ontkoppelen van de interactieruimte en expliciet dubbele afhankelijkheden (synergetisch en antagonistisch) te modelleren, worden de bottlenecks van semantische uitlijning en relationele expressiviteit van huidige TSFMs aangepakt. De auteurs stellen dat deze aanpak robuuste zero-shot structurele overdracht mogelijk maakt, waardoor het model herbruikbare cross-domein patronen kan leren zonder gekoppeld te zijn aan ruwe variabeledimensies. Het werk wordt gepresenteerd als een stap naar meer verenigde en expressieve foundation modellen voor tijdreeksen, met de code publiek vrijgegeven om toekomstig onderzoek te ondersteunen.