🤖 machine learning

XCTFormer: Leveraging Cross-Channel and Cross-Time Dependencies for Enhanced Time-Series Analysis

XCTFormer is een nieuw transformer-gebaseerd model dat expliciet cross-temporele en cross-kanaal afhankelijkheden vastlegt via een token-naar-token Cross-Relational Attention-mechanisme, en dat state-of-the-art prestaties bereikt in multivariate tijdreeksopdrachten, met name in imputatie.

Oorspronkelijke auteurs: Israel Zexer, Omri Azencot

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Israel Zexer, Omri Azencot

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je het weer probeert te voorspellen, maar in plaats van naar slechts één thermometer te kijken, heb je een kamer vol met ze, plus barometers, windsensoren en vochtigheidsmeters. In de wereld van datawetenschap heet dit multivariate tijdreeksanalyse. Het doel is om al deze verschillende "kanalen" van informatie samen te bekijken om te begrijpen wat er aan de hand is en de toekomst te voorspellen.

Lange tijd geloofden experts dat je voor de beste voorspellingen een model nodig had dat begreep hoe al deze sensoren met elkaar communiceerden. Als de wind opsteekt, kan de temperatuur dalen; als de vochtigheid stijgt, kan er regen volgen. Dit zijn afhankelijkheden.

Echter, een recente verrassing in het vakgebied toonde aan dat modellen die deze gesprekken * negeren (en elke sensor behandelen alsof het alleen in een kamer staat) vaak beter presteerden dan diegenen die probeerden naar de hele groep te luisteren. Het was alsof je ontdekt dat een solozanger vaak de juiste noten beter raakt dan een koor dat probeert te harmoniseren.

De auteurs van dit artikel, XCTFormer, vragen: "Waarom faalt het koor? Is het omdat ze de verkeerde noten zingen, of omdat ze op een rommelige, verwarrende manier proberen naar elkaar te luisteren?"

Ze betogen dat eerdere "koor"-modellen probeerden de relaties indirect te begrijpen, zoals proberen een gesprek te horen in een lawaaierige kamer door alleen naar het volume te luisteren. Ze misten de subtiele, directe verbindingen.

De Oplossing: De "Token-naar-Token" Super-Luisteraar

De auteurs introduceren XCTFormer, een nieuw model dat is ontworpen om naar elk enkel stukje data te luisteren, op elk enkel moment in de tijd, en precies te begrijpen hoe het zich verhoudt tot elk ander stukje.

Hier is hoe ze het bouwden, met behulp van alledaagse analogieën:

1. De Dataverwerking: Het verhaal opbreken in scènes

In plaats van de hele geschiedenis van een sensor in één keer te bekijken, hakt het model de data op in kleine stukjes die patches worden genoemd. Denk hierbij aan het nemen van een lange film en het knippen in korte, hanteerbare scènes. Dit helpt het model om zich te focussen op lokale patronen (zoals een plotselinge piek in temperatuur) zonder overweldigd te raken door de hele film.

2. De Kernmotor: CRAB (Het Cross-Relational Attention Block)

Dit is de hersenen van de operatie. In standaard AI-modellen is het "attention"-mechanisme als een schijnwerper die schijnt op de belangrijkste delen van de data. Maar meestal kan deze schijnwerper alleen helderder schijnen (positieve gewichten).

XCTFormer's CRAB is speciaal omdat:

Het leert wie het moet negeren: Het gebruikt een "leerbare masker". Stel je een dirigent voor die de orkest niet alleen vertelt om harder te spelen, maar ook specifieke instrumenten vertelt om zachter te spelen of zelfs helemaal te stoppen als ze afleiden. Dit helpt het model om zich te focussen op de meest cruciale relaties.
Het begrijpt "negatieve" relaties: Standaardmodellen kunnen alleen zeggen: "Dit is belangrijk!" (Positief). XCTFormer kan ook zeggen: "Als dit omhoog gaat, moet dat noodzakelijkerwijs omlaag!" (Negatief). Het gebruikt een nieuwe wiskundige truc (genaamd AbsAct) die het mogelijk maakt dat de schijnwerper in omgekeerde richting schijnt, waardoor complexe "wip-wip" relaties worden vastgelegd die andere modellen missen.

3. De Schaalbaarheidsplug-in: DeCoP (De Compressie-assistent)

Er is een addertje onder het gras: Als je 1.000 sensoren en 1.000 tijdstappen hebt, creëert het controleren van elke enkele verbinding tussen hen een enorm web van verbindingen (1 miljoen verbindingen!). Dit is te zwaar voor computers om te hanteren.

Om dit op te lossen, hebben ze DeCoP toegevoegd. Denk hierbij aan een samenvatter. In plaats van elke enkele pagina van een 1.000-pagina boek te lezen om de connectie te vinden, leest DeCoP het boek en schrijft een samenvatting van 50 pagina's die alle belangrijke plotpunten behoudt maar de onzin weggooit. Hierdoor kan het model enorme datasets hanteren zonder te crashen, terwijl het toch de belangrijkste informatie behoudt.

Wat Vonden Ze?

De auteurs testten hun nieuwe "Super-Luisteraar" op drie hoofdopdrachten:

Voorspelling (De Toekomst Voorspellen): Ze probeerden dingen zoals elektriciteitsgebruik en verkeer te voorspellen. XCTFormer presteerde zeer goed, vaak de beste bestaande modellen verslaan, vooral op een lastige synthetische test die was ontworpen om te zien of modellen "nep"-signalen (afleiders) konden negeren.
Imputatie (De Gaten Opvullen): Stel je voor dat een sensor kapot gaat en stopt met het verzenden van data. Kan het model raden wat het had moeten zeggen op basis van de andere sensoren? XCTFormer was hier een kampioen, het invullen van ontbrekende data met aanzienlijk minder fouten (ongeveer 20% beter) dan het op één na beste model.
Anomalie-detectie (Het Vreemde Opsporen): Kan het model opmerken wanneer een machine zich vreemd gedraagt? XCTFormer was hier zeer goed in, met succes het identificeren van ongebruikelijke patronen in serverdata en waterzuiveringssystemen.

De Conclusie

Het artikel beweert dat de reden waarom eerdere modellen niet in staat waren om het "groepsgesprek" van data te gebruiken, was dat ze te indirect luisterden. Door een model te bouwen dat direct luistert naar de relatie van elk enkel datapunt met elk ander punt (met behulp van de CRAB-motor) en dat luisterproces comprimeert om het snel te houden (met behulp van DeCoP), bereikten ze state-of-the-art resultaten.

Ze bewezen dat als je het "koor" correct bouwt—het de juiste tools geeft om zowel positieve als negatieve relaties te begrijpen—het uiteindelijk de "solozangers" kan overtreffen.

Technische Samenvatting: XCTFormer

Probleemstelling

Multivariate tijdsreeksanalyse is cruciaal voor taken zoals voorspelling, imputatie en anomaliedetectie. Hoewel real-world variabelen vaak latente afhankelijkheden delen over tijd en kanalen, hebben recente bevindingen (bijv. Han et al., 2024) de aanname uitgedaagd dat het expliciet modelleren van deze cross-kanaalrelaties de prestaties verbetert. In plaats daarvan presteren kanaalonafhankelijke (CI) modellen, die variabelen afzonderlijk behandelen, vaak beter dan kanaalafhankelijke (CD) modellen. De auteurs schrijven dit toe aan een afweging tussen modelcapaciteit en robuustheid: CD-modellen kunnen hun potentieel niet volledig benutten vanwege beperkingen in hoe afhankelijkheden worden vastgelegd, vaak door te vertrouwen op indirecte modelleringstrategieën die belangrijke interacties over het hoofd zien of niet kunnen aanpassen aan veranderende tijdsafhankelijkheden.

Methodologie

Om deze beperkingen aan te pakken, stellen de auteurs XCTFormer voor, een op Transformer gebaseerd, kanaalafhankelijk framework dat is ontworpen om expliciet en direct paarsgewijze afhankelijkheden tussen elke token over zowel tijd als kanalen te modelleren. De architectuur bestaat uit drie hoofdbestanddelen:

Data Processing Unit:
- Invoerkanalen worden onafhankelijk gepatcht om lokale temporele patronen vast te leggen.
- Patches worden getokeniseerd en vervolgens over de patch- en kanaaldimensies platgelegd. Dit creëert een geünificeerde sequentie waarbij de Transformer in één stap naar alle paarsgewijze relaties kan kijken (zelf-lag, cross-kanaal synchroon, cross-kanaal gelagged en voorwaarts in de tijd).
Cross-Relational Attention Block (CRAB):
- CRAB wijzigt het standaard Transformer-attentie-mechanisme om expressiviteit en robuustheid te verbeteren.
- Leerbaar Niet-Booleaans Masker: In plaats van binaire masking, maakt CRAB gebruik van een leerbaar, reëelwaardig masker dat elementsgewijs wordt toegepast op de attentiescores. Dit stelt het model in staat om afhankelijkheden te wegen op basis van geleerde belangrijkheid en het teken van de attentieweegs te controleren.
- Getekende Attentie-activering (AbsAct): CRAB vervangt de standaard Softmax door een rijgewijze normalisatie gebaseerd op de absolute som van waarden. Dit maakt negatieve attentieweegs mogelijk, waardoor het vermogen van het model om een bredere reeks relaties vast te leggen toeneemt, terwijl de gebonden Frobenius-norm wordt behouden die nodig is voor trainingsstabiliteit.
Dependency Compression Plugin (DeCoP):
- Om de kwadratische geheugen- en rekencomplexiteit ( $O(N^2)$ ) van het modelleren van alle paarsgewijze tokens in hoogdimensionale datasets aan te pakken, wordt DeCoP geïntroduceerd als een optionele module.
- Het comprimeert de attentiematrix met behulp van een leerbare transformatie, waardoor de complexiteit lineair ( $O(N)$ ) wordt met betrekking tot de sequentielengte, terwijl essentiële afhankelijkheidsstructuren behouden blijven. Wanneer DeCoP actief is, wordt het leerbare masker van CRAB weggelaten, aangezien de directe paarsgewijze structuur niet langer volledig wordt gerealiseerd.

Belangrijkste Bijdragen

Identificatie van een Modelleringstekort: Het artikel benadrukt dat huidige CD-methoden cross-kanaal- en cross-tijd-afhankelijkheden vaak indirect modelleren, waardoor het volledige potentieel van multivariate data niet wordt verwezenlijkt.
XCTFormer Framework: Een algemeen doel architectuur die alle paarsgewijze afhankelijkheden direct modelleert via een token-naar-token-aanpak. Het integreert:
- CRAB: Verhoogt de expressiviteit door leerbare, belangrijkheidsbewuste maskers en getekende attentie-activeringen.
- DeCoP: Vermindert schaalbaarheidsknelpunten op hoogdimensionale data door middel van leerbare compressie.
Uitgebreide Evaluatie: Het model is geëvalueerd op drie kerntaken (voorspelling, anomaliedetectie, imputatie) over meerdere benchmarks, waarbij consistente verbeteringen of concurrerende prestaties ten opzichte van sterke baselines worden aangetoond.

Experimentele Resultaten

De auteurs hebben XCTFormer geëvalueerd op standaard benchmarks, waaronder ETT-subsets, Weather, Electricity, Traffic en diverse anomaliedetectiedatasets (SMD, SWaT, PSM, MSL, SMAP).

Imputatie: XCTFormer behaalde state-of-the-art (SoTA) prestaties en presteerde gemiddeld 20,8% beter in MSE en 15,3% beter in MAE dan de op één na beste methode over alle datasets.
Voorspelling: Het model behaalde de op één na beste prestatie op 8 van de 10 evaluatiemetrics over diverse benchmarks. Op een synthetische dataset die is ontworpen om robuustheid tegen schijnbare correlaties te testen (waarbij het doel afhankelijk is van gelagged cross-variabele signalen), behaalde XCTFormer de tweede plaats qua nauwkeurigheid, terwijl het aanzienlijk minder parameters en FLOPs gebruikte dan de best gerangschikte baseline.
Anomaliedetectie: Het model behaalde concurrerende F1-scores, wat wijst op een effectieve vastlegging van cross-kanaal-afhankelijkheden voor het identificeren van ongebruikelijke patronen.
Ablatiestudies: Het verwijderen van componenten (leerbaar masker, getekende activering of de geïntegreerde cross-tijd/kanaal-modellering) leidde consequent tot een verslechtering van de prestaties, wat de noodzaak van de voorgestelde architecturale keuzes bevestigt.

Betekenis en Claims

Het artikel stelt dat XCTFormer een aanzienlijke stap voorwaarts is om het volledige modelleringspotentieel van multivariate tijdsreeksdata te verwezenlijken door over te schakelen van indirecte naar directe, token-naar-token-afhankelijkheidsmodellering.

Potentieel Verwezenlijken: Het werk betoogt dat de onderprestatie van eerdere CD-modellen niet te wijten was aan de inherente moeilijkheid van het modelleren van cross-kanaal-afhankelijkheden, maar eerder aan de inefficiëntie van bestaande indirecte strategieën.
Robuustheid: Via synthetische experimenten tonen de auteurs aan dat hun aanpak informatieve cross-variabele signalen kan onderscheiden van afleiders, wat robuustheid tegen schijnbare correlaties aantoont.
Beperkingen: De auteurs erkennen bescheiden dat de geünificeerde token-naar-token-attentie kwadratisch schaalt met het aantal tokens, wat DeCoP noodzakelijk maakt voor grote datasets. Zij merken ook op dat prestatiewinst niet uniform is over alle datasets, wat suggereert dat de effectiviteit van de methode gevoelig is voor de onderliggende afhankelijkheidsstructuur van de data.

Concluderend stelt het artikel dat XCTFormer door expliciet de volledige structuur van cross-kanaal- en cross-tijd-interacties vast te leggen via een geünificeerd attentiemechanisme, de afweging tussen capaciteit en robuustheid overwint die recentelijk kanaalonafhankelijke benaderingen heeft begunstigd.