🤖 AI

Filter then Attend: Improving attention-based Time Series Forecasting with Spectral Filtering

Dit artikel stelt voor om op Transformer gebaseerde modellen voor lange tijdreeksvoorspelling te verbeteren door leerbare spectrale filters te integreren in de invoerfase, wat de prestaties verbetert, de modelgrootte verkleint en een beter gebruik van het volledige frequentiespectrum mogelijk maakt terwijl er slechts minimale parameters worden toegevoegd.

Oorspronkelijke auteurs: Elisha Dayag, Nhat Thanh Van Tran, Jack Xin

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Elisha Dayag, Nhat Thanh Van Tran, Jack Xin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert de toekomst van een complex systeem te voorspellen, zoals het weer, het verkeersflow of het elektriciteitsverbruik, door te kijken naar een lange geschiedenis van data. Dit heet Time Series Forecasting (tijdsreeksvoorspelling).

Lange tijd gebruikten de slimste computers (AI-modellen) een specifiek hulpmiddel genaamd een Transformer om dit te doen. Denk aan een Transformer als een zeer oplettende bibliothecaris die een enorme stapel boeken (data) leest om patronen te vinden. Deze bibliothecaris heeft echter een eigenaardigheid: hij is uitstekend in het begrijpen van de langzame, gestage verhaallijnen (laagfrequente patronen), maar hij mist vaak de snelle, scherpe details of plotselinge pieken (hoogfrequente patronen), omdat hij de neiging heeft om dingen te veel te "gladstrijken".

Het paper "Filter Then Attend" stelt een eenvoudige maar krachtige oplossing voor: Geef de bibliothecaris een paar gespecialiseerde brillen voordat hij begint met lezen.

Hier is de uiteenzetting van het idee uit het paper, met gebruik van alledaagse analogieën:

1. Het Probleem: De "Vage" Bibliothecaris

De auteurs merkten op dat standaard Transformer-modellen een "bias" hebben. Ze zijn als een camera met een trage sluitertijd; ze vangen de algemene beweging van een auto goed op, maar de details van de draaiende wielen worden wazig. In termen van data richten de modellen zich te veel op langzame trends en negeren ze de snelle, hoogfrequente veranderingen die vaak cruciaal zijn voor nauwkeurige voorspellingen.

2. De Oplossing: De "Spectrale Filter"-Bril

De auteurs voegden een nieuwe stap toe aan het allerbegin van het proces. Voordat de data de Transformer (de bibliothecaris) binnenkomt, passeert deze een Leerbaar Spectraal Filter.

De Analogie: Stel je voor dat je luistert naar een nummer dat veel achtergrondruis heeft en een paar belangrijke, hoge tonen. Als je een paar ruisonderdrukkende koptelefoons opzet die zo zijn afgesteld dat ze die hoge tonen versterken en de modderige lage frequenties wegcijferen, wordt het nummer veel duidelijker.
Hoe het werkt: Deze filter kijkt naar de data in het "frequentiedomein" (zoals het kijken naar het spectrum van een geluidsgolf). Het leert welke delen van het signaal belangrijk zijn en versterkt ze, terwijl het ruis dempt. Cruciaal is dat deze brillen leerbaar zijn, wat betekent dat de computer precies uitzoekt wat voor soort "afstemming" nodig is voor elke specifieke dataset.

3. Het Resultaat: "Filter Then Attend"

Het paper noemt deze nieuwe aanpak FilterFormer (en variaties zoals iFilterFormer). De werkwijze is eenvoudig:

Filter: De data gaat eerst door de speciale brillen.
Attend: De opgeschoonde, verscherpte data wordt vervolgens aan de Transformer overhandigd.

Omdat de data al "voorbereid" is en de hoogfrequente details behouden blijven, kan de Transformer zijn werk veel beter doen.

4. Belangrijkste Bevindingen (De "Magie" van de Methode)

De auteurs testten dit op negen verschillende real-world datasets (zoals elektriciteitsverbruik, verkeer en weer) en vonden enkele verrassende voordelen:

Betere Nauwkeurigheid: In veel gevallen verbeterde het toevoegen van deze filters de voorspellingnauwkeurigheid met 5% tot 10%. In de wereld van AI is een een-cijferige verbetering vaak een enorme prestatie, die meestal enorme, complexe ingrepen vereist. Hier was het slechts een kleine toevoeging.
Kleinere Modellen: Omdat de filter zo veel van het zware werk doet, hoeft het hoofd-Transformer-model niet zo "spierkrachtig" te zijn. De auteurs ontdekten dat ze de grootte van het model (embedding-dimensie) konden verkleinen en toch betere resultaten konden behalen. Het is alsof je een hardloper betere schoenen geeft, zodat hij niet zo natuurlijk sterk hoeft te zijn om de race te winnen.
Goedkoop en Snel: De filter voegt bijna geen extra gewicht toe aan het geheugen of de verwerkingskracht van de computer (slechts ongeveer 1.000 extra parameters). Het is een "gratis lunch" in de AI-wereld: je krijgt betere prestaties zonder zware kosten in snelheid of geheugen.
Het Oplossen van "Oversmoothing": De auteurs bewezen dat de filter specifiek helpt het model de "snelle" delen van de data te laten zien die de Transformer meestal mist. Zonder de filter wazigt de Transformer de scherpe randen uit; met de filter blijven die randen scherp.

5. Een Voorbehoud: Afval In, Afval Uit

Het paper merkt ook op dat de filter geen toverstaf is voor slechte data. In één specifiek geval (een verkeersdataset met een defecte sensor) maakte de filter de situatie aanvankelijk erger, omdat de data zelf inconsistent was tussen training en testen. Echter, zodra die slechte data was verwijderd, werkte de filter perfect. Dit bewijst dat de filter het leervermogen van het model verbetert, maar het kan geen gebroken invoer repareren.

Samenvatting

Het paper betoogt dat Transformers geweldig zijn, maar dat ze een beetje "laagdoorlaat" zijn (ze houden van langzame dingen). Door aan het begin een eenvoudige, leerbare frequentiefilter toe te voegen, kunnen we de data verscherpen, waardoor de Transformer het volledige plaatje duidelijk kan zien. Dit resulteert in modellen die nauwkeuriger, kleiner en sneller zijn, waardoor ze beter zijn in het voorspellen van de toekomst van complexe systemen zoals energienetwerken en verkeersstromen.

Technische Samenvatting: Filter Then Attend

Probleemstelling

Long Time-Series Forecasting (LTSF) heeft aanzienlijke vooruitgang geboekt dankzij op Transformer-gebaseerde modellen, die vaak state-of-the-art resultaten behalen. Deze modellen kampen echter met twee primaire beperkingen: een bias naar laagfrequente componenten in de data en hoge reken- en geheugeneisen. Hoewel recente werken hebben geprobeerd frequentieleren te integreren in diepe voorspellingsmodellen, vertrouwen veel daarvan op Multilayer Perceptrons (MLP's) om gefilterde signalen te verwerken, waardoor de inherente inefficiënties van Transformer-architecturen niet worden opgelost. Bovendien suggereert de bestaande literatuur dat Transformers kunnen fungeren als laagdoorlaatfilters, wat potentieel leidt tot "oversmoothing" van signalen en het niet vastleggen van hoogfrequente patronen die essentieel zijn voor nauwkeurige langetermijnvoorspelling.

Methodologie

Het artikel stelt een eenvoudige maar effectieve architecturale wijziging voor: het plaatsen van een leerbare spectrale filter aan het begin van Transformer-gebaseerde modellen. Deze aanpak, genaamd "Filter Then Attend", integreert frequentiedomeinverwerking direct in de Transformer-pijplijn.

Kernarchitectuur: FilterFormer

De auteurs introduceren FilterFormer, een model dat tijdreeksdata door een leerbare filter stuurt voordat standaard Transformer-aandachtsmechanismen worden toegepast. De architectuur bestaat uit de volgende componenten:

Input Embedding en Patching: Volgend op het PatchTST-raamwerk wordt de invoer-tijdreeks behandeld als onafhankelijke univariate sequenties. Deze worden genormaliseerd en verdeeld in overlappende of niet-overlappende patches. Elke patch wordt ingebed in een latente ruimte en verrijkt met positionele embeddings.
Spectrale Blok: Voordat het aandachtsmechanisme wordt toegepast, ondergaan de ingebedde patches spectrale verwerking.
- Het signaal wordt met de Fast Fourier Transform (FFT) omgezet naar het frequentiedomein.
- Een leerbare filter wordt toegepast via puntsgewijze vermenigvuldiging in het frequentiedomein. Deze filter wordt geïnitieerd als een willekeurige reeks reële parameters en getransformeerd via rFFT.
- Het gefilterde signaal wordt met de Inverse Discrete Fourier Transform (IDFT) teruggezet naar het tijdsdomein.
- In tegenstelling tot eerdere werken (bijv. FilterNet) die het gefilterde signaal uitsluitend door een MLP verwerken, wordt dit methode het gefilterde signaal direct doorgegeven aan het aandachtsblok van de Transformer.
- Opmerking: In de specifieke implementatie van FilterFormer is een kleine MLP opgenomen binnen het spectrale blok, maar de auteurs merken op dat voor andere varianten (iFilterFormer, FilterLeddam) de MLP kan worden weggelaten om parameters te reduceren.
Aandachtsblok: De gefilterde patches worden verwerkt door standaard multi-head self-attention-mechanismen. Het model wisselt af tussen spectrale blokken en aandachtsblokken, waarbij de verhouding wordt bepaald door een hyperparameter $\alpha$ .
Output: De uiteindelijke representatie wordt platgelegd en via een lineair hoofd afgebeeld op de voorspellingshorizon.

De auteurs hebben ook varianten van deze aanpak ontwikkeld die zijn toegepast op andere basismodellen: iFilterFormer (gebaseerd op iTransformer) en FilterLeddam (gebaseerd op Leddam).

Belangrijkste Bijdragen

Integratie van Leerbare Filters: Het artikel toont aan dat het toevoegen van een leerbare frequentiefilter aan de invoer van Transformer-gebaseerde modellen hun prestaties bij LTSF-taken aanzienlijk verbetert.
Efficiëntie en Parameterreductie: De toevoeging van de filter introduceert ongeveer 1.000 parameters. Cruciaal is dat deze toevoeging een reductie van de embedding-dimensie van de onderliggende Transformer mogelijk maakt. Bijgevolg zijn de resulterende modellen vaak kleiner en sneller dan hun tegenhangers zonder filtering, terwijl ze superieure of vergelijkbare nauwkeurigheid behalen.
Analyse van Spectrale Benutting: Via synthetische experimenten leveren de auteurs bewijs dat filters Transformers in staat stellen hoogfrequente patronen beter vast te leggen. Zij veronderstellen dat standaard Transformers fungeren als laagdoorlaatfilters (wat oversmoothing veroorzaakt), en dat de leerbare filters dit tegengaan door midden- tot hoogfrequente componenten te versterken.
Empirische Validatie: De methode is gevalideerd op negen diverse datasets (waaronder ETT, Electricity, Weather, Traffic en Solar-Energy) en meerdere voorspellingshorizonten.

Experimentele Resultaten

De auteurs hebben hun modellen geëvalueerd tegen sterke baselines, waaronder iTransformer, PatchTST, Leddam, FilterNet, Fredformer en DLinear.

Prestatiewinst: Over meerdere datasets behaalden de FilterFormer-varianten relatieve verbeteringen van 5–10% in voorspellingsprestaties (gemeten aan de hand van MSE en MAE). Bijvoorbeeld, op de Electricity (ECL)-dataset toonde FilterFormer een verbetering van 11,7% ten opzichte van PatchTST.
Robuustheid: De verbeteringen waren consistent over verschillende domeinen, hoewel de auteurs opmerkten dat het model op de Traffic-dataset aanvankelijk onderpresteerde vanwege een specifieke outlier-kanaal dat spectrale discrepanties veroorzaakte tussen trainings- en testsets. Het verwijderen van deze outlier herstelde de superieure prestaties van het model.
Efficiëntie: Tabel 6 in het artikel benadrukt dat FilterFormer-modellen aanzienlijk minder parameters vereisen (bijv. 0,6M versus 3,7M voor PatchTST) en minder FLOPs, terwijl ze concurrerende nauwkeurigheid behouden. Dit wordt toegeschreven aan het vermogen om kleinere embedding-dimensies te gebruiken wanneer filters aanwezig zijn.
Synthetische Experimenten: Op een synthetisch signaal met lage, midden- en hoge frequenties had de standaard iTransformer moeite (MSE = 1,0e-1) vanwege frequentiebias, terwijl iFilterFormer (met de filter) een aanzienlijk lagere MSE behaalde (2,6e-4), waardoor de hoogfrequente componenten effectief werden gemodelleerd.

Betekenis en Claims

Het artikel positioneert "Filter Then Attend" als een "gratis lunch" in de context van diepe tijdreeksvoorspelling. De auteurs beweren dat:

Het toevoegen van een leerbare filter een kleine architecturale wijziging is die zelden de prestaties verslechtert, maar wel het potentieel heeft om deze drastisch te verbeteren.
Filters fungeren als een noodzakelijk bouwsteen om Transformers in staat te stellen het volledige spectrum van data te benutten, specifiek door de laagdoorlaat-natuur van self-attention te counteren.
De methode geen panacee is; de effectiviteit wordt uiteindelijk begrensd door de capaciteit van de achterliggende Transformer. Het stelt deze backbones echter wel in staat efficiënter te opereren.
De auteurs pleiten voor de geleerde filter als een basisconfiguratie voor toekomstige Transformer-gebaseerde voorspellingsmodellen, en suggereren dat verder werk zich kan richten op het ontwikkelen van geavanceerdere, stuurbare en interpreteerbare filters.

Het artikel concludeert dat het combineren van frequentiefiltering met aandachtsmechanismen resulteert in een model dat "sterker is dan de som van zijn delen", en een lichtgewicht, effectieve oplossing biedt voor langetermijn-tijdreeksvoorspelling.