🤖 AI

Filter then Attend: Improving attention-based Time Series Forecasting with Spectral Filtering

Dieser Artikel schlägt vor, Transformer-basierte Modelle für die Vorhersage langer Zeitreihen zu verbessern, indem lernbare spektrale Filter in der Eingabestufe integriert werden, was die Leistung steigert, die Modellgröße reduziert und eine bessere Ausnutzung des gesamten Frequenzspektrums bei minimaler Parametererhöhung ermöglicht.

Ursprüngliche Autoren: Elisha Dayag, Nhat Thanh Van Tran, Jack Xin

Veröffentlicht 2026-05-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Elisha Dayag, Nhat Thanh Van Tran, Jack Xin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, die Zukunft eines komplexen Systems vorherzusagen, wie etwa das Wetter, den Verkehrsfluss oder den Stromverbrauch, indem Sie eine lange Historie von Daten betrachten. Dies nennt man Zeitreihenvorhersage.

Lange Zeit nutzten die intelligentesten Computer (KI-Modelle) ein bestimmtes Werkzeug namens Transformer, um dies zu tun. Stellen Sie sich einen Transformer wie einen sehr aufmerksamen Bibliothekar vor, der einen riesigen Stapel Bücher (Daten) liest, um Muster zu finden. Dieser Bibliothekar hat jedoch eine Eigenart: Er ist hervorragend darin, die langsamen, stetigen Handlungsstränge (niederfrequente Muster) zu verstehen, übersieht aber oft die schnellen, scharfen Details oder plötzlichen Spitzen (hochfrequente Muster), weil er dazu neigt, Dinge zu stark zu „glätten".

Die Arbeit „Filter Then Attend" schlägt eine einfache, aber wirkungsvolle Lösung vor: Geben Sie dem Bibliothekar vor dem Lesen ein Paar spezialisierter Brillen.

Hier ist die Aufschlüsselung der Idee der Arbeit, unter Verwendung alltäglicher Analogien:

1. Das Problem: Der „unscharfe" Bibliothekar

Die Autoren stellten fest, dass Standard-Transformer-Modelle eine „Verzerrung" aufweisen. Sie sind wie eine Kamera mit einer langsamen Verschlusszeit: Sie erfassen die allgemeine Bewegung eines Autos gut, aber die Details der sich drehenden Räder werden unscharf. In Datenbegriffen konzentrieren sich die Modelle zu sehr auf langsame Trends und ignorieren die schnellen, hochfrequenten Änderungen, die für genaue Vorhersagen oft entscheidend sind.

2. Die Lösung: Die „Spektralfilter"-Brille

Die Autoren fügten einen neuen Schritt ganz am Anfang des Prozesses hinzu. Bevor die Daten in den Transformer (den Bibliothekar) eintreten, durchlaufen sie einen lernbaren Spektralfilter.

Die Analogie: Stellen Sie sich vor, Sie hören ein Lied, das viel Hintergrundrauschen und einige wichtige, hochfrequente Töne enthält. Wenn Sie eine Geräuschunterdrückungskopfhörer aufsetzen, die darauf abgestimmt sind, diese hochfrequenten Töne zu verstärken und die trüben tiefen Frequenzen auszublenden, wird das Lied viel klarer.
Wie es funktioniert: Dieser Filter betrachtet die Daten im „Frequenzbereich" (wie beim Betrachten des Spektrums einer Schallwelle). Er lernt, welche Teile des Signals wichtig sind, verstärkt sie und dämpft gleichzeitig das Rauschen. Entscheidend ist, dass diese Brillen lernbar sind, was bedeutet, dass der Computer genau herausfindet, welche Art von „Abstimmung" für jeden spezifischen Datensatz erforderlich ist.

3. Das Ergebnis: „Filter Then Attend"

Die Arbeit nennt diesen neuen Ansatz FilterFormer (und Varianten wie iFilterFormer). Der Arbeitsablauf ist einfach:

Filter: Die Daten durchlaufen zuerst die spezielle Brille.
Attend: Die aufbereiteten, geschärften Daten werden dann dem Transformer übergeben.

Da die Daten bereits „vorbereitet" sind und die hochfrequenten Details erhalten bleiben, kann der Transformer seine Arbeit viel besser verrichten.

4. Wichtige Erkenntnisse (die „Magie" der Methode)

Die Autoren testeten dies an neun verschiedenen realen Datensätzen (wie Stromverbrauch, Verkehr und Wetter) und stellten einige überraschende Vorteile fest:

Bessere Genauigkeit: In vielen Fällen verbesserte das Hinzufügen dieser Filter die Vorhersagegenauigkeit um 5 % bis 10 %. In der Welt der KI ist eine einstellige Verbesserung oft eine große Sache, die normalerweise massive, komplexe Überarbeitungen erfordert. Hier war es nur eine kleine Ergänzung.
Kleinere Modelle: Da der Filter so viel der schweren Arbeit leistet, muss das Haupt-Transformer-Modell nicht so „muskulös" sein. Die Autoren stellten fest, dass sie die Größe des Modells (Einbettungsdimension) verkleinern konnten und dennoch bessere Ergebnisse erzielten. Es ist wie einem Läufer bessere Schuhe zu geben, damit er nicht so natürlich stark sein muss, um das Rennen zu gewinnen.
Günstig und schnell: Der Filter fügt dem Speicher oder der Rechenleistung des Computers fast kein zusätzliches Gewicht hinzu (nur etwa 1.000 zusätzliche Parameter). Es ist ein „kostenloses Mittagessen" in der Welt der KI: Sie erhalten eine bessere Leistung, ohne hohe Kosten in Bezug auf Geschwindigkeit oder Speicher zu zahlen.
Behebung der „Überglättung": Die Autoren bewiesen, dass der Filter dem Modell speziell hilft, die „schnellen" Teile der Daten zu sehen, die der Transformer normalerweise übersieht. Ohne den Filter verwischt der Transformer die scharfen Kanten; mit dem Filter bleiben diese Kanten scharf.

5. Eine Einschränkung: Müll rein, Müll raus

Die Arbeit weist auch darauf hin, dass der Filter kein Zauberstab für schlechte Daten ist. In einem spezifischen Fall (ein Verkehrsdatensatz mit einem defekten Sensor) verschlechterte der Filter die Dinge zunächst, weil die Daten selbst zwischen Training und Test inkonsistent waren. Sobald jedoch diese schlechten Daten entfernt wurden, funktionierte der Filter perfekt. Dies beweist, dass der Filter die Fähigkeit des Modells zum Lernen verbessert, aber er kann keine defekten Eingaben reparieren.

Zusammenfassung

Die Arbeit argumentiert, dass Transformer großartig sind, aber sie sind etwas „niederpassend" (sie mögen langsame Dinge). Indem wir einen einfachen, lernbaren Frequenzfilter am Anfang hinzufügen, können wir die Daten schärfen und dem Transformer ermöglichen, das gesamte Bild klar zu sehen. Dies führt zu Modellen, die genauer, kleiner und schneller sind und somit besser in der Lage sind, die Zukunft komplexer Systeme wie Energienetze und Verkehrsströme vorherzusagen.

Technische Zusammenfassung: Filter Then Attend

Problemstellung

Die langfristige Zeitreihenvorhersage (Long Time-Series Forecasting, LTSF) hat durch Transformer-basierte Modelle erhebliche Fortschritte erfahren, die häufig state-of-the-art-Ergebnisse erzielen. Diese Modelle leiden jedoch unter zwei primären Einschränkungen: einer Verzerrung zugunsten niederfrequenter Komponenten in den Daten sowie hohen rechnerischen und Speicheranforderungen. Während neuere Arbeiten versucht haben, Frequenzlernen in tiefe Vorhersagemodelle zu integrieren, verlassen sich viele auf Multilayer Perceptrons (MLPs), um gefilterte Signale zu verarbeiten, und lösen dabei die inhärenten Ineffizienzen von Transformer-Architekturen nicht. Darüber hinaus deuten bestehende Literatur darauf hin, dass Transformer als Tiefpassfilter wirken können, was potenziell zu einer „Überglättung" von Signalen führt und das Erfassen hochfrequenter Muster verhindert, die für eine genaue langfristige Vorhersage unerlässlich sind.

Methodik

Die Arbeit schlägt eine einfache, aber effektive architektonische Modifikation vor: die Platzierung eines lernbaren Spektralfilters am Anfang von Transformer-basierten Modellen. Dieser Ansatz, bezeichnet als „Filter Then Attend", integriert die Verarbeitung im Frequenzbereich direkt in die Transformer-Pipeline.

Kernarchitektur: FilterFormer

Die Autoren stellen FilterFormer vor, ein Modell, das Zeitreihendaten durch einen lernbaren Filter leitet, bevor es Standard-Transformer-Aufmerksamkeitsmechanismen anwendet. Die Architektur besteht aus folgenden Komponenten:

Input-Embedding und Patching: Nach dem PatchTST-Rahmenwerk wird die Eingangszeitreihe als unabhängige univariate Sequenzen behandelt. Diese werden normalisiert und in überlappende oder nicht-überlappende Patches unterteilt. Jeder Patch wird in einen latenten Raum eingebettet und mit Positions-Embeddings angereichert.
Spektralblock: Vor dem Aufmerksamkeitsmechanismus durchlaufen die eingebetteten Patches eine spektrale Verarbeitung.
- Das Signal wird mittels der Fast Fourier Transform (FFT) in den Frequenzbereich transformiert.
- Ein lernbarer Filter wird durch punktweise Multiplikation im Frequenzbereich angewendet. Dieser Filter wird als zufällige Menge reeller Parameter initialisiert und über rFFT transformiert.
- Das gefilterte Signal wird mittels der Inverse Discrete Fourier Transform (IDFT) zurück in den Zeitbereich konvertiert.
- Im Gegensatz zu früheren Arbeiten (z. B. FilterNet), die das gefilterte Signal ausschließlich durch ein MLP verarbeiten, leitet diese Methode das gefilterte Signal direkt in den Aufmerksamkeitsblock des Transformers.
- Hinweis: In der spezifischen Implementierung von FilterFormer ist ein kleines MLP innerhalb des Spektralblocks enthalten, die Autoren weisen jedoch darauf hin, dass bei anderen Varianten (iFilterFormer, FilterLeddam) das MLP weggelassen werden kann, um Parameter zu reduzieren.
Aufmerksamkeitsblock: Die gefilterten Patches werden durch Standard-Multi-Head-Self-Attention-Mechanismen verarbeitet. Das Modell wechselt zwischen Spektralblöcken und Aufmerksamkeitsblöcken, wobei das Verhältnis durch einen Hyperparameter $\alpha$ gesteuert wird.
Ausgabe: Die finale Repräsentation wird abgeflacht und über einen linearen Kopf auf den Vorhersagehorizont abgebildet.

Die Autoren erstellten zudem Varianten dieses Ansatzes, die auf anderen Basismodellen basieren: iFilterFormer (basierend auf iTransformer) und FilterLeddam (basierend auf Leddam).

Hauptbeiträge

Integration lernbarer Filter: Die Arbeit zeigt, dass die Hinzufügung eines lernbaren Frequenzfilters am Eingang von Transformer-basierten Modellen deren Leistung bei LTSF-Aufgaben signifikant verbessert.
Effizienz und Parameterreduktion: Die Hinzufügung des Filters führt zu einer Erhöhung um etwa 1.000 Parameter. Entscheidend ist, dass diese Ergänzung eine Reduzierung der Embedding-Dimension des zugrunde liegenden Transformers ermöglicht. Folglich sind die resultierenden Modelle oft kleiner und schneller als ihre nicht-filternden Gegenstücke, während sie eine überlegene oder vergleichbare Genauigkeit erreichen.
Analyse der spektralen Nutzung: Durch synthetische Experimente liefern die Autoren Belege dafür, dass die Filter es Transformern ermöglichen, hochfrequente Muster besser zu erfassen. Sie hypothesieren, dass Standard-Transformer als Tiefpassfilter wirken (was zu Überglättung führt), und dass die lernbaren Filter dem entgegenwirken, indem sie mittel- bis hochfrequente Komponenten verstärken.
Empirische Validierung: Die Methode wurde über neun diverse Datensätze (einschließlich ETT, Electricity, Weather, Traffic und Solar-Energy) und mehrere Vorhersagehorizonte hinweg validiert.

Experimentelle Ergebnisse

Die Autoren bewerteten ihre Modelle gegen starke Baselines, darunter iTransformer, PatchTST, Leddam, FilterNet, Fredformer und DLinear.

Leistungssteigerungen: Über mehrere Datensätze hinweg erzielten die FilterFormer-Varianten relative Verbesserungen von 5–10% in der Vorhersageleistung (gemessen an MSE und MAE). Beispielsweise zeigte FilterFormer auf dem Electricity-Datensatz (ECL) eine 11,7%ige Verbesserung gegenüber PatchTST.
Robustheit: Die Verbesserungen waren über verschiedene Domänen hinweg konsistent, obwohl die Autoren feststellten, dass das Modell auf dem Traffic-Datensatz zunächst unterdurchschnittlich abschnitt, da ein spezifischer Ausreißer-Kanal spektrale Diskrepanzen zwischen Trainings- und Testsets verursachte. Die Entfernung dieses Ausreißers stellte die überlegene Leistung des Modells wieder her.
Effizienz: Tabelle 6 in der Arbeit hebt hervor, dass FilterFormer-Modelle deutlich weniger Parameter (z. B. 0,6M vs. 3,7M für PatchTST) und weniger FLOPs benötigen, während sie eine wettbewerbsfähige Genauigkeit beibehalten. Dies wird der Fähigkeit zugeschrieben, bei Vorhandensein von Filtern kleinere Embedding-Dimensionen zu verwenden.
Synthetische Experimente: Auf einem synthetischen Signal mit niedrigen, mittleren und hohen Frequenzen hatte der Standard-iTransformer aufgrund von Frequenzverzerrungen Schwierigkeiten (MSE = 1,0e-1), während iFilterFormer (mit Filter) eine signifikant niedrigere MSE (2,6e-4) erreichte und die hochfrequenten Komponenten effektiv modellierte.

Bedeutung und Behauptungen

Die Arbeit positioniert „Filter Then Attend" als „kostenloses Mittagessen" im Kontext der tiefen Zeitreihenvorhersage. Die Autoren behaupten, dass:

Die Hinzufügung eines lernbaren Filters eine geringfügige architektonische Änderung ist, die die Leistung selten verschlechtert, aber das Potenzial hat, sie drastisch zu verbessern.
Filter als notwendige Bausteine fungieren, um Transformern die Nutzung des gesamten Datenspektrums zu ermöglichen, und speziell der Tiefpass-Natur der Selbstaufmerksamkeit entgegenwirken.
Die Methode kein Allheilmittel ist; ihre Wirksamkeit ist letztlich durch die Kapazität des zugrunde liegenden Transformers begrenzt. Sie ermöglicht jedoch, dass diese Backbones effizienter arbeiten.
Die Autoren plädieren für den gelernten Filter als Basis-Konfiguration für zukünftige Transformer-basierte Vorhersagemodelle und schlagen vor, dass weitere Arbeiten sich auf die Entwicklung fortschrittlicherer, steuerbarer und interpretierbarer Filter konzentrieren könnten.

Die Arbeit kommt zu dem Schluss, dass die Kombination von Frequenzfilterung mit Aufmerksamkeitsmechanismen ein Modell ergibt, das „stärker ist als die Summe seiner Teile" und eine leichte, effektive Lösung für die langfristige Zeitreihenvorhersage bietet.