🤖 machine learning

FADTI: Fourier and Attention Driven Diffusion for Multivariate Time Series Imputation

Das Papier stellt FADTI vor, ein auf Diffusion basierendes Framework für die Imputation multivariater Zeitreihen, das die Generalisierung bei hohen Fehlraten und Verteilungsverschiebungen verbessert, indem es ein lernbares Fourier-Bias-Projektionsmodul mit Self-Attention und gated Convolution integriert, um explizite induktive Biase im Frequenzbereich zu injizieren.

Ursprüngliche Autoren: Runze Li, Hanchen Wang, Wenjie Zhang, Binghao Li, Yu Zhang, Xuemin Lin, Ying Zhang

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Runze Li, Hanchen Wang, Wenjie Zhang, Binghao Li, Yu Zhang, Xuemin Lin, Ying Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein Puzzle fertigzustellen, aber jemand hat riesige Teile des Bildes herausgerissen. Einige Teile fehlen zufällig (wie ein paar verstreute Sterne), während an anderen Stellen ganze Abschnitte des Himmels fehlen. Ihr Ziel ist es, zu erraten, wie diese fehlenden Teile ausgesehen haben könnten, basierend auf den Hinweisen, die noch vorhanden sind.

Genau das macht FADTI, aber anstatt eines Puzzles repariert es defekte Datenströme (wie Wetterberichte, Herzfrequenzen oder Verkehrssensoren), bei denen Informationen fehlen.

So erklärt das Paper diese Lösung in einfachen Worten:

Das Problem: Der „Broken Record“-Effekt (Die kaputte Schallplatte)

Die meisten aktuellen Computerprogramme versuchen, fehlende Daten zu ergänzen, indem sie die unmittelbaren Nachbarn betrachten. Es ist, als würde man versuchen, das nächste Wort in einem Satz zu erraten, indem man nur das Wort direkt davor betrachtet.

Das Problem: Wenn ein Sensor für längere Zeit ausfällt (eine „lange Lücke“), werden diese Programme verwirrt. Sie versuchen oft, die Lücke mit einer flachen Linie oder einer zufälligen Vermutung zu füllen, was den natürlichen Rhythmus der Daten zerstört.
Das Frequenz-Problem: Einige Programme versuchen, die „Musik“ der Daten (ihre Muster und Zyklen) zu analysieren. Aber wenn man versucht, die Musik eines Liedes zu analysieren, das riesige Stillephasen enthält, wird der Computer verwirrt. Er denkt, die Stille sei Teil des Liedes, was zu einem verzerrten, verrauschten Klang führt.

Die Lösung: FADTI (Der „Musikalische Architekt“)

Die Autoren haben ein neues System namens FADTI (Fourier and Attention Driven Diffusion) entwickelt. Stellen Sie sich dies wie einen klugen Architekten vor, der nicht nur nach den Ziegeln neben dem Loch schaut, sondern dem gesamten Lied zuhört, das das Gebäude singen soll.

Hier sind die drei Haupttricks, die FADTI anwendet:

1. Das „Geisterohr“ (Fourier Bias Projection)

Dies ist die wichtigste Neuerung des Papers.

Wie es funktioniert: Anstatt zu versuchen, die kaputten, stillen Teile der Daten direkt zu analysieren (was zu Verzerrungen führt), betrachtet FADTI die sauberen Teile der Daten, um den „Rhythmus“ oder die „Frequenz“ der gesamten Geschichte zu lernen.
Die Analogie: Stellen Sie sich vor, Sie versuchen, ein Lied zu vervollständigen, aber das Mikrofon ist in der Mitte ausgefallen. Ein normaler Computer versucht, die fehlenden Noten zu erraten, indem er die Stille betrachtet. FAD-TI hingegen hört dem Rest des Liedes zu, um die „Form“ der Melodie zu verstehen. Es projiziert diese „Form“ (den Frequenz-Bias) auf den fehlenden Teil als Leitfaden. Es sagt dem Computer: „Rate nicht einfach; erinnere dich daran, dass dieses Lied normalerweise in einer glatten Welle auf und ab geht, also fülle die Lücke mit dieser Welle.“
Die Werkzeuge: Sie verwenden drei verschiedene „Ohren“, um diesen Rhythmus zu hören:
- DFT: Hört dem gesamten Lied gleichzeitig zu (gut für stetige Rhythmen).
- STFT: Hört kurzen Clips des Liedes zu (gut für Rhythmen, die sich im Laufe der Zeit ändern).
- FrSST: Ein super-scharfes Ohr, das komplexe, wabbelige Rhythmen hören kann, die andere Ohren übersehen.

2. Das „Attention-Team“ (Self-Attention)

Während das „Geisterohr“ den Rhythmus handhabt, nutzt FADTI auch einen Attention-Mechanismus.

Die Analogie: Stellen Sie sich ein Team von Detektiven vor. Einige Detektive schauen auf die Zeitlinie (was gestern im Vergleich zu heute geschah), während andere die Beziehungen zwischen verschiedenen Variablen untersuchen (z. B. wenn die Temperatur steigt, sinkt dann die Luftfeuchtigkeit?).
FADTI kombiniert diese Detektive. Es betrachtet sowohl die langfristige Historie als auch die Beziehungen zwischen verschiedenen Sensoren gleichzeitig, um eine intelligente Vermutung anzustellen.

3. Der „Denoising-Bildhauer“ (Diffusion Model)

Schließlich verwendet FADTI ein Diffusion-Modell.

Die Analogie: Stellen Sie sich einen Bildhauer vor, der mit einem Block aus verrauschtem, statischem Ton beginnt. Der Bildhauer schnitzt nicht sofort die endgültige Form aus dem Block. Stattdessen trägt er das Rauschen Schritt für Schritt ab und verfeinert die Statue, bis die fehlenden Teile klar hervortreten.
FADTI beginnt mit einer zufälligen Vermutung für die fehlenden Daten und „entrauscht“ (denoises) diese Schritt für Schritt, wobei es den Rhythmus-Leitfaden (aus Schritt 1) und die Detektiv-Hinweise (aus Schritt 2) nutzt, um die präziseste Form herauszuarbeiten.

Warum es besser ist (Die Ergebnisse)

Das Paper hat FADTI auf mehreren realen Datensätzen getestet, darunter:

Energiedaten (Stromverbrauch).
Wetterdaten (Temperatur, Luftfeuchtigkeit).
Verkehrsdaten (Autogeschwindigkeiten).
Hefe-Daten (ein neuer biologischer Datensatz zur Verfolgung von Zellwachstum).

Die Erkenntnisse:

Genauigkeit: FADTI ergänzte die fehlenden Teile genauer als jede andere Methode, insbesondere wenn große Teile der Daten fehlten (bis zu 50 % der Daten weg!).
Umgang mit Chaos: Es war besonders gut darin, „nicht-stationäre“ Daten zu handhaben – Daten, die ihren Rhythmus im Laufe der Zeit ändern (wie ein Herzschlag, der schneller wird, oder ein Sturm, der die Richtung ändert).
Effizienz: Obwohl es sehr komplexe Mathematik betreibt, kann es qualitativ hochwertige Ergebnisse mit weniger „Vermutungen“ (Samples) erzeugen als bisherige Methoden, was es in der Praxis schneller macht.

Zusammenfassung

Kurz gesagt: FADTI ist eine neue Methode, um defekte Daten zu reparieren. Anstatt nur die unmittelbaren Nachbarn zu betrachten oder durch Stille verwirrt zu werden, hört es der „Musik“ des gesamten Datensatzes zu, um den zugrunde liegenden Rhythmus zu verstehen. Es nutzt diesen Rhythmus dann, um einen schrittweisen Bildhauprozess zu leiten, der die Lücken mit einer Form füllt, die perfekt zum Rest der Geschichte passt.

Technisches Resümee: FADTI – Fourier- und Attention-gesteuerte Diffusion für multivariate Zeitreihenimputation

1. Problemdefinition

Die multivariate Zeitreihenimputation (Multivariate Time Series Imputation, MTSI) adressiert das allgegenwärtige Problem fehlender Werte in Domänen wie dem Gesundheitswesen, der Verkehrsplanung und der biologischen Modellierung. Diese Lücken entstehen durch Sensorausfälle, Kommunikationsverlust und unregelmäßige Abtastung. Während bestehende Methoden, insbesondere Transformer-basierte Modelle (z. B. SAITS) und diffusionsbasierte Modelle (z. B. CSDI), die Modellierung zeitlicher Abhängigkeiten und die Schätzung von Unsicherheiten verbessert haben, stehen sie vor einer kritischen Einschränkung: der Frequenzverzerrung.

Aktuelle Ansätze verlassen sich häufig stark auf die Modellierung im Zeitbereich. Bei der Anwendung von Techniken des Frequenzbereichs direkt auf maskierte oder mit Nullwerten gefüllte Eingaben werden die fehlenden Positionen als reale Signalwerte behandelt. Diese naive Projektion verzerrt das geschätzte Spektrum, wodurch die Frequenzmerkmale eher durch Artefakte der Fehlstellen als durch die zugrunde liegende zeitliche Dynamik dominiert werden. Folglich bleibt die Wiederherstellung langfristiger periodischer Muster oder strukturierter zeitlicher Lücken unter schwerer Spärlichkeit eine Herausforderung.

2. Methodik: Das FADTI-Framework

Die Autoren schlagen FADTI (Fourier and Attention Driven Diffusion) vor, ein bedingtes Diffusionsframework, das darauf ausgelegt ist, einen induktiven Bias des Frequenzbereichs in den Denoising-Prozess zu integrieren, ohne dabei direkt Spektren aus korrumpierten Eingaben zu schätzen.

Kernarchitektur

FADTI folgt einer bedingten Diffusionspipeline, bei der der Reverse-Prozess auf beobachtete Werte ( $x^{co}_0$ ) und die Beobachtungsmaske ( $m$ ) konditioniert ist. Das Denoising-Netzwerk besteht aus gestapelten Residualblöcken, die drei Schlüsselkomponenten kombinieren:

Zeitlich-frequenzbasierte Modellierung: Die zentrale Innovation, das Fourier Bias Projection (FBP) Modul.
Feature-Attention: Erfasst Abhängigkeiten zwischen den Variablen.
Gated Filtering: Aktualisiert die Repräsentationen der Residuen effizient.

Das Fourier Bias Projection (FBP) Modul

Im Gegensatz zur direkten Fourier-Projektion auf maskierte Eingaben injiziert FBP einen lernbaren, frequenzbewussten Bias in die intermediären verborgenen Zustände des Denoising-Netzwerks. Der Prozess arbeitet wie folgt:

Zerlegung: Intermediäre verborgene Zustände ( $H$ ) werden mittels 1D-Average-Pooling in einen glatten Trend ( $H_{trend}$ ) und ein hochfrequentes Residuum ( $H_{res}$ ) zerlegt.
Spektrale Transformation: Ein Spektraloperator $F_\nu(\cdot)$ $F_{ν} (\cdot)$ wird kanalweise auf diese Komponenten angewendet. Das Paper instanziiert dies mit drei Transformationen:
- DFT (Diskrete Fourier-Transformation): Erfasst globale Periodizität und stabile Trends.
- STFT (Kurzzeit-Fourier-Transformation): Erfasst lokalisierte, zeitvariante Frequenzmuster.
- FrSST (Synchrosqueezing-basierte Kurzzeit-fraktionale Fourier-Transformation): Schärft nicht-stationäre Zeit-Frequenz-Strukturen.
Bias-Injektion: Die komplexen Spektralkoeffizienten werden auf feste Cosinus- und Sinus-Basen projiziert, um Amplituden- und Phaseninformationen beizubehalten. Diese werden zurück in den zeitlichen Merkmalsraum abgebildet, um einen lernbaren Bias ( $H_{freq}$ ) zu bilden.
Integration: Dieser frequenzbewusste Bias wird mit den ursprünglichen Merkmalen fusioniert und in die zeitliche Self-Attention oder in Gated Dilated Convolutions eingespeist, um das Netzwerk anzuleiten, glatte Trends und periodische Strukturen zu bewahren.

Training und Inferenz

Training: Das Modell wird mittels eines maskierten Denoising-Score-Matching-Objektivs trainiert. Eine bedingte Maske ( $M^{co}$ ) wird aus der Beobachtungsmaske abgetastet, um dem Modell Werte zu offenbaren, während eine Zielmaske ( $M^{ta}$ ) ursprünglich beobachtete Werte verbirgt, um eine Überwachung (Supervision) zu ermöglichen. Der Verlust wird nur für die überwachten Einträge der Zielmaske berechnet.
Inferenz: Fehlende Einträge werden mit Gaußschem Rauschen initialisiert. Das Modell wendet iterativ den reversen Diffusionsprozess an, wobei es auf die fixierten beobachteten Werte konditioniert ist, um probabilistische Imputationen zu generieren.

3. Zentrale Beiträge

Das Paper skizziert vier primäre Beiträge:

FADTI-Framework: Ein frequenzbewusstes, bedingtes Diffusionsframework, das den induktiven Bias des Fourier-Bereichs direkt in den Denoising-Prozess integriert und so die Herausforderung strukturierter Fehlermuster adressiert.
Flexibles FBP-Modul: Ein neuartiges Modul, das DFT-, STFT- und FrSST-Instanziierungen unterstützt. Dies ermöglicht die adaptive Modellierung sowohl stationärer als auch nicht-stationärer zeitlicher Strukturen, ohne sich auf korrumpierte Spektren aus maskierten Eingaben verlassen zu müssen.
Effiziente zeitliche Modellierung: Die Einbindung eines leichtgewichtigen lokalen Modellierungsmoduls (Gated Convolution), um die globalen Attention-Abhängigkeiten zu ergänzen und den Rechenaufwand zu reduzieren.
Umfassende Evaluierung: Umfangreiche Experimente auf mehreren Benchmark-Datensätzen, einschließlich eines neu eingeführten biologischen Zeitreihendatensatzes (Yeast), die konsistente Verbesserungen bei Genauigkeit, Unsicherheitsschätzung und Sampling-Effizienz zeigen.

4. Experimentelle Ergebnisse

Die Autoren evaluierten FADTI auf drei realen Datensätzen: ETT (Energie), Weather (Meteorologie) und Yeast (Biologie), sowohl unter punktweisen als auch unter zeitweisen Fehlermustern bei Fehlerraten von 10 % und 50 %.

Genauigkeit (MAE): FADTI erreichte in den meisten Settings den niedrigsten mittleren absoluten Fehler (MAE). Insbesondere zeigte es signifikante Gewinne gegenüber Baselines wie CSDI, MTSCI und SAITS, vor allem bei hohen Fehlerraten (50 %) und beim Yeast-Datensatz.
Unsicherheit (CRPS): FADTI demonstrierte eine überlegene Kalibrierung und Schärfe und erreichte in den meisten Fällen den niedrigsten Continuous Ranked Probability Score (CRPS), was auf eine bessere probabilistische Qualität hindeutet.
Robustheit: Das Modell behielt eine starke Leistung unter zeitweisen Fehlermustern (zusammenhängende Lücken) bei, bei denen viele Baselines signifikant an Leistung verloren.
Sampling-Effizienz: FADTI erreichte eine bessere Genauigkeit und einen besseren CRPS mit weniger generierten Samples ( $K$ ) im Vergleich zu CSDI und MTSCI. Beispielsweise übertraf FADTI mit $K=2$ die Modelle CSDI und MTSCI mit $K=28$ auf dem ETT-Datensatz.
Ablationsstudien:
- Das Entfernen von FBP (unter Verwendung einer einfachen Rückprojektion) führte zu Leistungseinbußen, was bestätigt, dass die Kopplung des Bias mit der Frequenzprojektion entscheidend ist.
- DFT-basierte Varianten schnitten am besten bei regulären Mustern (ETT, Weather) ab, während STFT- und FrSST-Varianten wettbewerbsfähiger für zeitweise Fehlermuster waren, die eine lokalisierte Spektralanalyse erfordern.
Zero-Shot Forecasting: In einem Zero-Shot Imputation-to-Forecasting Experiment auf Yeast übertraf FADTI deterministische Baselines und das diffusionsbasierte MTSCI, was eine starke Extrapolationsfähigkeit zeigt.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass FADTI einen bedeutenden Fortschritt darstellt, indem es die Lücke zwischen der Signalverarbeitung im Frequenzbereich und generativen Diffusionsmodellen für die Imputation schließt. Seine Bedeutung liegt in:

Lösung der Frequenzverzerrung: Durch die Projektion intermediärer verborgener Zustände anstelle der rohen maskierten Eingaben vermeidet FADTI die Spektralartefakte, die naive frequenzbasierte Ansätze plagen.
Umgang mit Nicht-Stationarität: Die Einbeziehung von FrSST ermöglicht es dem Modell, nicht-stationäre oszillatorische Muster zu erfassen – eine Fähigkeit, die in der MTSI-Literatur selten zu finden ist.
Robustheit in spärlichen Regimen: Das Framework ist besonders effektiv bei hohen Fehlerraten und unregelmäßigen Fehlermustern, wie sie in realen Sensordaten üblich sind.
Generalisierbarkeit: Die Einführung des Yeast-Datensatzes und die erfolgreichen Zero-Shot-Forecasting-Ergebnisse legen nahe, dass die Anwendbarkeit des Modells über Standard-Imputationsaufgaben hinaus auf komplexe, nicht-stationäre biologische Umgebungen reicht.

Die Autoren kommen zu dem Schluss, dass, obwohl FADTI eine State-of-the-Art-Leistung erreicht, sich zukünftige Arbeiten auf die Erweiterung des Frameworks auf unregelmäßige Zeitgitter und adaptive Spektraltransformationen konzentrieren werden.