🤖 machine learning

FADTI: Fourier and Attention Driven Diffusion for Multivariate Time Series Imputation

Het artikel introduceert FADTI, een op diffusie gebaseerd framework voor multivariate tijdreeksimputatie dat de generalisatie onder hoge ontbrekende ratio's en distributieverschuivingen verbetert door een leerbare Fourier Bias Projection-module te integreren met self-attention en gated convolutie om expliciete frequentiedomein-inductieve biases te injecteren.

Oorspronkelijke auteurs: Runze Li, Hanchen Wang, Wenjie Zhang, Binghao Li, Yu Zhang, Xuemin Lin, Ying Zhang

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Runze Li, Hanchen Wang, Wenjie Zhang, Binghao Li, Yu Zhang, Xuemin Lin, Ying Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een legpuzzel probeert af te maken, maar iemand heeft grote stukken van de afbeelding uitgescheurd. Sommige stukjes ontbreken willekeurig (zoals een paar verspreide sterren), terwijl er op andere momenten hele secties van de lucht verdwenen zijn. Je doel is om te raden hoe die ontbrekende stukjes eruit zagen op basis van de aanwijzingen die je nog hebt.

Dit is precies wat FADTI doet, maar in plaats van een puzzel, repareert het kapotte datastromen (zoals weerberichten, hartslaggegevens of verkeerssensoren) waarbij informatie ontbreeft.

Hier is hoe het artikel deze oplossing in eenvoudige termen uitlegt:

Het Probleem: Het "Broken Record"-effect

De meeste huidige computerprogramma's proberen ontbrekende gegevens in te vullen door naar de directe buren te kijken. Het is alsof je probeert het volgende woord in een zin te raden door alleen naar het woord vlak vóór het te kijken.

Het probleem: Als een sensor een lange tijd defect is (een "lange kloof"), raken deze programma's in de war. Ze proberen de kloof vaak in te vullen met een platte lijn of een willekeurige gok, wat het natuurlijke ritme van de data verpest.
Het frequentieprobleem: Sommige programma's proberen naar de "muziek" van de data te kijken (de patronen en cycli). Maar als je probeert de muziek van een liedje te analyseren waar enorme stukken stilte in zitten, raakt de computer in de war. Hij denkt dat de stilte deel uitmaakt van het liedje, wat een vertekend, ruisachtig geluid creëert.

De Oplossing: FADTI (De "Muzikale Architect")

De auteurs hebben een nieuw systeem gebouwd genaamd FADTI (Fourier and Attention Driven Diffusion). Denk aan een slimme architect die niet alleen naar de stenen naast het gat kijkt, maar naar het gehele liedje luistert dat het gebouw zou moeten zingen.

Dit zijn de drie belangrijkste trucs die FADTI gebruikt:

1. Het "Spookoor" (Fourier Bias Projection)

Dit is de grootste innovatie van het artikel.

Hoe het werkt: In plaats van te proberen de kapotte, stille delen van de data direct te analyseren (wat voor vervorming zorgt), kijkt FADTI naar de schone delen van de data om het "ritme" of de "frequentie" van het hele verhaal te leren.
De analogie: Stel je voor dat je een liedje probeert af te maken, maar de microfoon is halverwege kapot gegaan. Een normale computer probeert de ontbrekende noten te raden door naar de stilte te kijken. FADTI luistert echter naar de rest van het liedje om de "vorm" van de melodie te begrijpen. Het projecteert die "vorm" (de frequentiebias) vervolgens op het ontbrekende deel als een gids. Het vertelt de computer: "Gok niet zomaar; onthoud dat dit liedje normaal gesproken in een vloeiende golf omhoog en omlaag gaat, dus vul de kloof met die golf."
De instrumenten: Ze gebruiken drie verschillende "oren" om dit ritme te horen:
- DFT: Luistert naar het hele liedje tegelijk (goed voor constante ritmes).
- STFT: Luistert naar korte fragmenten van het liedje (goed voor ritmes die in de loop van de tijd veranderen).
- FrSST: Een super-scherp oor dat complexe, wiebelige ritmes kan horen die andere oren missen.

2. Het "Attention Team" (Self-Attention)

Terwijl het "Spookoor" het ritme beheert, gebruikt FADTI ook een Attention Mechanism.

De analogie: Stel je een team van detectives voor. Sommige detectives kijken naar de tijdlijn (wat gebeurde er gisteren versus vandaag?), terwijl anderen kijken naar de relaties tussen verschillende variabelen (bijvoorbeeld: als de temperatuur stijgt, gaat de luchtvochtigheid dan omlaag?).
FADTI combineert deze detectives. Het kijkt tegelijkertijd naar de lange-termijn geschiedenis en de relaties tussen verschillende sensoren om een slimme gok te doen.

3. De "Denoising Sculptor" (Diffusion Model)

Ten slotte gebruikt FADTI een Diffusion Model.

De analogie: Stel je een beeldhouwer voor die begint met een blok ruizige, statische klei. De beeldhouwer beitelt niet direct de definitieve vorm uit de klei. In plaats daarvan pelt hij stap voor stap de ruis weg, en verfijnt hij het beeld tot de ontbrekende stukken duidelijk verschijnen.
FADTI begint met een willekeurige gok voor de ontbrekende data en "ontruist" (denoises) deze vervolgens stap voor stap, waarbij het ritme-gids (uit stap 1) en de detective-aanwijzingen (uit stap 2) gebruikt om de meest nauwkeurige vorm uit te hakken.

Waarom het beter is (De Resultaten)

Het artikel heeft FADTI getest op verschillende real-world datasets, waaronder:

Energiegegevens (energieverbruik).
Weergegevens (temperatuur, luchtvochtigheid).
Verkeersgegevens (autosnelheden).
Gist-gegevens (een nieuwe biologische dataset die celgroei volgt).

De bevindingen:

Nauwkeurigheid: FADTI vulde de ontbrekende stukken nauwkeuriger in dan welke andere methode dan ook, vooral wanneer grote delen van de data ontbraken (tot wel 50% van de data weg!).
Omgaan met chaos: Het was bijzonder goed in het verwerken van "niet-stationaire" data — data die zijn ritme in de loop van de tijd verandert (zoals een hartslag die versnelt of een storm die van richting verandert).
Efficiëntie: Ondanks de complexe wiskunde kan het hoogwaardige resultaten genereren met minder "gokken" (samples) dan eerdere methoden, waardoor het in de praktijk sneller is.

Samenvatting

Kortom, FADTI is een nieuwe manier om kapotte data te repareren. In plaats van alleen naar de directe buren te kijken of in de war te raken door de stilte, luistert het naar de "muziek" van de gehele dataset om het onderliggende ritme te begrijpen. Het gebruikt dat ritme vervolgens om een stapsgewijs beeldhouwproces te begeleiden, waardoor de ontbrekende gaten worden opgevuld met een vorm die perfect past bij de rest van het verhaal.

Technische Samenvatting: FADTI – Fourier- en Attention-gestuurde Diffusie voor Multivariate Tijdreeksimputatie

1. Probleemdefinitie

Multivariate Tijdreeksimputatie (MTSI) adresseert het hardnekkige probleem van ontbrekende waarden in domeinen zoals de gezondheidszorg, verkeersvoorspelling en biologische modellering. Deze hiaten ontstaan door sensorstoringen, communicatieverlies en onregelmatige bemonstering. Hoewel bestaande methoden, met name Transformer-gebaseerde modellen (bijv. SAITS) en diffusie-gebaseerde modellen (bijv. CSDI), de temporele afhankelijkheid en onzekerheidsschatting hebben verbeterd, kampen zij met een kritieke beperking: frequentiedistorsie.

Huidige benaderingen vertrouwen vaak zwaar op modellering in het tijdsdomein. Wanneer frequentiedomein-technieken direct worden toegepast op gemaskeerde of met nul gevulde inputs, worden de ontbrekende posities behandeld als reële signaalwaarden. Deze naïve projectie distorteert het geschatte spectrum, waardoor frequentiekenmerken worden gedomineerd door artefacten van de ontbrekende gegevens in plaats van door de onderliggende temporele dynamiek. Gevolgelijkly blijft het herstellen van langetermijnperiodieke patronen of gestructureerde temporele hiaten onder extreme schaarste een uitdaging.

2. Methodologie: Het FADTI-framework

De auteurs stellen FADTI (Fourier and Attention Driven Diffusion) voor, een conditioneel diffusie-framework dat is ontworpen om frequentiedomein-inductieve bias te integreren in het denoising-proces zonder direct spectra te schatten van gecorrumpeerde inputs.

Kernarchitectuur

FADTI volgt een conditionele diffusie-pipeline waarbij het reverse-proces wordt geconditioneerd op geobserveerde waarden ( $x^{co}_0$ ) en de observatiemasker ( $m$ ). Het denoising-netwerk bestaat uit gestapelde residual blocks die drie sleutelcomponenten combineren:

Temporele-Frequentie Modellering: De kerninnovatie, de Fourier Bias Projection (FBP) module.
Feature Attention: Legt cross-variabele afhankelijkheden vast.
Gated Filtering: Update de residual representaties efficiënt.

De Fourier Bias Projection (FBP) Module

In tegenstelling tot directe Fourier-projectie op gemaskeerde inputs, injecteert FBP leerbare frequentie-bewuste bias in de tussenliggende verborgen toestanden (hidden states) van het denoising-netwerk. Het proces werkt als volgt:

Decompositie: Tussenliggende verborgen toestanden ( $H$ ) worden gescheiden in een vloeiende trend ( $H_{trend}$ ) en een hoogfrequente residu ( $H_{res}$ ) met behulp van 1D average pooling.
Spectrale Transformatie: Een spectrale operator $F_\nu(\cdot)$ $F_{ν} (\cdot)$ wordt kanaalsgewijs toegepast op deze componenten. De paper instantieert dit met drie transformaties:
- DFT (Discrete Fourier Transform): Legt globale periodiciteit en stabiele trends vast.
- STFT (Short-Time Fourier Transform): Legt gelokaliseerde, tijdvariërende frequentiepatronen vast.
- FrSST (Synchrosqueezing-gebaseerde Short-Time Fractional Fourier Transform): Verscherpt niet-stationaire tijd-frequentie structuren.
Bias Injectie: De complexe spectrale coëfficiënten worden geprojecteerd op vaste cosinus- en sinusbasissen om magnitude-fase informatie te behouden. Deze worden teruggemapt naar de temporele feature-ruimte om een leerbare bias ( $H_{freq}$ ) te vormen.
Integratie: Deze frequentie-bewuste bias wordt gefuseerd met de originele features en gevoed aan temporele self-attention of gated dilated convoluties, wat het netwerk begeleidt bij het behoud van vloeiende trends en periodieke structuren.

Training en Inferentie

Training: Het model wordt getraind met een gemaskeerde denoising score matching-objectief. Een conditioneel masker ( $M^{co}$ ) wordt gesampled uit het observatiemasker om waarden aan het model te onthullen, terwijl een target masker ( $M^{ta}$ ) de oorspronkelijk geobserveerde waarden verbergt om supervisie te bieden. De loss wordt alleen berekend op de gesuperviseerde target-entries.
Inferentie: Ontbrekende entries worden geïnitialiseerd met Gaussische ruis. Het model past iteratief het reverse diffusieproces toe, waarbij het geconditioneerd is op de vaste geobserveerde waarden, om probabilistische imputaties te genereren.

3. Belangrijkste Bijdragen

De paper beschrijft vier primaire bijdragen:

FADTI Framework: Een frequentie-bewust conditioneel diffusie-framework dat de Fourier-domein inductieve bias direct integreert in het denoising-proces, waarmee de uitdaging van gestructureerde ontbrekende patronen wordt aangepakt.
Flexibele FBP Module: Een nieuw module die ondersteuning biedt aan DFT, STFT en FrSST instanties. Dit maakt adaptieve modellering van zowel stationaire als niet-stationaire temporele structuren mogelijk zonder te vertrouwen op gecorrumpeerde spectra van gemaskeerde inputs.
Efficiënte Temporele Modellering: De integratie van een lichtgewicht lokaal modelleringsmodule (gated convolution) om globale attention-afhankelijkheden aan te vullen, wat de computationele overhead vermindert.
Uitgebreide Evaluatie: Uitgebreide experimenten op meerdere benchmark-datasets, inclus_ief een nieuw geïntroduceerde biologische tijdreeksdataset (Yeast), die consistente verbeteringen laten zien in nauwkeurigheid, onzekerheidsschatting en sampling-efficiëntie.

4. Experimentele Resultaten

De auteurs evalueerden FADTI op drie real-world datasets: ETT (Energie), Weather (Meteorologie) en Yeast (Biologie), onder zowel punt-wijze als tijd-wijze ontbrekende patronen bij ontbrekende ratio's van 10% en 50%.

Nauwkeurigheid (MAE): FADTI behaalde de laagste Mean Absolute Error (MAE) in de meeste settings. Met name liet het significante winsten zien ten opzichte van baselines zoals CSDI, MTSCI en SAITS, vooral bij hoge ontbrekende ratio's (50%) en op de Yeast-dataset.
Onzekerheid (CRPS): FADTI demonstreerde superieure kalibratie en scherpte, waarbij het in de meeste gevallen de laagste Continuous Ranked Probability Score (CRPS) behaalde, wat wijst op een betere probabilistische kwaliteit.
Robuustheid: Het model behield een sterke prestatie onder tijd-wijze ontbrekende patronen (aaneengesloten hiaten), waarbij veel baselines aanzienlijk verslechterden.
Sampling Efficiëntie: FADTI bereikte een betere nauwkeurigheid en CRPS met minder gegenereerde samples ( $K$ ) vergeleken met CSDI en MTSCI. Bijvoorbeeld, FADTI met $K=2$ presteerde beter dan CSDI en MTSCI met $K=28$ op de ETT-dataset.
Ablatie Studies:
- Het verwijderen van FBP (met gebruik van eenvoudige back-projectie) resulteerde in prestatievermindering, wat bevestigt dat het koppelen van bias met frequentie-projectie cruciaal is.
- DFT-gebaseerde varianten presteerden het best op regelmatige patronen (ETT, Weather), terwijl STFT en FrSST varianten competitiever waren voor tijd-wijze ontbrekende hiaten die lokale spectrale analyse vereisen.
Zero-Shot Forecasting: In een zero-shot imputatie-naar-voorspelling experiment op Yeast, presteerde FADTI beter dan deterministische baselines en de diffusie-gebaseerde MTSCI, wat sterke extrapolatie-capaciteiten aantoont.

5. Betekenis en Claims

De paper claimt dat FADTI een significante vooruitgang vertegenwoordigt door de kloof te overbruggen tussen frequentiedomein-signaalverwerking en generatieve diffusiemodellen voor imputatie. De betekenis ligt in:

Oplossen van Frequentiedistorsie: Door tussenliggende verborgen toestanden te projecteren in plaats van ruwe gemaskeerde inputs, vermijdt FADTI de spectrale artefacten die naïeve frequentie-gebaseerde benaderingen teisteren.
Omgaan met Niet-Stationariteit: De inclusie van FrSST stelt het model in staat om niet-stationaire oscillerende patronen te vangen, een capaciteit die zelere komt in de MTSI-literatuur.
Robuustheid in Sparse Regimes: Het framework is bijzonder effectief onder hoge ontbrekende ratio's en onregelmatige ontbrekende patronen, die veel voorkomen in real-world sensordata.
Generaliseerbaarheid: De introductie van de Yeast-dataset en de succesvolle zero-shot forecasting resultaten suggereren dat de toepasbaarheid van het model verder reikt dan standaard imputatie-taken naar complexe, niet-stationaire biologische omgevingen.

De auteurs concluderen dat hoewel FADTI state-of-the-art prestaties levert, toekomstig werk zich zal richten op het uitbreiden van het framework naar onregelmatige tijdgrids en adaptieve spectrale transformaties.