Technische Samenvatting: HyFAD

Probleemstelling

Bestaande diffusiemodellen voor tijdreeksimputatie zijn weliswaar succesvol in het vastleggen van complexe datadistributies, maar kampen met drie primaire beperkingen:

1. Onvoldoende reconstructie van hoge frequenties: Standaard tijd-domein diffusie injecteert isotrope Gaussische ruis, die de energie uniform over de frequenties verdeelt. Dit botst met real-world tijdreeksen, waarbij de spectrale energie vaak geconcentreerd is in lage frequenties, waardoor het herstel van hoogfrequente details en fijnmazige temporele variaties moeilijk wordt.
2. Imbalans tussen globale en lokale modellering: Het prioriteren van langetermijnstructuren leidt vaak tot te gladgestreken outputs, terwijl het benadrukken van kortetermijnfluctuaties de globale consistentie kan verstoren. Bestaande modellen worstelen met het balanceren van deze concurrerende dynamieken.
3. Frequentie-ongevoelige modellering: Huidige benaderingen gebruiken doorgaans frequentie-agnostische stap-embeddings en injecteren ruis uniform over verschillende frequentiebanden. Dit voorkomt dat het model zijn denoising-gedrag aanpast aan de onderscheidende herstelkenmerken van verschillende spectrale componenten, wat leidt tot suboptimale reconstructie van lokale variaties.

Methodologie

De auteurs stellen HyFAD voor (Hybrid time-frequency Diffusion with Frequency-Aware embedding), een raamwerk gebouwd op het Denoising Diffusion Probabilistic Models (DDPM) paradigma dat tijd- en frequentiedomeinen expliciet aan elkaar koppelt.

1. Hybride Tijd-Frequentie Diffusie Raamwerk

In tegen tegenstelling tot conventionele benaderingen die alleen in het tijddomein werken, gebruikt HyFAD een gekoppeld voorwaarts en achterwaarts proces:

• Voorwaarts Proces: Ruisinjectie vindt sequentieel plaats. Eerst wordt ruis geïnjecteerd in de frequentiedomeinrepresentatie (via Real Discrete Fourier Transform, rDFT), gevolgd door ruisinjectie in het tijddomein. Dit transformeert de oorspronkelijke datadistributie naar een doel-Gaussische distributie.
• Achterwaarts Proces: Het denoising-proces verloopt in een gespiegelde volgorde: eerst wordt tijddomeinruis verwijderd om globale trends te stabiliseren, gevolgd door frequentiedomeinruisverwijdering om hoogfrequente spectrale componenten te verfijnen. Dit creëert een "coarse-to-fine" generatiemechanisme.
• Wiskundige Formulering: Het proces wordt gedefinieerd door een verenigde posterieure distributie waarbij de staat op stap $k$ een lineaire transformatie is van het oorspronkelijke signaal plus twee groepen onafhankelijke Gaussische ruis (tijd en frequentie). De verliesfunctie combineert tijddomeinruisinschatting, frequentiedomeinruisinschatting en een consistentieverlies om mismatch tussen de twee takken te voorkomen.

2. Frequentie-bewuste Diffusie Embedding

Om het gebrek aan frequentiespecifieke aandacht aan te pakken, introduceren de auteurs een nieuwe stap-embedding die stap-afhankelijke spectrale sturing biedt. Deze embedding wordt geconstrueerd op basis van de stelling dat hogere frequentiebanden tijdens het voorwaartse proces eerder de degradatiedrempels bereiken dan lagere frequentiebanden. De embedding integreert drie componenten:

• Ruis-bewuste Frequentiepoort (Noise-Aware Frequency Gate): Een gating-mechanisme dat wordt aangepast op basis van het geaccumuleerde ruisniveau, waardoor ervoor wordt gezorgd dat verschillende frequentiebanden worden behandeld volgens hun signaal-ruisverhouding.
• Fase-bewuste Frequentieplanning (Stage-Aware Frequency Schedule): Een scheduler-gewicht dat de progressieve herstel van laag naar hoog frequentie codeert naarmate de denoising-stappen vorderen.
• Band Betrouwbaarheid (Band Reliability): Een gewicht dat rekening houdt met ontbrekende waarden, die spectrale artefacten kunnen introduceren, door onbetrouwbare frequentiebanden lager te wegen op basis van het ontbrekende patroon.

3. Model Architectuur

Het kern-denoising netwerk maakt gebruik van een gecascadeerde dual-branch architectuur gebaseerd op de temporal-feature transformer van CSDI.

• Tijddomein Tak: Verwerkt ruizige data en conditionele informatie om tijddomeinruis in te schatten.
• Frequentiedomein Tak: Neemt de tijddomein output (getransformeerd naar het frequentiedomein) en gebruikt de Frequency-Aware Diffusion Embedding om frequentiedomeinruis in te schatten.
• Signaal Proxy: Om spectrale lekkage veroorzaakt door ontbrekende waarden te mitigeren, wordt een "Signal Proxy"-mechanisme gebruikt. Het combineert geobserveerde waarden met huidige staat-inschattingen om een diffusie-gesynchroniseerde spectrale referentie voor frequentiemodellering te creëren.

Belangrijkste Bijdragen

1. Gekoppeld Tijd-Frequentie Raamwerk: De voorstel van HyFAD, die tijd- en frequentiedomein ruismodellering verenigt binnen één enkel DDPM-raamwerk, wat expliciete differentiatie over spectrale banden mogelijk maakt en een coarse-to-fine reconstructie faciliteert.
2. Frequentie-bewuste Stap Embedding: De introductie van een nieuwe embedding die de correspondentie tussen diffusiestappen en frequentiebanden modelleert, waardoor het model adaptief de juiste spectrale componenten kan focussen tijdens de denoising.
3. State-of-the-Art Prestaties: Uitgebreide experimenten op benchmark-datasets (PhysioNet en Air Quality) tonen aan dat HyFAD consequent andere methoden overtreft, inclusclusief klassieke interpolatie, deep learning baselines (BRITS, SAITS, TimesNet) en andere diffusiemodellen (CSDI, SSSD).

Experimentele Resultaten

De auteurs evalueerden HyFAD op de PhysioNet en Air Quality datasets onder variërende ontbrekende ratio's (10%, 50%, 90%).

• Prestaties: HyFAD behaalde de beste Mean Absolute Error (MAE) en Root Mean Square Error (RMSE) in alle scenario's. Zo verminderde het op PhysioNet met 10% ontbrekende data de MAE met 2,8% vergeleken met de op één na beste baseline (LSCD).
• Ablatie-studies:
  • Het vervangen van de frequentie-bewuste embedding door standaard embeddings resulteerde in prestatievermindering, wat de noodzaak van de voorgestelde embedding valideert.
  • De tijddomein tak werd gevonden dominant te zijn voor de globale structuur (optimale $\lambda = 0,75$), terwijl de frequentietak de lokale dynamiek effectief verfijnt.
  • Het consistentieverlies-gewicht ($\omega$) was cruciaal voor het balanceren van de twee takken, waarbij $\omega=0,4$ de beste trade-off opleverde.

Betekenis en Claims

Het artikel claimt dat HyFAD de fundamentele beperkingen van alleen het tijddomein werkende diffusiemodellen aanpakt door de ongebalanceerde spectrale energiedistributie van real-world tijdreeksen expliciet te modelleren. Door integratie van frequentiedomein dynamiek en stap-afhankelijke spectrale sturing, bereikt het model een nauwkeurigere band-gewijze reconstructie. De auteurs stellen dat deze aanpak effectief zowel globale trends als fijnmazige lokale variaties herstelt, waarbij de onderschatting van mid-to-high frequentie amplitudes die vaak wordt gezien bij eerdere werken zoals CSDI, wordt gecorrigeerd. Het werk wordt gepresenteerd als een significante stap richting robuustere tijdreeksimputatie die de intrinsieke frequentiekenmerken van de data respecteert.