Technische Samenvatting: DIFFDIFF – Het differentiëren van het diffusietraject naar onzekere componenten voor tijdreeksvoorspelling

1. Probleemstelling

Probabilistische tijdreeksvoorspelling streeft naar het modelleren van de conditionele distributie van toekomstige waarden gegeven een historische observatievenster. Hoewel Denoising Diffusion Probabilistic Models (DDPM's) zijn opgekomen als een krachtig raamwerk voor deze taak door complexe voorspellende distributies te modelleren zonder restrictieve parametrische aannames, worden ze geconfronteerd met een fundamentele asymmetrie in tijdreeksgegevens die standaard diffusieprocessen niet aanpakken.

In tijdreeksvoorspelling is de toekomst geen blanco blad; het zet de geobserveerde historie voort. Bijgevolg is de voorspellende onzekerheid niet uniform verdeeld. Componenten die sterk gecorreleerd zijn met de historie (bijv. gladde trends, seizoenspatronen) dragen weinig resterende onzekerheid, terwijl componenten die de historie onderbepaalt (bijv. snelle fluctuaties, regimeverschuivingen) de resterende onzekerheid concentreren. Bestaande diffusiegebaseerde voorspellers proberen dit vaak af te handelen door het doel te ontkoppelen in deterministische en onzekere componenten vóór het diffusieproces met behulp van externe regels (bijv. het bevriezen van een puntvoorspeller voor trends). Deze aanpak lokaliseert de asymmetrie echter buiten de diffusie-pipeline, waardoor het corruptietraject "blind" blijft voor welke delen van het doel al door de historie zijn verankerd. Bij consequent gevolg wordt de capaciteit van het diffusiemodel verspild aan het reconstrueren van door de historie verankerde inhoud die deterministisch geleverd had kunnen worden, in plaats van zich te richten op de hoog-onzekere componenten waar generatieve inspanning het hardst nodig is.

2. Methodologie: DIFFDIFF

De auteurs stellen DIFFDIFF (Differencing Diffusion) voor, een raamwerk dat de voorspelbaarheidsasymmetrie direct in het diffusietraject zelf inbedt. In plaats van externe ontkoppeling, maakt DIFFDIFF de forward-operator stapafhankelijk, waarbij de ruizige intermediaire staat progressief verschuift van de doelwaarden naar hun tweede-orde gedifferentieerde structuur.

2.1 Stapafhankelijke Forward-proces

De kerninnovatie ligt in het forward-proces $q(x_t | x_0)$. In tegen tegenstelling tot standaard diffusie die isotrope Gaussische ruis toevoegt, definieert DIFFDIFF een gegeneraliseerde forward marginal:
$$q(x_t | x_0) = \mathcal{N}(\sqrt{\bar{\alpha}_t} A_t x_0, (1 - \bar{\alpha}_t)I)$$
waarbij $A_t$ een stapafhankelijke transitie-matrix is.

• Progressieve Differentiëring: $A_t$ is gedefinieerd als $(1 - \lambda_t)I + \lambda_t D^2$, waarbij $D^2$ een tweede-orde differentie-operator is en $\lambda_t$ monotoon toeneemt met de diffusiestap $t$.
• Effect: Vroege stappen ($t \approx 0$) blijven dicht bij de oorspronkelijke doelwaarde $x_0$. Naarms de diffusie vordert, onderdrukt $A_t$ steeds meer laagfrequente componenten (niveaus en trends) die gemakkelijk door de historie zijn verankerd, terwijl hoogfrequente componenten (fluctuaties en kromming) die de resterende onzekerheid dragen, worden behouden.
• Verlengd Doel: Om continuïteit over de grenzen heen te garanderen, wordt het doel $x_0$ gedefinieerd als een uitgebreid venster $[x_{label}, x_{fut}]$, inclusief een korte overlap van de geobserveerde historie. Dit stelt $D^2$ in staat om kromming bij de grens tussen historie en toekomst te coderen.

2.2 Stage-Adaptive Conditionele Denoiser

Omdat het forward-proces de inhoud in het waardedomein in latere stappen onderdrukt, vereist het reverse-proces een conditionering die deze informatie kan heraanvoeren. DIFFDIFF gebruikt een stage-adaptive conditionele denoiser die twee weergaven van de historie fuseert:

1. Waardedomein: Codeert de ruwe historie $x_{hist}$ (behoudt niveau, schaal en trend).
2. Differentiedomein: Codeert de eerste-orde verschillen $\Delta x_{hist}$ (vangt lokale snelheid en kortetermijnfluctuaties op).

Deze twee representaties worden gefuseerd via een timestep-adaptive gate $g$:
$$c = h_{val} + g \odot h_{diff}$$
waarbij $g$ een sigmoidfunctie is die geconditioneerd is op de diffusie-tijdstap. Deze gate past de bijdrage van de differentiale tak dynamisch aan: deze blijft open wanneer de ruizige staat meer gedifferentieerde structuur behoudt (latere stappen) en onderdrukt de differentiale tak wanneer de inhoud uit het waardedomein alleen volstaat (vroeere stappen).

2.3 Training en Sampling

• Training: Het model minimaliseert een positie-gewogen reconstructieverlies in het waardedomein ($x_0$-voorspelling), samen met hulpverliezen om instant-normalisatie statistieken (gemiddelde en variantie) te voorspellen om absolute schalen te herstellen.
• Sampling: De finale distributie nadert een standaard Gaussische $\mathcal{N}(0, I)$, wat compatibiliteit met bestaande versnelde samplers (bijv. DDIM) waarborgt. Het reverse-proces gebruikt de stapafhankelijke matrices $A_t$ om voorspellingen in elke stap terug te mappen naar de juiste signaalrepresentatie.

3. Belangrijkste Bijdragen

1. Internalisering van Asymmetrie: DIFFDIFF is het eerste diffusie-raamwerk dat de deterministische-onzekerheidsasymmetrie direct in het diffusietraject inbedt via een stapafhankelijke forward-operator, in plaats van te vertrouwen op externe decompositie-regels.
2. Frequentie-selectieve Corruptie: Door een tweede-orde differentie-operator in het forward-proces te gebruiken, creëert de methode een niet-uniform Signal-to-Noise Ratio (SNR) profiel. Het dempt laagfrequente (door historie verankerde) componenten sneller dan hoogfrequente (onzekere) componenten, waardoor de generatieve capaciteit van het model effectief wordt geheralloceerd naar de meest onzekere delen van het doel.
3. Stage-Adaptive Conditionering: De introductie van een timestep-adaptive gating-mechanisme stelt de denoiser in staat om dynamisch te balanceren tussen waarde-domein en differentiaal historie-informatie, waarmee de onderdrukking veroorzaakt door de forward-operator wordt gecompenseerd.
4. Theoretische Consistentie: De auteurs bewijzen dat, ondanks het niet-Markoviaanse karakter van het stapafhankelijke forward-proces, het reverse-proces de marginale consistentie met het forward-traject behoudt, wat valide sampling garandeert.

4. Experimentele Resultaten

De auteurs evalueerden DIFFDIFF op zeven diverse tijdreeksbenchmarks (Electricity, ETTm2, Exchange Rate, Traffic, Solar-Energy, Weather, Wind) over vier voorspellingshorizonten ($H \in \{96, 192, 336, 720\}$).

• Prestaties: DIFFDIFF presteerde beter dan zes state-of-the-art diffusie-baselines (inclusief CSDI, TimeDiff, TMDM, NsDiff, MA-TSD, en D3U) in 53 van de 84 settings. Het behaalde in de meeste gevallen de beste Continuous Ranked Probability Score (CRPS).
• Ablatie-studies:
  • Het forward-proces (differentiëring) werd geïdentificeerd als de primaire bron van verbetering; varianten zonder dit proces presteerden aanzienlijk slechter.
  • De stage-adaptive gate was cruciaal; het verwijderen ervan of het vervangen door vaste fusiemechanismen leidde tot prestatieverslechtering, met name op datasets met variërende graden van stochasticiteit.
  • Tweede-orde differentie ($D^2$) bleek robuuster dan eerste-orde ($D^1$) of derde-orde ($D^3$) operatoren, waarbij een balans werd gevonden tussen het vangen van kromming en het vermijden van amplificatie van extrapolatiefouten.
• Analyse: Spectrale analyse bevestigde dat het forward-proces de behouden signaalenergie succesvol verschuift naar hoogfrequente componenten naarmate de diffusie vordert. Bovendien bleek uit de gate-dynamiek dat het systeem zich aanpast aan de kenmerken van de dataset, waarbij de differentiale tak open wordt gehouden voor periodieke series (Electricity, Traffic) en onderdrukt wordt voor zeer stochastische series (Solar, Wind).

5. Betekenis en Claims

Het artikel claimt dat DIFFDIFF aantoont dat probabilistische tijdreeksvoorspelling aanzienlijk profiteert van het coderen van voorspelbaarheidsasymmetrie direct in het diffusietraject. Door het corruptiepad te hervormen zodat de door de historie verankerde inhoud progressief wordt onderdrukt, voorkomt het model dat generatieve capaciteit wordt verspild aan het reconstrueren van wat al bekend is. In plaats daarvan richt het zich op de "moeilijke" componenten—de door de historie onderbedekte dynamiek—terwijl het vertrouwt op het conditioneringspad om de verankerde inhoud aan te vullen.

De auteurs benadrukken dat deze aanpak een enkel end-to-end diffusieproces mogelijk maakt dat "bewust" is van de structuur van het doel, waardoor superieure kalibratie en scherpte (lagere CRPS) wordt bereikt zonder de noodzaak van externe decompositie-regels of complexe meerfasige pipelines. De methode behoudt compatibiliteit met standaard diffusie-samplingtechnieken, wat het een praktische en efficiënte upgrade maakt voor bestaande diffusiegebaseerde voorspellingsframeworks.