ABC: Any-Subset Autoregression via Non-Markovian Diffusion Bridges in Continuous Time and Space

1. Probleemstelling

Het paper adresseert de fundamentele uitdaging van het genereren van stochastische processen in continue tijd en continue ruimte (bijvoorbeeld video's, weersvoorspellingen, aandelenkoersen) die zijn geconditioneerd op gedeeltelijke observaties. Deze observaties kunnen zijn:

• Onregelmatig bemonsterd: Datapunten zijn niet uniform verdeeld in de tijd (bijvoorbeeld sporadische GPS-metingen).
• Niet-causaal: Conditioneren op toekomstige toestanden (bijvoorbeeld het invullen van een video gegeven het eerste en het laatste frame).
• Willekeurige subsets: Het model moet elke combinatie van verleden, heden en toekomstige observaties kunnen verwerken.

Beperkingen van Bestaande Benaderingen:

• Ruis-naar-Data Diffusie: Standaard diffusiemodellen (bijvoorbeeld DDPM) mappingen Gaussische ruis naar data. Dit negeert de fysieke continuïteit van tijdreeksen, waarbij aangrenzende toestanden sterk op elkaar lijken. Het starten van oninformatieve ruis leidt tot een slechte behoud van structuur en fysiek onwaarschijnlijke overgangen.
• Vaste Volatiliteitsplannen: Bestaande diffusiebruggen gebruiken vaak een hulpvariabele voor tijd $\tau \in [0, 1]$ die onafhankelijk is van de fysieke tijd. Ze injecteren dezelfde hoeveelheid ruis, ongeacht de fysieke tijd die is verstreken tussen toestanden. Dit faalt in het vastleggen van de juiste dynamiek (bijvoorbeeld een gat van 1 seconde zou minder volatiliteit moeten hebben dan een gat van 1 uur).
• Markoviaanse Aannames: De meeste modellen gaan ervan uit dat de volgende toestand alleen afhangt van de onmiddellijk vorige toestand, en negeren hierbij langetermijn-tijdsafhankelijkheden en padgeschiedenis.
• Discrete Tijd: Veel autoregressieve modellen werken op vaste roosters, waardoor ze ongeschikt zijn voor onregelmatige bemonstering of inferentie in continue tijd.

2. Methodologie: Het ABC-kader

De auteurs stellen ABC (Any-Subset Autoregressive Models via Non-Markovian Diffusion Bridges) voor, wat diffusiemodellen en autoregressieve generatie unifyt in continue tijd en ruimte.

Kerninzicht

In plaats van meerdere korte bruggen te koppelen of ruis naar data te mappen, modelleert ABC het volledige proces als één continue Stochastische Differentiaalvergelijking (SDE) waarbij de tijdsvariabele en tussenliggende toestanden direct corresponderen met fysieke tijd en processtaten.

Belangrijke Technische Componenten

A. Data-genererende Dynamiek via Maatwijziging

• Basisproces: De auteurs definiëren een data-onafhankelijk basisproces (een Ornstein-Uhlenbeck-proces) $dX_t = -a(t)X_t dt + \sigma(t)dB_t$.
• Doob $h$-transformatie: Om het basisproces te laten overeenkomen met de data-verdeling $p_{data}$ op specifieke tijdstippen, passen ze een maatwijziging toe (Doob $h$-transformatie). Dit introduceert een driftterm die de SDE "trekt" naar gebieden met hoge dichtheid van de data op voorgeschreven tijdstippen.
• Niet-Markoviaanse Drift: In tegenstelling tot standaard diffusie, is de drift $s(t, X_t; X_{0:i^*}) **pad-afhankelijk**. Deze is geconditioneerd op de volledige geschiedenis van waargenomen toestanden$X_{0:i^*}$ (waarbij $i^*$ de index is van de meest recente observatie voor tijd $t$). Dit stelt het model in staat complexe, niet-Markoviaanse correlaties vast te leggen.

B. Tijd-adaptieve Volatiliteit

• De volatiliteit $\sigma(t)$ in de SDE is gekoppeld aan fysieke tijd.
• Stelling 3 bewijst dat het koppelen van afzonderlijke diffusiebruggen (zelfs als ze marginale verdelingen matchen) resulteert in onjuiste padmaten (kwadratische variaties) in vergelijking met een enkele continue SDE.
• Door gebruik te maken van een enkele SDE met fysieke tijd, schaalt de ruisinjectie natuurlijk met de verstreken tijd, wat fysiek plausibele dynamiek garandeert (bijvoorbeeld minder verandering over korte intervallen, meer over lange intervallen).

C. Pad- en Tijd-afhankelijke Score Matching

• Trainingsdoel: De auteurs leiden een verliesfunctie af die Denoising Score Matching (DSM) generaliseert naar het niet-Markoviaanse, tijd-afhankelijke geval.
• Doel: Het netwerk leert de score $\nabla_{x_t} \log p_{base}(x_{t_{i^*+1}} | x_t)$ te voorspellen, wat effectief betekent dat het voorspelt hoe de huidige toestand $x_t$ moet worden aangepast om uit te lijnen met het volgende waargenomen waypoint $x_{t_{i^*+1}}$, geconditioneerd op de volledige padgeschiedenis.
• Conditionering op Willekeurige Subsets: Het neurale netwerk (een Transformer met cross-attention) neemt als input:
  • De huidige ruisbezaaide toestand $x_t$.
  • De huidige fysieke tijd $t$.
  • De tijd van het volgende doelpunt $t_{i^*+1}$.
  • De set van alle waargenomen waypoints (verleden en toekomst) $K$.
    Dit stelt het model in staat om willekeurige subsets van observaties te verwerken, inclusief niet-causale toekomstige frames.

D. Architectuur

• Gebaseerd op de Diffusion Transformer (DiT).
• Breidt DiT uit met cross-attention lagen om de conditionerende waypoints (verleden en toekomst) te verwerken.
• Invoeren omvatten de ruisbezaaide latent, huidige tijd, tijd van het volgende waypoint, en een set conditionerende frames met hun tijdstempels.

3. Belangrijkste Bijdragen

1. ABC Model: Een nieuw SDE-gebaseerd generatief model dat autoregressie generaliseert naar continue tijd en ruimte, specifiek gericht op het Any-Subset geval (onregelmatige bemonstering, niet-causale conditionering).
2. Theoretische Garantiën:
   • Bewijst dat een enkele continue SDE met tijdsregistratie noodzakelijk is om correcte padmaten vast te leggen (Stelling 3).
   • Demonstreert dat tijd-adaptieve volatiliteit cruciaal is voor een trouwe modellering van stochastische processen.
3. Trainingsdoel: Leidt een schaalbaar, simulatie-vrij trainingsdoel af (Path-Dependent Bridge Score Matching) dat DSM uitbreidt naar niet-Markoviaanse, tijd-afhankelijke scenario's.
4. Empirische Validatie: Toont state-of-the-art prestaties op videogeneratie en weersvoorspelling, en presteert beter dan gekoppelde diffusiebruggen en ruis-naar-data diffusie.

4. Experimentele Resultaten

De auteurs evalueerden ABC op CelebV-HQ (gezichtsvideo's), Sky-Timelapse (weervideo's) en SEVIR (radar-weergegevens).

• Maten: Gebruik van FVD (Fréchet Video Distance) voor temporele consistentie en FID voor framekwaliteit. Voor weer werden MAE, MSE en CSI (Critical Success Index) gebruikt.
• Prestaties:
  • Videogeneratie: ABC presteerde aanzienlijk beter dan baselines (Conditionele Diffusiebruggen en Ruis-naar-Data Diffusie) in FVD, vooral in niet-causale settings (het invullen van ontbrekende frames). Het bereikte Pareto-optimaliteit in zowel FVD als FID.
  • Weersvoorspelling: ABC behaalde de beste algehele prestatie op SEVIR, met superioriteit in het voorspellen van stormevenementen in vergelijking met baselines.
  • Ablatiestudies:
    • Volatiliteit: Modellen met tijd-adaptieve volatiliteit (ABC) wonnen consistent van die met vaste volatiliteitsplannen.
    • Conditionering: Pad-afhankelijke conditionering (gebruik van volledige geschiedenis) leverde betere resultaten op dan Markoviaanse (alleen laatste frame) of alleen-prefix conditionering.
    • Data-naar-Data versus Ruis-naar-Data: Data-naar-data bruggen (ABC) waren superieur aan ruis-naar-data diffusie, die last had van numerieke stijfheid en oncoherente dynamiek.

5. Betekenis en Impact

• Paradigmaverschuiving: Gaat voorbij het "ruis-naar-data" paradigma voor tijdreeksen en vestigt een "data-naar-data" bruggenkader dat de continuïteit van fysieke tijd respecteert.
• Flexibiliteit: Lost het lang over het hoofd geziene probleem van Any-Subset Autoregressie in continue tijd op, en stelt toepassingen mogelijk zoals video-inpainting met onregelmatige framefrequenties, imputatie van data van spaarzame sensoren en niet-causale voorspelling.
• Theoretische Strenge: Biedt een wiskundig onderbouwde afleiding met behulp van maattheorie en stochastische calculus, en bewijst waarom eerdere "gekoppelde brug" benaderingen falen in het vastleggen van de juiste dynamiek.
• Praktisch Nut: Demonstreert dat het direct modelleren van de fysieke tijdsontwikkeling leidt tot realistischere en coherente generaties in complexe domeinen zoals weer en video.

Kortom, ABC vertegenwoordigt een significante vooruitgang in generatieve modellering voor tijdreeksen door diffusiebruggen, autoregressie en dynamiek in continue tijd te unifyen in één theoretisch onderbouwd kader dat zich aanpast aan de fysieke realiteit van de data.