Heavy-Tailed Flow Matching via Random Clocks

Technische Samenvatting: Heavy-Tailed Flow Matching via Random Clocks

Probleemstelling
Heavy-tailed data (data met zware staarten), gekenmerkt door zeldzame gebeurtenissen met een onevenredige impact (bijv. financiële crashes, extreme weersomstandigheden, ongebalanceerde beeldklassen), vormen een significante uitdaging voor moderne generatieve modellering. Standaard diffusie- en flow-matchingmodellen vertrouwen doorgaans op Gaussische bronverdelingen of ruisprocessen. Hoewel Gaussische bronnen tractabele trainingsdoelen bieden, vormen ze een slechte inductieve match voor heavy-tailed data. Wanneer de dataverdeling aanzienlijk zwaardere staarten vertoont dan de bronverdeling, moet het model het gedrag van de staarten volledig aanleren via de geleerde transportmap, wat vaak leidt tot een onnauwkeurige reproductie van zeldzame gebeurtenissen.

Bestaande pogingen om dit aan te pakken door Gaussische ruis te vervangen door heavy-tailed alternatieven (bijv. $\alpha$-stabiele Lévy-processen, Student-t kernen), kampen met beperkingen. Deze benaderingen vereisen vaak niet-lokale fractionele score-mechanismen, zijn beperkt tot specifieke staartfamilies (bijv. regimes met eindige variantie zoals bij de Student-t) of vertrouwen op robuuste aggregatieverliezen die de $L^2$-projectiestructuur doorbreken die essentieel is voor efficiënte training. Er is een gebrek aan een verenigd raamwerk dat de efficiëntie van lage aantallen functie-evaluaties (NFE) bij sampling behoudt, terwijl diverse heavy-tailed bronwetten worden ondersteund.

Methodologie: Heavy-Tailed Flow Matching via Random Clocks (HTFM)
De auteurs stellen HTFM voor, een raamwerk dat heavy-tailed bronnen modelleert als mengsels van klok-geconditioneerde Gaussische bronnen. De kerninnovatie is de introductie van een random clock (willekeurige klok), een niet-dalende, pad-waardige latente variabele $T = (T_t)_{t \in [0,1]}$ die de conditionele covariantie van de bronverdeling controleert.

1. Klok-geconditioneerde Dynamiek:

   • Geconditioneerd op een gerealiseerd klokpad $T_{[0,1]}$ is de bronverdeling $X_0$ en de flow tussen de bron en de data Gaussisch.
   • Specifiek, $X_0 | T_{[0,1]} \sim \mathcal{N}(0, \Sigma(T_{[0,1]}))$.
   • De flow volgt een affien pad: $X_t^T = \alpha_t^T X_1 + \beta_t^T X_0^T$.
   • Omdat het conditionele probleem Gaussisch is, behoudt het eindpunt-geconditioneerde snelheidstarget $v_t^T(x | x_1)$ dezelfde tractabele algebraïsche vorm als standaard Gaussische flow matching. Dit maakt het gebruik van standaard $L^2$-regressiedoelen op padniveau mogelijk.

2. Marginalisering en Heavy Tails:

   • Het heavy-tailed karakter van de marginale bronverdeling ontstaat pas na het integreren (marginaliseren) over de random clock $T$.
   • Door specifieke wetten voor de klok te kiezen, herstelt het raamwerk verschillende heavy-tailed families:
     • Deterministische Klok ($T_t = t$): Herstelt standaard Gaussische flow matching.
     • $\alpha$-Stabiele Subordinator Klok: Levert $\alpha$-stabiele marginale bronverdelingen op.
     • Inverse-Gamma Klok: Levert Student-t marginalen op voor elke vrijheidsgraad $\nu > 0$, inclusief het regime met oneindige variantie ($\nu \le 2$) dat door andere methoden vaak wordt uitgesloten.

3. Signature-Based Conditioning:

   • Omdat het klokpad $T_{[0,1]}$ oneindig dimensioneel is, is het direct doorgeven van dit pad aan het neurale netwerk onpraktisch.
   • De auteurs coderen het gerealiseerde klokpad met behulp van truncated logsignature features ($\ell_m(T)$), afgeleid van rough path theory. Deze kenmerken bieden een eindig-dimensionale, universele representatie van het pad.
   • Het neurale snelheidveld $u_\theta$ wordt geconditioneerd op deze kenmerken samen met de tijd $t$ en de staat $X_t$. Dit stelt het netwerk in staat om zich aan te passen aan de specifieke conditionele Gaussische ruimte gedefinieerd door het gerealiseerde klokpad met verwaarloosbare computationele overhead.

Belangrijkste Bijdragen

1. Verenigd Random-Clock Raamwerk: HTFM biedt één enkel flow-matchingdoel dat Gaussian, $\alpha$-stable en Student-t bronnen kan genereren door simpelweg de klokwet te variëren. Het vermijdt familiespecifieke scoreformules of onbeschikbare dichtheidsfuncties door te werken in een conditioneel Gaussische ruimte.
2. Signature-Based Conditioning: Het artikel introduceert een praktische interface voor klok-geconditioneerde vectorfelden met behulp van truncated logsignatures. Dit maakt het mogelijk dat het snelheidveld zich aanpast aan de gerealiseerde conditionele ruimte zonder de hoge kosten van operator learning.
3. Theoretische Garanties: Het raamwerk vestigt een padwijze conditionele-marginale equivalentie (Propositie 3.1), wat garandeert dat het minimaliseren van het klok-geconditioneerde doel de marginale heavy-tailed doel minimaliseert, mits aan integrabiliteitsvoorwaarden wordt voldaan.

Experimentele Resultaten
De auteurs evalueren HTFM op drie benchmarks: 2D imbalanced $\alpha$-stable mengsels, CIFAR10-LT (long-tailed beelddataset) en HRRR weervelden (Vertically Integrated Liquid).

• Prestaties: HTFM presteert consistent beter dan Gaussian flow matching (HTFM-G) en concurrerende heavy-tailed baselines (LIM, DLPM, t-Flow) in termen van mode coverage, steekproefkwaliteit (FID) en de herstel van staartstatistieken (Kurtosis Ratio, Skewness Ratio, KS statistic).
• Low-NFE Efficiëntie: Een primair voordeel is het behoud van de lage-NFE sampling-efficiëntie van flow matching. HTFM presteert aanzienlijk beter dan $\alpha$-stabiele diffusiebaselines (zoals DLPM) bij lage NFE (bijv. 20–100 stappen), waar diffusiemodellen vaak moeite hebben met trage convergentie.
• Tail Calibration: De experimenten laten zien dat de "zwaarte" van de gegenereerde staarten gekalibreerd kan worden door alleen de klokwet of de staartparameter te variëren, zonder de netwerkarchitectuur te wijzigen.
• Ablatie Studies:
  • Klok Familie: Verschillende klokfamilies (bijv. $\alpha$-stabiel versus Student-t) presteren verschillend, zelfs bij overeenkomstige polynomiale staartverval-snelheden, wat aangeeft dat de klokfamilie een betekenisvolle ontwerpkeuze is die verder gaat dan alleen de zwaarte van de staart.
  • Signature Conditioning: Expliciete conditionering van het snelheidveld op de klok-signature (gebruikmakend van $m \ge 1$) levert betere resultaten op dan het gebruik van een heavy-tailed bron alleen zonder klok-conditionering ($m=0$), wat de waarde bevestigt van het aanpassen aan de conditionele ruimte.

Betekenis en Claims
Het artikel claimt dat HTFM de kloof overbrugt tussen de tractabiliteit van Gaussische flow matching en de noodzaak van heavy-tailed modellering voor real-world extreme gebeurtenissen. Door de staartgedrag (gecontroleerd door de random clock) te ontkoppelen van het conditionele regressieprobleem (dat Gaussisch blijft), vermijdt de methode de computationele en theoretische valkuilen van eerdere heavy-tailed diffusiebenaderingen.

De auteurs benadrukken dat HTFM een praktische interface voor staartcontrole biedt: gebruikers kunnen de "zwaarte" van de gegenereerde steekproeven over verschillende distributiefamilies heen kalibreren door simpelweg de klokwet aan te passen. Bovendien stelt het gebruik van logsignature-kenmerken het model in staat om de volledige padinformatie van de klok te benutten zonder de hoge kosten van oneindig-dimensionale operator learning, wat het een schaalbare oplossing maakt voor hoog-dimensionale heavy-tailed generatieve modellering.