Detecting Diffusion-Generated Time Series Under Generator Shift

Technische Samenvatting: Detectie van door Diffusie gegenereerde Tijdreeksen onder Generatorverschuiving

Probleemstelling
De grens tussen echte en door diffusie gegenereerde tijdreeksen wordt steeds moeilijker te onderscheiden, wat risico's oplevert voor de gegevensintegriteit in kritieke domeinen zoals gezondheidszorg en financiën. Hoewel synthetische datageneratie via diffusiemodellen (bijv. SSSD, TSDiff) vooruitgang heeft geboekt, blijft de detectie van dergelijke synthetische data onderbelicht, met name wanneer de generator onbekend is. Bestaande detectiemethoden maken vaak gebruik van aannames die geldig zijn in het beelddomein – specifiek de beschikbaarheid van een "universele" reconstructie-prior of directe toegang tot de interne verdeling van de generator. Deze aannames gelden echter niet voor tijdreeksen, waarbij modellen doorgaans worden getraind op smalle verdelingen met unieke omgekeerde dynamiek. De kernuitdaging die wordt aangepakt, is het detecteren van door diffusie gegenereerde tijdreeksen onder generatorverschuiving (Out-of-Distribution of OOD-scenario's), waarbij de detector monsters moet identificeren van generators die niet tijdens het trainingsproces zijn gezien.

Methodologie
Het artikel evalueert twee verschillende detectiestrategieën:

1. White-Box Reconstructie-gebaseerde Detectie:
   Geadaptieerd van methoden uit het beelddomein (specifiek DIRE), vereist deze aanpak toegang tot een referentie-diffusiemodel ($G^*$) dat is getraind op dezelfde verdeling als de doelgenerator. De detector gebruikt $G^*$ om DDIM-inversie en reconstructie uit te voeren op een invoer-tijdreeks $x_0$. De reconstructiefout $d_{G^*}(x_0) = (x_0 - R_{G^*}(x_0))^2$ dient als detectiesignaal. De hypothese is dat synthetische monsters van $G^*$ lage reconstructiefouten zullen hebben, terwijl echte monsters hoge fouten zullen vertonen.

   • Beperking: In het domein van tijdreeksen bestaat er geen generieke generator. Wanneer toegepast op monsters van een onbekende generator ($G_i$), probeert het reconstructiemodel $G^*$ de invoer af te stemmen op zijn eigen geleerde verdeling ($p_{G^*}$) in plaats van de invoerstructuur te behouden. Bijgevolg vallen de reconstructiefouten voor echte monsters en monsters van onbekende generators samen in niet-onderscheidbare verdelingen, waardoor de beslissingsgrens verdwijnt.

2. Black-Box Classificatie-gebaseerde Detectie:
   Deze aanpak omzeilt reconstructie volledig. Het behandelt detectie als een binaire classificatieprobleem waarbij een standaard tijdreeksclassificator direct wordt getraind op ruwe signalen gelabeld als "echt" of "synthetisch" (gegenereerd door een enkele bekende generator, $G^*$). De classificator leert synthese-artefacten direct uit de ruwe data te identificeren zonder toegang te vereisen tot de interne werking van de generator of een reconstructie-prior. De studie maakt gebruik van kant-en-klare architecturen, voornamelijk Disjoint-CNN, naast InceptionTime en LITE, getraind op echte data gepaard met monsters van SSSD.

Belangrijkste Bijdragen

1. Eerste Systematische Verkenning: Dit werk biedt de eerste uitgebreide vergelijking van white- en black-box detectiestrategieën voor door diffusie gegenereerde tijdreeksen.
2. Identificatie van Domeinspecifiek Falen: De auteurs tonen aan dat reconstructie-gebaseerde detectie, succesvol in afbeeldingen vanwege universele priors (bijv. Stable Diffusion), faalt in tijdreeksen onder generatorverschuiving. Zij tonen aan dat diffusiemodellen voor tijdreeksen geen universele reconstructie-prior missen; in plaats daarvan leren ze model-specifieke omgekeerde dynamiek die ervoor zorgt dat reconstructiefouten voor echte en onbekende synthetische data overlappen.
3. Validatie van Black-Box Haalbaarheid: De studie stelt vast dat een eenvoudige kant-en-klare classificator, getraind op een enkele generator, effectief kan generaliseren naar onbekende generators, en significant beter presteert dan de white-box-aanpak in OOD-situaties.

Experimentele Resultaten
De evaluatie werd uitgevoerd over tien benchmarkdatasets, drie sequentielengtes (32, 64, 128) en vier op diffusie gebaseerde generators (SSSD, TSDiff, Diffusion-TS, WaveStitch).

• In-Distribution (ID): De white-box-aanpak (DIRE) presteert goed (Gemiddelde F1: 91,9), hoewel iets onder de black-box-classificator (Disjoint-CNN), die bijna perfecte prestaties behaalt (F1 > 94).
• Out-of-Distribution (OOD): De prestatiekloof wordt drastisch groter.
  • White-Box (DIRE): Faalt onder generatorverschuiving, met een gemiddelde OOD F1 van 64,9 en een True Positive Rate bij 1% False Positive Rate (TPR@1%FPR) dicht bij 0,00 voor de meeste onbekende generators. De reconstructiefouten voor echte en synthetische monsters worden niet van elkaar te onderscheiden.
  • Black-Box (Disjoint-CNN): Bereikt een gemiddelde OOD F1 van 79,2, wat een 22,1% relatieve verbetering betekent ten opzichte van de white-box-aanpak. Het handhaaft een TPR@1%FPR van 57,2.
• Invloed van Kwaliteit en Lengte: Detectie wordt moeilijker naarmate de kwaliteit van de synthetische data verbetert (bijv. Diffusion-TS produceert hoogwaardige data met lagere detecteerbaarheid). Bovendien, hoewel black-box-detectoren sterke ID-prestaties behouden bij langere sequentielengtes (128), verslechtert hun OOD-generalisatie, wat suggereert dat cross-generator-artefacten moeilijker te vangen worden naarmate de sequentielengte toeneemt.

Betekenis en Beweringen
Het artikel stelt dat het detecteren van door diffusie gegenereerde tijdreeksen geen directe overdracht is van het probleem in het beelddomein. De afhankelijkheid van een universele reconstructie-prior is een fundamentele mismatch voor tijdreeksen, waarbij generators verdelings-specifiek zijn. Bijgevolg concluderen de auteurs dat black-box-detectie een haalbaar en superieur startpunt is voor dit domein, ondanks dat het minder interpreteerbaar is dan reconstructie-gebaseerde methoden. Het werk benadrukt dat, hoewel huidige black-box-detectoren effectief zijn, de specifieke signalen die ze vangen en hun generalisatie over verschillende generatorsoorten en datasetverschuivingen open gebieden blijven voor toekomstig onderzoek.