Technische Samenvatting: Helpt Synthetische Data? Empirisch Bewijs uit Deep Learning Tijdreeksvoorspellers

Probleemstelling

Hoewel synthetische data de training van Large Language Models (LLM's) en computersystemen voor computervisie heeft revolutionair veranderd, blijft de effectiviteit ervan bij tijdreeksvoorspelling slecht begrepen. In tegenstelling tot tekstdata, die in grote schaal kan worden gescrapt, zit tijdreeksdata vaak achter betalingsmuren of bevindt zich op private servers, wat een knelpunt creëert voor het trainen van fundamentele modellen. Hoewel belangrijke voorspellingsmodellen (zoals Chronos, TimesFM, MOIRAI) zijn begonnen met het integreren van synthetische data, is er geen consensus over hoe deze effectief moet worden gebruikt. Specifiek is het onduidelijk welke typen generators goed overdraagbaar zijn, welke hoeveelheden voordelig zijn, of curriculumplanning ertoe doet, en of synthetische augmentatie helpt wanneer er overvloed aan echte data is versus wanneer deze schaars is. Dit artikel adresseert de kloof tussen de theoretische belofte van synthetische data en de empirische realiteit van de impact ervan op diverse deep learning-architecturen.

Methodologie

De auteurs voerden een grootschalige empirische studie uit bestaande uit 4.218 experimentele runs, georganiseerd in negen distincte experimentgroepen. De studie evalueerde vijf state-of-the-art architecturen op zeven real-world datasets voor langetermijnvoorspelling (waaronder ETTh1/2, ETTm1/2, Weather, Electricity en Traffic).

1. Synthetische Datagenerator

De kern van de methodologie is een controleerbare, moeilijkheidsgeconditioneerde synthetische tijdreeksgenerator met drie hoofdbestanddelen:

• Bundelsysteem: Definieert het temporele archetype van univariate kanalen. Vier bundels werden gecreëerd om belangrijke real-world patronen te vertegenwoordigen:
  • Seizoensgebonden-Trend (ST): Combineert Fourier-seizoensgebondenheid, deterministische trends en autoregressieve residuen.
  • Niet-stationair Regime (NR): Markov-switching AR-processen met structurele breuken.
  • Lange Geheugen (LM): Langzaam afnemende autocorrelaties via ARFIMA of fractionele Brownse beweging.
  • Volatieliteitsevenementen (VE): Financiële dynamiek gemodelleerd via GARCH en Hawkes-processen.
• Moeilijkheidsconditionering: Een scalair $d \in [0, 1]$ moduleert complexiteit (bijv. aantal harmonischen, trendsterkte, nivo's van ruis).
• Kruiskanaalcorrelatie: Een latente factor-wrapper ($p_{latent}$) transformeert onafhankelijk gegenereerde kanalen om inter-variabele correlaties in te voeren, wat multivariate structuren nabootst.
• Variantieallocatie: Componenten worden gemengd met Dirichlet-verdeelde gewichten om gecontroleerde bijdragen aan de totale outputvariantie te waarborgen.

2. Experimenteel Ontwerp

De studie varieerde systematisch vijf factoren over de negen groepen:

• Datatekort: Gesimuleerd door slechts een fractie ($s \in \{0,10, 0,25, 0,50\}$) van de echte trainingsvensters te behouden.
• Augmentatieverhouding: Het volume aan toegevoegde synthetische data ten opzichte van de grootte van de originele dataset ($r_{synth} \in \{0,25, 0,50, 1,0, 2,0\}$).
• Curriculumplanning: Getest op "harde" (binaire schakelaar) versus "geleidelijke" (lineaire interpolatie) afkoelschema's, inclusief synthetisch-naar-echt en echt-naar-synthetische richtingen.
• Bundelselectie: Geïsoleerde impact van specifieke bundeltypen (ST, NR, LM, VE).
• Latente correlatie: Variatie in de waarschijnlijkheid van toepassing van kruiskanaalcorrelatie.

3. Modellen en Metrieken

Vijf architecturen werden getest: DLinear en PatchTST (kanaalonafhankelijk), SegRNN (RNN-gebaseerd), en TimesNet en iTransformer (kanaal-mixend). Prestaties werden gemeten met Mean Squared Error (MSE) op vastgehouden echte testsets voor horizonnen $H=96$ en $H=336$.

Belangrijkste Bijdragen

1. Een Controleerbare Generator: Een nieuwe synthetische tijdreeksgenerator met vier moeilijkheidsgeconditioneerde bundeltypen en Dirichlet-variantieallocatie, capable om seizoensgebondenheid, regimeverschuivingen, lange geheugen en volatieliteit te simuleren.
2. Grootschalig Empirisch Bewijs: Een uitgebreide studie van 4.218 runs over negen experimentgroepen, vijf architecturen en zeven datasets, die de eerste systematische analyse biedt van synthetische data in tijdreeksvoorspelling.
3. Architectuur-Conditionele Bevindingen: De identificatie van modelarchitectuur als de primaire determinant van succes of falen, met concrete richtlijnen voor bundelselectie, planning en implementatie.

Resultaten

1. Architectuur is de Bepalende Factor

Het effect van synthetische data is scherp conditioneel op de modelarchitectuur:

• Kanaal-mixende Modellen (Voordelig): TimesNet en iTransformer verbeterden consistent met synthetische augmentatie. TimesNet verbeterde in 67% van de trials, en iTransformer in 71%. Deze modellen profiteren van de diverse spectrale kenmerken en inter-kanaaldiversiteit die door synthetische batches worden geboden.
• Kanaalonafhankelijke Modellen (Schadelijk): DLinear, PatchTST en SegRNN werden consistent verslechterd door synthetische data. DLinear bijvoorbeeld, zag een gemiddelde MSE-verslechtering van 19,2%. Deze modellen verwerken kanalen geïsoleerd, wat leidt tot distributiemismatches zonder structurele compensatie.
• Totale Impact: Over alle architecturen en configuraties heen, schaadde synthetische augmentatie de prestaties in 67% van de trials.

2. Settings met Weinig Resources

In scenario's met schaarse echte data ($s \le 0,25$) kan synthetische augmentatie opvallende winsten opleveren voor ontvankelijke architecturen:

• Het Overschrijden van Full-Data Baselines: TimesNet getraind op slechts 10% van de Weather-dataset met synthetische augmentatie bereikte een lagere MSE (0,2841) dan de full-data alleen-echt baseline (0,2850).
• Herstel: Voor iTransformer herstelde augmentatie bij 10% sparsiteit 42,8% van het prestatiekloof tussen sparsere en full-data modellen.

3. Ablatie-inzichten

• Bundeltype: De Seizoensgebonden-Trend (ST) bundel was het minst schadelijk (en meest voordelig) over benchmarks, in lijn met de dominante seizoensgebonden-trenddynamiek van de testdatasets. NR, LM en VE bundels veroorzaakten grotere degradatie door distributiemismatches (bijv. het introduceren van volatieliteit of regimeverschuivingen die niet aanwezig zijn in de doeldata).
• Curriculumplanning: Geleidelijke afkoeling (synthetisch $\to$ echt) presteerde vergelijkbaar met statische menging. Echter, hard-switch schema's (plotseling schakelen van synthetische naar echte data halverwege de training) waren catastrofaal, met een toename van de MSE met 23,6% vergeleken met statische menging.
• Moeilijkheidsconditionering: Moeilijkheidsniveaus hadden een geringe impact; uniforme moeilijkheid presteerde marginaal beter dan harde distributies.
• Latente correlatie: Het introduceren van kruiskanaalcorrelatie ($p_{latent}$) verminderde monotoon de degradatie, vooral voor hoogdimensionale datasets. Een waarde van $p_{latent} = 0,5$ wordt voorgesteld als een veilige standaard.
• Cache-efficiëntie: Het vooraf genereren van een vaste cache van 500 samples bleek praktisch equivalent aan generatie op het moment zelf qua prestaties, terwijl het de rekenkundige overhead verlaagde.

Betekenis en Claims

Het artikel claimt concrete, actieabele richtlijnen te bieden voor het integreren van synthetische data in tijdreeksvoorspellingspijplijnen, verder bewegend dan de aanname dat "meer data altijd beter is".

• Architectuurselectie: De auteurs stellen dat architectuur de sterkste voorspeller van uitkomst is. Synthetische augmentatie moet prioriteit krijgen voor kanaal-mixende architecturen (CNN's, multivariate attention) en vermeden worden voor kanaalonafhankelijke modellen.
• Strategische Implementatie: De studie concludeert dat synthetische data het meest effectief is in settings met weinig resources voor ontvankelijke architecturen, waar het de full-data prestaties kan evenaren of zelfs overtreffen.
• Operationele Best Practices: Het artikel adviseert expliciet tegen hard-switch curriculum schema's en beveelt de Seizoensgebonden-Trend bundel aan als een veilige standaard voor langetermijnvoorspellingsopdrachten.
• Contextualiseren van Fundamentele Modellen: De auteurs brengen hun bevindingen in overeenstemming met modellen zoals Chronos2, waarbij zij opmerken dat het succes van synthetische data in pre-training (waar modellen miljoenen diverse series zien) verschilt van fine-tuning (waar modellen weinig epoch hebben om distributiemismatches op te lossen). Hun resultaten suggereren dat synthetische data specifiek helpt wanneer de modelarchitectuur is ontworpen om te leren van gezamenlijke kanaalinteracties, een voorwaarde die wordt vervuld door moderne fundamentele transformers maar niet door eenvoudigere lineaire of kanaalonafhankelijke modellen.

De studie benadrukt dat hoewel synthetische data geen universele panacee is, het een krachtig hulpmiddel is wanneer het wordt toegepast met architecturale bewustheid en passende planning.