Copula-Based Time Series for Non-Gaussian and Non-Markovian Stationary Processes

Dit artikel introduceert en analyseert een copula-gebaseerd tijdreeksmodel voor niet-Gaussische en niet-Markovische stationaire processen, waarbij de relatie met bestaande modellen wordt onderzocht, de schatting via maximum likelihood wordt besproken en de toepasbaarheid wordt gevalideerd via voorspellingsstudies voor Amerikaanse inflatie en Duitse windenergieproductie.

De kern

Stel je voor dat je probeert het weer te voorspellen. Je kijkt niet alleen naar de temperatuur van vandaag, maar ook naar gisteren, de dag ervoor, en misschien zelfs naar de windrichting van een week geleden. In de statistiek noemen we dit een tijdreeks: een rij van gegevens die in de tijd op elkaar volgen.

De meeste klassieke methoden om dit te doen, gaan ervan uit dat de data zich gedraagt als een "normale" verdeling (een klokcurve) en dat de toekomst alleen afhangt van het verleden op een heel lineaire, voorspelbare manier. Maar in het echte leven is dat vaak niet zo. Inflatie kan plotseling uit de hand lopen (extreme waarden), en windkracht kan heel onvoorspelbaar zijn.

Deze paper introduceert een nieuwe, slimme manier om zulke complexe data te modelleren. De auteurs, Sven Pappert en Harry Joe, noemen hun methode een Copula-ARMA model. Laten we dit uitleggen met een paar simpele analogieën.

1. De "Lego-blokken" van de data: De Copula

Stel je voor dat je een auto bouwt. Je hebt twee belangrijke onderdelen:

1. De vorm van de auto (de randverdeling): Dit bepaalt hoe de auto eruitziet. Is het een Ferrari of een bestelbus? In statistische taal: hoe ziet de verdeling van je data eruit? Is het normaal, of heeft het lange staarten (veel extreme waarden)?
2. De motor en het chassis (de afhankelijkheid): Dit bepaalt hoe de wielen samenwerken. Als de linkervoorwiel draait, wat doet dan het rechterwiel? Hoe hangt de toekomstige waarde samen met de vorige?

De Copula is de "lijm" of het "chassis" die deze twee onderdelen los van elkaar houdt. Het is een slimme wiskundige tool die je toelaat om de vorm van je data (bijv. extreme windstoten) te kiezen, zonder dat je de manier waarop de data met elkaar samenhangt (de motor) hoeft aan te passen. Het is alsof je dezelfde motor in een Ferrari én in een bestelbus kunt bouwen.

2. Het probleem: Het verleden is langer dan je denkt

Klassieke modellen (zoals ARMA) kijken vaak alleen naar de directe voorganger. "Als het gisteren regende, is de kans groot dat het vandaag ook regent." Maar wat als de regen van drie dagen geleden ook nog invloed heeft? Of wat als de invloed van de afgelopen week langzaam afneemt?

De auteurs zeggen: "We moeten kijken verder dan alleen de directe voorganger." Ze willen een model dat lange termijn geheugen heeft, maar dan op een flexibele manier die niet vastzit aan de strenge regels van de "normale verdeling".

3. De oplossing: Een dubbel-deks busje (AR + MA)

Het nieuwe model in deze paper is een combinatie van twee dingen:

• AR (Autoregressief): Dit is het "geheugen". Het kijkt naar de eigen geschiedenis (zoals: "Hoe was het weer de afgelopen paar dagen?").
• MA (Moving Average): Dit is de "storing" of de "nieuwe informatie". Het kijkt naar de verrassingen van het verleden (zoals: "Er was gisteren een onverwachte storm die we niet zagen aankomen").

De auteurs hebben een manier bedacht om deze twee te combineren in een Copula-wereld. Ze noemen dit een Copula-ARMA.

De Analogie:
Stel je een danser voor (de tijdreeks).

• De AR-deel is de choreografie die de danser zelf bedenkt op basis van zijn vorige bewegingen.
• De MA-deel is de muziek die plotseling verandert en de danser verrast.
• De Copula is de dansvloer zelf. De auteurs zeggen: "We kunnen elke dansvloer kiezen (bijv. een gladde ijsbaan of een ruwe houten vloer), en we kunnen elke choreografie en muziek kiezen, en ze passen perfect bij elkaar."

4. Wat hebben ze ontdekt? (De resultaten)

• Het is net als de oude methoden, maar dan sterker: Als je hun nieuwe model gebruikt met de "normale" verdeling, krijg je precies de oude, bekende ARMA-modellen terug. Maar het grote voordeel is dat je nu ook modellen kunt maken voor data die niet normaal is (bijv. data met veel extreme pieken).
• Het kan GARCH nabootsen: Ze hebben bewezen dat hun model ook complexe volatiliteit (zoals in de beurs of bij windenergie) kan nabootsen. Het is alsof ze een simpele motor hebben die toch de kracht van een Formule 1-auto kan leveren, zolang je de juiste onderdelen (de copula's) kiest.
• Een klein probleem met "twee gezichten": Ze ontdekten dat voor sommige modellen er twee verschillende manieren zijn om de parameters te kiezen die exact hetzelfde resultaat geven. Dit is een beetje alsof je een code hebt die je kunt invoeren als "123" of "321" en beide werken. Dit maakt het lastig om de "echte" waarde te vinden, maar ze hebben een oplossing bedacht om dit op te lossen door de zoekruimte te beperken.
• Testen in de echte wereld: Ze hebben hun model getest op twee echte problemen:
  1. Inflatie in de VS: Inflatie is lastig te voorspellen omdat het gedrag soms verandert. Hier bleek het nieuwe model niet veel beter dan de simpele oude methoden. De data was te onstabiel.
  2. Windenergie in Duitsland: Dit was een groot succes! Wind is vaak lineair (als er gisteren veel wind was, is er vandaag ook veel), maar het heeft ook extreme pieken. Het nieuwe model, vooral als je de vorm van de data slim kiest (met een techniek genaamd KDE), voorspelde de windproductie beter dan de traditionele modellen.

Conclusie

De kernboodschap van dit paper is: We hebben een nieuwe, flexibele manier om tijdreeksen te modelleren.

Het is alsof we eerder alleen met een hamer en schroevendraaier konden werken (oude modellen). Nu hebben we een 3D-printer (het Copula-ARMA model) waarmee we elke vorm van data kunnen maken, van zachte wolken tot scherpe stormen, en we kunnen precies instellen hoe de toekomst samenhangt met het verleden. Het werkt fantastisch voor complexe dingen zoals windenergie, maar voor heel chaotische dingen zoals inflatie is het nog steeds een uitdaging.

Kortom: Het is een krachtige nieuwe tool in de statistische gereedschapskist die ons helpt beter te begrijpen hoe de wereld (en de economie) echt werkt, zonder ons te beperken tot de "normale" veronderstellingen van vroeger.

Technische samenvatting

Probleemstelling

Bestaande copula-gebaseerde tijdreeksmodellen zijn voornamelijk ontworpen voor stationaire processen met een Markov-eigenschap van orde $p$. Dit betekent dat de toekomstige waarde alleen afhankelijk is van de $p$ vorige waarden. Een dergelijke benadering is echter ontoereikend wanneer het onderliggende proces niet-Markoviaans is of wanneer de seriële afhankelijkheid langdurig is (bijvoorbeeld asymptotisch afnemende autocorrelatie zoals bij ARMA-processen).

In dergelijke gevallen is de gezamenlijke verdeling van slechts $p+1$ opeenvolgende observaties niet voldoende om de volledige seriële afhankelijkheid te vangen. Bestaande generalisaties om lange-termijn afhankelijkheid te modelleren (zoals voorgesteld door Joe (2014), McNeil & Bladt (2022), en Pappert (2024)) hebben beperkingen:

• Sommige modellen vereisen ingewikkelde transformaties om een uniforme stationaire verdeling te garanderen.
• Andere modellen hebben theoretische onduidelijkheden over de relatie met klassieke lineaire modellen (zoals ARMA en GARCH).
• Er is behoefte aan een robuust model dat zowel niet-Gaussische verdelingen als niet-Markovian dynamiek (lange-termijn geheugen) kan modelleren zonder de flexibiliteit van de marginale verdeling te beperken.

Methodologie

De auteurs onderzoeken en analyseren een generalisatie van copula-gebaseerde tijdreeksen die voortkomt uit een combinatie van een Markov-sequentie van orde $p$ en een $q$-afhankelijke sequentie. Het model wordt gedefinieerd door de volgende update-vergelijkingen:

$$\begin{aligned} U_t &= h(\varepsilon_t, \dots, \varepsilon_{t-q+1}, W_{t-q}) \\ W_t &= g(\varepsilon_t, W_{t-1}, \dots, W_{t-p}) \end{aligned}$$

Waarbij:

• $\{\varepsilon_t\}$ i.i.d. innovaties zijn met een uniforme verdeling $U(0,1)$.
• $\{W_t\}$ een latente autoregressieve copula-proces is van orde $p$, gestuurd door een AR-copula $C$ (een stationaire D-vine copula).
• $\{U_t\}$ het geobserveerde proces is, verkregen door $W_{t-q}$ en de innovaties te combineren via een MAG-copula (Moving Aggregate) $K$ (een $q$-afhankelijke D-vine copula).
• De mappings $g$ en $h$ zijn conditionele kwantiel functies die corresponderen met respectievelijk $C$ en $K$.

De kern van de methodologie bestaat uit:

1. Theoretische Afleiding: Het afleiden van de relatie tussen dit copula-model en klassieke lineaire modellen (Gaussische ARMA en GARCH).
2. Verdelingsanalyse: Het onderzoeken van stationariteit, ergodiciteit, gezamenlijke verdelingen, staartafhankelijkheid (tail dependence) en associatiemaatstaven (zoals Spearman's $\rho$).
3. Schatting: Het ontwikkelen van een Maximum Likelihood Estimation (MLE) procedure die iteratief de latente processen ($\hat{W}_t$) en innovaties ($\hat{\varepsilon}_t$) reconstrueert.
4. Simulatie en Empirische Validatie: Toepassing op reële data (VS-inflatie en Duitse windenergieproductie) voor probabilistische voorspelling.

Belangrijkste Bijdragen

1. Relatie met Gaussische ARMA:
   De auteurs bewijzen dat als de AR- en MAG-copula's beide Gaussisch zijn, het getransformeerde proces $\{ \Phi^{-1}(U_t) \}$ een subset van een Gaussische ARMA($p, q+p-1$) proces is. Een verrassende bevinding is dat de MA-orde toeneemt tot $q+p-1$ door extra termen die ontstaan door de structuur van het proces. Voor $p=1$ vallen deze extra termen echter weg.

2. Herstel van GARCH-modellen:
   Het paper toont aan dat met een specifieke keuze van de AR- en MAG-copula's, het model een Gaussische GARCH(1,1) dynamiek kan nabootsen. Dit biedt een alternatief voor eerdere benaderingen die onbeperkte partiële afhankelijkheidsmodellen gebruikten. De auteurs geven ook een praktische strategie voor schatting via iteratie.

3. Analyse van de MAG(1)-procees:
   De auteurs analyseren de MAG(1)-procees ($V_t = h(\varepsilon_t, \varepsilon_{t-1})$) als bouwsteen. Ze tonen aan dat:

   • De seriële afhankelijkheid beperkt is.
   • De staartafhankelijkheidscoëfficiënten ($\lambda_l, \lambda_u$) van opeenvolgende observaties een absolute bovengrens hebben van $1/2$ (en vaak lager, rond $1/4$ voor standaard copula's).
   • Er een niet-identificeerbaarheidsprobleem optreedt bij Gaussische MAG(1), vergelijkbaar met klassieke MA(1)-modellen: er bestaan twee representaties (via permutatie van innovaties) die dezelfde verdeling genereren. Dit vereist een restrictie van de parameterruimte voor consistente schatting.

4. Algoritmen voor Likelihood en Voorspelling:
   Er worden algoritmen gepresenteerd (geïmplementeerd in R met rvinecopulib) voor het iteratief berekenen van de likelihood en het genereren van een-stap-vooruit probabilistische voorspellingen.

Resultaten

• Theoretisch: De relatie tussen copula-ARMA en lineaire ARMA is gekwantificeerd. Het model is flexibel genoeg om niet-Gaussische marginaalverdelingen te combineren met complexe seriële afhankelijkheden.
• Schatting: De MLE-procedure werkt, maar vereist dat de geschatte latente processen stationair en ergodisch zijn. Voor Gaussische copula's moet de parameter binnen een specifiek bereik blijven ($|\alpha| < 1/\sqrt{2}$) om consistentie te garanderen.
• Empirisch (VS-Inflatie):
  • De voorspelling van kwartaal-gebaseerde VS-inflatie bleek uitdagend vanwege vermoedelijke veranderingen in de temporale afhankelijkheid over de tijd.
  • Het "triviale" model (Gaussische ARMA(0,0)) presteerde soms beter in de validatiefase, wat wijst op instabiliteit in de data.
  • Geen enkel copula-model overtrof de Gaussische ARMA-modellen significant in alle criteria, hoewel ze vergelijkbare prestaties leverden.
• Empirisch (Duitse Windenergie):
  • Voor windenergieproductie (dagelijkse data, lange reeks) presteerden de copula-modellen beter dan de Gaussische ARMA-benchmarks.
  • Modellen waarbij de stationaire verdeling werd geschat met Kernel Density Estimation (KDE) presteerden beter dan die met een normale verdeling.
  • De resultaten suggereren dat windenergieproductie gedomineerd wordt door lineaire relaties (de Gaussische copula deed het goed), maar dat het modelleren van de marginale verdeling cruciaal is voor optimale prestaties.

Significantie

Dit artikel is significant omdat het een brug slaat tussen de wereld van copula-gebaseerde niet-lineaire modellering en de klassieke lineaire ARMA/GARCH-theorie.

• Generalisatie: Het biedt een rigoureuze generalisatie van ARMA-processen naar het domein van niet-Gaussische en niet-Markovian processen.
• Flexibiliteit: Het lost het probleem op van het modelleren van lange-termijn geheugen zonder de marginale verdeling te beperken tot een specifieke vorm (in tegenstelling tot eerdere modellen die extra transformaties nodig hadden).
• Praktische Toepasbaarheid: Door algoritmen voor schatting en voorspelling te leveren en deze te testen op economische en energetische data, toont het de haalbaarheid aan voor real-world toepassingen, vooral waar niet-Gaussische kenmerken (zoals extreme waarden of scheefheid) belangrijk zijn.
• Inzicht in Beperkingen: De studie waarschuwt voor de beperkingen in staartafhankelijkheid bij MAG(1)-processen en identificeerbaarheidsproblemen, wat essentieel is voor correcte modelselectie en interpretatie.

Kortom, het paper levert een fundamentele bijdrage aan de tijdreeksanalyse door een robuust raamwerk te bieden voor het modelleren van complexe, niet-lineaire en niet-Gaussische dynamieken met lange-termijn geheugen.