Modelling multivariate ordinal time series using pairwise likelihood

Titel: Modellering van multivariate ordinaire tijdsreeksen met behulp van paarsgewijze waarschijnlijkheid (Pairwise Likelihood)

1. Het Probleem

De auteurs stellen zich de uitdaging voor om de gezamenlijke verdeling te specificeren van meerdere ordinaire tijdsreeksen (tijdsreeksen waarbij de waarnemingen in een geordende categorie vallen, bijv. werkloosheidsniveaus: laag, medium, hoog).

• Complexiteit: Het is moeilijk om een multivariate verdeling te creëren die zowel de autocorrelatie binnen elke reeks, de kruis-correlatie tussen verschillende reeksen, als de afhankelijkheid over de tijd (lag-afhankelijkheid) correct modelleert.
• Beperkingen van bestaande methoden: Traditionele benaderingen vereisen vaak de evaluatie van een complexe multivariate copula. Bij een groot aantal reeksen ($K$) leidt dit tot een explosie in het aantal termen (bijv. $2^K$) om gezamenlijke kansen te berekenen, wat computationeel onuitvoerbaar wordt.
• Literatuurgat: Er is weinig werk beschikbaar voor multivariate ordinaire tijdsreeksen, vooral omdat er geen eenvoudig implementeerbare multivariate verdeling bestaat die zowel de interne dynamiek als de kruisafhankelijkheid efficiënt combineert.

2. Methodologie

De auteurs stellen een nieuw raamwerk voor dat copula's combineert met een paarsgewijze likelihood-benadering (pairwise likelihood) om de computationele last te verminderen.

• Randverdelingen (Marginal Models):
  Elke tijdsreeks $Z_{kt}$ wordt gemodelleerd als een ordinaire autoregressieve logit-model (van orde $p$). Dit model neemt niet alleen de eigen waarden van de reeks in het verleden in beschouwing, maar ook de waarden van alle andere reeksen in het systeem om kruis-correlaties te vangen.
  $$\text{logit}(\gamma_{sjt}^{(k)}) = \alpha_{k0j} + \sum_{m=1}^{K} \sum_{g=1}^{p} \alpha'_{kmg} \tilde{Z}_{m,t-g}$$
  Waarbij $\gamma$ de cumulatieve kans is en $\tilde{Z}$ de binaire representatie van de ordinaire waarden.

• Afhankelijkheidsstructuur (Copula's):
  In plaats van één hoge-dimensionale copula te gebruiken, wordt de gezamenlijke verdeling benaderd door de product van alle mogelijke bivariate marginale verdelingen. Voor elk paar reeksen $(Z_{rt}, Z_{st})$ wordt een bivariate copula (bijv. Gumbel of Frank) gebruikt om de gelijktijdige kruis-correlatie te modelleren.

• Schatting via Paarsgewijze Likelihood:
  De volledige likelihood wordt benaderd door de conditionele paarsgewijze log-likelihood:
  $$\ell_{prw}(\theta; z) = \sum_{t=2}^{T} \sum_{r=1}^{K-1} \sum_{s=r+1}^{K} \log f(Z_{rt}, Z_{st} | F_{t-1})$$
  Dit vermindert de complexiteit aanzienlijk omdat alleen bivariate modellen nodig zijn.

• Estimatie-algoritme (Tweestapsprocedure):
  Omdat het maximaliseren van de totale paarsgewijze likelihood direct moeilijk is, gebruiken de auteurs een twee-staps methode (gebaseerd op Fieuws en Verbeke, 2006):

  1. Individuele Maximalisatie: Elk van de $K(K-1)/2$ bivariate modellen wordt onafhankelijk gemaximaliseerd om schattingen $\tilde{\theta}_{rs}$ te krijgen.
  2. Aggregatie: De individuele schattingen worden gecombineerd tot één unieke schatting voor het volledige model. De auteurs stellen een gewogen gemiddelde voor, waarbij de gewichten gebaseerd zijn op de Hessiaan-matrix (negatieve tweede afgeleide) van de log-likelihood van elk bivariate model. Dit geeft meer gewicht aan schattingen met lagere variantie (hogere precisie).
     $$\tilde{\theta}_{wm} = \left( \sum H(\tilde{\theta}_{rs}) \right)^{-1} \sum H(\tilde{\theta}_{rs}) \tilde{\theta}_{rs}$$

• Voorspelling:
  Omdat er geen enkele gezamenlijke verdeling is, worden voorspellingen gegenereerd door de uitkomsten van alle bivariate modellen te combineren. Twee methoden worden voorgesteld:

  • Methode A: Voorspellen vanuit elk bivariate model en het modus (meest voorkomende staat) kiezen.
  • Methode B: Het middelen van de kansverdelingen uit alle bivariate modellen en vervolgens de staat met de hoogste gecombineerde kans kiezen.

3. Belangrijkste Bijdragen

1. Computationele Efficiëntie: Het vermijden van de berekening van hoge-dimensionale copula's door te werken met bivariate paren, wat het toepasbaar maakt voor grotere systemen.
2. Flexibiliteit: De methode staat toe om verschillende copula-families te gebruiken voor verschillende paren reeksen, afhankelijk van hun specifieke afhankelijkheidsstructuur (hoewel in de studie één familie per paar werd gebruikt).
3. Geavanceerde Aggregatie: De introductie van een gewogen gemiddelde op basis van de Hessiaan-matrix voor het samenvoegen van parameterschattingen, wat statistisch superieur is aan een simpel gemiddelde.
4. Toepasbaarheid op Ordinale Data: Een robuust raamwerk specifiek ontworpen voor ordinaire tijdsreeksen, waarbij de discrete aard van de data en de onderliggende continuïteit via copula's correct worden gehanteerd.

4. Resultaten

• Simulatiestudie:

  • De methode werd getest op trivariante data met verschillende steekproefgroottes ($T=100, 500, 1000$).
  • De schatters bleven onbevooroordeeld (de mediaan van de schattingen lag dicht bij de ware waarde) en consistent (de variantie nam af naarmate de steekproefgrootte toenam).
  • De gewogen gemiddelde methode presteerde iets beter dan het simpele gemiddelde, vooral bij het schatten van de copula-afhankelijkheidsparameter ($\phi$).
  • De Mean Squared Error (MSE) nam af tot nul naarmate de steekproefgrootte groeide.

• Empirische Toepassing (Werkloosheid in de EU):

  • Gegevens: Kwartaalwerkloosheid (1998-2023) voor zes landen: Portugal, Slowakije, Finland, Griekenland, Spanje en Italië.
  • De data werd gediskretiseerd in 4 categorieën gebaseerd op quantielen.
  • Een Frank-copula werd gebruikt om zowel positieve als negatieve afhankelijkheden te vangen.
  • De resultaten toonden sterke autocorrelatie en kruis-correlatie tussen de landen.
  • Voorspelling: Voor de periode 2021-2023 leverden beide voorspellingsmethoden (A en B) vergelijkbare resultaten op. De methoden presteerden goed voor landen met stabiele patronen (Portugal, Slowakije), maar minder goed voor landen met langdurige statische periodes (Griekenland, Spanje), wat suggereert dat voor dergelijke data specifieke modellen (zoals DAR-modellen) mogelijk beter geschikt zijn.

5. Betekenis en Conclusie

Dit artikel biedt een praktische en computationeel haalbare oplossing voor een complex statistisch probleem: het modelleren van complexe, afhankelijke ordinaire tijdsreeksen.

• De voorgestelde aanpak maakt het mogelijk om multivariate structuren te analyseren zonder de "curse of dimensionality" die vaak gepaard gaat met volledige copula-modellen.
• De methode is flexibel genoeg om verschillende marginale modellen en copula's te combineren.
• De studie benadrukt dat hoewel de paarsgewijze likelihood benadering uitstekende schattingen oplevert, het voorspellen van toekomstige waarden uit deze benadering een extra stap vereist (aggregatie van voorspellingen), wat nog steeds een actief onderzoeksgebied is.

De auteurs concluderen dat hun methode een waardevolle toevoeging is aan de toolbox voor econometristen en statistici die werken met multivariate ordinaire data, zoals in economische en sociaal-wetenschappelijke toepassingen.