📊 statistics

Interpretable models for forecasting high-dimensional functional time series

Dit artikel introduceert een interpreteerbaar model voor het voorspellen van hoogdimensionale functionele tijdreeksen door middel van een FANOVA-decompositie en functionele factormodellen, wat leidt tot nauwkeurigere prognoses en helder inzicht in de onderliggende drijfveren van de data.

Oorspronkelijke auteurs: Han Lin Shang, Cristian F. Jiménez-Varón

Gepubliceerd 2026-03-31

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Han Lin Shang, Cristian F. Jiménez-Varón

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Voorspellen van de Toekomst: Een Reis door de Sterftecijfers van Japan

Stel je voor dat je een enorme, complexe puzzel hebt. Deze puzzel bestaat uit duizenden stukjes die allemaal veranderen naarmate de tijd verstrijkt. In dit geval zijn de puzzelstukjes de sterftecijfers van mensen in Japan, opgesplitst per leeftijd, geslacht en regio (prefectuur). De onderzoekers van dit paper, Han Lin Shang en Cristian Jimenez-Varon, willen weten hoe ze deze puzzel het beste kunnen voorspellen voor de toekomst, zodat beleidsmakers beter kunnen plannen voor pensioenen en zorg.

Hier is hoe hun methode werkt, vertaald in een simpel verhaal met analogieën:

1. Het Grote Probleem: Een Ruisend Orkest

Stel je een orkest voor met honderden muzikanten (de verschillende regio's van Japan). Iedere muzikant speelt een eigen melodie (de sterftecijfers per leeftijd), maar ze spelen allemaal tegelijkertijd en beïnvloeden elkaar.

Het probleem: Als je naar het geluid luistert, hoor je een enorme chaos. Er is een basisritme, maar ook veel ruis en individuele variaties. Traditionele computermodellen proberen dit geluid te voorspellen door naar de patronen te kijken, maar ze zijn vaak een "black box": ze geven een antwoord, maar je snapt niet waarom ze dat antwoord geven. Ze zijn als een toverstaf die werkt, maar waarvan je de magie niet begrijpt.

2. De Oplossing: De "Scheermethode" (FANOVA)

De auteurs gebruiken een slimme techniek die ze FANOVA noemen. Je kunt dit vergelijken met het nemen van een grote, rommelige soep en deze stap voor stap te zeven om de ingrediënten te scheiden. Ze splitsen de data in drie duidelijke lagen:

Lag 1: Het Grote Gemiddelde (De Basissoep)
Dit is het algemene patroon dat voor iedereen geldt. Bijvoorbeeld: "Mensen sterven vaker als ze ouder worden." Dit is het fundament.
Lag 2: De Specifieke Groepen (De Speciale Ingrediënten)
Nu kijken ze naar de verschillen.
- Regio: In Okinawa leven mensen langer dan in Tokio. Dit is een specifiek "regio-gevoel".
- Geslacht: Vrouwen hebben over het algemeen een ander sterftecijfer dan mannen.
  De auteurs halen deze vaste patronen eruit. Het is alsof je de wortels en de kruiden uit de soep haalt om ze apart te bekijken.
Lag 3: De Interactie en de Rest (De Ruis)
Soms is er iets speciaals dat niet alleen door regio of geslacht komt, maar door een combinatie van beide. Bijvoorbeeld: "Vrouwen in deze specifieke regio sterven net iets anders dan vrouwen in die andere regio."
Wat overblijft na het uithalen van al deze vaste patronen, is de stochastische rest: de onverwachte, willekeurige schommelingen die nog niet verklaard zijn.

3. De Voorspelling: Een Slimme Combinatie

Nu ze de soep hebben gescheiden, gaan ze voorspellen:

De Vaste Delen: Omdat we weten dat mensen ouder worden en dat vrouwen gemiddeld langer leven, kunnen we deze delen heel betrouwbaar voorspellen. Dit is het "verstandige" deel van de voorspelling.
De Willekeurige Rest: Voor de rest (de ruis) gebruiken ze een factormodel. Dit is als het zoeken naar een verborgen ritme in de ruis. Zelfs als het geluid willekeurig lijkt, zit er vaak een onderliggend patroon in (bijvoorbeeld: een economische crisis die iedereen even hard treft). Ze vangen dit ritje in en voorspellen hoe dat ritme zich in de toekomst zal ontwikkelen.

4. De Zekere Voorspelling (Conformal Prediction)

Het grootste probleem bij voorspellen is: "Hoe zeker zijn we?"
Stel je voor dat je de weersvoorspelling vraagt. Een simpele voorspelling zegt: "Het regent." Maar een betere voorspelling zegt: "Het regent, en er is 95% kans dat het tussen 1 en 5 millimeter is."
De auteurs gebruiken een moderne techniek genaamd Conformal Prediction.

De "Split"-methode: Ze nemen een stukje van hun oude data (zoals een proefje van een taart) om te testen hoe goed hun voorspelling werkt, en passen de voorspelling daarop aan.
De "Sequentiële"-methode: Dit is slimmer. Ze kijken niet naar een oud stukje, maar updaten hun voorspelling elke dag met de nieuwste data. Het is alsof je een kompas hebt dat zich automatisch aanpast aan de wind, zonder dat je een kaart hoeft te tekenen.

Waarom is dit belangrijk?

Deze methode is niet alleen nauwkeuriger dan oude methoden, maar ook begrijpelijk.

Oude methode: "De computer zegt dat er 1000 mensen zullen sterven." (Waarom? We weten het niet).
Nieuwe methode: "We weten dat de bevolking vergrijst (vast patroon), dat vrouwen langer leven (geslacht), en dat regio X een specifieke trend heeft. De rest is onzekerheid, maar we hebben een berekende marge voor die onzekerheid."

Conclusie:
Dit paper leert ons dat we complexe data niet als één grote, ondoordringbare muur moeten zien. Door de data te "ontleden" in begrijpelijke stukjes (regio, geslacht, tijd) en de rest slim te voorspellen, krijgen we niet alleen betere cijfers, maar ook een helder inzicht in waarom de cijfers zijn zoals ze zijn. Dit helpt beleidsmakers om beter te plannen voor de vergrijzing in Japan en elders.

Probleemstelling

Het artikel richt zich op het modelleren en voorspellen van hoogdimensionale functionele tijdreeksen (High-Dimensional Functional Time Series - HDFTS). Deze data kenmerken zich door:

Functionele aard: Waarnemingen zijn curves (functies) in plaats van scalaren (bijv. sterftecijfers over verschillende leeftijden).
Hoogdimensionaliteit: Het aantal cross-sectionele eenheden ( $N$ , bijv. prefecturen) kan groter zijn dan het aantal tijdstippen ( $T$ ).
Complexiteit: De data vertonen zowel temporele afhankelijkheid als cross-sectionele correlatie.

Een groot probleem in de bestaande literatuur is dat veel methoden voor dimensiereductie (zoals factormodellen) vaak een "black-box" karakter hebben. De gegenereerde factoren en ladingen zijn wiskundige constructies die moeilijk te interpreteren zijn voor beleidsmakers, omdat ze niet direct corresponderen met waarneembare categorische drivers zoals geografische regio's of demografische groepen (geslacht). De auteurs zoeken naar een model dat zowel nauwkeurig voorspelt als interpreteerbaar blijft.

Methodologie

De auteurs stellen een gestructureerd, drie-staps raamwerk voor dat deterministische en stochastische variatie scheidt. Het model wordt toegepast op Japanse subnationale sterftecijfers (gesplitst per geslacht en prefectuur) van 1975 tot 2023.

1. Tweeweg Functionele ANOVA (TWA)

De eerste stap is het decomponeren van de gladgemaakte sterftecijfercurves $Y_{it}^g(u)$ (waarbij $i$ de prefectuur, $g$ het geslacht en $u$ de leeftijd is) in deterministische componenten:
$Y_{it}^g(u) = \mu(u) + \alpha_i(u) + \delta_g(u) + \gamma_{ig}(u) + X_{it}^g(u)$

$\mu(u)$ : Het functionele "grand mean" (algemene trend).
$\alpha_i(u)$ : Het rij-effect (prefectuur-specifiek gemiddelde).
$\delta_g(u)$ : Het kolom-effect (geslacht-specifiek gemiddelde).
$\gamma_{ig}(u)$ : Het interactieterm (hoe prefectuur en geslacht samenwerken).
$X_{it}^g(u)$ : Het residu, dat nog steeds tijd-variërende stochastische patronen bevat.

2. Éénweg Functionele ANOVA (OWA)

Om de interactieterm en de resterende variatie beter te modelleren, wordt de term $X_{it}^g(u)$ (die interactie en residu combineert) verder opgesplitst via een éénweg ANOVA per geslacht:
$X_{it}^g(u) = \theta_g(u) + \eta_i^g(u) + R_{it}^g(u)$

$\theta_g(u)$ : Functioneel grand effect binnen het geslacht.
$\eta_i^g(u)$ : Rij-effect (prefectuur-specifiek gemiddelde binnen het geslacht).
$R_{it}^g(u)$ : Het resterende stochastische residu.

Deze stap maakt het mogelijk om specifieke patronen per geslacht en regio te isoleren, wat de interpretatie verbetert ten opzichte van een puur statistische factorbenadering.

3. Functioneel Factor Model (FFM)

Het resterende stochastische residu $R_{it}^g(u)$ wordt gemodelleerd met een functioneel factormodel om de overgebleven tijd-variërende dynamiek en cross-sectionele afhankelijkheid te vangen:
$R_{it}^g(u) = \sum_{k=1}^{k^*} \int B_{ik}^g(u, v) F_{tk}^g(v) dv + \varepsilon_{it}^g(u)$
Hierbij worden latente factoren $F_{tk}^g(v)$ gebruikt om de variatie te reduceren. Het aantal factoren wordt bepaald via een informatiecriterium.

Voorspelling en Intervallen

De uiteindelijke voorspelling is de som van de geschatte deterministische componenten en de voorspelling van het stochastische residu.
Voor voorspellingsintervallen gebruiken de auteurs conformale voorspelling (conformal prediction):

Split conformal prediction: Gebruikt een validatieset om een schaalparameter te kalibreren (gebaseerd op standaarddeviatie of quantielen).
Sequential conformal prediction: Een model-agnostische methode die geen validatieset vereist en autoregressieve modellen op absolute residuen gebruikt om voorspellende quantielen continu bij te werken naarmate nieuwe data binnenkomt.

Belangrijkste Bijdragen

Interpretabiliteit: In tegenstelling tot traditionele factormodellen, biedt de FANOVA-decompositie directe inzichten in de bronnen van variatie (regio, geslacht, interactie), wat essentieel is voor evidence-based beleidsvorming.
Hybride Raamwerk: De combinatie van functionele ANOVA (voor deterministische structuren) en functionele factormodellen (voor stochastische dynamiek) biedt een flexibele en nauwkeurige aanpak voor HDFTS.
Behandeling van Interactie: Het expliciet modelleren van de interactie tussen regio en geslacht via een extra ANOVA-stap verbetert de voorspellingsnauwkeurigheid ten opzichte van eerdere methoden die deze interactie negeren of minder flexibel modelleren.
Robuuste Intervallen: De toepassing van sequentiële conformale voorspelling biedt een betrouwbare manier om onzekerheid te kwantificeren zonder zware computereisen of modelmisspecificatie-risico's.

Resultaten

De methode werd getest op Japanse data (47 prefecturen, 1975-2023) met een "expanding-window" validatie (voorspellingen tot 10 stappen vooruit).

Puntvoorspellingen: De voorgestelde methode (TWA + OWA + FFM) presteerde beter dan benchmarks zoals de methode van Jiménez-Varón et al. (2024) en multivariate functionele tijdreeksmodellen. Het opnemen van de éénweg ANOVA (OWA) voor de interactieterm leverde de laagste fouten op (gemeten in RMSFE en MAFE).
- Voorbeeld: Voor vrouwen was de gemiddelde RMSFE van de TWA+OWA+FFM methode 0.0339, vergeleken met 0.0352 voor TWA+FFM en 0.0412 voor de benchmark.
Intervalvoorspellingen:
- De sequentiële conformale voorspelling leverde de beste resultaten op voor intervalvoorspellingen, met een empirische dekking (ECP) die dicht bij de nominale dekking (95%) lag en lagere interval scores (IS) dan de split-methode.
- De split-methode neigde tot onderschatting (te smalle intervallen), terwijl de sequentiële methode iets conservatiever was (overdekking), maar wel robuuster voor eindige steekproeven.
- De voorgestelde framework overtrof consistent de benchmarkmethoden in termen van intervalnauwkeurigheid.

Betekenis en Conclusie

Dit onderzoek biedt een krachtig alternatief voor "black-box" modellen in de demografie en actuariële wetenschap. Door de deterministische structuren (zoals regionale en geslachtsverschillen) expliciet te scheiden van de stochastische ruis, kunnen beleidsmakers niet alleen betere voorspellingen krijgen, maar ook begrijpen waarom deze voorspellingen zo zijn (bijv. specifieke regionale trends vs. algemene demografische verschuivingen).

De studie benadrukt dat het integreren van interpreteerbare structurele componenten met flexibele factormodellen de voorspellingsnauwkeurigheid verbetert. De voorgestelde aanpak is bijzonder waardevol voor het plannen van pensioenstelsels en gezondheidszorg in vergaande landen zoals Japan, waar subnationale verschillen cruciaal zijn voor een efficiënte resource-allocatie. De auteurs suggereren toekomstig onderzoek naar formele hypothesetoetsen voor interactie-effecten en het toepassen van dit raamwerk op levensverwachtingstabellen.