Conformal prediction for high-dimensional functional time series: Applications to subnational mortality

Deze studie past modelonafhankelijke en distributie-vrije conformale voorspellingsmethodes toe op hoogdimensionale functionele tijdreeksen om voorspellingsintervallen voor subnationale sterftecijfers te construeren, waarbij de prestaties van gesplitste en sequentiële benaderingen worden vergeleken aan de hand van empirische dekking en intervalscores.

De kern

Stel je voor dat je een weersvoorspelling doet, maar dan niet voor morgen, maar voor de komende tien jaar. En niet alleen voor één stad, maar voor 47 verschillende regio's in Japan, voor zowel mannen als vrouwen, en voor elke leeftijdsgroep tegelijk. Dat is een enorme hoeveelheid data: een "hoogdimensionale functionele tijdreeks".

De auteur van dit artikel, Han Lin Shang, wil weten: Hoe zeker kunnen we zijn van deze voorspellingen?

In de statistiek gebruiken mensen vaak ingewikkelde wiskundige modellen om een "voorspellingsinterval" te maken. Dat is als een paraplu: "Het zal waarschijnlijk regenen, maar de paraplu is groot genoeg om je droog te houden." Het probleem is dat deze modellen soms fout gaan als ze niet perfect zijn, of als ze te veel rekenkracht nodig hebben.

Shang stelt een nieuwe, slimme manier voor: Conformele Voorspelling.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het probleem: De "Gokke" van de Statistiek

Stel je voor dat je een voorspelling doet over de sterftecijfers. Je zegt: "Volgend jaar zullen er ongeveer X mensen sterven." Maar je wilt ook een marge geven: "Tussen X en Y."

• De oude manier: Je bouwt een heel complex model (een machine) dat denkt dat de wereld werkt volgens bepaalde regels. Als die regels niet kloppen (bijvoorbeeld door een onverwachte pandemie), is je paraplu te klein en word je nat.
• De nieuwe manier (Conformele Voorspelling): Deze methode maakt zich niets aan de regels van de machine. Ze kijkt gewoon naar de feiten: "Hoe groot waren de fouten in het verleden?" en past daar de paraplu op aan. Het is model-onafhankelijk en distributie-vrij.

2. De twee methoden: De "Testklas" vs. De "Levende Leraar"

De auteur vergelijkt twee manieren om deze paraplu's te maken:

Methode A: Split Conformal Prediction (De "Testklas")

Stel je voor dat je een leraar bent die een examen voorbereidt.

1. Je neemt je oude lesmateriaal (de data) en splitst het in drie delen: Oefenen, Toetsen en Eindwerk.
2. Je gebruikt het "Toetsen"-gedeelte om te kijken: "Hoe groot moet mijn paraplu zijn om 95% van de studenten te beschermen?"
3. Vervolgens maak je de voorspelling voor het "Eindwerk".

Het nadeel: Je hebt een stukje van je data weggegooid om te testen. Als je een voorspelling moet doen voor over 10 jaar, heb je op dat moment heel weinig data over om je paraplu te kalibreren. De paraplu wordt dan vaak te klein (je bent te optimistisch).

Methode B: Sequential Conformal Prediction (De "Levende Leraar")

Dit is de favoriete methode van de auteur.

1. Er is geen aparte "Toetsklas". Je leert continu.
2. Elke keer als er een nieuw jaar aan komt (nieuwe data), kijkt de leraar: "Hoe groot was mijn fout vorige keer?"
3. De leraar past de paraplu direct aan voor de volgende stap. Het is als een auto met een zelflerend navigatiesysteem dat de route elke seconde aanpast op basis van het verkeer dat je net hebt gezien.

Het voordeel: Je gooit geen data weg. Je past je voorspelling continu aan. Het resultaat is vaak een paraplu die iets groter is dan nodig (je bent conservatief), maar dat is beter dan te klein.

3. Wat hebben ze ontdekt? (De "Japanse Mortaliteit")

De auteur heeft dit getest op sterftecijfers in Japan (en Canada als controle). Ze hebben gekeken naar hoe goed de "paraplu's" werkten.

• De "Testklas" (Split): Bleek vaak te optimistisch. De paraplu was te klein, waardoor de echte sterftecijfers er soms buiten vielen. Vooral bij voorspellingen voor de verre toekomst (10 jaar later) ging dit mis.
• De "Levende Leraar" (Sequential): Bleek iets te voorzichtig. De paraplu was vaak net iets te groot. Maar dat is een goede fout!
  • Waarom? Als je paraplu te groot is, ben je veilig. Als hij te klein is, word je nat. In de statistiek betekent een te grote paraplu een betere score op de "interval score" (een maatstaf voor hoe goed je voorspelling is).

4. De conclusie in één zin

Als je voorspellingen moet doen over complexe, veranderende dingen (zoals sterftecijfers in verschillende regio's), is het slimmer om te werken als een levende leraar die elke dag bijleert (Sequential Conformal Prediction), dan om een vaste test te doen en dan te vergeten aan te passen.

Kort samengevat:
Vergeet de ingewikkelde theorieën die zeggen hoe de wereld moet werken. Kijk gewoon naar wat er echt gebeurd is, leer daar direct van, en maak je paraplu net iets groter dan nodig. Dan ben je veilig, ongeacht hoe chaotisch de toekomst wordt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Conformal prediction for high-dimensional functional time series: Applications to subnational mortality" van Han Lin Shang, geschreven in het Nederlands.

Titel: Conformal Prediction voor Hoogdimensionale Functionele Tijdsreeksen: Toepassingen op Subnationale Sterftecijfers

1. Probleemstelling

Het artikel adresseert een fundamenteel probleem in de statistiek: het kwantificeren van onzekerheid bij voorspellingen van tijdsreeksen van willekeurige functies (functionele data). Traditionele methoden voor het construeren van voorspellingsintervallen zijn vaak afhankelijk van specifieke statistische modellen. Dit maakt ze kwetsbaar voor:

• Modelmisspecificatie: Als het gekozen model de werkelijkheid niet goed weergeeft.
• Selectiebias: Bias door het kiezen van een specifiek model.
• Beperkte geldigheid in eindige steekproeven: De theoretische dekking (coverage) geldt vaak pas asymptotisch, niet in de praktijk met beperkte data.

Hoewel bootstrapping een alternatief is, is deze vaak computatievriendelijk. Het artikel richt zich specifiek op Hoogdimensionale Functionele Tijdsreeksen (HDFTS), waarbij het aantal cross-sectionele eenheden (bijv. regio's) het aantal tijdstippen kan overtreffen ($N > T$). Bestaande literatuur voor HDFTS is nog in de kinderschoenen, en er is een gebrek aan methoden voor robuuste onzekerheidskwantificatie in deze context.

2. Methodologie

De auteur stelt een model-agnostische en distributie-vrije aanpak voor, genaamd Conformal Prediction, om voorspellingsintervallen te construeren voor HDFTS. De studie vergelijkt twee varianten:

A. Data Voorbereiding en Decompositie

• Data: Subnationale leeftijds- en gespecificeerde log-mortaliteitsdata uit Japan (47 prefecturen, 1975–2023) en Canada (12 provincies/territoria, 1950–2016).
• Smooring: Ruwe data worden gladgestreken met penalized regression splines om meetfouten te minimaliseren.
• Decompositie: Om de complexe HDFTS te analyseren, worden twee exacte decompositiemethoden gebruikt (geen informatieverlies):
  1. Een-weg functionele ANOVA: Splits de data in een grand effect, een rij-effect (regio) en een tijdvariërend residu.
  2. Functioneel Factor Model: Een uitbreiding van matrixfactorisatie naar functionele data, waarbij latenten factoren en ladingsfuncties worden geschat via eigenanalyse van de covariantiematrix.

B. Conformal Prediction Variants

1. Split Conformal Prediction:

   • De data worden opgesplitst in een trainings-, validatie- en testset.
   • De validatieset wordt gebruikt om een tune-parameter ($\xi_\alpha$) te kalibreren zodat de empirische dekking overeenkomt met het nominale niveau (bijv. 95%).
   • Voorspellingsintervallen worden gebaseerd op de residualen van de validatieset (bijv. standaardafwijking of quantiel).
   • Nadeel: Vereist een aparte validatieset, wat de beschikbare data voor training en testen verkleint, vooral problematisch bij lange voorspellingshorizons.

2. Sequentiële Conformal Prediction:

   • Geen validatieset nodig.
   • Voorspellingsquantielen worden sequentieel bijgewerkt via een autoregressief proces op de absolute residualen.
   • Een quantielregressie wordt gefit op de laatste $p$ residualen om de volgende quantiel te voorspellen.
   • Voordeel: Past zich dynamisch aan nieuwe data aan zonder data te verliezen voor kalibratie.

C. Evaluatiemetingen

• Expanding-window schema: De trainingsset wordt stapsgewijs uitgebreid om voorspellingen te genereren voor horizons $h = 1$ tot $10$.
• Empirische Dekkingskans (ECP): Het percentage van de werkelijke waarden dat binnen het voorspellingsinterval valt.
• Coverage Probability Difference (CPD): Het verschil tussen ECP en het nominale niveau.
• Mean Interval Score (MIS): Een score die zowel dekking als de scherpte (breedte) van het interval combineert. Een lagere score is beter.

3. Belangrijkste Resultaten

De studie vergelijkt de prestaties van de twee methoden op Japanse en Canadese data, gebruikmakend van ARIMA en ETS voor het voorspellen van de factorcomponenten.

• Dekkingskans (ECP):

  • Split Conformal Prediction: Neigt tot het onderschatten van de dekkingskans, vooral bij langere voorspellingshorizons ($h=3$ tot $7$). Dit komt doordat de kalibratie op de validatieset niet optimaal is voor de testdata, en de kalibratie-set te klein wordt bij grote$h$.
  • Sequentiële Conformal Prediction: Neigt tot het overschatten van de dekkingskans (conservatief), maar blijft dicht bij of boven het nominale niveau (bijv. ~97% voor een 95% doel).

• Voorspellingskwaliteit (Interval Score):

  • Ondanks dat de sequentiële methode conservatiever is (breder interval), behaalt deze lagere mean interval scores dan de split-methode.
  • Dit suggereert dat het "overschatten" van de dekking (zorgen dat het interval breed genoeg is) in de praktijk nuttiger is dan het risico lopen dat het interval te smal is en de werkelijke waarde mist.

• Stabiliteit: De sequentiële methode toont een robuustere prestatie over verschillende voorspellingshorizons en prefecturen zonder de noodzaak van een aparte validatieset.

4. Bijdragen en Significatie

• Pionierswerk in HDFTS: Dit is naar de kennis van de auteur het eerste onderzoek dat voorspellingsonzekerheid kwantificeert in een HDFTS-setting ($N > T$) met behulp van conformal prediction.
• Model-agnostische aanpak: De methode maakt geen aannames over de onderliggende verdeling van de data, wat het zeer robuust maakt voor complexe real-world data zoals mortaliteitsstatistieken.
• Praktische aanbeveling: De studie concludeert dat Sequentiële Conformal Prediction de superieure methode is voor deze toepassing. Het elimineert de noodzaak van een validatieset (wat cruciaal is bij beperkte tijdsreeksen) en levert betrouwbaardere voorspellingsintervallen op, zelfs bij langere horizons.
• Reproduceerbaarheid: De code is openbaar beschikbaar, wat bijdraagt aan de transparantie en reproduceerbaarheid van de resultaten.

Conclusie:
Voor het kwantificeren van onzekerheid in hoogdimensionale functionele tijdsreeksen, zoals subnationale sterftecijfers, biedt sequentiële conformal prediction een efficiëntere en betrouwbaardere oplossing dan de traditionele split-methode. Het vermijdt modelmisspecificatieproblemen en levert voorspellingsintervallen die beter presteren in termen van de gecombineerde score van dekking en scherpte.