📊 statistics

Disaggregating Time-Series with Many Indicators: An Overview of the DisaggregateTS Package

Dit paper introduceert het R-pakket DisaggregateTS, dat klassieke en hoog-dimensionale regressiemethoden biedt voor het disaggregeren van lage-frequentie tijdreeksen naar hogere frequenties met behulp van vele indicatoren, en illustreert de toepassing ervan aan de hand van CO2-uitstootdata.

Oorspronkelijke auteurs: Luke Mosley, Kaveh Salehzadeh Nobari, Giuseppe Brandi, Alex Gibberd

Gepubliceerd 2026-04-14

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Luke Mosley, Kaveh Salehzadeh Nobari, Giuseppe Brandi, Alex Gibberd

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een film kijkt, maar je hebt alleen de samenvatting van elke hoofdstuk. Je weet wat er in hoofdstuk 1, 2 en 3 gebeurt, maar je mist alle details, dialogen en kleine momenten die zich tussen die hoofdstukken afspelen. In de wereld van data is dit precies het probleem: we hebben vaak alleen maar betrouwbare, maar trage gegevens (zoals jaarlijkse of kwartaalrapporten), terwijl we eigenlijk willen weten wat er elke maand of zelfs elke week gebeurt.

Dit artikel introduceert een nieuwe digitale "gereedschapskist" genaamd DisaggregateTS die helpt om die gemiste details te reconstrueren. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Trage" en de "Snelle" Waarnemers

Overheden en grote organisaties publiceren vaak belangrijke cijfers (zoals de economie of CO2-uitstoot) maar een paar keer per jaar. Deze cijfers zijn als een fotograaf met een statief: ze zijn heel stabiel, nauwkeurig en betrouwbaar, maar ze bewegen niet snel.

Aan de andere kant hebben we duizenden andere bronnen (zoals online zoekopdrachten, energieverbruik of bankgegevens) die elke maand of zelfs elke dag veranderen. Dit zijn als snelle cameraman die veel beweging zien, maar soms wat wazig of onnauwkeurig zijn.

De uitdaging is: hoe maak je een scherp, maandelijkse film van de CO2-uitstoot, als je alleen de jaarlijkse foto's hebt, maar wel duizenden maandelijkse hints (indicatoren) kunt gebruiken?

2. De Oude Methode: De "Gokker"

Vroeger gebruikten statistici een simpele methode: ze keken naar de trage foto's en tekenden een rechte lijn ertussen. Dit is als een kind dat een tekening maakt door alleen de puntjes te verbinden. Het ziet er netjes uit, maar het is saai. Het mist de echte pieken en dalen die in de werkelijkheid plaatsvinden.

Een betere oude methode was om te kijken naar één of twee snelle indicatoren (bijvoorbeeld: "als de auto-industrie groeit, groeit de economie ook"). Maar dit werkt niet goed als je te veel indicatoren hebt.

3. Het Nieuwe Probleem: De "Overvolle Bibliotheek"

In het tijdperk van Big Data hebben we niet meer één of twee snelle indicatoren, maar duizenden. Stel je voor dat je in een bibliotheek staat met 100 boeken, maar je hebt maar 10 minuten om een verhaal te schrijven. Als je probeert alle boeken te lezen, raak je in de war. In de wiskunde noemen we dit het "curse of dimensionality" (de vloek van de hoge dimensie). De oude methoden crashten hierop; ze wisten niet welke boeken (indicatoren) belangrijk waren en welke ruis.

4. De Oplossing: De "Slimme Filter" (DisaggregateTS)

Hier komt de DisaggregateTS-pakketje om de hoek kijken. Het is als een super-slimme bibliotheekmanager die twee nieuwe trucs heeft:

De LASSO-Filter (De "Schaar"):
Stel je voor dat je duizenden getuigen hebt die elk een verhaal vertellen over wat er in de maand is gebeurd. De meeste liegen of vertellen onzin. De LASSO-methode is als een scherpe schaar die alle onbelangrijke getuigen (de ruis) weghaalt en alleen de belangrijkste 2 of 3 overhoudt die echt iets te maken hebben met het verhaal. Het "straf" de schaar om te kiezen voor de simpelste, meest betrouwbare verklaring.
De "Adaptieve" Versie:
Soms zijn de getuigen zo verward dat ze elkaar tegenwerken (ze zeggen allemaal hetzelfde, maar op een andere manier). De "Adaptieve" versie van de schaar is slimmer: ze kijkt eerst naar de getuigen, begrijpt wie wie is, en past haar schaar aan zodat ze de juiste mensen selecteert, zelfs als ze verwarrend zijn.

5. Een Reëel Voorbeeld: De CO2-Film

De auteurs testten dit op een echt probleem: CO2-uitstoot van IBM.

Het probleem: We weten alleen hoeveel CO2 IBM per jaar uitstoot (de trage foto). Maar we willen weten hoeveel ze per kwartaal uitstoten om te zien of hun groene plannen werken.
De data: Ze hadden 128 verschillende maandelijkse cijfers van IBM (omzet, kosten, salarissen, etc.).
Het resultaat: De oude methode (een rechte lijn) gaf een saaie, vlakke lijn. De nieuwe DisaggregateTS-methode gebruikte de "slimme schaar" om te ontdekken dat slechts twee factoren echt belangrijk waren: de verkoop van de afgelopen 12 maanden en het totale kapitaal van het bedrijf.
De uitkomst: De nieuwe methode tekende een levendige, bewegende lijn die echt leek op hoe een bedrijf werkt (pieken in de zomer, dalen in de winter), gebaseerd op die twee belangrijke factoren.

Conclusie

Kortom, DisaggregateTS is een slimme tool die helpt om uit een paar trage, betrouwbare cijfers en een zee aan snelle, chaotische data, een helder, maandelijkse verhaal te maken. Het filtert de ruis weg, pakt de echte signalen en laat ons zien wat er echt gebeurt in de wereld, niet alleen wat er op papier staat. Dit is essentieel voor het bestrijden van klimaatverandering, omdat we niet kunnen wachten tot het jaar eindigt om te zien of we vooruitgang boeken; we moeten het nu zien.

Titel: Disaggregatie van Tijdreeksen met Veel Indicatoren: Een Overzicht van het DisaggregateTS-pakket

Auteurs: Luke Mosley, Kaveh Salehzadeh Nobari, Giuseppe Brandi, Alex Gibberd
Datum: November 2023

1. Het Probleem

Economische en administratieve data (zoals BBP of CO2-uitstoot) worden vaak door overheidsinstanties op lage frequentie (bijv. kwartaal- of jaargegevens) gepubliceerd. Deze data zijn doorgaans zeer nauwkeurig, maar niet tijdig. Daarentegen zijn er vaak hoge-frequentie indicatoren (bijv. maanddata) beschikbaar die sneller beschikbaar zijn, maar minder nauwkeurig of minder direct gekoppeld aan de macro-economische variabele.

De uitdaging is om deze lage-frequentie reeksen te disaggregeren (op te splitsen) naar een hogere frequentie om korte-termijn dynamieken te kunnen analyseren.

Interpolatie vs. Disaggregatie: Bij voorraadreeksen (stock series) moet de lage-frequentie waarde samenvallen met een specifieke hoge-frequentie waarde (bijv. het laatste kwartaal). Bij stroomreeksen (flow series, zoals BBP) moet de som van de hoge-frequentie waarden binnen een periode gelijk zijn aan de lage-frequentie waarde.
Het "High-Dimensional" Probleem: Traditionele methoden (zoals Chow-Lin) werken goed wanneer het aantal indicatoren ( $d$ ) kleiner is dan het aantal lage-frequentie observaties ( $n$ ). In het tijdperk van Big Data en uitgebreide administratieve datasets is $d$ echter vaak groter dan $n$ ( $d \gg n$ ). In deze situatie is de standaard regressiematrix singulier (niet omkeerbaar), wat leidt tot inconsistente schattingen en de "curse of dimensionality".

2. Methodologie

Het artikel introduceert en beschrijft het R-pakket DisaggregateTS, dat zowel klassieke methoden als nieuwe methoden voor hoge dimensies implementeert.

A. Klassieke Regressie-gebaseerde Technieken

De basis wordt gevormd door de methode van Chow en Lin (1971).

Model: De onwaargenomen hoge-frequentie reeks $y_m$ wordt gemodelleerd als $y_m = X_m\beta + u_m$ , waarbij $X_m$ een matrix is van hoge-frequentie indicatoren en $u_m$ een AR(1) foutterm is.
Aggregatie: Omdat $y_m$ niet direct waarneembaar is, wordt de regressie vermenigvuldigd met een aggregatiematrix $C$ om de lage-frequentie reeks $y_q$ te verkrijgen ( $y_q = C y_m$ ).
Schatting: De parameters $\beta$ worden geschat via Generalized Least Squares (GLS), waarbij de correlatiestructuur van de fouten ( $\rho$ ) wordt geschat via profiel-likelihood.
Alternatieven: Het pakket bevat ook methoden van Denton (1971), Fernandez (1981) en Litterman (1983).

B. Uitbreiding naar Hoge Dimensies (Sparse Temporal Disaggregation)

Om het probleem van $d > n$ op te lossen, past het pakket methoden toe zoals beschreven door Mosley et al. (2022):

Regularisatie (LASSO): Er wordt een $\ell_1$ $ℓ_{1}$ -strafterm (penalty) toegevoegd aan de GLS-kostfunctie. Dit forceert onbelangrijke regressiecoëfficiënten naar nul, waardoor een "sparse" model ontstaat.
- Formule: $\hat{\beta} = \arg \min \|V_q^{-1/2}(y_q - X_q\beta)\|_2^2 + \lambda_n \|\beta\|_1$ .
De-biasing: Omdat LASSO een vertekening (bias) introduceert, wordt een tweede stap uitgevoerd. Na selectie van de relevante variabelen door LASSO, wordt een gewone Kleinste-Kwadraten (OLS) schatting uitgevoerd op alleen de geselecteerde variabelen om de coëfficiënten te corrigeren.
Adaptieve LASSO: Voor situaties met multicollineariteit of schending van de "Irrepresentability Condition" wordt een adaptieve versie gebruikt waarbij de strafterm wordt gewogen op basis van een initiële schatting.
Modelselectie: De optimale regularisatieparameter $\lambda_n$ en autoregressieparameter $\rho$ worden geselecteerd op basis van het Bayesian Information Criterion (BIC), in plaats van cross-validatie, vanwege de beperkte steekproefgrootte van de lage-frequentie data.

3. Het DisaggregateTS-pakket (R)

Het pakket biedt de volgende kernfunctionaliteiten:

disaggregate(): De hoofdfunctie voor disaggregatie.
- Argumenten: Y (lage frequentie), X (hoge frequentie indicatoren), aggMat (aggregatiematrix: "sum", "first", "last", "average"), aggRatio (verhouding frequenties), en method.
- Methoden: Ondersteunt "Chow-lin", "Denton", "Fernandez", en de nieuwe hoge-dimensionale methoden "spTD" (sparse Temporal Disaggregation) en "adaptive-spTD".
TempDisaggDGP(): Een functie om synthetische data te genereren voor simulaties, inclusief instellingen voor sparsiteit, autocorrelatie en aggregatieverhoudingen.

4. Resultaten en Toepassingen

Simulaties

Klassieke setting ( $d < n$ ): De Chow-Lin methode levert nauwkeurige resultaten die de fluctuaties van de data beter volgen dan eenvoudige lineaire interpolatie.
Hoge-dimensionale setting ( $d > n$ ): Standaard methoden falen hier. De adaptive-spTD methode slaagt erin om de juiste indicatoren te selecteren (sparsiteit) en levert stabiele, betrouwbare schattingen die de variabiliteit van de onderliggende data weergeven, terwijl lineaire interpolatie de data te glad maakt.

Empirische Toepassing: CO2-uitstoot van IBM

Doel: Disaggregatie van jaarlijkse data over CO2-uitstoot (17 datapunten) naar kwartaaldata (68 datapunten) voor de periode 2005-2021.
Indicatoren: Gebruik van 112 kwartaalvariabelen uit balans, winst- en verliesrekening en kasstroomoverzichten.
Resultaat: De adaptieve LASSO methode selecteerde slechts twee significante indicatoren: 12-maands achterlopende omzet en totaal kapitaal van het bedrijf.
Conclusie: De tijdreeks die via disaggregatie is gegenereerd, toont realistische fluctuaties die correleren met economische activiteit, terwijl lineaire interpolatie een onrealistisch glad verloop toont. Dit maakt het mogelijk om kwartaal-gebaseerde koolstofintensiteit (uitstoot per omzet) te berekenen.

5. Belang en Bijdrage

Overbrugging van Data-gaten: Het pakket biedt een oplossing voor het probleem dat lage-frequentie data nauwkeurig maar traag is, terwijl hoge-frequentie data snel maar ruisachtig is.
Big Data Compatibiliteit: Het is een van de eerste implementaties die traditionele economische disaggregatiemethoden succesvol uitbreidt naar settings met meer indicatoren dan observaties, wat essentieel is in het tijdperk van Big Data.
Toepassing in Klimaatfinanciering: De toepassing op CO2-uitstoot demonstreert de waarde voor duurzaamheidsrapportage en klimaatrisico-analyse, waar frequente en nauwkeurige data cruciaal zijn voor beleggers en beleidsmakers.
Reproduceerbaarheid: Door het open-source R-pakket kunnen onderzoekers en praktijken deze geavanceerde statistische methoden eenvoudig toepassen zonder complexe codering.

Kortom, het artikel introduceert een robuust statistisch raamwerk en software-toolkit om hoge-frequentie schattingen te genereren uit lage-frequentie data, zelfs in complexe, data-rijke omgevingen.