📊 statistics

Integrating Complex Covariate Transformations in Generalized Additive Models

Dit artikel introduceert een nieuw raamwerk dat interpreteerbare covariaten-transformaties direct in multi-parameter Generalized Additive Models integreert, waarbij de parameters gezamenlijk worden geschat en de onzekerheid via benaderende Bayesiaanse methoden wordt gekwantificeerd, wat wordt gedemonstreerd in toepassingen op elektriciteitsvraag en huizenprijzen.

Oorspronkelijke auteurs: Claudia Collarin, Matteo Fasiolo, Yannig Goude, Simon N. Wood

Gepubliceerd 2026-03-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Claudia Collarin, Matteo Fasiolo, Yannig Goude, Simon N. Wood

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: De Slimme Kookmeester van Data: Hoe een nieuwe methode voorspellingen beter maakt

Stel je voor dat je een enorme, ingewikkelde soep probeert te koken. De ingrediënten zijn je data: de temperatuur, de tijd van de dag, de locatie van huizen, en nog veel meer. In de traditionele statistiek (de oude manier van werken) moet je eerst zelf de groenten snijden, de kruiden mixen en de bouillon klaarmaken voordat je de soep in de pan doet. Dit heet "feature engineering" of het voorbereiden van data. Als je de groenten verkeerd snijdt, wordt de soep niet lekker, en je moet de hele pan leegmaken en opnieuw beginnen als je een foutje ontdekt.

De auteurs van dit artikel, Claudia, Matteo, Yannig en Simon, hebben een nieuwe manier bedacht. Ze zeggen: "Waarom niet de snijmachine, de kruidenmixer én de pan in één slimme machine stoppen?"

Hier is hoe hun nieuwe methode werkt, vertaald naar alledaagse taal:

1. De "Nestende" Soep (De Kern van de Idee)

In hun nieuwe model, een soort super-Geavanceerde Soepmachine (wat ze een GAM noemen), kunnen ze ingrediënten direct in de pan doen die nog niet helemaal klaar zijn.

Stel je voor dat je de temperatuur wilt gebruiken om te voorspellen hoeveel elektriciteit er nodig is. Maar huizen reageren niet direct op de temperatuur; ze hebben een "thermische traagheid". Als het vandaag koud is, blijft het huis vanmorgen nog even warm.

Oude manier: Je moet zelf beslissen: "Ik ga de temperatuur van de afgelopen 24 uur middelen" en die nieuwe variabele maken voordat je de machine aanzet.
Nieuwe manier: De machine doet dit zelf! Hij kan zeggen: "Ik ga de temperatuur van gisteren, de dag ervoor en de dag daarvoor mixen, maar ik zoek zelf de perfecte mixverhouding om de soep het lekkerst te maken." De machine leert terwijl hij kookt hoe de ingrediënten het beste gemengd moeten worden.

2. De Magische Draaiknoppen

De kern van hun uitvinding is dat ze "knoppen" in de machine hebben geplaatst die de vorm van de ingrediënten veranderen.

Voorbeeld Elektriciteit: Ze hebben een knop die bepaalt hoe snel de temperatuur "vergeten" wordt. Is het een snelle reactie (zoals een lichte bries) of een trage reactie (zoals een zware steen die langzaam afkoelt)? De machine draait aan deze knop totdat de voorspelling perfect is.
Voorbeeld Huizenprijzen: In Londen beïnvloeden de prijzen van huizen in de buurt de prijs van jouw huis. Maar hoe ver reikt die invloed? Tot de volgende straat? Of tot de volgende wijk? De machine zoekt zelf de perfecte straal (de "knop") om te bepalen welke buren het belangrijkst zijn, zonder dat jij dat eerst handmatig hoeft in te stellen.

3. Waarom is dit zo slim? (De Analogie van de Architect)

Stel je voor dat je een huis bouwt.

De oude methode: Je bouwt eerst de muren (het model), en als je ziet dat de ramen niet passen, moet je de muren slopen en opnieuw beginnen.
De nieuwe methode: De architect (de computer) bouwt de muren en past tegelijkertijd de vorm van de ramen aan. Als de ramen te groot zijn, maakt hij ze kleiner terwijl de muur wordt opgetrokken. Alles gebeurt in één keer, en de architect weet precies hoe onzeker hij is over elke steen.

4. Wat hebben ze bewezen?

Ze hebben hun nieuwe machine getest op twee moeilijke taken:

Elektriciteit in Groot-Brittannië: Ze voorspelden hoeveel stroom er nodig is. Door de temperatuur op de slimme manier te "mixen" (met de traagheid van gebouwen in gedachten), was hun voorspelling veel nauwkeuriger dan de oude methoden. Ze ontdekten zelfs dat er twee soorten "warmtegeheugen" zijn: één voor verwarming en één voor koeling.
Huisprijzen in Londen: Ze voorspelden hoe duur huizen zijn. Ze ontdekten dat de prijs van een huis sterk beïnvloed wordt door de prijzen van de directe buren, maar dat dit effect afneemt naarmate je verder weg bent. Hun machine kon dit patroon vinden zonder dat iemand eerst een kaart had getekend van welke huizen bij elkaar horen.

5. Het Grote Voordeel: Geen "Proef-en-Fout" meer

Het grootste voordeel is dat je niet meer urenlang hoeft te experimenteren met het voorbereiden van je data.

Vroeger: "Laten we de temperatuur middelen over 3 uur... nee, dat werkt niet. Laten we 6 uur proberen... ook niet. Oké, 12 uur." (Dit kost tijd en energie).
Nu: De machine doet het allemaal tegelijk. Hij leert de beste manier om de data te verwerken, schat de onzekerheid in, en geeft je direct het beste resultaat.

Samenvattend

Dit artikel introduceert een slimme nieuwe manier om data te analyseren. In plaats van de data eerst te "schaven" en "snijden" voordat je begint, laat je de computer dit doen tijdens het analyseren. Het is alsof je een kookmeester hebt die niet alleen de recepten volgt, maar ook zelf de beste ingrediëntenmix bedenkt om de lekkerste soep te maken. Dit maakt voorspellingen over elektriciteit, huizenprijzen en veel meer veel nauwkeuriger en betrouwbaarder.

Titel: Integratie van complexe covariaat-transformaties in Generalized Additive Models (GAM's)

Auteurs: Claudia Collarin, Matteo Fasiolo, Yannig Goude en Simon N. Wood.

1. Het Probleem

In de toegepaste statistiek worden transformaties van covariaten (onafhankelijke variabelen) vaak gebruikt om de interpretatie van modellen te verbeteren of om aannames te voldoen die nodig zijn voor geldige inferentie. Traditioneel vallen deze transformaties en bredere "feature engineering" (zoals het creëren van nieuwe variabelen of dimensiereductie) onder de pre-processing-stap, die plaatsvindt voordat het statistische model wordt gefit.

Dit leidt tot enkele beperkingen:

Loskoppeling: De transformatieparameters worden vaak geschat op basis van expertkennis of gescheiden procedures, niet geoptimaliseerd voor het uiteindelijke model.
Suboptimale prestaties: Omdat de transformatie niet samen met de regressiecoëfficiënten wordt geschat, kan het model suboptimaal presteren.
Onzekerheid: De onzekerheid rondom de transformatieparameters wordt vaak genegeerd bij het schatten van de onzekerheid van het eindmodel.

Het doel van dit artikel is om een substantieel deel van het feature-engineeringproces direct te integreren in het modelleringsstadium van Generalized Additive Models (GAM's).

2. Methodologie

De auteurs stellen een nieuw algemeen kader voor dat interpreteerbare covariaat-transformaties integreert in multi-parameter GAM's (waaronder GAMLSS).

Het Model:
Het model beschrijft de responsvariabele $y_i$ via een lineaire predictor $\eta_{ji}$ voor verschillende parameters $j$ :
$\eta_{ji} = Z_{ji}^T \gamma_{j0} + \sum f_{jk}(x_{S_{jk}}) + \sum s_{ju}[\tilde{s}_{ju}(x_{\tilde{S}_{ju}})]$
Hierbij is $s_{ju}$ een geneste gladde effectfunctie die werkt op een transformatie $\tilde{s}$ van de covariaten. De transformatie $\tilde{s}$ is een scalar-waardige functie die afhankelijk is van parameters $a$ .

Belangrijke Technieken:

Gemeenschappelijke Schatting (MAP): De parameters van de transformaties ( $a$ ) en de regressiecoëfficiënten worden gezamenlijk geschat via Maximum A Posteriori (MAP) methoden.
Onzekerheidskwantificatie: Gezamenlijke onzekerheid wordt geschat via benaderende Bayesiaanse technieken.
Selectie van Gladdingsparameters: Gladdingsparameters worden geselecteerd binnen een Empirical Bayes-raamwerk door de Laplace-benadering van de marginale likelihood (LAML) te maximaliseren.
Efficiënte Berekening (Implicit Differentiatie): Een kernuitdaging is het berekenen van de gradient van de LAML. De auteurs breiden de technieken van Wood et al. (2016) uit met impliciete differentiatie om dit efficiënt te doen (complexiteit $O(np^2)$ in plaats van $O(np^3)$ ).
Oplossing voor Schaalproblemen: Omdat de schaal van de geneste transformatie afhangt van de parameters $a$ , ontstaat een schaalprobleem voor de buitenste spline-basis. De auteurs lossen dit op door de transformatie te standaardiseren (gemiddelde 0, variantie 1) en knopen (knots) strategisch te plaatsen op basis van deterministische en probabilistische grenzen (Chebyshev's ongelijkheid).

Voorbeelden van Transformaties:
Het kader ondersteunt elke voldoende differentieerbare transformatie, met name:

Adaptieve exponentiële smoothing: Voor tijdsreeksen (bijv. thermische traagheid in energieverbruik).
Multivariate kernel smoothing: Voor ruimtelijke data (bijv. het schatten van lokale prijzen of windkracht op niet-overlappende locaties).
Lineaire combinaties: Voor "single index" modellen en dimensiereductie.

3. Belangrijkste Bijdragen

Eerste volledige integratie: Dit is het eerste werk dat algemene covariaat-transformaties volledig integreert in een GAM-modelleringskader, in plaats van ze als voorverwerking te behandelen.
Gezamenlijke inferentie: Het mogelijk maken van gezamenlijke schatting van transformatieparameters en modelcoëfficiënten, wat leidt tot betere voorspellingen en correctere onzekerheidsintervallen.
Efficiëntie: Ontwikkeling van een computerefficiënt algoritme voor de gradient van de marginale likelihood, wat het toepasbaar maakt voor routinegebruik.
Software: Implementatie in het R-pakket gamFactory.

4. Resultaten en Toepassingen

De methode wordt getest op twee complexe toepassingen:

A. Voorspelling van elektriciteitsnetvraag in Groot-Brittannië:

Context: Voorspellen van het netto-verbruik (vraag minus ingebouwde opwekking) op basis van weersvoorspellingen en historische data.
Toepassing: Gebruik van exponentiële smoothing om thermische traagheid van gebouwen te modelleren. De smoothing-parameter wordt automatisch geschat in plaats van handmatig gekozen.
Resultaat: Het voorgestelde model (Model 14) presteert significant beter (lagere log-score, CRPS, RMSE) dan alternatieve modellen met standaard smooths of vaste transformaties. Het model identificeerde twee verschillende regimes voor temperatuur-effecten (laag en hoog traagheidsniveau).
Kosten: Het model is ongeveer 20 keer trager dan standaard GAM's, maar nog steeds bruikbaar (10 minuten vs. 0,5 minuten).

B. Modelleren van huizenprijzen in Londen:

Context: Het modelleren van huizenprijzen met rekening houdend met ruimtelijke autocorrelatie (invloed van buren).
Toepassing: Gebruik van kernel smoothing om een lokaal prijsindex te creëren op basis van de prijzen van de naaste buren. De bandwidth van de kernel wordt automatisch geschat.
Resultaat: Het geneste model scheidt effectief het lokale prijs-effect van de algemene ruimtelijke trend. Een standaard model met ruimtelijke smooths vereiste een veel grotere basisdimension (2000 knopen) om vergelijkbare prestaties te halen, wat leidde tot een 20-voudig langere rekentijd. Het geneste model gaf inzicht in hoe de ruimtelijke autocorrelatie sterker is in duurdere wijken.

5. Betekenis en Conclusie

Dit artikel biedt een fundamentele doorbraak in de statistische modellering door feature engineering en modelfitting te verenigen.

Interpreteerbaarheid: In tegenstelling tot "black-box" deep learning-modellen, behoudt deze methode de interpreteerbare structuur van GAM's, wat cruciaal is voor toepassingen in de energievoorziening en vastgoed.
Flexibiliteit: Het kader is modulair en kan elke differentieerbare transformatie opnemen, waardoor het een brug slaat tussen traditionele statistiek en geavanceerde machine learning.
Praktische impact: Het elimineert de noodzaak voor tijdrovende, iteratieve pre-processing en handmatige tuning van transformatieparameters, waardoor modellen robuuster en nauwkeuriger worden.

De auteurs concluderen dat deze aanpak de weg vrijmaakt voor toekomstig onderzoek naar complexere, geneste transformaties en beperkte single-index modellen, terwijl de transparantie van het model behouden blijft.