📈 economics

Benign Overfitting in Economic Forecasting via Noise Regularization

Dit artikel toont aan dat het toevoegen van ruisvariabelen aan overparameteriseerde lineaire modellen voor economische voorspelling fungeert als regularisatie, waardoor de voorspellingsnauwkeurigheid verbetert en stabiliseert zonder dat de onderliggende factoren expliciet hoeven te worden geschat.

Oorspronkelijke auteurs: Yuan Liao, Xinjie Ma, Andreas Neuhierl, Zhentao Shi

Gepubliceerd 2026-04-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuan Liao, Xinjie Ma, Andreas Neuhierl, Zhentao Shi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kunst van het Voorspellen: Waarom "Ruis" Je Kan Redden

Stel je voor dat je een econoom bent die probeert de toekomst te voorspellen: hoe hoog zal de inflatie zijn? Hoe snel groeit de economie? Of hoeveel rendement de beurs oplevert?

Normaal gesproken denken economen: "Hoe minder variabelen, hoe beter. We moeten de 'ruis' (onbelangrijke data) weghalen en alleen kijken naar de 'signaal' (de echte oorzaken)." Het is alsof je probeert een gesprek in een druk café te verstaan door alle andere mensen te laten zwijgen.

Maar deze paper, geschreven door Liao, Ma, Neuhierl en Shi, zegt: "Nee, wacht even. Soms is het juist slim om die ruis erbij te houden, of zelfs extra ruis toe te voegen!"

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. Het Probleem: De "Dichte" Netwerken

In de echte wereld worden economische dingen (zoals prijzen of groei) niet veroorzaakt door één enkele knop, maar door een complex web van krachten (factoren) die we niet direct kunnen zien. Denk aan een orkest: je hoort de muziek, maar je ziet niet direct elke viool of trompet.

De oude manier: Economen proberen het orkest te verminderen tot één solist (Lasso) of proberen de muziek te samenvatten in één samenvatting (PCA). Ze denken dat als ze de "slechte" muzikanten weghalen, de muziek beter klinkt.
De nieuwe ontdekking: De auteurs laten zien dat in economische data, elke variabele een klein beetje van het verhaal vertelt. Het is een dicht netwerk. Als je de "ruis" (de variabelen die niets zeggen) weghaalt, verlies je juist die kleine stukjes informatie die samen het grote plaatje vormen.

2. De Oplossing: "Noise Regularization" (Ruis-Regulering)

De paper introduceert een tegenintuïtieve truc: Voeg bewust ruis toe.

Stel je voor dat je een zwaar gewicht moet tillen.

De oude manier: Je probeert alleen de zwaarste balken te tillen en gooit de rest weg. Maar als je te weinig balken hebt, breekt je rug (de voorspelling wordt onstabiel).
De nieuwe manier: Je pakt alle balken, inclusief die lichte, waardeloze stukjes hout. Door die extra stukjes hout erbij te pakken, verdeel je het gewicht over je hele lichaam. Je rug (het model) wordt sterker en de last (de foutmarge) wordt lichter.

In wiskundige termen noemen ze dit "Benign Overfitting" (Onschadelijk Overfitten).

Overfitten klinkt normaal gesproken als een slechte zaak: een model dat de trainingstest uit zijn hoofd leert, maar faalt in de echte wereld.
Maar hier: Door duizenden extra, willekeurige getallen (ruis) toe te voegen aan je dataset, "verwijd" je het model. Het model wordt zo groot dat het de ruis niet meer als een probleem ziet, maar als een soort "kussen" dat de pieken en dalen van de data dempt. Het resultaat? Een veel stabielere en betere voorspelling.

3. Waarom werkt dit? (De Vergelijking met een Drukte)

Stel je een drukke markt voor waar je probeert de stem van één persoon te horen.

Als je de markt leegt (alle ruis weghaalt), blijft er maar één persoon over. Als die ene persoon even stopt met praten of een rare toon heeft, hoor je niets. Het is onstabiel.
Als je de markt vol laat staan met duizenden mensen (inclusief mensen die niets zeggen), dan ontstaat er een soort "witte ruis". Door die enorme drukte wordt het systeem van het model "gegladst". De wiskundige eigenschappen van die enorme massa zorgen ervoor dat de voorspelling van de echte signalen juist scherper wordt.

Het is alsof je een foto maakt in de schemering.

Als je te weinig licht hebt (te weinig data), is de foto onscherp.
Als je een flits gebruikt die te fel is (te veel data/ruis), zou je denken dat de foto verblind wordt. Maar in dit specifieke geval zorgt die "overvloed" ervoor dat de camera automatisch de beste instellingen kiest en de foto juist helder wordt.

4. Wat betekent dit voor de echte wereld?

De auteurs hebben dit getest op drie grote economische vraagstukken:

Inflatie in de VS: Het voorspellen van prijsstijgingen.
Economische groei: Hoe snel landen groeien.
Beursrendement: Of je winst kunt maken op de beurs.

In al deze gevallen bleek dat hun methode (de "ruis-methode") beter werkte dan de traditionele methoden (zoals Lasso of PCA).

Bij de beurs bijvoorbeeld, waar andere methoden vaak zeggen: "We kunnen de beurs niet voorspellen" (negatief resultaat), gaf hun methode een klein, maar positief en betrouwbaar voorspellingssucces.

Het Grote Leerstuk

De boodschap is simpel: In een complexe, onvoorspelbare wereld is "meer" soms beter dan "beter".

In plaats van te proberen de perfecte, schone dataset te vinden door variabelen weg te gooien, kun je beter je dataset uitbreiden met extra (zelfs nutteloze) variabelen. Dit zorgt voor een soort "wiskundige stabiliteit" die je voorspellingen robuuster maakt.

Kortom: Soms is het slim om je oren te openen voor de ruis, in plaats van te proberen de stilte te vinden. De ruis helpt je namelijk om het echte geluid duidelijker te horen.

1. Het Probleem

Het artikel adresseert een fundamenteel probleem in de economische forecasting: de aard van de relatie tussen voorspellingsvariabelen (predictors) en het te voorspellen resultaat in een omgeving met veel variabelen (high-dimensional).

Dichtheid vs. Sparsiteit: Traditionele methoden zoals Lasso of PCA gaan vaak uit van sparsiteit (dat slechts een klein aantal variabelen de voorspellende kracht heeft). De auteurs betogen echter dat economische uitkomsten (zoals inflatie, BBP-groei, aandelenrendementen) worden gedreven door een klein aantal latente factoren (macro-economische of financiële condities). Omdat deze factoren niet direct waarneembaar zijn, gebruiken economen grote panelen van observeerbare variabelen als proxies.
Het Dilemma: In een factor-gedreven model is de populatie-regressiecoëfficiënt vector dicht (dense), wat betekent dat de voorspellende informatie diffuus is verspreid over veel variabelen, in plaats van geconcentreerd in een paar. Geen enkele kleine subset van variabelen kan het volledige signaal vangen.
De Uitdaging: Wanneer het aantal predictors ( $p$ ) vergelijkbaar is met de steekproefgrootte ( $n$ ), leiden standaard methoden (zoals variabele selectie of dimensiereductie) vaak tot slechte voorspellingen. Perfecte variabele selectie (het verwijderen van "ruis") kan de prestaties zelfs verergeren omdat het de verhouding $p/n$ dicht bij 1 houdt, wat onvoldoende regularisatie biedt voor de eigenwaarden van het ontwerpmatrix.

2. Methodologie: Noise Regularization

De auteurs stellen een nieuwe aanpak voor die bekendstaat als "Noise Regularization". In plaats van ruisvariabelen te verwijderen, worden ze juist behouden of zelfs kunstmatig toegevoegd om het voorspellingsvermogen te verbeteren.

Ridgeless Regression: De kern van de methode is het gebruik van een "Ridgeless" regressie (de minimum-norm least squares oplossing, berekend via de Moore-Penrose pseudoinversie) op een overparameteriseerd model ( $p \gg n$ ).
Toevoegen van Ruis: Als het aantal informatieve predictors ( $p_0$ ) te klein is ten opzichte van $n$ , worden er kunstmatige, willekeurige ruisvariabelen (onafhankelijk van de data) toegevoegd aan de dataset om het totale aantal predictors ( $p$ ) drastisch te vergroten.
Rao-Blackwellization: Omdat de toegevoegde ruis willekeurig is, wordt de voorspelling gemiddeld over meerdere herhalingen (draws) van de ruisvariabelen. Dit vermindert de variantie van de voorspelling zonder de bias te verhogen.
Mechanisme: De toevoeging van ruis inflateert de eigenwaarden van het ontwerpmatrix ( $X'X$ ) in de niet-factor richtingen. Dit leidt tot een "shrinkage" (krimp) van de eigenwaarden die de uit-sample variantie verlaagt. Dit fenomeen staat bekend als benign overfitting: het model past de trainingsdata perfect aan (interpolatie), maar generaliseert toch goed naar nieuwe data.

3. Belangrijkste Theoretische Bijdragen en Resultaten

Het artikel formaliseert vier hoofdresultaten die de theorie onderbouwen:

Dichtheid van het Model (Stelling 1):
- In een factor-gedreven data-generatieproces is de regressiecoëfficiënt vector $\beta$ inherent dicht. De $L_2$ -norm van $\beta$ daalt naar nul naarmate het aantal predictors toeneemt.
- Een lineair werkmodel dat alle observeerbare predictors gebruikt, convergeert asymptotisch naar de voorspelling van een "orakel" dat de ware latente factoren kent, zonder dat deze factoren expliciet hoeven te worden geschat.
Het Falen van Perfecte Variabele Selectie (Propositie 1):
- Zelfs als een orakel precies weet welke $p_0$ variabelen informatief zijn, faalt Ridgeless-regressie op alleen deze variabelen om optimale voorspellingen te leveren als $p_0/n$ convergeert naar een constante.
- De reden is dat er geen voldoende "eigenvalue inflation" is om de uit-sample variantie te onderdrukken. Het verwijderen van ruis is dus contraproductief voor de voorspelling.
Benign Overfitting via Ruis (Stellingen 2 en 3):
- Door ruisvariabelen toe te voegen (zodat $p \gg n$ ), bereikt de Ridgeless-regressie dezelfde asymptotische voorspellingsfout (MSE) als het orakel dat de ware factoren gebruikt.
- Dit werkt zelfs bij "zwakke" factoren (waar de signaal-ruisverhouding laag is), een situatie waar PCA vaak faalt omdat het het aantal factoren moeilijk kan schatten.
- De variantie van de voorspelling daalt naar nul naarmate $p$ toeneemt, terwijl de bias klein blijft.
Symmetrie van AR(p) Modellen (Propositie 2):
- Het artikel weerlegt de intuïtie dat het simpelweg verhogen van de lag-order in autoregressieve modellen (AR(p)) dezelfde voordelen biedt.
- Er wordt een symmetrie-eigenschap aangetoond: Een overparameteriseerd AR(p) model met $p > T/2$ is numeriek identiek aan een onderparameteriseerd AR( $T-p$ ) model. Het vergroten van $p$ verkleint de effectieve steekproefgrootte ( $n = T-p$ ), waardoor de eigenwaarden niet inflateren zoals bij het toevoegen van nieuwe predictors.

4. Empirische Toepassingen

De auteurs testen hun methode op drie real-world economische datasets en vergelijken deze met Lasso, Ridge en PCA:

VS Inflatie (FRED-MD): Met 102 macro-economische variabelen ( $n \approx 120$ ). Noise-regularization bereikte de laagste voorspellingsfout (MSE 0.982), een verbetering van 11% ten opzichte van Lasso en Ridge.
Internationale BBP-groei (Barro & Lee): Met 60 variabelen voor 90 landen. De methode stabiliseerde de MSE op ongeveer 1.0, terwijl het gebruik van alleen de originele 60 variabelen leidde tot een MSE van 14.0 door overfitting.
VS Aandelenrisicopremie (Welch & Goyal): Met 15 predictors. Competerende methoden leverden vaak negatieve $R^2$ waarden op (slechter dan een historisch gemiddelde). Noise-regularization bereikte positieve $R^2$ waarden (bijv. +1.81% op jaarbasis), wat economisch significant is.

5. Betekenis en Conclusie

De centrale boodschap van het artikel is dat voor dichte, factor-gedreven economische voorspellingen de dimensie van de predictorruimte (het aantal variabelen) belangrijker is dan de informativiteit van individuele componenten.

Paradigmaverschuiving: Het artikel daagt de conventionele wijsheid uit dat "meer ruis" altijd slecht is. In overparameteriseerde regimes fungeert ruis als een implicit regularisatiemechanisme dat de eigenwaarde-spectrum van de data stabiliseert.
Praktische Implicatie: Economen hoeven geen complexe factormodellen te schatten of strikte variabele selectie toe te passen. In plaats daarvan kunnen ze bestaande datasets aanvullen met kunstmatige ruisvariabelen en een simpele Ridgeless-regressie toepassen om robuustere en accuratere voorspellingen te krijgen.
Theoretische Uitbreiding: Het werk breidt de literatuur over "double descent" en benign overfitting uit naar economische contexten met factorstructuren, waarbij het aantoont dat de tweede daling in de voorspellingsfout wordt veroorzaakt door de krimp van eigenwaarden door ruis, en niet door het selecteren van de "beste" variabelen.

Kortom, de paper biedt een wiskundig onderbouwde en empirisch gevalideerde methode om het probleem van overfitting in economische forecasting op te lossen door het juist vergroten van de complexiteit via ruis, in plaats van het verkleinen ervan.