📈 economics

Quantifying the Risk-Return Tradeoff in Forecasting

Dit artikel stelt een nieuw kader voor voor het evalueren van de betrouwbaarheid van voorspellingen door verschillen in voorspellingverliezen te behandelen als financiële rendementen en risicogecorrigeerde prestatie-indicatoren toe te passen, waarbij blijkt dat hoewel machine learning-modellen professionele voorspellers in gemiddelde nauwkeurigheid kunnen overtreffen, laatstgenoemden vaak superieure risicoprofielen en weerstand tegen catastrofale mislukkingen behouden.

Oorspronkelijke auteurs: Philippe Goulet Coulombe

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Philippe Goulet Coulombe

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een weersvoorspeller aan het inhuren bent. Je hebt twee kandidaten:

Kandidaat A heeft meestal gelijk, maar af en toe voorspelt hij een zonnige dag en treft er een orkaan toe.
Kandidaat B is meestal gewoon oké, maar hij is ongelooflijk consistent en wordt bijna nooit door een ramp verrast.

De meeste traditionele studies zouden Kandidaat A kiezen, omdat hun "gemiddelde" nauwkeurigheid iets hoger is. Ze kijken naar de wiskunde en zeggen: "Kandidaat A had 95% van de tijd gelijk, terwijl Kandidaat B 92% van de tijd gelijk had."

Dit artikel stelt dat dit de verkeerde manier is om te kiezen. In de echte wereld kunnen een paar catastrofale fouten veel schadelijker zijn dan een iets lager gemiddeld cijfer. De auteur, Philippe Goulet Coulombe, wil dat we stoppen met alleen naar het gemiddelde te kijken en beginnen met kijken naar het risico.

Hier is het raamwerk van het artikel, uitgelegd in eenvoudige termen:

1. De "Beurs" van Voorspellingen

De auteur stelt voor om voorspellen te behandelen als beleggen in de beurs.

Het " rendement": In plaats van alleen te kijken naar hoe verkeerd een model was, kijken we naar hoeveel beter het was dan een standaard "benchmark"-model (zoals een simpele gok). Als de benchmark 10 punten verkeerd zat en jouw model 5 punten, dan maakte jouw model een "winst" van 5.
Het "risico": Net zoals een aandeel volatiel kan zijn, kan een voorspelling onvoorspelbaar zijn. Soms wint het groot; soms verliest het groot.

Het artikel introduceert vier "financiële instrumenten" om deze voorspellingen te meten:

De Sharpe-ratio (De Stevige Eddy): Dit meet hoeveel "winst" (verbetering in nauwkeurigheid) je krijgt voor elke eenheid "volatiliteit" (op-en-neer schommelingen). Een hoge score betekent dat het model een betrouwbare, stabiele presteerder is.
De Sortino-ratio (Veiligheid Eerst): Dit is nog beter voor voorspellers. Het geeft alleen om de slechte dagen (wanneer het model slechter presteert dan de benchmark). Het negeert de "goede" volatiliteit. Als een model enorme winsten heeft maar ook enorme, angstaanjagende verliezen, zal zijn Sortino-score laag zijn.
De Omega-ratio (Het Volledige Beeld): Dit kijkt naar de volledige geschiedenis van winsten en verliezen. Het vraagt: "Is het totale bedrag dat we in goede tijden hebben verdiend groter dan het totale bedrag dat we in slechte tijden hebben verloren?"
Maximum Drawdown (Het Worst-Case Scenario): Dit vraagt: "In welke diepste kuil is dit model ooit gevallen?" Als een model drie jaar geweldig is maar dan zes maanden crasht, vangt de Drawdown-maatstaf die ramp op.

2. De "Edge Ratio" (Het Unieke Talent)

De auteur heeft ook een nieuw instrument uitgevonden genaamd de Edge Ratio.
Stel je een race voor met 10 lopers. De meeste lopers zijn slechts iets sneller of langzamer dan het gemiddelde. Maar één loper sprint af en toe voorbij iedereen anders en wint met een enorme marge.

De Edge Ratio meet hoe vaak een model absoluut het beste in de kamer is, en met hoeveel.
Het straft het model ook af als het achterblijft bij de tweede beste optie.
Waarom het belangrijk is: Het vertelt je of een model iets uniek aan de tafel brengt dat niemand anders kan doen, of dat het gewoon hetzelfde doet als iedereen anders, maar iets beter.

3. Wat gebeurde er toen ze dit testten?

De auteur testte deze instrumenten op Amerikaanse economische gegevens (zoals BBP, inflatie en werkloosheid) door drie groepen te vergelijken:

Oud-schoolse wiskundige modellen (Econometrie).
Moderne AI/Machine Learning (Neurale netwerken, random forests).
De Survey of Professional Forecasters (SPF): Een groep menselijke experts die hun hersenen, ervaring en privé-gegevens gebruiken om voorspellingen te doen.

De Verassende Resultaten:

De "Gemiddelde" Valstrik: Veel geavanceerde AI-modellen versloegen de menselijke experts (SPF) als je alleen naar de gemiddelde nauwkeurigheid keek. Ze leken de winnaars.
De "Risico"-Realiteit: Wanneer je de Sortino-ratio toepast (met focus op het vermijden van rampen), wint de SPF (Menselijke Experts) meestal.
- Waarom? De menselijke experts hebben zelden "catastrofale mislukkingen". Ze worden niet verrast door dingen zoals de financiële crisis van 2008 of de inflatiegolf van 2022. Ze zijn de "stevige Eddies".
- De AI-modellen, hoewel soms briljant, hadden momenten waarop ze spectaculair faalden. Voor een centrale bank of een regering is een enkele enorme fout erger dan een paar kleine, stabiele winsten.
De "Specialisten": Sommige specifieke AI-modellen (zoals een "Hemisphere Neural Network") deden het zeer goed. Ze kwamen de mensen qua nauwkeurigheid gelijk, maar waren nog beter in het vermijden van de "slechte dagen".
De "Black Box"-test: Ze testten een nieuw "Foundation Model" (TabPFN), een type AI dat is getraind op nep-gegevens. Het verrassend goed gepresteerd, wat suggereert dat zelfs deze complexe, "black box" AI-modellen betrouwbaar kunnen zijn als ze een goed risicoprofiel hebben.

4. De Grote Conclusie

Het artikel concludeert dat Gemiddelde Nauwkeurigheid ≠ Betrouwbaarheid.

Als je een centrale bankier of beleidsmaker bent, wil je geen model dat "meestal gelijk heeft" maar af en toe het volledig verkeerd heeft. Je wilt een model dat consequent goed is en zelden een "crash" heeft.

Door het gebruik van deze financiële maatstaven kunnen we zien dat menselijke experts (SPF) ongelooflijk waardevol zijn, niet omdat ze de slimste zijn, maar omdat ze de meest betrouwbare zijn. Ze crashten zelden. Ondertussen zijn sommige moderne Machine Learning-modellen geweldig, maar ze moeten zorgvuldig worden gekozen om ervoor te zorgen dat ze geen verborgen "crashes" hebben die op hun wachten.

Kortom: Vraag niet alleen, "Wie heeft het vaakst gelijk?" Vraag: "Wie heeft het vaakst gelijk zonder een vreselijke dag te hebben?" Dat is de ware maatstaf van een goede voorspelling.

Technische Samenvatting: Kwantificering van het Risico-Opbrengst-Trade-off in Voorspelling

Probleemstelling

Traditionele evaluatie van macro-economische voorspellingen is sterk afhankelijk van gemiddelde verliesmaten (bijv. RMSE, MAE) en tests op statistische significantie (bijv. Diebold-Mariano). Hoewel deze hulpmiddelen bepalen of een model voorspellingsfouten gemiddeld vermindert, missen ze het vermogen om de betrouwbaarheid en het risicoprofiel van die winsten vast te leggen. Institutionele gebruikers (centrale banken, vermogensbeheerders) hebben vaak asymmetrische voorkeuren: ze tolereren periodes van outperformance, maar kunnen geen catastrofale underperformance veroorloven. Twee modellen kunnen een identieke gemiddelde nauwkeurigheid vertonen, maar toch zeer verschillende patronen van winsten en verliezen over de tijd hebben, wat leidt tot verschillende operationele risico's. Het artikel stelt dat gemiddelde nauwkeurigheid niet synoniem is met voorspellingsbetrouwbaarheid en dat de huidige literatuur een unified kader mist om de trade-off tussen voorspellingsverbetering en de volatiliteit of ernst van voorspellingsfouten te kwantificeren.

Methodologie

Het artikel importeert risicogecorrigeerde prestatie-maten uit de financiën om verliesverschillen te behandelen als een "opbrengstserie".

1. De Opbrengst-Analogie

Voor een model $M$ en een benchmark $B$ wordt de "opbrengst" op tijdstip $t$ gedefinieerd als het verliesverschil:
$r_t = L_t^B - L_t^M$
waarbij $L$ een verliesfunctie is (bijv. kwadratische fout). Een positieve $r_t$ geeft aan dat het model de benchmark overtreft. De reeks $\{r_t\}$ wordt geanalyseerd als een financiële opbrengstserie.

2. Risicogecorrigeerde Maten

Het kader past vier belangrijke financiële maten aan voor voorspellingsevaluatie:

Voorspellings Sharpe-ratio: De verhouding tussen gemiddelde opbrengst en de standaardafwijking van de opbrengsten. Het meet de gemiddelde verbetering per eenheid totale volatiliteit.
Voorspellings Sortino-ratio: De verhouding tussen gemiddelde opbrengst en de semi-standaardafwijking (volatiliteit van uitsluitend negatieve opbrengsten). Dit straft underperformance af terwijl het variatie aan de bovenkant negeert, wat aansluit bij de asymmetrische voorkeuren van voorspellers.
Voorspellings Omega-ratio: De verhouding tussen de gemiddelde winst aan de bovenkant en de gemiddelde verliezen aan de onderkant. Het vangt de volledige verdeling van winsten versus verliezen op zonder normaliteit aan te nemen, waardoor het geschikt is voor niet-Gaussische verliesverschillen.
Maximum Drawdown: De grootste cumulatieve verlies van een historisch piek tot een dal. Dit identificeert langdurige periodes van aanhoudende voorspellingsfouten, die bijzonder relevant zijn tijdens structurele breuken (bijv. inflatiepieken).

3. De Edge Ratio

Een nieuw maatstaf geïntroduceerd om de neiging van een model te meten om een uniek voorspellend voordeel te leveren ten opzichte van de volledige set beschikbare alternatieven (de voorspellingsfrontier).

Definitie: Op elk tijdstip $t$ is de benchmark het best presterende andere model ( $L^*_t = \min_{j \neq M} L_{j,t}$ ). De "edge" is $e_{M,t} = L^*_t - L_{M,t}$ .
Berekening: De Edge Ratio is de som van edge-winsten ( $e^+$ ) gedeeld door de som van edge-regret ( $e^-$ ), geschaald met $(M-1)$ om te corrigeren voor de grootte van de pool.
Interpretatie: Een hoge Edge Ratio geeft aan dat het model frequent de frontier bereikt en dit beslissend doet, terwijl het regret van het niet kiezen van het beste alternatief wanneer het faalt, wordt geminimaliseerd.

4. Meta-analyse Extensie

Het kader wordt uitgebreid tot een cross-sectionele meta-analyse over doelen, horizons en steekproeven. In plaats van tijdreeksopbrengsten, worden "opbrengsten" gedefinieerd als percentage verbeteringen in prestatie-maten (bijv. RMSE) over een ontwerpruimte. Dit maakt het mogelijk om de robuustheid van modellen te beoordelen: of een methode consistent wint of slechts slaagt in specifieke zakken terwijl het elders catastraal faalt.

5. Verbinding met Diebold-Mariano (DM)

Het artikel toont aan dat de Sharpe-ratio overeenkomt met de DM t-statistiek (geschaald) wanneer voorspellingsfouten niet-sequentieel gecorreleerd zijn. De noemer van de DM-statistiek (lange-termijn variantie) straalt aanhoudende underperformance zwaarder af dan tijdelijke fouten, en fungeert effectief als een risicogecorrigeerde maat die autocorrelatie in aanmerking neemt.

Empirische Toepassingen en Resultaten

Toepassing 1: Macro-voorspelling (ML/AI vs. Professionele Voorspellers)

De studie evalueert Amerikaanse macro-economische variabelen (BBP, werkloosheid, inflatie, woningbouw) over periodes voor en na COVID, waarbij econometrische benchmarks, machine learning (ML) modellen, een foundation model (TabPFN) en de Survey of Professional Forecasters (SPF) met elkaar worden vergeleken.

BBP-groei: Hoewel flexibele modellen (Kernel Ridge, Neural Networks) vaak hogere gemiddelde MSE-reducties bereiken dan de SPF, vertoont de SPF superieure risicogecorrigeerde prestaties. De Sortino- en Omega-ratio's van de SPF zijn significant hoger, wat wijst op uitzonderlijk beperkt downside-risico. De SPF lijdt zelden aan catastrofale fouten.
Werkloosheid: Hybride boosting-modellen (LGB+) en foundation modellen (TabPFN) tonen sterke risicogecorrigeerde profielen op specifieke horizons. Opmerkelijk is dat Random Forests een risicogecorrigeerde prestatie bereiken die vergelijkbaar is met geavanceerde foundation modellen, terwijl standaard neurale netwerken lijden onder hoge downside-volatiliteit.
Inflatie: De SPF is moeilijk te verslaan op gemiddelde prestaties. Echter, het Hemisphere Neural Network (HNN) komt overeen met de SPF in ruwe opbrengsten, maar domineert op risicogecorrigeerde maten. Cruciaal is dat HNN het enige model is dat positieve gemiddelde opbrengsten behoudt tijdens de inflatiepiek na 2021, wat robuustheid tegen regimeverandering aantoont.
Woningbouwstart: ML-modellen hebben over het algemeen moeite om de autoregressieve benchmark te verslaan. De SPF komt overeen met de beste ML-modellen in gemiddelde opbrengsten, maar met aanzienlijk lager downside-risico (hogere Sortino-ratio).

Kernbevinding: Het is vaak haalbaar om professionele voorspellers te verslaan op gemiddelde nauwkeurigheid, maar veel moeilijker om hen te verslaan op een risicogecorrigeerde basis. De waarde van de SPF ligt in zijn consistentie en gebrek aan catastrofale fouten, wat de waarde van contextuele oordeelsvorming weerspiegelt.

Toepassing 2: Meta-analyses

Dichtheidsvoorspelling (Goulet Coulombe et al., 2026): Bij herevaluatie van punt- en dichtheidsvoorspellingen, blijken HNN en BART de sterkste puntvoorspellers. HNN domineert beslissend in dichtheidsvoorspelling (log-scores), en biedt grotere, stabielere winsten met minder catastrofale fouten in vergelijking met concurrenten zoals DeepAR.
M4-competitie: In de maandelijkse reeksen van M4 stemmen gemiddelde prestatie-rangschikkingen (MASE/OWA) grofweg overeen met risicogecorrigeerde rangschikkingen. Modellen die goed presteren op gemiddelde basis, blijken ook robuust te zijn over de cross-sectie. De Edge Ratio onthult echter dat topmodellen (bijv. Model 118/ES-RNN) af en toe beslissende winsten leveren die voor concurrenten niet beschikbaar zijn, in plaats van slechts marginale verbeteringen.

Kernbijdragen

Kaderintegratie: Het artikel vestigt een formeel kader voor het evalueren van voorspellingen met behulp van risicogecorrigeerde maten (Sharpe, Sortino, Omega, Drawdown), waardoor de focus verschuift van "is het model gemiddeld beter?" naar "hoe betrouwbaar presteert het?".
De Edge Ratio: Introduceert een nieuwe maatstaf om uniek voorspellend voordeel te kwantificeren ten opzichte van de volledige modelpool, en onderscheidt tussen modellen die slechts goed zijn en die welke onmisbare informatie bieden.
Herevaluatie van Professioneel Oordeel: Biedt kwantitatief bewijs dat professionele voorspellers (SPF) moeilijk te verslaan zijn, niet noodzakelijk omdat ze de laagste gemiddelde fout hebben, maar omdat ze het gunstigste risicoprofiel vertonen (lage downside-volatiliteit, hoge Sortino-ratio's).
Meta-analyse Tooling: Breidt deze maten uit tot cross-sectionele ontwerpruimtes, waardoor practitioners de robuustheid van een methode over verschillende doelen en horizons kunnen beoordelen, en modellen kunnen identificeren die vatbaar zijn voor "catastrofale fouten" in specifieke zakken.

Betekenis en Claims

Het artikel stelt dat gemiddelde voorspellingsnauwkeurigheid en voorspellingsbetrouwbaarheid distincte concepten zijn. Door verliesverschillen te behandelen als opbrengsten, onthult het voorgestelde kader verborgen fragiliteiten in modellen die onder standaard RMSE-maten concurrerend lijken.

Operationele Relevantie: Voor instellingen biedt een model dat een benchmark gemiddeld met 15% verslaat maar tijdens crises ernstig faalt, een minder aantrekkelijk risico-opbrengst-profiel dan een model met gematigde gemiddelde winsten en hoge stabiliteit.
Modelselectie: Het kader suggereert dat hoewel machine learning en foundation modellen traditionele benchmarks kunnen overtreffen, hun adoptie zorgvuldige scrutinie vereist van hun downside-risico. Boomgebaseerde modellen en specifieke architecturen zoals HNN tonen veelbelovende resultaten door aantrekkelijke risicoprofielen voor specifieke doelen aan te bieden.
Toekomstige Richting: Het artikel suggereert dat als risicogecorrigeerde maten operationeel relevant zijn, voorspellingsmodellen idealiter direct voor deze doelstellingen zouden moeten worden geoptimaliseerd (bijv. het maximaliseren van de Sortino-ratio) in plaats van te vertrouwen op standaard verliesfuncties (zoals kwadratische fout) en hopen op gunstige risicopropertities ex post.

Het artikel concludeert dat hoewel gemiddelde prestatiewinsten noodzakelijk zijn, ze onvoldoende zijn voor operationele besluitvorming; de stabiliteit en betrouwbaarheid van die winsten, vastgelegd door risicogecorrigeerde maten, zijn even kritiek.