📊 statistics

Model selection with proper scoring rules on data sets of time series

Dit artikel onderzoekt hoe de scheefheid van de scoreverdeling leidt tot conflicterende uitkomsten bij modelselectie tussen gemiddelde, mediaan en ranggebaseerde statistieken op tijdreeksgegevens, waarbij wordt aangetoond dat hoewel deze criteria convergeren bij grote testsets, het gemiddelde score uniek betrouwbaar is voor het identificeren van het ware model op korte testsets, zoals blijkt uit analyse van intermitterende tijdreeksen inclusief de M5-competitie.

Oorspronkelijke auteurs: Giorgio Corani, Stefano Damato, Dario Azzimonti, Lorenzo Zambon

Gepubliceerd 2026-06-24

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Giorgio Corani, Stefano Damato, Dario Azzimonti, Lorenzo Zambon

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een coach bent die de beste speler voor je team probeert te kiezen. Je hebt een enorme selectie spelers (tijdreeksen) en je wilt zien wie er gemiddeld het beste presteert. Om hen te beoordelen, gebruik je een "scorekaart" (een proper scoring rule) die een strafgetal geeft voor elke fout die ze maken. Hoe lager het getal, hoe beter de speler.

Dit artikel gaat over hoe je die scorekaart leest wanneer je veel spelers en veel wedstrijden hebt om naar te kijken. De auteurs ontdekten dat de manier waarop we de scores meestal bij elkaar optellen ons soms kan misleiden, waardoor we de verkeerde speler kiezen, vooral wanneer de wedstrijden kort zijn of de fouten zeldzaam maar enorm groot zijn.

Hier is de uitsplitsing met eenvoudige analogieën:

1. Het Probleem: Twee Manieren van Tellen

Wanneer je een team van spelers hebt, kun je niet naar slechts één wedstrijd kijken. Je moet hun resultaten combineren. Het artikel zegt dat er twee belangrijke manieren zijn waarop coaches dit meestal doen:

Methode A: De "Gemiddelde Straf" (Mean Scaled Score). Je neemt elk strafpunt dat een speler heeft gekregen, telt ze allemaal bij elkaar op en deel je door het aantal wedstrijden. Dit vertelt je de gemiddelde kosten van hun fouten.
Methode B: Het "Winst-Verlies Record" (Mean Rank). Je kijkt niet naar de punten. In plaats daarvan vraag je simpelweg: "In hoeveel wedstrijden heeft Speler A van Speler B gewonnen?" Je telt de overwinningen. Als Speler A meer wedstrijden heeft gewonnen, krijgt deze de eerste plek.

2. De Valstrik: De "Grote Fout" Scheefheid (Skew)

De auteurs ontdekten dat voor bepaalde soorten voorspellingen (zoals het voorspellen van zeldzame gebeurtenissen of hoge waarden), de "scorekaart" scheef is.

De Analogie:
Stel je een spel voor waarbij je meestal kleine fouten maakt (zoals struikelen over je veters), maar af en toe maak je één enorme, catastrofale fout (zoals van een klif afvallen).

De "Gemiddelde Straf" (Methode A) ziet de val van de klif. Het telt alle kleine struikelingen en de ene grote val bij elkaar op, wat een hoge gemiddelde straf oplevert. Het weet dat je gevaarlijk bent.
Het "Winst-Verlies Record" (Methode B) bekijkt de wedstrijden individueel. In 99 van de 100 wedstrijden struikel je alleen even over je veters, wat een minuscule straf is. In de overige 1 wedstrijd val je van een klif.
- Als je speelt tegen een rivaal die nooit van een klif valt maar wel iets vaker struikelt, kan Methode B zeggen: "Hé, je hebt 99 wedstrijden gewonnen! Je bent de kampioen!"
- Maar Methode A zegt: "Wacht, die ene val van de klif kostte je de hele competitie. Je gemiddelde straf is eigenlijk veel slechter."

Het artikel betoogt dat Methode B (Mean Rank) gevaarlijk is omdat het de omvang van de fouten negeert. Het geeft alleen om wie de meeste individuele rondes wint. Als de "klifvallen" (enorme fouten) zeldzaam zijn, mist Methode B ze vaak, vooral als je niet genoeg wedstrijden hebt bekeken (korte testsets).

3. De Oplossing: Kijk Meer Wedstrijden

De auteurs hebben simulaties uitgevoerd om te zien wat er gebeurt naarmate je meer wedstrijden bekijkt (de omvang van de testset vergroot).

Korte Testsets (Weinig Wedstrijden): Methode B is onbetrouwbaar. Het kiest vaak de "gelukkige" speler die de grote fouten net heeft vermeden door puur toeval, zelfs als hun gemiddelde prestatie eigenlijk slechter is.
Lange Testsets (Veel Wedstrijden): Naarmate je meer en meer wedstrijden bekijkt, gebeuren de "klifvallen" uiteindelijk frequent genoeg zodat Methode B de waarheid begint te zien. De twee methoden beginnen met elkaar overeen te stemmen.

De Belangrijkste Bevinding: Als je een korte geschiedenis van gegevens hebt (een korte testset), is Methode A (Gemiddelde Straf) de enige die consistent de echt beste methode kiest. Methode B wordt te gemakkelijk gefopt door de "geluk" van het vermijden van zeldzame, enorme fouten.

4. De Praktijktest: De M5 Competitie

De auteurs testten dit op echte gegevens uit de beroemde "M5 Forecasting Competition", die gaat over het voorspellen van verkopen voor duizenden producten (waarvan sommige "intermittent" zijn, wat betekent dat ze zeer zelden verkopen).

Ze vergeleken twee wiskundige modellen:

Het Poisson Model: Een eenvoudiger model.
Het Negative Binomial Model: Een complexer model dat bekend staat als beter in het afhandelen van "pieken" in de vraag.

Wat gebeurde er?

Wanneer ze Methode B (Mean Rank) gebruikten op korte data, kozen ze vaak het Poisson-model. Het dacht dat het eenvoudigere model beter was omdat het meer individuele rondes "won".
Wanneer ze Methode A (Gemiddelde Straf) gebruikten, kozen ze consequent het Negative Binomial-model, waarmee ze correct identificeerden dat dit het model is dat de grote pieken beter afhandelt.

De auteurs concludeerden dat de "Gemiddelde Straf" juist was. De "Winst-Verlies" methode werd gefopt omdat de testsets te kort waren om de zeldzame, enorme fouten te vangen die het eenvoudigere model niet kon voorspellen.

5. Maakt het uit hoe we de straf meten?

Het artikel controleerde ook of het veranderen van de "liniaal" (schaalfactor) die gebruikt wordt om de straffen te meten, de resultaten veranderde.

Goed Nieuws: De "Gemiddelde Straf"-methode is erg robuust. Of je de straf nu meet in dollars, in percentages, of tegenover een baseline, het kiest bijna altijd dezelfde winnaar.
Slecht Nieuws: De "Winst-Verlies Record"-methode is fragiel. Het kan omslaan afhankelijk van hoe je dingen meet en hoeveel data je hebt.

De Kern van de Zaak

Als je probeert het beste voorspellingsmodel te kiezen:

Tel niet alleen de overwinningen. (Vertrouw niet uitsluitend op Mean Rank).
Kijk naar de gemiddelde kosten van fouten. (Gebruik de Mean Scaled Score).
Wees voorzichtig met korte data. Als je niet genoeg geschiedenis hebt, zal de "Winst-Verlies" methode je waarschijnlijk misleiden door een model te laten kiezen dat er op papier goed uitziet, maar faalt wanneer er een zeldzame, grote gebeurtenis plaatsvindt.

Het artikel zegt in essentie: "Laat je niet misleiden door een speler die geluk had door één grote ramp te vermijden en denk niet dat hij de beste speler is. Kijk naar hun totale gemiddelde prestatie."

Technische Samenvatting: Modelselectie met Proper Scoring Rules op Tijdreeksdatasets

Probleemstelling
Het artikel behandelt de uitdaging van het selecteren van het beste probabilistische model over een dataset die meerdere tijdreeksen bevat. Hoewel modelselectie op een enkele tijdreeks eenvoudig is (het selecteren van het model met de laagste score), vereagt het aggregeren van prestaties over $n$ tijdreeksen samenvattende statistieken. De twee meest gebruikte benaderingen zijn de gemiddelde geschaalde score (het middelen van scores na schaling om vergelijkbaarheid te garanderen) en de gemiddelde rang (het middelen van de rang van modellen over de series). In de bestaande literatuur is opgemerkt dat deze twee criteria tot tegenstrijdige beslissingen kunnen leiden, maar de onderliggende oorzaak en de betrouwbaarheid van elk criterium blijven onduidelijk. Bovendien is de gevoeligheid van de gemiddelde geschaalde score voor de keuze van de schalingsfactor een open vraag.

Methodologie
De auteurs onderzoeken deze kwesties door middel van een combinatie van theoretische analyse, simulatie en empirische evaluatie op real-world data van intermitterende tijdreeksen.

Theoretische Analyse van Scheefheid (Skewness): Het artikel analyseert de verdeling van puntscores voor veelvoorkomende proper scoring rules (Quantile Score, Interval Score, CRPS). Het toont aan dat deze verdelingen inherent scheef zijn, met name voor hoge kwantielen ( $p > 0,5$ ). Deze scheefheid ontstaat doordat onderschatting-fouten (zeldzame gebeurtenissen voor hoge kwantielen) veel zwaarder worden bestraft dan overschatting-fouten.
Simulatiestudie: Er is een simulatie uitgevoerd waarbij een waar model ( $N(0, 1)$ ) werd vergeleken met een misgespecificeerd model ( $N(0, 0,85^2)$ ) over variërende lengtes van de testset ( $n_{te}$ ). De studie evalueert hoe de gemiddelde score (het schatten van de verwachte waarde) en de gemiddelde rang (het schatten van het mediaanverschil) zich gedragen naarmate $n_{te}$ toeneemt.
Empirische Evaluatie: De auteurs hebben deze criteria toegepast op drie datasets van intermitterende vraag: de onderste niveau-series van de M5-competitie (30.490 series), Auto (3.000 series) en RAF (5.000 series). Ze vergeleken de Poisson en Negative Binomial distributies (die laatste is theoretisch superieur voor intermitterende vraag vanwege overdispersie) met behulp van verschillende scoring rules (CRPS, QS bij verschillende kwantielen) en schalingsfactoren (MAE naïef, in-sample gemiddelde, in-sample score van de empirische distributie).

Belangrijkste Bijdragen en Bevindingen

Bron van Conflict: Het artikel stelt vast dat tegenstrijdige beslissingen tussen de gemiddelde rang en de gemiddelde geschaalde score worden veroorzaakt door de scheefheid van de scoreverdeling.
- De gemiddelde geschaalde score schat de verwachte waarde van de scoring rule.
- De gemiddelde rang (en gerelateerde statistieken zoals winrate of mediaanscore) schat effectief het mediaanverschil tussen modellen.
- Wanneer de verdeling van scoreverschillen scheef is (wat gebruikelijk is bij kleine $n_{te}$ of hoge kwantielen), kunnen het gemiddelde en de mediaan naar verschillende "beste" modellen wijzen. Specifiek kan een misgespecificeerd model op korte testsets vaker een lagere score behalen door zeldzame, zwaar bestrafde onderschatting-fouten te vermijden, wat leidt tot een onjuiste voorkeur voor het misgespecificeerde model via de gemiddelde rang.
Convergentie met Testsetgrootte: Naarmate de testsetlengte ( $n_{te}$ ) toeneemt, wordt de verdeling van scores symmetrischer (door de Centrale Limietstelling) en convergeren de gemiddelde rang en de gemiddelde geschaalde score progressief naar dezelfde conclusie. Echter, voor korte testsets identificeert alleen de gemiddelde score het ware model betrouwbaar.
Robuustheid van de Gemiddelde Geschaalde Score: De empirische resultaten op de M5, Auto en RAF datasets laten zien dat de beslissing op basis van de gemiddelde geschaalde score robuust is. Het selecteert consistent het theoretisch superieure Negative Binomial model over alle geteste testsetlengtes en alle geteste schalingsfactoren.
Gevoeligheid van de Schalingsfactor: In tegenstelling tot het waargenomen risico dat modelselectie sterk afhangt van de schalingsfactor, blijkt uit de studie dat de keuze van de schalingsfactor (bijv. MAE naïef versus in-sample gemiddelde) een minimale impact heeft op de uiteindelijke modelselectiebeslissing bij het gebruik van de gemiddelde geschaalde score. De beslissing blijft stabiel over verschillende schalingsmethoden.
Betrouwbaarheid van de Gemiddelde Rang: De gemiddelde rang blijkt een onbetrouwbaar criterium te zijn voor korte testsets, met name bij de evaluatie van hoge kwantielen. In de experimenten met de M5-dataset bevoordeelde de gemiddelde rang zelfs met een aanzienlijk aantal series het inferieure Poisson-model voor hoge kwantielen (QS0,975, QS0,995), terwijl de gemiddelde geschaalde score de Negative Binomial correct identificeerde.

Betekenis en Aanbevelingen
Het artikel concludeert dat modelselectie op basis van proper scoring rules fundamenteel vereist dat de verwachte waarde van de score wordt geschat. Omdat niet-gemiddelde statistieken (gemiddelde rang, mediaan, winrate) de verwachte waarde niet schatten, kunnen ze leiden tot onjuiste modelselectie wanneer de scoreverdelingen scheef zijn, een conditie die veel voorkomt bij tijdreeksen met korte testsets of hoge kwantielvoorspellingen.

De auteurs bevelen aan:

De gemiddelde geschaalde score te prioriteren boven de gemiddelde rang voor modelselectie, aangezien dit een directe estimator is van de verwachte score.
Voorzichtigheid te betrachten bij het vertrouwen op gemiddelde rangen, vooral bij hoge kwantielniveaus of kleine $n_{te}$ .
Conclusies te valideren door de resultaten te controleren over meerdere schalingsfactoren, hoewel de studie suggereert dat de specifieke keuze van de factor minder kritisch is dan voorheen werd aangenomen.
Erkenning dat het bepalen van de exacte drempel voor een "voldoende grote" $n_{te}$ om convergentie te garanderen moeilijk blijft en afhangt van de specifieke scoring rule en dataverdeling.

Het artikel stelt geen nieuwe scoring rules of specifieke toekomstige toepassingen voor, maar biedt een cruciale theoretische en empirische rechtvaardiging voor het verkiezen van gemiddelde-gebaseerde aggregatie boven rang-gebaseerde aggregatie bij de probabilistische modelselectie van tijdreeksen.