Technische Samenvatting: Verwachtingen versus Realiteiten: De Kosten van MSE-Optimale Voorspelling onder Conditionele Onzekerheid

1. Probleemstelling

Multi-stap tijdreeksvoorspelling (MSF) wordt traditioneel geëvalueerd met puntgewijze foutmetrieken, met name de gemiddelde kwadratische fout (Mean Squared Error, MSE). Dit evaluatieparadigma behandelt de conditionele verwachting, $E[Y_h | X]$, impliciet als het voldoende en gewenste voorspellingsdoel. De auteurs stellen echter dat deze aanname fragiel wordt naarmate de voorspellingshorizon toeneemt. In veel real-world systemen accumuleert onzekerheid over de tijd, waardoor de conditionele distributie van toekomstige uitkomsten steeds meer uiteenloopt.

Onder condities van hoge conditionele onzekerheid kan de conditionele verwachting (het MSE-optimale doel) significant afwijken van typische gerealiseerde uitkomsten. Bijgevolg produceren modellen die strikt op MSE zijn geoptimaliseerd vaak voorspellingen die "ondergedispergeerd" zijn — ze zijn accuraat in een puntgewijs opzicht, maar falen in het vastleggen van de marginale variabiliteit van de werkelijke toekomstige distributie. Het artikel stelt dat dit niet louter een falen is van modelcapaciteit of optimalisatie, maar een structurele beperking die inherent is aan deterministische voorspelling onder kwadratisch verlies wanneer de conditionele onzekerheid groter is dan nul.

2. Methodologie en Theoretisch Kader

2.1 Theoretische Formalisering

De auteurs formaliseren het probleem met behulp van de Wet van de Totale Variantie:
$$\text{Var}(Y_h) = \text{Var}(E[Y_h | X]) + E[\text{Var}(Y_h | X)]$$
Zij definiëren een Conditionele Onzekerheidsgap ($\text{Gap}_h$) als het deel van de totale variabiliteit dat toe te schrijven is aan irreducibele onzekerheid gegeven het verleden:
$$\text{Gap}_h = \frac{E[\text{Var}(Y_h | X)]}{\text{Var}(E[Y_h | X]) + E[\text{Var}(Y_h | X)]}$$
Wanneer $\text{Gap}_h > 0$, verklaart de conditionele gemiddelde minder dan 100% van de variantie van de gerealiseerde toekomst.

2.2 De Accuratesse–Realisme Trade-off (Stelling 1)

De kern van de theoretische bijdrage is Stelling 1, die bewijst dat voor elke deterministische voorspeller $f_h$:

1. Als $\text{Gap}_h > 0$, kan geen enkele voorspeller tegelijkertijd de MSE minimaliseren en de marginale distributie van gerealiseerde toekomsten ($L(Y_h)$) matchen.
2. De unieke MSE-minimalisator is de conditionele verwachting $f^*_h(X) = E[Y_h | X]$.
3. Omdat $\text{Var}(f^*_h(X)) < \text{Var}(Y_h)$ telkens wanneer $\text{Gap}_h > 0$, verschilt de marginale distributie van de MSE-optimale voorspeller strikt van de ware marginale distributie.
4. Dit creëert een onvermijdelijke Pareto-front tussen puntgewijze accuratesse (MSE) en marginale realisme (gemeten met de Wasserstein-afstand $W_1$).

2.3 Empirische Karakterisering

Om deze trade-off te kwantificeren, gebruiken de auteurs:

• Gecontroleerde Synthetische Systemen: Een stochastisch Mackey–Glass systeem waarbij het ruisniveau ($\sigma_s$) en de horizon ($h$) kunnen worden aangepast om de conditionele onzekerheidsgap te controleren.
• Real-World Benchmarks: Negen datasets die variëren van energie, verkeer, weer en luchtkwaliteit tot financiën (bijv. METR-LA, Electricity, ExchangeRate).
• Geëvalueerde Strategieën:
  • Direct (MIMO): Voorspelt de gehele horizon in één stap.
  • Recursief (REC): Voorspelt iteratief één stap vooruit.
  • Inference Rules: Voor probabilistische modellen vergelijken ze gemiddelde-gebaseerde inferentie (predictieve gemiddelde) versus sample-gebaseerde inferentie (enkele-sample rollout).
• Metrieken: MSE voor accuratesse en $W_1$ (Wasserstein-1 afstand) voor marginaal realisme. Ze rapporteren ook traject-niveau metrieken (DTW, Vector $W_1$, etc.) als robuustheidscontroles.

3. Belangrijkste Resultaten

3.1 Geometrie van de Trade-off

• Lage Onzekerheidsregime: Wanneer de conditionele onzekerheidsgap klein is, is de Pareto-front degenerat; methoden clusteren nabij een enkel werkpunt waar het minimaliseren van MSE ook een hoog realisme oplevert.
• Hoge Onzekerheidsregime: Naarmate de gap toeneemt (langere horizonten of hogere ruis), breidt de bereikbare set prestaties zich uit naar een geprononceerde Pareto-front. Dit scheidt MSE-optimale voorspellers (die ondergedispergeerd zijn) van methoden die puntgewijze accuratesse opofferen om de marginale variabiliteit te matchen.
• Correlatie: De lengte van de Pareto-front neemt monotoon toe met de geschatte conditionele onzekerheidsgap.

3.2 De Kosten van Strikte MSE-Selectie

• Opportuniteitskosten: De auteurs definiëren een "succesvolle ruil" als een scenario waarin een kleine versoepeling van de MSE een grotere relatieve winst in realisme oplevert.
• Empirische Bevindingen: Over alle synthetische en real-world benchmarks heen, levert het versoepelen van de MSE-restrictie met slechts 5% frequent disproportionele winsten in marginaal realisme op.
  • Mediaan Verbetering: 17,3% verbetering in marginaal realisme ($W_1$) over alle datasets.
  • Succespercentage: In 84,1% van de gevallen (globaal gemiddelde) resulteerde een kleine MSE-versoepeling in een netto positieve realisme-ruil.
  • Datasetspecifieke details: Sommige datasets (bijv. Weather, ExchangeRate) vertoonden mediane verbeteringen in realisme van meer dan 22% met hoge succespercentages.

3.3 Strategie en Inferentie als Controleknoppen

De studie toont aan dat verschillende voorspellingsstrategieën systematisch verschillende regio's van de Pareto-front bezetten:

• MSE-Optimale Extreme: Gedomineerd door Direct (MIMO) strategieën en gemiddelde-gebaseerde inferentie. Deze richten zich op het schatten van de conditionele verwachting en produceren gladgestreken, ondergedispergeerde voorspellingen.
• Realisme-Optimale Extreme: Gedomineerd door Recursieve (REC) strategieën en sample-gebaseerde inferentie. Deze propageren variabiliteit door de tijd, waardoor ze de marginale distributie van gerealiseerde toekomsten beter matchen ten koste van hogere puntgewijze fouten.
• Probabilistische Modellen: Zelfs probabilistische modellen elimineren de trade-off niet; ze navigeren er simpelweg doorheen. Het kiezen van het predictieve gemiddelde plaatst het model nabij het MSE-extreme, terwijl sampling het model nabij het realisme-extreme plaatst.

4. Bijdragen

Het artikel levert drie primaire bijdragen:

1. Theoretische Verklaring: Het bewijst dat overmatige smoothing in langetermijnvoorspelling een structurele eigenschap is van deterministische voorspelling onder conditionele onzekerheid, en geen fout in de model-specificatie. Geen enkele deterministische voorspeller kan tegelijkertijd de MSE minimaliseren en de marginale distributie matchen als de onzekerheidsgap groter is dan nul.
2. Empirische Kwantificering: Het karakteriseert de accuratesse–realisme Pareto-front, en laat zien dat strikte MSE-gebaseerde modelselectie een substantiële en vermijdbare kost in marginaal realisme met zich meebrengt. Kleine versoepelingen in MSE leveren vaak grote winsten in realisme op.
3. Praktisch Protocol: Het herkadert de keuze van strategie (Direct versus Recursief) en inferentie (Gemiddelde versus Sample) als mechanismen om door deze multi-objectieve ruimte te navigeren, in plaats van enkel te optimaliseren voor een enkele metriek.

5. Betekenis en Aanbevelingen

Het artikel betoogt dat de incompatibiliteit tussen puntgewijze accuratesse en distributioneel realisme een intrinsieke eigenschap is van multi-stap voorspelling onder conditionele onzekerheid, onafhankelijk van de modelklasse.

Praktische Aanbeveling:
De auteurs stellen een tolerantieband-selectieregel voor bij modelselectie:

1. Identificeer het MSE-optimale model op de validatiedata.
2. Behoud alle kandidaten waarvan de MSE binnen een kleine, applicatie-afhankelijke tolerantie $\epsilon$ (bijv. 5%) van het optimum ligt.
3. Selecteer onder deze "bijna-gelijke" kandidaten het model dat het marginale realisme maximaliseert (met behulp van metrieken zoals $W_1$) of, voor probabilistische modellen, gebruikt kalibratie- en scherpte-diagnostiek.

Betekenis:
Dit werk daagt de standaardpraktijk uit om modellen uitsluitend op basis van MSE te rangschikken, vooral bij langetermijnvoorspelling. Het suggereert dat single-metric evaluatie structureel misleidend kan zijn, omdat het systematisch voorspellingen wegwerpt die representatiever zijn voor de gerealiseerde toekomsten. Door langetermijnvoorspelling te behandelen als een geconstrueerd multi-objectief selectieprobleem, kunnen beoefenaars de "kost" van MSE-only optimalisatie vermijden en modellen selecteren die de onzekerheid die inherent is aan het datagenererende proces beter weerspiegelen.