Model selection with proper scoring rules on data sets of time series
Diese Arbeit untersucht, wie die Schiefe der Score-Verteilung zu widersprüchlichen Modellauswahl-Ergebnissen zwischen Mittelwert-, Median- und rangbasierten Statistiken bei Zeitreihendaten führt, wobei sie aufzeigt, dass diese Kriterien bei großen Testsets konvergieren, während der Mittelwert-Score als einzig verlässlich erwiesen wird, um das wahre Modell auf kurzen Testsets zu identifizieren, wie die Analyse intermittierender Zeitreihen einschließlich des M5-Wettbewerbs belegt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Trainer, der versucht, den besten Spieler für Ihr Team auszuwählen. Sie haben eine riesige Kaderliste von Spielern (Zeitreihen) und möchten sehen, wer im Durchschnitt am besten abschneidet. Um sie zu bewerten, verwenden Sie eine „Scorecard“ (eine regelmäßige Scoring-Regel), die für jeden Fehler eine Strafe (Penalty) vergibt. Je niedriger diese Zahl ist, desto besser ist der Spieler.
In dieser Arbeit geht es darum, wie man diese Scorecard liest, wenn man viele Spieler und viele Spiele hat. Die Autoren haben entdeckt, dass die Art und Weise, wie wir die Ergebnisse normalerweise zusammenzählen, uns manchmal dazu verleiten kann, den falschen Spieler auszuwählen, besonders wenn die Spiele kurz sind oder die Fehler selten, aber gewaltig ausfallen.
Hier ist die Aufschlüsselung unter Verwendung einfacher Analogien:
1. Das Problem: Zwei Wege zu zählen
Wenn Sie ein Team von Spielern haben, können Sie nicht einfach nur ein einzelnes Spiel betrachten. Sie müssen deren Ergebnisse kombinieren. Das Paper sagt, dass es zwei Hauptwege gibt, wie Trainer dies normalerweise tun:
- Methode A: Die „Durchschnittliche Strafe“ (Mean Scaled Score). Sie nehmen jeden einzelnen Strafe-Punkt, den ein Spieler erhalten hat, addieren sie alle zusammen und teilen sie durch die Anzahl der Spiele. Dies sagt Ihnen die durchschnittlichen Kosten seiner Fehler.
- Methode B: Die „Gewinn-Verlust-Bilanz“ (Mean Rank). Sie schauen nicht auf die Punkte. Stattdessen fragen Sie einfach: „In wie vielen Spielen hat Spieler A gegen Spieler B gewonnen?“ Sie zählen die Siege. Wenn Spieler A mehr Spiele gewonnen hat, erhält er den ersten Platz.
2. Die Falle: Der „Große Fehler“-Skew
Die Autoren fanden heraus, dass für bestimmte Arten von Vorhersagen (wie das Vorhersagen seltener Ereignisse oder hoher Werte) die „Scorecard“ verzerrt (skewed) ist.
Die Analogie:
Stellen Sie sich ein Spiel vor, bei dem man meistens kleine Fehler macht (wie über die eigenen Schnürsenkel zu stolpern), aber gelegentlich einen massiven, katastrophalen Fehler begeht (wie von einer Klippe zu stürzen).
- Die „Durchschnittliche Strafe“ (Methode A) sieht den Sturz von der Klippe. Sie addiert alle kleinen Stolperer und den einen riesigen Sturz und ergibt so eine hohe durchschnittliche Strafe. Sie weiß, dass man gefährlich ist.
- Die „Gewinn-Verlust-Bilanz“ (Methode B) betrachtet die Spiele einzeln. In 99 von 100 Spielen sind Sie nur über Ihre Schnürsenkel gestolpert, was eine winzige Strafe ist. In dem einen anderen Spiel sind Sie von einer Klippe gestürzt.
- Wenn Sie gegen einen Rivalen spielen, der niemals von einer Klippe stürzt, aber etwas häufiger über seine Schnürsenkel stolpert, wird Methode B sagen: „Hey, du hast 99 Spiele gewonnen! Du bist der Champion!“
- Aber Methode A sagt: „Warte, dieser eine Klippensturz hat dir die ganze Saison gekostet. Deine durchschnittliche Strafe ist eigentlich viel schlechter.“
Das Paper argumentiert, dass Methode B (Mean Rank) gefährlich ist, weil sie die Größe der Fehler ignoriert. Es zählt nur, wer die meisten einzelnen Runden gewonnen hat. Wenn die „Klippenstürze“ (gewaltige Fehler) selten sind, übersieht Methode B sie oft, besonders wenn man nicht genug Spiele beobachtet hat (kurze Test-Sets).
3. Die Lösung: Mehr Spiele beobachten
Die Autoren führten Simulationen durch, um zu sehen, was passiert, wenn man mehr Spiele beobachtet (das Test-Set vergrößert).
- Kurze Test-Sets (wenige Spiele): Methode B ist unzuverlässig. Sie wählt oft den „glücklichen“ Spieler aus, der die großen Fehler nur durch Zufall vermieden hat, selbst wenn seine durchschnittliche Leistung eigentlich schlechter ist.
- Lange Test-Sets (viele Spiele): Wenn man immer mehr Spiele beobachtet, treten die „Klippenstürze“ schließlich häufig genug auf, dass Methode B die Wahrheit erkennt. Die beiden Methoden beginnen sich anzunähern.
Die zentrale Erkenntnis: Wenn Sie nur eine kurze Historie an Daten haben (ein kurzes Test-Set), ist Methode A (Durchschnittliche Strafe) die einzige, die konsistent den wirklich besten Modell auswählt. Methode B wird zu leicht von dem „Glück“, große Fehler zu vermeiden, getäuscht.
4. Der Realwelt-Test: Der M5-Wettbewerb
Die Autoren testeten dies mit echten Daten aus dem berühmten „M5 Forecasting Competition“, bei dem es um die Vorhersage von Verkäufen für Tausende von Produkten geht (von denen einige „intermittierend“ sind, das heißt, sie verkaufen sich sehr selten).
Sie verglichen zwei mathematische Modelle:
- Das Poisson-Modell: Ein einfacheres Modell.
- Das Negative-Binomial-Modell: Ein komplexeres Modell, das dafür bekannt ist, besser mit „Spitzen“ in der Nachfrage umzugehen.
Was passierte?
- Bei der Verwendung von Methode B (Mean Rank) auf kurzen Daten wurde oft das Poisson-Modell gewählt. Es dachte, das einfachere Modell sei besser, weil es in mehr einzelnen Runden „gewonnen“ hatte.
- Bei der Verwendung von Methode A (Durchschnittliche Strafe) wurde konsistent das Negative-Binomial-Modell gewählt, welches korrekt identifizierte, dass es besser mit den großen Spitzen umgehen kann.
Die Autoren kamen zu dem Schluss, dass die „Durchschnittliche Strafe“ richtig war. Die „Gewinn-Verlust-Bilanz“ wurde getäuscht, weil die Test-Sets zu kurz waren, um die seltenen, massiven Fehler zu erfassen, bei denen das einfachere Modell versagte.
5. Spielt es eine Rolle, wie wir die Strafe messen?
Das Paper prüfte auch, ob eine Änderung des „Lineals“ (Skalierungsfaktor), das zur Messung der Strafen verwendet wird, die Ergebnisse verändert.
- Gute Nachricht: Die Methode der „Durchschnittlichen Strafe“ ist sehr robust. Egal, ob man die Strafe in Dollar, in Prozent oder gegen einen Basiswert misst, sie wählt fast immer denselben Gewinner aus.
- Schlechte Nachricht: Die „Gewinn-Verlust-Bilanz“ ist fragil. Sie kann umschlagen, je nachdem, wie man die Dinge misst und wie viele Daten man hat.
Das Fazit
Wenn Sie versuchen, das beste Vorhersagemodell auszuwählen:
- Zählen Sie nicht nur Siege. (Verlassen Sie sich nicht allein auf den Mean Rank).
- Schauen Sie auf die durchschnittlichen Kosten der Fehler. (Verwenden Sie den Mean Scaled Score).
- Seien Sie vorsichtig bei kurzen Daten. Wenn Sie nicht genügend Historie haben, wird Sie die „Gewinn-Verlust“-Methode wahrscheinlich dazu verleiten, ein Modell zu wählen, das auf dem Papier gut aussieht, aber scheitert, wenn ein seltenes, großes Ereignis eintritt.
Das Paper sagt im Wesentlichen: „Lassen Sie sich nicht von einem Spieler, der durch Glück ein einziges großes Desaster vermieden hat, vorgaukeln, er sei der beste Spieler. Schauen Sie auf seine gesamte durchschnittliche Leistung.“
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.