Quantifying the Risk-Return Tradeoff in Forecasting
Dieser Beitrag schlägt einen neuartigen Rahmen zur Bewertung der Prognosezuverlässigkeit vor, indem Prognoseverlustdifferenzen als finanzielle Renditen behandelt und risikoadjustierte Leistungskennzahlen angewendet werden, was zeigt, dass maschinelle Lernmodelle zwar die durchschnittliche Genauigkeit von professionellen Prognostikern übertreffen können, diese jedoch häufig überlegene Risikoprofile und Widerstandsfähigkeit gegen katastrophale Ausfälle aufweisen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen Wettervorhersager ein. Sie haben zwei Kandidaten:
- Kandidat A ist meist richtig, aber ab und zu sagt er einen sonnigen Tag voraus, und ein Hurrikan trifft ein.
- Kandidat B ist meist nur okay, aber er ist unglaublich konsistent und wird von einer Katastrophe fast nie überrascht.
Die meisten traditionellen Studien würden Kandidat A wählen, weil ihre „durchschnittliche" Genauigkeit leicht höher ist. Sie schauen auf die Mathematik und sagen: „Kandidat A lag in 95 % der Fälle richtig, während Kandidat B in 92 % der Fälle richtig lag."
Dieses Papier argumentiert, dass dies der falsche Weg ist, um eine Auswahl zu treffen. In der realen Welt können ein paar katastrophale Fehler weitaus schädlicher sein als ein etwas niedrigerer Durchschnittswert. Der Autor, Philippe Goulet Coulombe, möchte, dass wir aufhören, nur auf den Durchschnitt zu schauen, und beginnen, auf das Risiko zu achten.
Hier ist der Rahmen des Papiers, einfach erklärt:
1. Der „Aktienmarkt" der Vorhersagen
Der Autor schlägt vor, Vorhersagen wie Investitionen an der Börse zu behandeln.
- Die „Rendite": Anstatt nur zu schauen, wie falsch ein Modell lag, betrachten wir, wie viel besser es war als ein Standard-„Benchmark"-Modell (wie eine einfache Schätzung). Wenn der Benchmark um 10 Punkte danebenlag und Ihr Modell um 5 Punkte, erzielte Ihr Modell einen „Gewinn" von 5.
- Das „Risiko": Genau wie eine Aktie volatil sein kann, kann eine Vorhersage unberechenbar sein. Manchmal gewinnt sie groß; manchmal verliert sie groß.
Das Papier führt vier „finanzielle Werkzeuge" ein, um diese Vorhersagen zu messen:
- Die Sharpe-Ratio (Der Beständige): Dies misst, wie viel „Gewinn" (Genauigkeitsverbesserung) Sie pro Einheit „Volatilität" (Auf-und-Ab-Schwankungen) erhalten. Eine hohe Punktzahl bedeutet, dass das Modell ein zuverlässiger, beständiger Leistungsträger ist.
- Die Sortino-Ratio (Sicherheit zuerst): Dies ist für Vorhersager noch besser. Sie kümmert sich nur um die schlechten Tage (wenn das Modell schlechter abschneidet als der Benchmark). Sie ignoriert die „gute" Volatilität. Wenn ein Modell enorme Gewinne, aber auch enorme, beängstigende Verluste hat, wird seine Sortino-Punktzahl niedrig sein.
- Die Omega-Ratio (Das Gesamtbild): Dies betrachtet die gesamte Historie der Gewinne und Verluste. Sie fragt: „Ist der Gesamtbetrag, den wir in guten Zeiten verdient haben, größer als der Gesamtbetrag, den wir in schlechten Zeiten verloren haben?"
- Maximaler Drawdown (Das Worst-Case-Szenario): Dies fragt: „In welches tiefste Loch ist dieses Modell je gefallen?" Wenn ein Modell drei Jahre lang großartig ist und dann sechs Monate lang abstürzt, erfasst die Drawdown-Metrik diese Katastrophe.
2. Die „Edge-Ratio" (Das einzigartige Talent)
Der Autor hat auch ein neues Werkzeug namens Edge-Ratio erfunden.
Stellen Sie sich ein Rennen mit 10 Läufern vor. Die meisten Läufer sind nur geringfügig schneller oder langsamer als der Durchschnitt. Aber ein Läufer sprintet gelegentlich vor alle anderen und gewinnt mit einem riesigen Vorsprung.
- Die Edge-Ratio misst, wie oft ein Modell das absolut beste im Raum ist und um wie viel.
- Sie bestraft das Modell auch, wenn es hinter der zweitbesten Option zurückfällt.
- Warum es wichtig ist: Es sagt Ihnen, ob ein Modell etwas Einzigartiges einbringt, das niemand sonst kann, oder ob es nur dasselbe tut wie alle anderen, nur etwas besser.
3. Was passierte, als sie dies testeten?
Der Autor testete diese Werkzeuge an US-Wirtschaftsdaten (wie BIP, Inflation und Arbeitslosigkeit) und verglich drei Gruppen:
- Alte mathematische Modelle (Ökonometrie).
- Moderne KI/Machine Learning (Neuronale Netze, Random Forests).
- Die Survey of Professional Forecasters (SPF): Eine Gruppe menschlicher Experten, die ihr Gehirn, ihre Erfahrung und private Daten nutzen, um Vorhersagen zu treffen.
Die überraschenden Ergebnisse:
- Die „Durchschnitts"-Falle: Viele ausgefallene KI-Modelle schlugen die menschlichen Experten (SPF), wenn man nur auf die durchschnittliche Genauigkeit schaute. Sie schienen die Gewinner zu sein.
- Die „Risiko"-Realität: Wenn man die Sortino-Ratio anwendet (mit Fokus auf die Vermeidung von Katastrophen), gewinnt in der Regel die SPF (menschliche Experten).
- Warum? Die menschlichen Experten haben selten „katastrophale Ausfälle". Sie werden von Dingen wie der Finanzkrise 2008 oder dem Inflationsschub 2022 nicht überrascht. Sie sind die „beständigen Eddys".
- Die KI-Modelle hatten, obwohl sie manchmal brillant waren, Momente, in denen sie spektakulär versagten. Für eine Zentralbank oder eine Regierung ist ein einziger massiver Fehler schlimmer als ein paar kleine, beständige Gewinne.
- Die „Spezialisten": Bestimmte KI-Modelle (wie ein „Hemisphären-Neuronales Netz") schnitten sehr gut ab. Sie entsprachen den Menschen in der Genauigkeit, waren aber noch besser darin, die „schlechten Tage" zu vermeiden.
- Der „Black-Box"-Test: Sie testeten ein neues „Foundation-Modell" (TabPFN), eine Art KI, die auf künstlichen Daten trainiert wurde. Es schnitt überraschend gut ab, was darauf hindeutet, dass selbst diese komplexen, „Black-Box"-KI-Modelle zuverlässig sein können, wenn sie ein gutes Risikoprofil haben.
4. Die große Erkenntnis
Das Papier kommt zu dem Schluss, dass Durchschnittsgenauigkeit ≠ Zuverlässigkeit.
Wenn Sie Zentralbanker oder politische Entscheidungsträger sind, wollen Sie kein Modell, das „meistens richtig liegt", aber gelegentlich völlig danebenliegt. Sie wollen ein Modell, das konsistent gut ist und selten einen „Zusammenbruch" hat.
Durch die Verwendung dieser finanzähnlichen Kennzahlen können wir sehen, dass menschliche Experten (SPF) unglaublich wertvoll sind, nicht weil sie die klügsten sind, sondern weil sie die zuverlässigsten sind. Sie stürzen selten ab. Während einige moderne Machine-Learning-Modelle großartig sind, müssen sie sorgfältig ausgewählt werden, um sicherzustellen, dass sie keine versteckten „Zusammenbrüche" haben, die darauf warten, einzutreten.
Kurz gesagt: Fragen Sie nicht nur: „Wer liegt am häufigsten richtig?" Fragen Sie: „Wer liegt am häufigsten richtig, ohne einen schrecklichen Tag zu haben?" Das ist das wahre Maß für eine gute Vorhersage.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.