📊 statistics

Measures of predictive accuracy, miscalibration and discrimination

Dieser Beitrag kritisiert weit verbreitete Vorhersagegenauigkeitsmaße wie ABC- und Gini-Scores wegen ihrer Inkompatibilität mit mittelwertkonsistenten Verlustfunktionen und schlägt stattdessen eine neue Murphy-Zerlegung sowie auf Lorenzkurven basierende Metriken vor, um eine ehrliche Modellevaluation und eine robuste Analyse der Prognoseüberlegenheit zu gewährleisten.

Ursprüngliche Autoren: Łukasz Delong, Mario Wüthrich

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Łukasz Delong, Mario Wüthrich

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Trainer, der den besten Wettervorhersager für Ihre Stadt auswählen möchte. Sie haben zwei Kandidaten, Alice und Bob. Beide geben Ihnen jeden Tag eine Zahl zur Vorhersage der Temperatur. Wie entscheiden Sie, wer besser ist?

Dieser Artikel ist wie ein Regelbuch für den Trainer, geschrieben von den Statistikern Lukasz Delong und Mario Wüthrich. Es wird argumentiert, dass die Art und Weise, wie wir diese Vorhersager normalerweise bewerten, oft fehlerhaft ist, und es bietet einen besseren, ehrlicheren Weg, dies zu tun.

Hier ist die Aufschlüsselung ihrer Erkenntnisse mit einfachen Analogien:

1. Die Goldene Regel: Konsistenz

Der Artikel beginnt mit einer grundlegenden Regel: Sie müssen einen Vorhersager mit demselben „Lineal" bewerten, mit dem Sie ihn trainiert haben.

Wenn Sie möchten, dass Ihre Vorhersager die durchschnittliche Temperatur vorhersagen, müssen Sie sie danach bewerten, wie nah sie am Durchschnitt liegen. Wenn Sie ein anderes Lineal verwenden (z. B. eines, das sie bestraft, wenn sie zu hoch liegen, sie aber ignoriert, wenn sie zu niedrig liegen), könnten Sie einen Gewinner auswählen, der tatsächlich schrecklich darin ist, den Durchschnitt vorherzusagen. Die Autoren sagen, wir sollten „konsistente Verlustfunktionen" verwenden (speziell genannt Bregman-Divergenzen). Stellen Sie sich dies als eine perfekt kalibrierte Waage vor, die nur dann das Gewicht genau misst, wenn Sie das richtige Ding wiegen.

2. Die zwei Mängel einer Vorhersage

Die Autoren zerlegen die Leistung einer Vorhersage in zwei Teile, unter Verwendung eines Konzepts namens Murphy-Zerlegung. Stellen Sie sich eine Vorhersage als einen Dartwurf auf ein Ziel vor.

Fehlkalibrierung (Das Ziel): Dies misst, ob der Vorhersager „ehrlich" ist. Wenn ein Vorhersager sagt: „Es werden 70 Grad", ist es dann im Durchschnitt tatsächlich 70 Grad? Wenn sie konstant danebenliegen (z. B. sagen sie immer 70, aber es sind tatsächlich 65), sind sie „fehlkalibriert".
Diskriminierung (Die Streuung): Dies misst, ob der Vorhersager „nützlich" ist. Wenn ein Vorhersager jeden einzelnen Tag nur sagt: „Es werden 70 Grad", könnte er perfekt kalibriert sein (wenn der Durchschnitt 70 ist), aber er ist nutzlos, weil er Ihnen nicht sagt, wann es heiß oder kalt wird. Ein guter Vorhersager muss seine Vorhersagen variieren, um dem wechselnden Wetter zu entsprechen.

3. Das Problem mit beliebten Werkzeugen (Die „ABC"- und „Gini"-Scores)

In der realen Welt (besonders in Versicherung und Finanzen) lieben es Menschen, zwei spezifische Werkzeuge zur Bewertung von Vorhersagern zu verwenden:

Der ABC-Score: Dieser betrachtet die Fläche zwischen zwei Kurven (Lorenz- und Konzentrationskurven). Es ist wie ein Blick auf ein Diagramm, um zu sehen, wie sehr die Vorhersagen der Vorhersager im Vergleich zur Wahrheit „wackeln".
Der Gini-Index: Dies ist eine berühmte Statistik zur Messung von Ungleichheit (wie Vermögen). Hier wird er verwendet, um zu sehen, wie stark die Vorhersagen eines Vorhersagers variieren.

Die große Warnung des Artikels:
Die Autoren beweisen, dass diese beliebten Werkzeuge „unehrliche" Richter sind.

Das Problem des „sich bewegenden Lineals": Die ABC- und Gini-Scores ändern ihre Regeln, je nachdem, wen sie bewerten. Es ist wie ein Schiedsrichter in einem Fußballspiel, der die Größe der Torpfosten ändert, je nachdem, welches Team spielt. Wenn Sie diese Scores verwenden, um den besten Vorhersager auszuwählen, könnten Sie denjenigen auswählen, der zufällig den sich verschiebenden Regeln des Schiedsrichters entspricht, und nicht den, der tatsächlich der Beste ist.
Die „Null"-Falle: Die Autoren zeigen, dass der ABC-Score null sein kann (perfekt flach), selbst wenn der Vorhersager lügt (fehlkalibriert ist). Es ist wie ein Tacho, der „0 mph" anzeigt, selbst wenn das Auto rückwärts fährt. Der neue ABC2-Score behebt diese spezifische Falle, leidet aber immer noch unter dem Problem des „sich bewegenden Lineals".

Die Lösung: Bleiben Sie bei den Maßen der Murphy-Zerlegung. Diese verwenden das „konsistente Lineal" (Bregman-Divergenz) und ändern ihre Regeln nicht basierend auf dem Vorhersager. Sie bieten einen fairen, ehrlichen Vergleich.

4. Wenn sich die Kurven kreuzen (Der Tie-Breaker)

Normalerweise vergleichen wir Vorhersager, indem wir ihre Kurven betrachten. Wenn eine Kurve immer über der anderen liegt, ist es einfach zu sagen, wer besser ist. Aber im echten Leben kreuzen sich die Kurven oft (wie zwei Läufer, die während eines Rennens ihre Positionen tauschen).

Die alte Sichtweise: Wenn sich die Kurven kreuzen, konnten wir nicht leicht sagen, wer besser war.
Die neue Sichtweise: Die Autoren zeigen, dass sich diese Kurven, wenn sie sich kreuzen, genau so oft kreuzen wie die „Murphy-Kurven" (die technischen Graphen, die für das konsistente Lineal verwendet werden).
Die neue Regel: Wenn sich die Kurven genau einmal kreuzen, können wir immer noch eine faire Entscheidung treffen, müssen aber spezifischer sein. Wir können nicht einfach sagen: „Vorhersager A ist besser." Wir müssen sagen: „Vorhersager A ist besser, wenn uns die großen Stürme (hohe Varianz) mehr interessieren," oder „Vorhersager B ist besser, wenn uns die kleinen Nieselregen mehr interessieren."

Sie beweisen, dass in diesen Kreuzungsszenarien die Varianz (wie stark die Vorhersagen springen) zum entscheidenden Faktor wird, nicht der Gini-Index.

Zusammenfassung: Was sollten Sie tun?

Wenn Sie Vorhersagen bewerten (wie Wetter, Versicherungsrisiken oder Aktienkurse):

Verlassen Sie sich nicht auf den ABC-Score oder den Gini-Index, um den Gewinner zu bestimmen. Sie sind wie voreingenommene Schiedsrichter, die die Regeln mitten im Spiel ändern.
Verwenden Sie die Murphy-Zerlegung. Sie zerlegt den Score in „Ehrlichkeit" (Fehlkalibrierung) und „Nützlichkeit" (Diskriminierung) unter Verwendung eines konsistenten, unveränderlichen Lineals.
Wenn sich die Graphen kreuzen, geraten Sie nicht in Panik. Betrachten Sie die Varianz und die spezifische Art von Fehler, die Ihnen wichtig ist. Der Artikel bietet Ihnen einen neuen, mathematisch fundierten Weg, um zu entscheiden, wer gewinnt, selbst wenn das Rennen eng ist.

Kurz gesagt: Hören Sie auf, die beliebten, auffälligen Metriken zu verwenden, die betrügen. Verwenden Sie die ehrlichen, konsistenten Metriken, die tatsächlich das messen, was Sie zu messen behaupten.

Technisches Fazit: Maße der Vorhersagegenauigkeit, Fehlabstimmung und Diskriminierung

Problemstellung
Der Beitrag befasst sich mit der Evaluation von reellwertigen Punktvorhersagen für den Erwartungswert einer Response-Variablen $Y$ . Innerhalb des von Gneiting (2011) etablierten entscheidungstheoretischen Rahmens stützt sich die Evaluation von Punktvorhersagen auf konsistente Verlustfunktionen, insbesondere Bregman-Divergenzen, wobei die optimale Vorhersage der bedingte Erwartungswert ist. Während das primäre Evaluationskriterium der erwartete Verlust (Genauigkeit) ist, müssen gute Vorhersagen zudem eine Mittelwertkalibrierung (der Prädiktor entspricht dem bedingten Erwartungswert) und eine hohe Diskriminierung (der Prädiktor weicht signifikant vom unbedingten Erwartungswert ab) aufweisen.

Die Autoren identifizieren eine Lücke in der Literatur hinsichtlich weit verbreiteter praktischer Metriken: den Flächeninhalt zwischen der Konzentrations- und der Lorenz-Kurve (ABC) für Fehlabstimmung, den Gini-Koeffizienten für Diskriminierung sowie deren quadrierte Varianten. Obwohl diese Metriken in der Versicherungsmathematik und im maschinellen Lernen populär sind, ist ihre theoretische Übereinstimmung mit der entscheidungstheoretischen Anforderung konsistenter Scoring-Regeln unklar. Insbesondere ist unbekannt, ob diese Metriken „ehrliche" Evaluationen liefern, die nicht vom spezifischen bewerteten Prädiktor abhängen.

Methodik
Die Studie operiert innerhalb eines entscheidungstheoretischen Settings, wobei $(Y, X)$ ein zufälliges Paar ist, $X$ ein $\mathcal{A}$ -messbarer Prädiktor und $L$ eine für den Erwartungswert konsistente Verlustfunktion ist. Die Autoren nutzen:

Bregman-Divergenzen: Charakterisiert durch konvexe Funktionen $\phi$ oder als Integrale elementarer Bregman-Divergenzen $L_\theta$ bezüglich eines Maßes $H$ .
Murphy-Zerlegung: Eine Zerlegung des erwarteten Verlusts in Unsicherheit, Diskriminierung und Fehlabstimmung.
Lorenz- und Konzentrationskurven: Standardwerkzeuge zur Messung von Ungleichheit und Kalibrierung in versicherungsmathematischen Kontexten.
Stochastische Dominanz: Nutzung der stochastischen Dominanz dritten Grades und Eigenschaften der Murphy-Kurven zur Analyse der Vorhersagedominanz, wenn sich Kurven schneiden.

Hauptbeiträge und Ergebnisse

1. Eine neue Version der Murphy-Zerlegung
Die Autoren leiten eine neuartige Darstellung der Murphy-Zerlegung her, bei der die Terme für Fehlabstimmung und Diskriminierung nur vom Prädiktor und seinem bedingten Erwartungswert abhängen, nicht direkt von der Response $Y$ .

Fehlabstimmung ($MCB$): Definiert als $S_L(E[Y|X], X)$ , misst die Diskrepanz zwischen dem Prädiktor und seiner kalibrierten Version.
Diskriminierung ($DSC$): Definiert als $S_L(E[Y|X], E[Y])$ , misst die Diskrepanz zwischen dem kalibrierten Prädiktor und dem unbedingten Erwartungswert.
Bedeutung: Diese Formulierung bietet eine intuitivere geometrische Interpretation und Robustheit gegenüber Tail-Eigenschaften der Response, da die Response $Y$ in den Statistiken nicht mehr explizit erscheint, sobald der bedingte Erwartungswert etabliert ist.

2. Kritik an ABC und ABC2 (Maße für Fehlabstimmung)
Der Beitrag untersucht die ABC-Statistik (Fläche zwischen Lorenz- und Konzentrationskurve) und führt eine neue mittlere quadratische Version, ABC2, ein.

ABC-Einschränkungen: Die Autoren beweisen, dass $ABC=0$ eine notwendige, aber keine hinreichende Bedingung für die Mittelwertkalibrierung ist. Ein Prädiktor kann $ABC=0$ aufweisen und dennoch fehlabgestimmt sein (z. B. wenn sich Lorenz- und Konzentrationskurven schneiden).
Eigenschaften von ABC2: Es wird gezeigt, dass $ABC2=0$ eine notwendige und hinreichende Bedingung für die Mittelwertkalibrierung ist.
Theoretische Inkongruenz: Entscheidend ist, dass sowohl ABC als auch ABC2 auf prädiktorabhängigen Gewichten beruhen. Sie können nicht als erwarteter Verlust einer einzigen, festen Bregman-Divergenz dargestellt werden. Folglich stimmen sie nicht mit dem entscheidungstheoretischen Rahmen konsistenter Scoring-Regeln überein. Der Beitrag zeigt, dass die Minimierung gewichteter Bregman-Divergenzen mit prädiktorabhängigen Gewichten zu „unehrlichen" Vorhersagen führen kann, bei denen ein verzerrter Prädiktor einem unverzerrten vorgezogen wird.

3. Kritik am Gini-Koeffizienten (Maß für Diskriminierung)
Die Autoren setzen den Gini-Koeffizienten in Beziehung zum Diskriminierungsterm der Murphy-Zerlegung.

Zerlegung: Der Gini-Koeffizient erweist sich als Summe des Murphy-Diskriminierungsterms (basierend auf einer prädiktor-spezifischen Bregman-Divergenz) und eines Terms für die mittlere absolute Abweichung.
Theoretische Inkongruenz: Ähnlich wie ABC impliziert der Gini-Koeffizient eine Verlustfunktion, die von der Verteilung des Prädiktors selbst abhängt ( $H(\theta) = F_X(\theta)$ ). Wie von Hand (2009) für die Klassifikation angemerkt, bedeutet dies, dass der Gini-Koeffizient verschiedene Klassifikatoren mit unterschiedlichen Metriken bewertet, was dem Prinzip konsistenter Scoring-Regeln widerspricht.
Diskrepanzen bei der Rangfolge: Der Beitrag liefert Beispiele, bei denen die Rangfolge von Prädiktoren durch den Gini-Koeffizienten von der Rangfolge durch den Murphy-Diskriminierungsterm abweicht, insbesondere wenn sich Lorenz-Kurven schneiden.

4. Vorhersagedominanz bei sich schneidenden Kurven
In Anerkennung der Tatsache, dass nicht-schneidende Lorenz-Kurven (strikte Dominanz) in der Praxis selten sind, erweitern die Autoren die Theorie auf Fälle, in denen sich Kurven kreuzen.

Äquivalenz von Kreuzungen: Es wird bewiesen, dass für mittelwertkalibrierte Prädiktoren die Anzahl der Kreuzungspunkte zwischen Lorenz-Kurven identisch mit der Anzahl der Kreuzungspunkte zwischen Murphy-Kurven ist.
Einzel-Kreuzungs-Dominanz: Im Fall einer einzelnen Kreuzung etablieren die Autoren schwächere Dominanzkriterien für Unterklassen von Bregman-Divergenzen unter Verwendung der stochastischen Dominanz dritten Grades.
Rolle der Varianz: Im Gegensatz zum Gini-Koeffizienten, der im Fall einer einzelnen Kreuzung keine konsistente Rangfolge liefert, wird die Rangfolge durch die Varianz der Prädiktoren und die spezifische Klasse der Bregman-Divergenzen bestimmt (charakterisiert durch die Konvexitätseigenschaften der erzeugenden Funktion $\phi$ ). Insbesondere kann für bestimmte Klassen von Verlustfunktionen (z. B. Tweedie-Abweichungsverluste mit spezifischen Parametern) ein Prädiktor mit höherer Varianz einen mit niedrigerer Varianz dominieren oder umgekehrt, abhängig von der Krümmung der Verlustfunktion.

Bedeutung und Behauptungen
Der Beitrag argumentiert, dass Metriken wie ABC, ABC2 und der Gini-Koeffizient zwar in der Praxis informativ und populär sind, aber für die Modellauswahl und -evaluation im entscheidungstheoretischen Rahmen von Gneiting (2011) theoretisch fehlerhaft sind.

Unehrliche Evaluation: Da diese Metriken auf prädiktorabhängigen Gewichten beruhen, stellen sie keine konsistenten Scoring-Regeln dar. Sie können zur Auswahl suboptimaler oder „unehrlicher" Prädiktoren führen.
Empfehlung: Die Autoren plädieren für die Verwendung von Fehlabstimmungs- und Diskriminierungsstatistiken, die aus der Murphy-Zerlegung abgeleitet sind (basierend auf festen Bregman-Divergenzen), als bevorzugte Werkzeuge zur Evaluation von Punktvorhersagen. Diese Maße entsprechen der entscheidungstheoretischen Anforderung, dass die Verlustfunktion unabhängig vom spezifisch bewerteten Prädiktor sein sollte.
Praktische Implikation: Wenn sich Lorenz-Kurven schneiden, ist der Gini-Koeffizient unzureichend für die Rangfolge der Diskriminierung; stattdessen muss die spezifische Klasse der für die Anwendung relevanten Bregman-Divergenzen sowie die Varianzeigenschaften der Prädiktoren berücksichtigt werden.

Der Beitrag schließt, dass die neue Darstellung der Murphy-Zerlegung ein robustes, interpretierbares und theoretisch fundiertes Fundament für die Vorhersageevaluation bietet, das im Kontext konsistenter Scoring-Regeln traditionellen kurvenbasierten Metriken überlegen ist.