📊 statistics

Measures of predictive accuracy, miscalibration and discrimination

Ce papier critique les mesures de précision prédictive largement utilisées, telles que les scores ABC et Gini, pour leur incohérence avec les fonctions de perte compatibles avec la moyenne, et propose à la place une nouvelle décomposition de Murphy et des métriques basées sur la courbe de Lorenz afin de garantir une évaluation honnête des modèles et une analyse robuste de la dominance des prévisions.

Auteurs originaux : Łukasz Delong, Mario Wüthrich

Publié 2026-05-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Łukasz Delong, Mario Wüthrich

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un entraîneur cherchant à sélectionner le meilleur prévisionniste météorologique pour votre ville. Vous avez deux candidats, Alice et Bob. Ils vous fournissent tous deux un chiffre chaque jour pour prédire la température. Comment décidez-vous qui est le meilleur ?

Ce papier est comparable à un manuel de règles pour l'entraîneur, rédigé par les statisticiens Lukasz Delong et Mario Wüthrich. Il soutient que la méthode habituelle pour évaluer ces prévisionnistes est souvent défectueuse, et propose une meilleure façon, plus honnête, de le faire.

Voici la décomposition de leurs découvertes à l'aide d'analogies simples :

1. La Règle d'Or : La Cohérence

L'article commence par une règle fondamentale : Vous devez évaluer un prévisionniste en utilisant la même « règle » que celle utilisée pour le former.

Si vous voulez que vos prévisionnistes prédisent la température moyenne, vous devez les juger en fonction de leur proximité avec cette moyenne. Si vous utilisez une règle différente (comme une qui les pénalise pour être trop hauts mais les ignore s'ils sont trop bas), vous risquez de choisir un vainqueur qui est en réalité terrible pour prédire la moyenne. Les auteurs affirment que nous devrions utiliser des « fonctions de perte cohérentes » (spécifiquement appelées divergences de Bregman). Imaginez cela comme une balance parfaitement calibrée qui ne mesure le poids avec précision que si vous pesez la bonne chose.

2. Les Deux Défauts d'une Prédiction

Les auteurs décomposent la performance d'une prédiction en deux parties, en utilisant un concept appelé Décomposition de Murphy. Imaginez qu'une prédiction soit un lancer de fléchette vers une cible.

Mauvaise Calibration (Le Visé) : Cela mesure si le prévisionniste est « honnête ». Si un prévisionniste dit « Il fera 70 degrés », est-ce que cela s'avère être 70 degrés en moyenne ? S'ils sont constamment décalés (par exemple, ils disent toujours 70, mais c'est en réalité 65), ils sont « mal calibrés ».
Discrimination (La Dispersion) : Cela mesure si le prévisionniste est « utile ». Si un prévisionniste dit simplement « Il fera 70 degrés » tous les jours, il pourrait être parfaitement calibré (si la moyenne est de 70), mais il est inutile car il ne vous dit pas quand il fera chaud ou froid. Un bon prévisionniste doit varier ses prédictions pour s'adapter au temps changeant.

3. Le Problème des Outils Populaires (Les Scores « ABC » et « Gini »)

Dans le monde réel (surtout en assurance et en finance), les gens adorent utiliser deux outils spécifiques pour juger les prévisionnistes :

Le Score ABC : Il examine l'aire entre deux courbes (courbes de Lorenz et de Concentration). C'est comme regarder un graphique pour voir à quel point les prédictions des prévisionnistes « oscillent » par rapport à la vérité.
L'Indice de Gini : C'est une statistique célèbre utilisée pour mesurer les inégalités (comme la richesse). Ici, il est utilisé pour voir à quel point les prédictions d'un prévisionniste varient.

Le Grand Avertissement de l'Article :
Les auteurs prouvent que ces outils populaires sont des juges « malhonnêtes ».

Le Problème de la « Règle Mobile » : Les scores ABC et Gini changent de règles selon la personne qu'ils jugent. C'est comme un arbitre dans un match de football qui changerait la taille des buts en fonction de l'équipe qui joue. Si vous utilisez ces scores pour choisir le meilleur prévisionniste, vous risquez de sélectionner celui qui correspond simplement aux règles changeantes de l'arbitre, et non celui qui est réellement le meilleur.
Le Piège du « Zéro » : Les auteurs montrent que le score ABC peut être nul (parfaitement plat) même si le prévisionniste ment (est mal calibré). C'est comme un compteur de vitesse qui indique « 0 km/h » même lorsque la voiture roule en marche arrière. Le nouveau score ABC2 corrige ce piège spécifique, mais il souffre toujours du problème de la « Règle Mobile ».

La Solution : Tenez-vous aux mesures de la Décomposition de Murphy. Elles utilisent la « règle cohérente » (divergence de Bregman) et ne changent pas de règles en fonction du prévisionniste. Elles offrent une comparaison équitable et honnête.

4. Quand les Courbes se Croisent (Le Déboucheur de Match)

Habituellement, nous comparons les prévisionnistes en examinant leurs courbes. Si une courbe est toujours au-dessus de l'autre, il est facile de dire qui est meilleur. Mais dans la vie réelle, les courbes se croisent souvent (comme deux coureurs échangeant leur position pendant une course).

L'Ancienne Vue : Si les courbes se croisent, nous ne pouvions pas facilement dire qui était le meilleur.
La Nouvelle Vue : Les auteurs montrent que lorsque ces courbes se croisent, elles se croisent le même nombre de fois que les « courbes de Murphy » (les graphiques techniques utilisés pour la règle cohérente).
La Nouvelle Règle : Si les courbes se croisent exactement une fois, nous pouvons toujours prendre une décision équitable, mais nous devons être plus précis. Nous ne pouvons pas simplement dire « Le prévisionniste A est meilleur ». Nous devons dire : « Le prévisionniste A est meilleur si nous nous soucions davantage des grandes tempêtes (forte variance) », ou « Le prévisionniste B est meilleur si nous nous soucions davantage des petites bruines ».

Ils prouvent que dans ces scénarios de croisement, la Variance (à quel point les prédictions sautent autour) devient le facteur décisif, et non l'indice de Gini.

Résumé : Que Devriez-vous Faire ?

Si vous évaluez des prédictions (comme la météo, les risques d'assurance ou les cours boursiers) :

Ne vous fiez pas au score ABC ou à l'indice de Gini pour désigner le vainqueur. Ils sont comme des arbitres biaisés qui changent les règles en cours de match.
Utilisez la Décomposition de Murphy. Elle décompose le score en « Honnêteté » (Mauvaise Calibration) et « Utilité » (Discrimination) en utilisant une règle cohérente et immuable.
Si les graphiques se croisent, ne paniquez pas. Examinez la variance et le type spécifique d'erreur qui vous importe. L'article vous offre un nouveau moyen, mathématiquement solide, de décider qui gagne même lorsque la course est serrée.

En bref : Arrêtez d'utiliser les métriques populaires et flashy qui trichent. Utilisez les métriques honnêtes et cohérentes qui mesurent réellement ce que vous prétendez mesurer.

Résumé technique : Mesures de précision prédictive, de désétalonnage et de discrimination

Énoncé du problème
L'article traite de l'évaluation de prédicteurs ponctuels à valeurs réelles pour la moyenne d'une variable de réponse $Y$ . Dans le cadre décisionnel établi par Gneiting (2011), l'évaluation des prévisions ponctuelles repose sur des fonctions de perte cohérentes, spécifiquement les divergences de Bregman, où la prévision optimale est la moyenne conditionnelle. Bien que le critère principal d'évaluation soit l'espérance de perte (précision), les bonnes prédictions doivent également présenter un étalonnage moyen (le prédicteur est égal à la moyenne conditionnelle) et une discrimination élevée (le prédicteur varie significativement par rapport à la moyenne inconditionnelle).

Les auteurs identifient un vide dans la littérature concernant des métriques pratiques largement utilisées : l'aire entre les courbes de concentration et de Lorenz (ABC) pour le désétalonnage, l'indice de Gini pour la discrimination, et leurs variantes au carré. Bien que ces métriques soient populaires en actuariat et en apprentissage automatique, leur alignement théorique avec l'exigence décisionnelle des règles de notation cohérentes reste flou. Plus précisément, il est inconnu si ces métriques fournissent des évaluations « honnêtes » qui ne dépendent pas du prédicteur spécifique étant évalué.

Méthodologie
L'étude opère dans un cadre décisionnel où $(Y, X)$ est une paire aléatoire, $X$ est un prédicteur $\mathcal{A}$ -mesurable, et $L$ est une fonction de perte cohérente pour la moyenne. Les auteurs utilisent :

Divergences de Bregman : Caractérisées par des fonctions convexes $\phi$ ou comme intégrales de divergences de Bregman élémentaires $L_\theta$ par rapport à une mesure $H$ .
Décomposition de Murphy : Une décomposition de l'espérance de perte en composantes d'incertitude, de discrimination et de désétalonnage.
Courbes de Lorenz et de concentration : Outils standards pour mesurer l'inégalité et l'étalonnage dans les contextes actuariels.
Dominance stochastique : Utilisation de la dominance stochastique du troisième degré et des propriétés des courbes de Murphy pour analyser la dominance des prévisions lorsque les courbes s'intersectent.

Contributions et résultats clés

1. Une nouvelle version de la décomposition de Murphy
Les auteurs dérivent une représentation novatrice de la décomposition de Murphy où les termes de désétalonnage et de discrimination dépendent uniquement du prédicteur et de son espérance conditionnelle, et non directement de la réponse $Y$ .

Désétalonnage ($MCB$) : Défini comme $S_L(E[Y|X], X)$ , mesurant l'écart entre le prédicteur et sa version étalonnée.
Discrimination ($DSC$) : Définie comme $S_L(E[Y|X], E[Y])$ , mesurant l'écart entre le prédicteur étalonné et la moyenne inconditionnelle.
Signification : Cette formulation offre une interprétation géométrique plus intuitive et une robustesse face aux propriétés de queue de la réponse, car la réponse $Y$ n'apparaît pas explicitement dans les statistiques une fois la moyenne conditionnelle établie.

2. Critique de l'ABC et de l'ABC2 (mesures de désétalonnage)
L'article examine la statistique ABC (aire entre les courbes de Lorenz et de concentration) et introduit une nouvelle version au carré moyen, l'ABC2.

Limites de l'ABC : Les auteurs prouvent que $ABC=0$ est une condition nécessaire mais non suffisante pour l'étalonnage moyen. Un prédicteur peut avoir $ABC=0$ tout en étant désétalonné (par exemple, lorsque les courbes de Lorenz et de concentration s'intersectent).
Propriétés de l'ABC2 : Il est démontré que $ABC2=0$ est une condition nécessaire et suffisante pour l'étalonnage moyen.
Désalignement théorique : Crucialement, il est démontré que l'ABC et l'ABC2 reposent tous deux sur des poids dépendants du prédicteur. Ils ne peuvent pas être représentés comme l'espérance de perte d'une seule divergence de Bregman fixe. Par conséquent, ils ne s'alignent pas avec le cadre décisionnel des règles de notation cohérentes. L'article démontre que la minimisation de divergences de Bregman pondérées avec des poids dépendants du prédicteur peut conduire à des prédictions « malhonnêtes », où un prédicteur biaisé est préféré à un prédicteur non biaisé.

3. Critique de l'indice de Gini (mesure de discrimination)
Les auteurs relient l'indice de Gini au terme de discrimination issu de la décomposition de Murphy.

Décomposition : Il est démontré que l'indice de Gini est la somme du terme de discrimination de Murphy (basé sur une divergence de Bregman spécifique au prédicteur) et d'un terme de déviation absolue moyenne.
Désalignement théorique : À l'instar de l'ABC, l'indice de Gini implique une fonction de perte qui dépend de la distribution du prédicteur lui-même ( $H(\theta) = F_X(\theta)$ ). Comme noté par Hand (2009) pour la classification, cela signifie que l'indice de Gini évalue différents classifieurs en utilisant des métriques différentes, violant le principe des règles de notation cohérentes.
Discrépances de classement : L'article fournit des exemples où le classement des prédicteurs par l'indice de Gini diffère du classement par le terme de discrimination de Murphy, en particulier lorsque les courbes de Lorenz s'intersectent.

4. Dominance des prévisions avec courbes s'intersectant
Reconnaissant que les courbes de Lorenz non s'intersectantes (dominance stricte) sont rares en pratique, les auteurs étendent la théorie aux cas où les courbes se croisent.

Équivalence des croisements : Il est prouvé que pour les prédicteurs étalonnés en moyenne, le nombre de points de croisement entre les courbes de Lorenz est identique au nombre de points de croisement entre les courbes de Murphy.
Dominance à croisement unique : Dans le cas d'un croisement unique, les auteurs établissent des critères de dominance plus faibles pour des sous-classes de divergences de Bregman en utilisant la dominance stochastique du troisième degré.
Rôle de la variance : Contrairement à l'indice de Gini, qui échoue à fournir un classement cohérent dans le cas d'un croisement unique, le classement est déterminé par la variance des prédicteurs et la classe spécifique de divergences de Bregman (caractérisée par les propriétés de convexité de la fonction génératrice $\phi$ ). Plus précisément, pour certaines classes de fonctions de perte (par exemple, les pertes de déviance de Tweedie avec des paramètres spécifiques), un prédicteur avec une variance plus élevée peut dominer un prédicteur avec une variance plus faible, ou vice versa, selon la courbure de la fonction de perte.

Signification et revendications
L'article soutient que, bien que des métriques comme l'ABC, l'ABC2 et l'indice de Gini soient informatives et populaires en pratique, elles sont théoriquement défectueuses pour la sélection et l'évaluation de modèles dans le cadre décisionnel de Gneiting (2011).

Évaluation malhonnête : Parce que ces métriques reposent sur des poids dépendants du prédicteur, elles ne constituent pas des règles de notation cohérentes. Elles peuvent conduire à la sélection de prédicteurs sous-optimaux ou « malhonnêtes ».
Recommandation : Les auteurs préconisent l'utilisation de statistiques de désétalonnage et de discrimination dérivées de la décomposition de Murphy (basées sur des divergences de Bregman fixes) comme outils privilégiés pour l'évaluation des prévisions ponctuelles. Ces mesures s'alignent sur l'exigence décisionnelle que la fonction de perte doit être indépendante du prédicteur spécifique étant évalué.
Implication pratique : Lorsque les courbes de Lorenz s'intersectent, l'indice de Gini est insuffisant pour classer la discrimination ; il faut plutôt considérer la classe spécifique de divergences de Bregman pertinente pour l'application et les propriétés de variance des prédicteurs.

L'article conclut que la nouvelle représentation de la décomposition de Murphy offre une base robuste, interprétable et théoriquement solide pour l'évaluation des prévisions, supérieure aux métriques traditionnelles basées sur les courbes dans le contexte de la notation cohérente.