Résumé technique : Visualiser la distribution des métriques de la matrice de confusion

Énoncé du problème

La culture prédominante dans la modélisation algorithmique privilégie souvent l'optimisation de la performance prédictive sur des ensembles de données et des benchmarks spécifiques. Cette focalisation a conduit à une prolifération de la littérature débattant des mérites relatifs de diverses métriques de performance (par exemple, le coefficient de corrélation de Matthews vs le score F1 vs l'exactitude) pour déterminer quelle métrique est la « meilleure ». Cependant, cet article soutient que de tels débats négligent souvent une source fondamentale d'incertitude : la nature discrète des matrices de confusion empiriques dérivées de jeux de données finis.

Lorsque les classificateurs sont évalués sur des données de test limitées, les métriques de performance qui en résultent sont des estimations sujettes à une incertitude statistique significative. Cette incertitude est souvent éclipsée par les faibles différences de performance empirique entre des modèles concurrents. De plus, les visualisations standards (comme les courbes ROC) traitent souvent les taux comme des variables continues, occultant le fait que les matrices de confusion empiriques sont des comptes discrets. L'article postule que sans tenir compte de l'incertitude inhérente à ces comptes discrets, les affirmations concernant la supériorité d'un classificateur ou l'optimalité de métriques spécifiques sont souvent prématurées et potentiellement trompeuses.

Méthodologie

Les auteurs emploient une approche géométrique et probabiliste pour visualiser et quantifier l'incertitude des métriques de performance.

1. Représentation géométrique (Le simplex de confusion) :

   • L'article propose de représenter les matrices de confusion binaires (avec des éléments $a, b, c, d$ dont la somme est un total fixe $N$) comme des points dans un réseau isométrique tridimensionnel, nommé « simplex de confusion ».
   • Contrairement aux projections précédentes (par exemple, le tétraèdre de Chicco et al.) qui normalisent les comptes par $N$ et perdent l'information sur la taille de l'échantillon, cette projection préserve les comptes entiers, associant chaque matrice de confusion unique à un point unique dans $\mathbb{Q}^3$.
   • En découpant ce simplex 3D à des nombres fixes d'exemples positifs ($p$) et négatifs ($n$), les auteurs dérivent des réseaux rectangulaires 2D qui correspondent à l'espace des courbes ROC possibles pour une taille de jeu de données donnée.

2. Dérivation algébrique des contours :

   • Les auteurs dérivent des expressions algébriques exactes des contours (isolines) de diverses métriques de performance (à la fois dépendantes de la prévalence et indépendantes de la prévalence) à l'intérieur et au-delà de l'espace ROC standard.
   • Ces expressions permettent de visualiser la géométrie des métriques (par exemple, les contours du MCC comme des ellipses concentriques, les contours du F1 comme des lignes droites) en fonction du taux de vrais positifs (TPR) et du taux de vrais négatifs (TNR).

3. Modélisation probabiliste de l'incertitude :

   • Pour modéliser l'incertitude des prédictions futures étant donné une matrice de confusion observée, l'article utilise l'inférence bayésienne.
   • Modèle Binomial : Suppose que les taux de vrais positifs/négatifs sont fixés à leurs valeurs empiriques.
   • Modèle Bêta-Binomial : Incorpore l'incertitude a priori (en utilisant des priors uniformes non informatifs, $Beta(1,1)$) pour générer des distributions prédictives postérieures. Cette approche est plus conservatrice et reflète l'incertitude inhérente aux petits échantillons.
   • Les auteurs calculent les fonctions de masse de probabilité (pmf) exactes des distributions prédictives postérieures pour les matrices de confusion et, en les projetant à travers les contours de métriques, dérivent les pmf pour les métriques de performance (par exemple, MCC, exactitude équilibrée, F1).

4. Visualisation interactive :

   • La méthodologie est implémentée via des visualisations interactives utilisant Desmos et R. Ces outils permettent aux utilisateurs d'explorer comment la distribution des valeurs des métriques change avec la taille de l'échantillon, le déséquilibre des classes et le choix du modèle d'incertitude.

Principales contributions

• Recadrage du débat sur les métriques : L'article déplace l'attention de l'argumentation sur la métrique la plus « efficace » vers la compréhension de la manière dont l'incertitude des estimations de métriques provient de la nature discrète des matrices de confusion et des données limitées.
• Projection du simplex de confusion : Introduction d'une projection isométrique 3D qui préserve l'information sur la taille de l'échantillon, se distinguant ainsi des projections basées uniquement sur les rapports relatifs.
• Dérivations exactes des contours : Fourniture d'expressions algébriques pour les contours de nombreuses métriques de performance, révélant leur comportement géométrique (par exemple, comment l'excentricité des contours du MCC dépend du déséquilibre des classes).
• Distributions de métriques discrètes : L'article souligne que les métriques de performance, bien que souvent traitées comme continues, prennent des valeurs discrètes dans des contextes empiriques. L'article visualise les « sauts » et les distributions multimodales résultants des valeurs de métriques causés par l'alignement des points discrets de la ROC avec les contours de métriques.
• Quantification de l'incertitude : Calcul des pmf exactes des distributions prédictives postérieures pour les métriques sous des modèles bêta-binomiaux, montrant que l'incertitude peut être substantielle même lorsque les estimations ponctuelles semblent distinctes.

Résultats et observations

• Incertitude vs écarts de performance : Les visualisations démontrent que pour des jeux de données petits ou déséquilibrés, la distribution des valeurs de métriques possibles (l'incertitude) présente souvent un chevauchement significatif entre différents classificateurs. Par conséquent, la différence de performance empirique entre deux modèles peut être statistiquement indiscernable.
• Impact de la taille de l'échantillon : À mesure que le nombre total d'exemples ($N$) augmente, les distributions prédictives postérieures des métriques se rétrécissent (l'écart-type évolue selon $1/\sqrt{N}$), réduisant ainsi l'incertitude. Cependant, pour les classes rares, l'incertitude reste élevée à moins que le nombre absolu d'exemples pour cette classe ne soit suffisant.
• Géométrie des métriques :
  • MCC : Les contours forment des ellipses concentriques dont la forme dépend de la prévalence.
  • F1 et Threat Score : Les contours sont des lignes droites qui s'intersectent à l'extérieur de l'espace ROC, avec des pentes dépendant de la prévalence.
  • Exactitude (Accuracy) : Les contours sont des lignes parallèles.
• Effets de discrétisation : L'article souligne que l'ajout d'un seul exemple à un jeu de données peut modifier la multiplicité des points situés sur un contour de métrique spécifique, entraînant des changements non lisses dans les distributions des valeurs de métriques (par exemple, la distribution du MCC et de l'exactitude équilibrée devient plus lisse avec un exemple négatif supplémentaire, tandis que le F1 est moins affecté en raison de sa relation linéaire spécifique avec $p$ et $n$).
• Déséquilibre des classes : L'article précise que bien que des métriques « équilibrées » existent, elles ne réduisent pas intrinsèquement l'incertitude. L'incertitude est pilotée par l'abondance absolue des exemples, et non par le simple ratio d'équilibre.

Signification et affirmations

L'article affirme que sa principale importance réside dans la sensibilisation à l'incertitude substantielle inhérente aux estimations de métriques de performance dérivées de jeux de données empiriques.

• Tempérer les affirmations : Les auteurs soutiennent que les affirmations de performance (par exemple, « Le Modèle A est meilleur que le Modèle B » ou « La métrique X est la meilleure ») doivent être tempérées par une compréhension de l'incertitude des matrices de confusion sous-jacentes.
• Les données plutôt que les métriques : L'article affirme que la solution à une incertitude élevée n'est pas la sélection d'une « meilleure » métrique, mais la collecte de données plus représentatives. Aucune métrique ne peut réduire l'incertitude causée par des tailles d'échantillons finis.
• Utilité pratique : En fournissant des outils et des visualisations interactives, les auteurs visent à aider les praticiens à remettre en perspective les statistiques de performance empiriques, encourageant un focus sur la réduction de l'incertitude avant de s'engager dans des débats sur la supériorité ou le classement des métriques.
• Modestie : L'article précise explicitement qu'il ne traite pas de la transparence des modèles, de l'équité ou de la représentativité des données d'évaluation (l'hypothèse que les données futures proviennent du même processus que les données passées). Son champ d'application est strictement limité à l'incertitude statistique des métriques de performance compte tenu de jeux de données d'évaluation fixes.

En conclusion, l'article sert de ressource de mise en garde et d'éducation, exhortant la communauté à reconnaître que le « bruit » de l'incertitude statistique des matrices de confusion discrètes peut facilement éclipser le « signal » des différences de performance entre les classificateurs.