📊 statistics

Beyond Point Estimates: Distributional Uncertainty in Machine Learning Performance Evaluation

Ce papier plaide en faveur d'une perspective distributionnelle dans l'évaluation de l'apprentissage automatique en traitant les métriques de performance comme des variables aléatoires et en analysant leurs distributions empiriques par le biais de quantiles et d'intervalles de confiance, démontrant qu'une inférence statistique significative sur la variabilité des modèles est réalisable même avec de petits échantillons pour soutenir des comparaisons de modèles plus orientées vers le risque et plus différenciées.

Auteurs originaux : Christoph Lehmann, Yahor Paromau

Publié 2026-05-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Christoph Lehmann, Yahor Paromau

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef essayant de perfectionner une nouvelle recette. Dans le monde de l'apprentissage automatique (ML), la « recette » est le modèle, et le « test de dégustation » est la métrique de performance (comme la précision ou le taux d'erreur).

L'Ancienne Méthode : Le Test de Dégustation Unique
Traditionnellement, lorsque les chefs (ou les data scientists) évaluent une recette, ils la cuisent une fois, la goûtent et disent : « Cette soupe vaut 9 sur 10. » Ils traitent ce chiffre unique comme une vérité absolue.

Mais voici le problème : la cuisine n'est pas parfaitement prévisible. Si vous changez l'ordre dans lequel vous ajoutez les ingrédients, utilisez un lot d'épices légèrement différent, ou remuez la casserole à une vitesse différente, la soupe peut avoir un goût légèrement différent à chaque fois. En ML, ces « ingrédients » sont des éléments tels que la façon dont les données sont divisées, la manière dont l'ordinateur démarre ses calculs, ou comment il ajuste ses paramètres.

L'ancienne méthode ignore cela. Elle suppose qu'un seul test de dégustation représente l'ensemble de la marmite de soupe.

La Nouvelle Méthode : La « Distribution des Saveurs »
Ce papier propose une nouvelle façon de penser : au lieu de demander « Quel est le score ? », demandez « À quoi ressemble la plage des scores ? »

Imaginez qu'au lieu de goûter la soupe une fois, vous la cuisiez 20 fois avec de légères variations aléatoires dans votre technique. Vous obtenez 20 scores de goût différents.

Certains pourraient être de 8,5.
Certains pourraient être de 9,2.
L'un pourrait être un décevant 7,0.

Le papier suggère que nous ne devrions pas simplement moyenner ces scores pour obtenir un « 9,0 ». Au lieu de cela, nous devrions examiner la distribution (la dispersion) de ces 20 scores. Cela nous donne une image beaucoup plus claire de la fiabilité.

Concepts Clés Expliqués par des Analogies

1. Les Scénarios « Pire Cas » et « Meilleur Cas » (Quantiles)
Au lieu de simplement connaître la moyenne, cette méthode examine les bords de la distribution.

L'Analogie : Pensez à une prévision météorologique. Une prévision standard pourrait dire : « Il fera 24 °C (75 °F). » Mais une prévision distributionnelle dit : « Il fera probablement entre 21 °C et 27 °C (70 °F et 80 °F), mais il y a 10 % de chances que cela descende à 18 °C (65 °F). »
Dans le Papier : Ils examinent des points spécifiques de la dispersion, appelés quantiles.
- Le 90e percentile pourrait vous dire : « Dans 90 % des cas, notre modèle fonctionne au moins aussi bien que cela. »
- Le 10e percentile pourrait vous dire : « Dans 10 % des cas, le modèle fonctionne moins bien que cela. »
- Ceci est crucial pour le « risque ». Si vous construisez une voiture autonome, vous ne vous souciez pas seulement de la vitesse moyenne ; vous vous souciez du scénario du pire cas (la queue de la distribution).

2. L'« Intervalle de Confiance » (Le Filet de Sécurité)
Puisque nous ne pouvons pas cuisiner la soupe 1 000 fois (cela prend trop de temps et d'argent), nous ne la cuisinons généralement que quelques fois (disons 10 à 25 fois). Parce que l'échantillon est petit, notre estimation du scénario du « pire cas » peut être incertaine.

L'Analogie : Imaginez que vous devinez la hauteur d'un arbre en le regardant de loin. Vous pourriez deviner « 15 mètres ». Mais parce que vous êtes loin, vous n'êtes pas sûr à 100 %. Alors, vous dites : « Je suis assez sûr qu'il mesure entre 13,5 et 16,5 mètres (45 et 55 pieds). » Cette plage (13,5–16,5 mètres) est votre Intervalle de Confiance.
Dans le Papier : Les auteurs montrent que même avec un petit nombre de « sessions de cuisson » (10–25), nous pouvons calculer ces filets de sécurité. Ils ont constaté que si les intervalles deviennent plus larges (moins précis) lorsque l'on regarde les queues extrêmes (les cas très pires ou très meilleurs), ils restent utiles pour la zone intermédiaire.

3. Le Défi du « Petit Échantillon »
Le papier reconnaît une contrainte majeure : exécuter un modèle d'apprentissage automatique 1 000 fois est coûteux et lent. La plupart des gens ne peuvent se permettre de l'exécuter que 10 à 25 fois.

La Découverte : Les auteurs ont lancé des simulations massives (cuisant la soupe 1 000 fois dans une simulation informatique) pour voir à quoi ressemblait la « vraie » distribution. Ensuite, ils ont pris de petites tranches de 10, 15 ou 25 exécutions et ont essayé de deviner l'image globale.
Le Résultat : Même avec seulement 15 ou 20 exécutions, vous pouvez obtenir une idée étonnamment bonne de la stabilité du modèle. Vous pouvez dire si un modèle est « constant » (tous les scores sont proches les uns des autres) ou « instable » (les scores sautent sauvagement).

Pourquoi Cela Compte (Selon le Papier)
Le papier soutient que regarder la dispersion des résultats est mieux que de regarder une seule moyenne.

Deux Modèles, Même Moyenne : Imaginez que le Modèle A et le Modèle B ont tous deux une précision moyenne de 87 %.
- Le Modèle A est constant : Il obtient toujours un score entre 86 % et 88 %.
- Le Modèle B est sauvage : Il obtient parfois 95 %, mais d'autres fois il chute à 70 %.
L'Ancienne Méthode : Dirait : « Ils sont identiques. »
La Nouvelle Méthode : Dirait : « Le Modèle A est plus sûr. Le Modèle B est risqué à cause de sa large dispersion. »

Résumé
Ce papier est un guide pour passer de « Quel est le score ? » à « Quelle est la fiabilité du score ? » Il nous apprend à traiter les résultats de l'apprentissage automatique non pas comme des nombres fixes, mais comme un nuage de possibilités. En utilisant des outils statistiques pour cartographier ce nuage (même avec des données limitées), nous pouvons prendre des décisions plus intelligentes et plus sûres sur les modèles à faire confiance, en particulier dans des situations où l'échec n'est pas une option.

Les auteurs fournissent des méthodes pratiques pour le faire sans avoir besoin d'hypothèses mathématiques complexes, en faisant un outil qui peut être utilisé dès maintenant par les ingénieurs et les scientifiques.

Résumé technique : Au-delà des estimations ponctuelles : incertitude distributionnelle dans l'évaluation des performances en apprentissage automatique

Énoncé du problème

Les modèles d'apprentissage automatique (AA) sont traditionnellement évalués à l'aide d'estimations ponctuelles de métriques de performance (par exemple, précision, score F1, erreur quadratique moyenne). Cette approche traite la performance comme une valeur fixe, échouant à capturer la variabilité inhérente induite par les éléments stochastiques du processus d'entraînement, tels que la division des données, l'initialisation des poids et l'optimisation des hyperparamètres. Bien que ces facteurs soient souvent reconnus comme des « facteurs de confusion », ils sont généralement analysés de manière non systématique, avec un objectif principal axé sur l'obtention d'une seule valeur de métrique optimale.

L'article soutient que l'entraînement en AA doit être considéré comme une expérience scientifique où la Métrique Cible d'Intérêt (TMoI) est une variable aléatoire conditionnelle à ces facteurs de confusion. Cependant, des contraintes pratiques limitent souvent le nombre de runs d'entraînement répétés (taille de l'échantillon $n$ ) à des plages petites ou moyennes (par exemple, $n \approx 10\text{--}25$ ) en raison des coûts de calcul. Par conséquent, il existe un vide dans la compréhension de la manière d'effectuer une inférence statistique significative sur la distribution de performance sous-jacente étant donné ces tailles d'échantillon limitées, en particulier pour les quantiles de queue qui sont critiques pour les applications axées sur le risque (par exemple, médecine, banque).

Méthodologie

Le travail propose une perspective distributionnelle où les métriques de performance sont traitées comme des quantités aléatoires. La méthodologie se concentre sur l'estimation des quantiles et de leurs intervalles de confiance (IC) correspondants en utilisant des statistiques fréquentistes.

Cadre statistique

L'étude suppose un échantillon indépendant et identiquement distribué (i.i.d.) de valeurs TMoI dérivées de runs d'entraînement contrôlés par des graines. Elle évalue deux tâches statistiques principales :

Estimation ponctuelle des quantiles : L'article compare deux estimateurs :
- Quantile empirique ( $\hat{Q}$ ) : Basé sur les statistiques d'ordre (fonction en escalier).
- Quantile interpolé linéairement ( $\hat{Q}_L$ ) : Un estimateur plus lisse utilisant l'interpolation linéaire des statistiques d'ordre.
Estimation par intervalle (Intervalles de confiance) : Trois approches non paramétriques sont investiguées pour construire des IC pour les quantiles, parallèlement à l'intervalle $t$ $t$ standard pour la moyenne utilisé comme référence :
- IC non paramétriques exacts : Basés sur les statistiques d'ordre et la distribution binomiale. Ils sont libres de distribution mais nécessitent des tailles d'échantillon minimales spécifiques pour exister à un niveau de confiance donné.
- IC non paramétriques asymptotiques : Basés sur la normalité asymptotique des quantiles empiriques. Ils présentent également des exigences de taille d'échantillon minimale, en particulier pour les quantiles extrêmes.
- IC par bootstrap semi-paramétrique : Utilise un estimateur de quantile semi-paramétrique (Hut02) qui extrapole vers les queues en utilisant une fonction de quantile. Cette approche évite les hypothèses paramétriques strictes tout en abordant l'instabilité du bootstrap standard pour les quantiles proches des queues.

Conception expérimentale

La méthodologie est validée par deux voies principales :

Cas d'utilisation sur données réelles : Trois tâches d'AA ont été analysées :
- Personnages des Simpson : Classification d'images (20 classes).
- CIFAR10 : Classification d'images (10 classes).
- Supraconducteurs : Régression (prédiction de la température critique).
  Pour chacun, environ 500 à 1 000 répétitions contrôlées par des graines ont été effectuées pour générer des distributions empiriques de « vérité terrain ». À partir de celles-ci, de plus petits sous-échantillons ( $n=10, 15, 25, 50$ ) ont été tirés pour simuler des contraintes réalistes et tester la performance des estimateurs.
Études de simulation : Des simulations contrôlées ont été menées en utilisant des distributions à support borné (pertinentes pour des métriques comme la précision) et des formes variables (Beta asymétrique à gauche, normale et mélange de normales) pour valider la robustesse des méthodes dans des conditions théoriques connues.

Résultats clés

Estimation ponctuelle

Biais et RMSE : Le quantile empirique et l'estimateur interpolé linéairement présentent tous deux un faible biais relatif (maximum $\approx 1\%$ ) et une erreur quadratique moyenne (RMSE) comparable.
Forme de la distribution : L'estimation est plus fiable pour les quantiles centraux (autour de 0,5) et devient plus difficile pour les quantiles de queue (par exemple, 0,05, 0,95).
Choix de l'estimateur : Il n'y a pas de différence pratique substantielle entre le quantile empirique et l'estimateur interpolé linéairement pour les tailles d'échantillon et les distributions testées.

Estimation par intervalle

Couverture et taille de l'échantillon :
- Pour des tailles d'échantillon allant jusqu'à $n=25$ , un niveau de confiance de 0,90 est recommandé. Des niveaux de confiance plus élevés (par exemple, 0,95 ou 0,99) entraînent des intervalles excessivement longs qui réduisent la précision, en particulier pour les petites valeurs de $n$ .
- IC exacts et asymptotiques : Ces méthodes fonctionnent bien lorsque les exigences de taille d'échantillon sont satisfaites. Cependant, elles échouent souvent à produire des intervalles valides pour les quantiles extrêmes avec de petites tailles d'échantillon (par exemple, $n=10$ ).
- IC par bootstrap : Le bootstrap semi-paramétrique offre une alternative pratique lorsque d'autres méthodes sont invalides en raison de contraintes de taille d'échantillon. Bien qu'ils puissent présenter une couverture empirique légèrement inférieure (chutant à $\approx 0,85$ pour $n=10$ ) et des intervalles plus longs, ils restent applicables là où les méthodes exactes/asymptotiques ne peuvent pas être calculées.
Asymétrie : L'incertitude d'estimation est asymétrique ; les quantiles inférieurs nécessitent généralement des tailles d'échantillon plus grandes que les quantiles supérieurs pour le même niveau de confiance. Cela peut être atténué en transformant la métrique (par exemple, en utilisant $-X$ pour la précision) pour déplacer le quantile d'intérêt vers la queue supérieure.
Comparaison avec la moyenne : L'intervalle $t$ pour la moyenne produit systématiquement des intervalles plus courts avec une grande stabilité. Cependant, l'article note que, bien que la moyenne soit stable, elle échoue à capturer le comportement des queues et le risque. Les IC de quantiles proposés, bien que plus larges, fournissent les informations nécessaires sur la variabilité et les scénarios de pire cas.
Impact distributionnel : L'asymétrie et la multimodalité de la distribution sous-jacente affectent significativement la longueur de l'intervalle. Par exemple, dans les distributions asymétriques, les quantiles de la longue queue présentent une incertitude plus élevée et des IC plus longs.

Importance et revendications

L'article prétend combler le fossé entre la théorie statistique et la pratique de l'AA en fournissant un cadre pour une évaluation distributionnelle qui est réalisable dans des contraintes de calcul réalistes.

Interprétation axée sur le risque : La contribution principale est de permettre une vision axée sur le risque de la performance du modèle. Au lieu de se fier aux moyennes, les praticiens peuvent formuler des affirmations probabilistes (par exemple, « la précision tombe en dessous de 90 % dans au plus 10 % des cas ») étayées par des intervalles de confiance.
Faisabilité avec de petits échantillons : L'étude démontre qu'une inférence statistique significative est possible même avec de petites tailles d'échantillon ( $n \approx 10\text{--}25$ ), ce qui est courant en AA en raison du coût élevé des entraînements répétés.
Applicabilité pratique : Les méthodes proposées (en particulier l'IC asymptotique non paramétrique et le bootstrap semi-paramétrique) sont libres de distribution, faciles à mettre en œuvre et applicables aux métriques de classification et de régression.
Comparaison différenciée des modèles : L'approche permet une comparaison plus nuancée des modèles. Deux modèles peuvent avoir une performance moyenne similaire, mais leurs intervalles de confiance peuvent révéler des différences de stabilité et de variabilité que les estimations ponctuelles manquent.

Les auteurs concluent que, bien que les estimations ponctuelles standard soient insuffisantes pour les applications à haut risque, l'évaluation distributionnelle proposée offre une extension pratique aux flux de travail standard de l'AA, offrant une caractérisation plus détaillée de l'incertitude sans nécessiter d'hypothèses paramétriques.