🤖 machine learning

A Tale of Two Variances: When Single-Seed Benchmarks Fail in Bayesian Deep Learning

Cette étude démontre que rapporter une moyenne unique pour les métriques d'évaluation en apprentissage profond bayésien est trompeur, car la variance de ces mesures peut présenter des pics d'instabilité imprévisibles selon la méthode utilisée, rendant les évaluations sur une seule graine (single-seed) peu fiables.

Auteurs originaux : Qishi Zhan, Minxuan Hu, Liang He, Guansu Wang, Jiaxin Liu

Publié 2026-04-28

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Qishi Zhan, Minxuan Hu, Liang He, Guansu Wang, Jiaxin Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le "Score Unique" est un menteur

Imaginez que vous testez un nouveau chef cuisinier. Pour savoir s'il est bon, vous lui demandez de préparer un plat et vous lui donnez une note de 1 à 10. Il obtient un 8/10. Vous vous dites : « Super, ce chef est un 8/10 ! ».

Mais voilà le piège : ce 8/10 a été obtenu un mardi matin, alors que le chef était un peu fatigué et que les ingrédients n'étaient pas parfaits. Si vous l'aviez testé le mercredi, il aurait peut-être eu un 4/10, et le jeudi un 9/10.

En intelligence artificielle (plus précisément en "Deep Learning Bayésien"), les chercheurs font souvent la même erreur. Ils entraînent un modèle une seule fois, regardent son score final, et disent : « Voilà la performance de ce modèle ». Le problème, c'est que ce score est comme la note du chef : il peut varier énormément d'un essai à l'autre à cause du hasard.

La Découverte : Les "Montagnes Russes" de l'incertitude

Cette étude a découvert que pour certains types d'IA, la fiabilité ne suit pas une ligne droite et rassurante.

D'habitude, on s'attend à ce que plus on donne de données à une IA, plus elle devient stable (comme un apprenti qui devient un expert avec l'expérience). On s'attend à ce que l'erreur diminue de façon régulière.

Mais les chercheurs ont remarqué des "pics de chaos".

Imaginez un randonneur qui monte une montagne. Normalement, le chemin est une pente douce vers le sommet. Mais pour certains modèles (ceux qu'ils appellent "Directs"), le chemin ressemble à des montagnes russes : le randonneur monte, puis soudain, il se retrouve coincé dans une vallée de pur chaos où il perd totalement ses repères, avant de remonter plus tard.

Ce que cela signifie concrètement : À un certain stade de son apprentissage (quand il a un nombre précis de données), l'IA devient extrêmement instable. Si vous ne faites qu'un seul test à ce moment-là, vous pourriez tomber sur un résultat exceptionnellement bon ou catastrophique. Votre "score unique" ne veut alors plus rien dire du tout !

Pourquoi cela arrive-t-il ? (La métaphore du GPS)

Les chercheurs pensent que la cause vient de la "recette" mathématique utilisée pour apprendre à l'IA à gérer son incertitude.

C'est comme si vous donniez un GPS à un conducteur, mais que ce GPS, lorsqu'il est un peu perdu, commençait à crier des directions contradictoires pour essayer de compenser. Au lieu d'aider le conducteur à se stabiliser, cela crée une panique qui l'enfonce encore plus dans l'erreur. C'est ce qu'ils appellent l'instabilité de l'objectif "hétéroscédastique".

Les solutions : Comment ne plus se faire piéger ?

Les auteurs proposent trois conseils pour les scientifiques :

Arrêtez de donner une seule note : Ne dites pas seulement « Mon IA a eu 8/10 ». Dites aussi : « En moyenne, elle a 8/10, mais ses notes varient énormément entre 2 et 10 ».
Surveillez les zones de danger : Si vous voyez que l'IA traverse une zone de grande instabilité (le "pic de chaos"), ne vous contentez pas d'un seul test. Faites-en 50 ou 100 pour être sûr de la vraie moyenne.
Changez la recette : Ils ont testé une nouvelle formule mathématique (appelée $\beta$ -NLL) qui agit comme un GPS plus calme. Même quand l'IA est perdue, cette formule l'empêche de paniquer, ce qui rend l'apprentissage beaucoup plus régulier et prévisible.

En résumé

Cette étude nous dit que la performance d'une IA n'est pas un chiffre fixe, mais une cible mouvante. Si on ne fait pas attention, on risque de prendre une "chance insolente" ou une "malchance totale" pour une vérité scientifique.

Résumé Technique : "A Tale of Two Variances"

Problématique : L'illusion de la stabilité des benchmarks

Dans le domaine de l'apprentissage profond bayésien (Bayesian Deep Learning - BDL), les performances des modèles sont généralement rapportées via une valeur unique (une moyenne) d'une métrique d'évaluation, telle que le CRPS (Continuous Ranked Probability Score), sur un ensemble de test.

Les auteurs soutiennent que cette pratique est fallacieuse, particulièrement dans les contextes de données limitées (limited-data settings). Dans ces situations, la métrique rapportée n'est pas une propriété stable de la méthode, mais une variable aléatoire issue d'un pipeline d'entraînement et d'évaluation stochastique. Le problème central est de savoir quand un rapport basé sur une seule graine (single-seed) devient un estimateur non fiable de la performance réelle attendue d'une méthode.

Méthodologie

Les auteurs ont mené une étude rigoureuse sur six jeux de données de régression (synthétiques et réels) en utilisant 50 répétitions indépendantes pour chaque taille d'échantillon d'entraînement ( $n$ ).

Analyse de la trajectoire de variance : Ils étudient comment la variance du CRPS évolue en fonction de la taille du jeu de données $n$ . Ils modélisent cette évolution via une loi de puissance : $\text{Var}[\text{CRPS}_n] \approx Cn^{-\alpha}$ .
Classification des méthodes : Ils distinguent deux familles de méthodes :
- Méthodes à paramétrage direct : Celles qui apprennent la variance via une tête de sortie hétéroscédastique (ex: MAP, Deep Ensembles).
- Méthodes à incertitude implicite : Celles qui obtiennent l'incertitude par échantillonnage stochastique sans tête de variance dédiée (ex: MC Dropout, Bayes by Backprop).
Métriques de fiabilité : Pour quantifier l'erreur d'estimation d'une seule graine, ils utilisent l'RMSE relative et la probabilité que le résultat d'une seule exécution tombe dans un intervalle de $\pm 10\%$ de la moyenne des répétitions.
Intervention par $\beta$ -NLL : Pour tester l'origine de l'instabilité, ils remplacent l'objectif standard de log-vraisemblance négative (NLL) par une version modifiée ( $\beta$ -NLL) afin de voir si cela régularise la variance.

Contributions Clés

Identification de "pics de variance" : Découverte que certaines méthodes présentent des pics de variance locaux et reproductibles à des tailles d'échantillon intermédiaires, contrairement à une décroissance monotone attendue.
Diagnostic de fiabilité à deux niveaux :
- Niveau méthode : Utilisation de la qualité de l'ajustement à la loi de puissance ( $R^2$ ) et de la monotonie pour résumer la régularité globale.
- Niveau taille d'entraînement : Utilisation de la variance locale comme signal direct du risque d'erreur d'estimation.
Lien avec l'objectif d'optimisation : Preuve que l'instabilité des méthodes directes est liée à l'objectif de NLL hétéroscédastique standard.

Résultats Principaux

Divergence des familles de méthodes : Les méthodes implicites (MCD, BBB) montrent une contraction de variance lisse et monotone. En revanche, les méthodes directes (MAP, Ensembles) présentent des pics de variance massifs sur les données réelles.
Échec critique de l'estimation : Sur le jeu de données Seoul Bike, au pic de variance, l'RMSE relative d'une estimation MAP à graine unique atteint 93,6%, et la probabilité d'être proche de la moyenne réelle tombe à seulement 5,9%.
Corrélation de diagnostic : La variance locale du CRPS est un prédicteur extrêmement fiable de l'erreur d'estimation (corrélation de Spearman $> 0,96$ sur tous les jeux de données réels).
Efficacité de la $\beta$ -NLL : L'utilisation de la $\beta$ -NLL réduit considérablement l'instabilité, transformant les trajectoires irrégulières en trajectoires de contraction lisses et monotones (ex: $R^2$ passant de 0,158 à 0,950 sur Kin8nm pour MAP).

Signification et Implications Pratiques

L'étude démontre que les tableaux de benchmarks actuels peuvent masquer des erreurs de mesure massives. Les implications pour les chercheurs sont triples :

Rapport de stabilité : Les publications ne devraient pas seulement rapporter la moyenne finale, mais aussi des résumés de trajectoire ( $R^2$ , monotonie).
Évaluation ciblée : Au lieu de répéter les expériences uniformément, les praticiens devraient concentrer leurs répétitions là où la variance locale est la plus élevée.
Optimisation : Pour les méthodes apprenant la variance, l'adoption de la $\beta$ -NLL est une intervention simple et efficace pour stabiliser les performances et la fiabilité des benchmarks.