📊 statistics

Cooperative Variance Estimation and Bayesian Neural Networks for Disentangling Aleatoric and Epistemic Uncertainties

Ce papier propose un cadre d'entraînement coopératif qui intègre un réseau d'estimation de variance avec un réseau de neurones bayésien pour dissocier efficacement les incertitudes aléatoires et épistémiques tout en améliorant l'estimation de la moyenne sur des ensembles de données diversifiés.

Auteurs originaux : Jiaxiang Yi, Miguel A. Bessa

Publié 2026-05-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiaxiang Yi, Miguel A. Bessa

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de prévoir la météo. Vous disposez d'un modèle qui indique : « Demain, il fera 75 °F. » Mais à quel point ce modèle est-il certain ?

Dans le monde de l'IA, il existe deux raisons principales pour lesquelles un modèle pourrait être incertain :

Le problème des « données désordonnées » (incertitude aléatoire) : Le thermomètre est cassé, ou le vent souffle de manière erratique. Peu importe à quel point votre modèle est intelligent, vous ne pouvez pas prédire la température exacte car les données elles-mêmes sont bruyantes. C'est comme essayer de deviner le résultat exact du lancer d'un dé ; le bruit est inhérent au processus.
Le problème de « Je n'ai jamais vu cela auparavant » (incertitude épistémique) : Vous demandez à votre modèle de se prononcer sur un phénomène météorologique qu'il n'a jamais rencontré dans ses données d'entraînement. Le modèle est incertain parce qu'il manque de connaissances, et non parce que les données sont bruyantes. C'est comme demander à un chef qui ne cuisine que de la cuisine italienne de deviner le goût d'un plat issu d'une cuisine qu'il n'a jamais étudiée.

Le problème avec l'IA actuelle
La plupart des modèles d'IA ressemblent à des étudiants trop confiants. Ils vous donnent une seule réponse (la moyenne) mais agissent comme s'ils savaient tout. S'ils se trompent, ils ne vous le disent pas.

Certains modèles tentent d'admettre qu'ils sont incertains face aux « données désordonnées », mais ils se confondent et font souvent un surapprentissage (ils mémorisent le bruit), ce qui conduit à de mauvaises prédictions.
D'autres modèles (les réseaux de neurones bayésiens) tentent d'admettre qu'ils sont incertains quant à leur « manque de connaissances », mais ils sont incroyablement difficiles à entraîner et restent souvent bloqués dans une impasse mathématique.

Essayer d'entraîner un modèle à faire les deux choses en même temps, c'est comme demander à un étudiant de résoudre un problème de mathématiques tout en essayant simultanément de déterminer à quel point son crayon est sale. Les deux tâches s'affrontent, et le résultat est généralement un désordre.

La solution : une équipe coopérative (VeBNN)
Les auteurs de cet article proposent une nouvelle méthode pour entraîner l'IA appelée VeBNN (Réseau de neurones bayésien d'estimation de variance). Au lieu de forcer un seul modèle à tout faire à la fois, ils divisent le travail en trois étapes distinctes, comme un relais où chaque coureur se spécialise dans une portion.

Étape 1 : Le coureur « Moyenne »
D'abord, ils entraînent un modèle simple uniquement pour trouver la réponse moyenne (la moyenne). Ils font semblant que les données sont parfaitement propres pendant un instant. Cela leur fournit une prédiction de base solide sans se laisser distraire par le bruit.

Étape 2 : Le détective « Bruit »
Ensuite, ils prennent cette base solide et entraînent un deuxième modèle spécialisé uniquement pour examiner les erreurs commises par le premier modèle. Ce « Détective du Bruit » apprend à cartographier où les données sont désordonnées et où elles sont propres. Il apprend l'incertitude aléatoire (le bruit irréductible). Crucialement, il le fait sans essayer de modifier la prédiction moyenne, de sorte qu'il ne se confond pas.

Étape 3 : L'expert « Connaissances »
Enfin, ils entraînent un réseau de neurones bayésien complexe. C'est l'expert qui sait gérer les situations de « Je ne sais pas ». Mais voici l'astuce : ils donnent à cet expert la carte du « bruit » créée par le détective à l'étape 2. Parce que l'expert sait déjà exactement où les données sont désordonnées, il peut se concentrer entièrement sur la détermination de l'endroit où lui-même manque de connaissances. Cela lui permet de mesurer avec précision l'incertitude épistémique.

Pourquoi cela fonctionne (l'analogie)
Pensez-y comme à une équipe de médecins diagnostiquant un patient :

Le médecin A mesure la température et le rythme cardiaque du patient (la Moyenne).
Le médecin B examine l'historique du patient et note que le thermomètre est instable et que le patient transpire (le Bruit Aléatoire).
Le médecin C (l'expert bayésien) utilise les mesures de A et le contexte de B pour décider : « S'agit-il d'une maladie rare que je n'ai jamais vue ? » (L'Incertitude Épistémique).

Si vous demandez au médecin C de faire les trois tâches à la fois, il risque d'être submergé. Mais en les faisant travailler de manière coopérative et séquentielle, le diagnostic est beaucoup plus précis.

Ce qu'ils ont découvert
Les auteurs ont testé cette méthode sur divers ensembles de données, notamment :

Des problèmes mathématiques standards.
Des tâches de reconnaissance d'images.
Un ensemble de données spécial qu'ils ont créé en lien avec la science des matériaux (prédire comment le métal se déforme sous contrainte). Dans ce cas spécifique, ils connaissaient réellement la quantité exacte de bruit dans les données, ce qui leur a permis de prouver que leur méthode était correcte.

Les résultats

Meilleure précision : Les modèles ont prédit le résultat moyen mieux que les méthodes précédentes.
Désintrication réelle : Le modèle a réussi à séparer les « données désordonnées » du « manque de connaissances ». Dans les méthodes précédentes, ces deux incertitudes se mélangeaient souvent, rendant le modèle soit trop confiant, soit trop craintif.
Robustesse : La méthode a bien fonctionné même lorsque les données étaient rares ou lorsque le modèle était invité à prédire des choses en dehors de sa plage d'entraînement (extrapolation).

En résumé
Cet article introduit une stratégie de « diviser pour régner » pour l'incertitude de l'IA. En entraînant trois réseaux spécialisés dans un ordre spécifique, les auteurs ont créé un système capable de vous dire non seulement ce qui va se produire, mais aussi à quel point il est certain concernant le bruit des données par rapport à son propre manque de connaissances. C'est une manière plus simple et plus robuste de faire admettre à l'IA ce qu'elle ne sait pas.

Résumé Technique : Estimation Coopérative de la Variance et Réseaux de Neurones Bayésiens pour la Séparation des Incertitudes Aléatoire et Épistémique

Énoncé du Problème

Les données du monde réel contiennent intrinsèquement deux types distincts d'incertitude : l'incertitude aléatoire (bruit des données provenant de mesures imparfaites ou de processus de génération stochastiques) et l'incertitude épistémique (incertitude du modèle provenant de données limitées ou d'une capacité de modèle insuffisante). Bien que les réseaux d'estimation moyenne-variance (MVE) puissent apprendre l'incertitude aléatoire, ils souffrent souvent de surapprentissage et échouent à prédire l'incertitude épistémique. À l'inverse, les Réseaux de Neurones Bayésiens (BNN) peuvent prédire l'incertitude épistémique, mais sont notoirement difficiles à entraîner, en particulier lorsqu'il s'agit de modéliser simultanément un bruit aléatoire hétéroscédastique (dépendant de l'entrée).

Les approches existantes pour entraîner conjointement des réseaux MVE rencontrent souvent des défis d'optimisation. La fonction de perte de Négatif Log-Vraisemblance (NLL) utilisée pour l'entraînement conjoint crée un paysage non convexe avec des points de selle. Plus précisément, le gradient par rapport à la variance contient des termes d'ordre élevé dans le dénominateur, conduisant à des déséquilibres où le réseau peut soit surapprendre le bruit (poussant la variance vers zéro), soit échouer à converger (poussant la variance vers l'infini). De plus, les tentatives de séparation des incertitudes à l'aide de méthodes d'ensemble ou de MC-Dropout sur des réseaux MVE se sont révélées produire des résultats peu fiables, confondant souvent les deux types d'incertitude.

Méthodologie : VeBNN

Les auteurs proposent VeBNN (Variance estimation Bayesian Neural Network), une stratégie d'entraînement coopératif qui découple séquentiellement l'estimation de la moyenne, de l'incertitude aléatoire et de l'incertitude épistémique. La méthode procède en trois étapes distinctes :

Entraînement du Réseau de Moyenne (Étape 1) : Un réseau déterministe est entraîné pour estimer la moyenne ( $\mu$ ) en supposant une incertitude aléatoire constante (homoscédastique). Cela simplifie le paysage d'optimisation, permettant au réseau de trouver une estimation ponctuelle robuste de la moyenne sans l'interférence des gradients de variance.
Entraînement du Réseau d'Estimation de Variance (Étape 2) : Un réseau séparé est entraîné pour prédire l'incertitude aléatoire ( $\sigma^2_a$ ) basée sur les résidus de l'estimation de moyenne fixe de l'Étape 1. Crucialement, au lieu d'utiliser la perte NLL gaussienne standard (qui souffre de déséquilibres de gradient), les auteurs proposent de modéliser les résidus au carré à l'aide d'une distribution Gamma. Cela conduit à une perte NLL basée sur la Gamma où les gradients par rapport aux paramètres du réseau ne contiennent pas de termes d'ordre élevé dans le dénominateur, assurant une optimisation stable. La variance aléatoire est ensuite dérivée comme la valeur attendue de cette distribution Gamma.
Entraînement du Réseau de Neurones Bayésien (Étape 3) : Un BNN est entraîné avec un « démarrage à chaud » utilisant l'estimation de moyenne de l'Étape 1 et l'estimation de variance aléatoire fixe de l'Étape 2. Parce que le bruit aléatoire est maintenant traité comme une quantité connue et fixe durant cette phase, le BNN se concentre uniquement sur l'apprentissage de la distribution a posteriori des poids pour capturer l'incertitude épistémique.

La prédiction finale pour une nouvelle entrée $x'$ décompose l'incertitude totale en :

Moyenne Prédictive : L'espérance de la sortie du BNN.
Incertitude Aléatoire : L'estimation de variance fixe de l'Étape 2.
Incertitude Épistémique : La variance de la moyenne prédictive du BNN à travers la distribution a posteriori.

Les auteurs notent que le processus peut itérer entre les Étapes 2 et 3 pour affiner la séparation, bien que les résultats empiriques suggèrent que la convergence est souvent atteinte avec une seule itération ( $K=1$ ou $K=2$ ).

Contributions Clés

Stratégie d'Entraînement Coopératif : L'article introduit un cadre d'entraînement séquentiel qui évite les problèmes d'optimisation couplés inhérents à l'entraînement MVE conjoint. En séparant les tâches, la méthode atténue les problèmes de non-convexité et de déséquilibre de gradient associés à l'estimation conjointe moyenne-variance.
Vraisemblance Gamma pour l'Estimation de Variance : Les auteurs proposent d'utiliser une vraisemblance Gamma pour modéliser les résidus au carré pour l'estimation de variance. Cela évite l'instabilité numérique de la perte NLL gaussienne et fournit un problème d'optimisation convexe théoriquement fondé pour le réseau de variance.
Séparation Efficace : La méthode sépare avec succès les incertitudes aléatoire et épistémique, une tâche où de nombreuses méthodes existantes (y compris les ensembles profonds et le MC-Dropout appliqués aux MVE) échouent à fournir une séparation fiable.
Évolutivité et Implémentation : L'approche est simple à mettre en œuvre en utilisant des architectures standard (MLP, GRU, ResNet) et des méthodes d'inférence (pSGLD, Ensembles, BBB, MC-Dropout), démontrant que l'entraînement coopératif peut améliorer même des méthodes d'inférence « faibles » comme BBB.

Résultats Expérimentaux

Les auteurs ont évalué VeBNN sur cinq catégories de jeux de données :

Exemples illustratifs unidimensionnels : Ont démontré que VeBNN évite les prédictions de variance trop confiantes et la mauvaise estimation de la moyenne observées dans l'entraînement MVE conjoint, en particulier dans les régions d'extrapolation.
Jeux de données de régression UCI : VeBNN a systématiquement amélioré le Log-Vraisemblance de Test (TLL) et l'Erreur Quadratique Moyenne Racine (RMSE) à travers diverses méthodes d'inférence (Ensembles, MC-Dropout, BBB, pSGLD) par rapport à leurs homologues MVE conjoints. Notamment, VeBNN (BBB) a obtenu des performances compétitives, tandis que le MVE conjoint (BBB) échouait souvent à converger.
Régression d'images à grande échelle : Sous des changements de distribution réels, VeBNN (Ensembles) a atteint un TLL plus élevé et une meilleure couverture de test que les bases de référence, démontrant une capacité plus forte à gérer des données décalées.
Découverte de Lois de Plasticité des Matériaux (Vérité Terrain Connue) : En utilisant un jeu de données personnalisé où l'incertitude aléatoire de vérité terrain est connue (via plusieurs simulations physiques), VeBNN (pSGLD) a surpassé toutes les bases de référence en RMSE, distance de Wasserstein (mesurant la proximité de l'incertitude aléatoire estimée par rapport à la vérité terrain) et TLL Épistémique. La méthode a correctement identifié que l'incertitude aléatoire restait stable tandis que l'incertitude épistémique augmentait dans les régions hors distribution.
Jeu de données APPA-REAL : VeBNN a obtenu les meilleures performances sur toutes les métriques (RMSE, WA, TLL Épistémique) par rapport aux bases de référence MVE.

Des études d'ablation ont confirmé que la perte Gamma est supérieure à la NLL gaussienne ou à la $\beta$ -NLL pour le réseau de variance et que la méthode converge rapidement, nécessitant souvent une seule itération supplémentaire au-delà de l'entraînement initial.

Importance et Revendications

L'article revendique que la stratégie d'entraînement coopératif proposée offre une solution robuste, efficace et évolutive pour la quantification de l'incertitude dans l'apprentissage profond. En découplant l'estimation des incertitudes aléatoire et épistémique, la méthode surmonte les obstacles d'optimisation qui ont limité l'adoption généralisée de la régression bayésienne hétéroscédastique.

Les auteurs soulignent que, bien que l'entraînement des BNN reste plus difficile que celui des réseaux déterministes, leur approche facilite ce processus en fournissant un démarrage à chaud de haute qualité (la moyenne) et une estimation fixe du bruit aléatoire. Ils affirment que cette méthode est particulièrement précieuse pour les applications critiques pour la sécurité où la distinction entre l'incertitude réductible (épistémique) et l'incertitude irréductible (aléatoire) est essentielle pour l'apprentissage actif et la prise de décision sensible au risque. L'article conclut que VeBNN est une alternative pratique et implémentable aux méthodes actuelles de l'état de l'art, capable d'améliorer l'estimation de la moyenne et la séparation des incertitudes à travers diverses architectures de modèles et techniques d'inférence.