📊 statistics

Subjective Risk Decomposition: A New View for Uncertainty Quantification

Cet article propose un nouveau cadre pour la quantification de l'incertitude où les mesures d'incertitude épistémique et aléatoire sont dérivées comme des conséquences de la décomposition d'un risque subjectif basé sur une perte strictement propre, unifiant ainsi les métriques existantes et établissant un fondement pour une approche de la quantification de l'incertitude basée sur la théorie de l'apprentissage.

Auteurs originaux : Raghad Alamri, Michele Caprio, Gavin Brown

Publié 2026-07-17

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Raghad Alamri, Michele Caprio, Gavin Brown

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Mystère de la Boule de Cristal

Imaginez que vous essayiez de prédire l'avenir. Peut-être essayez-vous de deviner le score d'un match de football, la météo de demain, ou ce qu'un ami dira ensuite. Dans le monde de l'informatique, plus précisément dans un domaine appelé Apprentissage Automatique (Machine Learning), nous construisons des « boules de cristal » numériques (des modèles) pour faire ces suppositions. Mais voici la partie délicate : un modèle peut être confiant et pourtant se tromper. C'est pourquoi les scientifiques se soucient profondément de la Quantification de l'Incertitude. Il ne s'agit pas seulement de donner la bonne réponse ; il s'agit de savoir à quel point le modèle est sûr de lui.

Pour comprendre cet article, nous devons connaître deux principaux types de « ne pas savoir ». Premièrement, il y a l'incertitude aléatoire (Aleatoric uncertainty). Voyez cela comme le bruit dans le système — les choses que vous ne pouvez tout simplement pas contrôler, comme une rafale de vent soudaine qui change la trajectoire d'un ballon de football. C'est le désordre « irréductible » du monde réel. Deuxièmement, il y a l'incertitude épistémique (Epistemic uncertainty). C'est le genre de « je ne sais pas ce que je ne sais pas ». C'est l'incertitude qui provient du modèle lui-même, peut-être parce qu'il n'a pas vu assez de données ou qu'il est confus par les règles. Pendant longtemps, les scientifiques se sont disputés farouchement sur la manière de mesurer ces deux types d'incertitude, en essayant d'écrire des règles strictes (axiomes) pour les définir.

La Grande Idée de l'Article : Arrêtez de Discuter, Commencez à Décomposer

Cet article, intitulé « Subjective Risk Decomposition », suggère que toute cette dispute passe peut-être à côté de l'essentiel. Les auteurs, Raghad Alamri, Michele Caprio et Gavin Brown, proposent une nouvelle façon de voir le problème. Au lieu d'essayer de définir l'incertitude comme un objet mystérieux et autonome, ils suggèrent que l'incertitude est en réalité simplement une conséquence de la manière dont nous choisissons d'évaluer nos modèles.

Imaginez que vous êtes un enseignant corrigeant la dissertation d'un élève. Vous avez une grille d'évaluation spécifique (un ensemble de règles) pour attribuer les points. Si vous changez la grille, la note change, même si la dissertation reste la même. Les auteurs soutiennent que « l'incertitude » est comme cette note. Ce n'est pas un nombre magique flottant dans l'air ; c'est le résultat d'un calcul spécifique basé sur une « grille » spécifique (qu'ils appellent une perte strictement propre ou strictly proper loss).

L'article introduit le concept de Risque Subjectif. En termes simples, il s'agit de demander : « Si le modèle croit que le monde est d'une certaine manière, à quel point serait-ce grave si le vrai monde s'avérait différent ? » Les auteurs montrent que si vous prenez ce « Risque Subjectif » et que vous le décomposez, les morceaux que vous obtenez sont exactement les différents types d'incertitude que les scientifiques essaient de définir depuis des années.

Comment le Tour de Magie Fonctionne

Les auteurs utilisent un outil mathématique appelé divergence de Bregman (voyez cela comme une sorte de règle spéciale qui mesure la distance entre deux façons différentes de voir le monde). Lorsqu'ils appliquent cette règle au « Risque Subjectif », elle se divise naturellement en trois parties distinctes :

Le Biais (L'Erreur Systématique) : C'est la partie où la croyance moyenne du modèle est tout simplement fausse par rapport à la réalité. C'est comme une boussole qui pointe toujours légèrement vers le nord au lieu du vrai nord. L'article soutient que ce n'est pas de l'« incertitude » telle que nous l'entendons habituellement ; c'est juste une erreur dans l'ancrage du modèle.
La Variance (La Partie Épistémique) : C'est la partie « je suis confus ». Elle mesure à quel point les prédictions du modèle varient lorsqu'il voit des données légèrement différentes. Si le modèle est un étudiant nerveux et agité qui donne une réponse différente chaque fois que vous lui demandez, ce chiffre est élevé. Les auteurs montrent que des mesures célèbres comme l'Information Mutuelle (un terme mathématique complexe pour désigner la quantité d'informations que l'état interne du modèle nous donne sur sa prédiction) sont simplement des versions spéciales de cette variance.
L'Entropie (La Partie Aléatoire) : C'est la partie « bruit ». C'est le caractère aléatoire inhérent à la situation que aucune quantité de données ne peut corriger. C'est la « rafale de vent » dans notre analogie du football.

Pourquoi Cela Change Tout

L'article suggère que toutes les différentes formules que les scientifiques ont inventées au fil des ans ne sont pas réellement des ennemies en compétition. Elles sont simplement des saveurs différentes d'une même recette sous-jacente.

La Méthode « Gal » : Une façon célèbre de mesurer l'incertitude (par un chercheur nommé Gal) utilise un type spécifique de mathématiques appelé « log-loss ». Les auteurs montrent que si vous utilisez cette perte spécifique, votre décomposition donne naturellement la célèbre formule de l'« Information Mutuelle ».
La Méthode « Sale » : Un autre groupe de chercheurs utilise une mathématique différente (perte au carré ou squared loss). Les auteurs montrent que si vous utilisez cette perte, vous obtenez une formule différente (basée sur la variance), qui est également valide, mais pour un type de problème différent.

L'article argumente explicitement contre l'idée que nous ayons besoin d'écrire de nouvelles règles (axiomes) pour décider quelle mesure d'incertitude est « correcte ». Au lieu de cela, ils disent que la mesure « correcte » est simplement celle qui ressort naturellement de la fonction de perte spécifique que vous avez choisie pour votre problème. Si vous choisissez une perte qui se concentre sur la recherche de mode (mode-seeking, se focaliser sur le résultat le plus probable), vous obtenez un type d'incertitude. Si vous choisissez une perte qui se concentre sur la recherche de moyenne (mean-seeking, moyenner l'ensemble), vous en obtenez un autre.

Le Lien avec la Théorie de l'Apprentissage

Les auteurs vont plus loin et relient cette idée à la Théorie de l'Apprentissage Statistique, qui est la mathématique derrière la façon dont les machines apprennent à partir des données. Ils introduisent de nouveaux termes comme « Écart d'Approximation Subjective » et « Erreur d'Estimation Subjective ».

Ils découvrent que l'« Incertitude Épistémique » (la partie réductible) est en fait un mélange de deux choses :

À quel point le modèle est en désaccord avec lui-même (la partie variance/Information Mutuelle).
À quel point le modèle est limité par le type spécifique de modèle qu'il est (l'écart d'approximation).

C'est une intuition cruciale. Cela suggère que lorsque nous disons qu'un modèle a une « haute incertitude épistémique », nous mélangeons peut-être deux problèmes différents : le modèle est simplement confus (variance), ou le modèle est le mauvais genre d'outil pour la tâche (approximation). L'article suggère que la célèbre mesure de l'« Information Mutuelle » ne capture que la première partie (la confusion) et pourrait sous-estimer l'incertitude totale « réductible » car elle ignore la seconde partie.

L'Essentiel à Retenir

En bref, cet article n'invente pas une nouvelle façon de calculer l'incertitude. Au lieu de cela, il fournit une carte unifiée. Il nous dit que les nombreuses cartes que nous avons utilisées sont toutes correctes, mais qu'elles regardent simplement la même montagne sous des angles différents.

Les auteurs suggèrent que nous devrions cesser de traiter l'incertitude comme un objet mystérieux et primitf qui doit être défini à partir de zéro. Au lieu de cela, nous devrions regarder le Risque Subjectif — le coût de se tromper selon nos propres croyances — et le décomposer. Les morceaux que nous trouvons sont les mesures d'incertitude que nous avons cherchées pendant tout ce temps. C'est un passage de « Qu'est-ce que l'incertitude ? » à « Comment avons-nous choisi de la mesurer ? ».

L'article précise avec prudence qu'il s'agit d'un cadre théorique. Il explique pourquoi différentes mesures existent et comment elles sont liées, mais il ne prétend pas avoir résolu tous les problèmes pratiques du domaine. C'est une nouvelle lentille qui rend le paysage existant beaucoup plus clair, suggérant que les désaccords dans le domaine sont souvent de simples différences dans les « règles » (fonctions de perte) que les gens utilisent, plutôt que des contradictions dans la nature même de l'incertitude.

Résumé technique : Décomposition de l'incertitude subjective : Une nouvelle perspective pour la quantification de l'incertitude

Énoncé du problème
Le domaine de la quantification de l'incertitude (UQ - Uncertainty Quantification) souffre actuellement d'une prolifération de définitions concurrentes pour l'incertitude aléatoire (irréductible) et épistémique (réductible). Bien que des cadres comme celui de Gal (2016) fournissent des décompositions informationnelles influentes, la littérature contient de nombreuses mesures alternatives motivées par différentes hypothèses de modélisation et domaines d'application. Cela a mené à des débats concernant les fondements axiomatiques des termes de l'UQ et sur la pertinence même de la dichotomie aléatoire/épistémique. Les approches existantes traitent souvent les mesures d'incertitude comme des objets primitifs nécessitant une justification indépendante, ou reposent sur des stratégies de « toutes les combinaisons » qui génèrent des mesures candidates sans expliquer pourquoi des mesures spécifiques se comportent différemment ou laquelle est appropriée pour un scénario donné.

Méthodologie
Les auteurs proposent un cadre unifié où les mesures d'incertitude ne sont pas des primitives mais des conséquences de décisions de modélisation de plus haut niveau, spécifiquement le choix d'une fonction de perte strictement propre et l'évaluation du risque.

Le risque subjectif comme fondement : Le papier adopte la notion décisionnelle de risque subjectif (Savage, 1971), défini comme l'espérance de la perte d'un modèle $q$ évaluée par rapport à une distribution vraie $p$ , mais où l'espérance est prise sur les propres croyances du modèle ( $q$ ) plutôt que sur le véritable processus générateur de données ( $p$ ). Formellement, pour une perte $\ell$ strictement propre, le risque subjectif est $R_q(p) = \mathbb{E}_{\hat{Y} \sim q}[\ell(p, \hat{Y})]$ .
- Contrairement au risque objectif ( $\mathbb{E}_{Y \sim p}[\ell(q, Y)]$ ), qui répond à « à quel point le modèle est-il correct ? », le risque subjectif répond à « à quel point le modèle est-il réaliste ? » en pénalisant le modèle pour avoir assigné une masse à des résultats que la distribution réelle juge peu plausibles.
- Cette formulation utilise l'argument inverse de la perte (évaluer $p$ sous $q$ ), ce qui correspond à l'entropie croisée inverse ou à la divergence KL inverse dans le cas de la perte logarithmique (log-loss).
Décomposition via les divergences de Bregman : En exploitant les propriétés des pertes strictement propres, les auteurs montrent que l'espérance du risque subjectif admet une décomposition biais-variance inverse.
- L'espérance du risque subjectif se décompose en trois termes :
  $\mathbb{E}_\theta [R_{q_\theta}(p)] = \underbrace{B_\phi(\bar{q}, p)}_{\text{Biais}} + \underbrace{\mathbb{E}_\theta [B_\phi(q_\theta, \bar{q})]}_{\text{Variance}} + \underbrace{\mathbb{E}_\theta [H_\ell(q_\theta)]}_{\text{Entropie généralisée}}$
- Ici, $\bar{q}$ est le centroïde de Bregman à droite (le mélange des distributions prédictives), $B_\phi$ est la divergence de Bregman induite par la perte, et $H_\ell$ est l'entropie généralisée.
- Le terme de Variance est identifié comme la mesure de l'incertitude épistémique, et le terme d'Entropie généralisée est identifié comme l'incertitude aléatoire.
Extension à la théorie de l'apprentissage : Les auteurs étendent ce cadre à la théorie statistique de l'apprentissage en définissant des analogues subjectifs des concepts standards :
- Risque subjectif excédentaire : La différence entre l'espérance du risque subjectif d'un modèle et celle du meilleur modèle de la classe.
- Écart d'approximation subjectif : L'erreur due au fait que la classe d'hypothèses ne contient pas le meilleur modèle subjectif (analogue à l'erreur d'approximation).
- Erreur d'estimation subjective : L'erreur due aux données finies et à l'incertitude des paramètres (analogue à l'erreur d'estimation).

Contributions clés et résultats

Unification des mesures existantes : Le papier démontre que de nombreuses mesures existantes sont des cas particuliers de cette décomposition, dérivés en choisissant des fonctions de perte et des classes d'hypothèses spécifiques :
- Mesures informationnelles (Gal, 2016) : En utilisant la perte logarithmique sur des distributions catégorielles, la décomposition retrouve l'incertitude épistémique de Gal comme étant l'information mutuelle $I(\hat{Y}; \Theta)$ (la variance de Bregman) et l'incertitude aléatoire comme l'entropie conditionnelle $H(\hat{Y}|\Theta)$ .
- Régression Gaussienne : Pour les modèles gaussiens avec moyenne et variance inconnues, le cadre retrouve les termes d'entropie différentielle et d'information mutuelle utilisés dans l'UQ de régression.
- Incertitude par étiquette : L'utilisation de la perte d'erreur quadratique (score de Brier) sur des distributions de Bernoulli permet de retrouver les mesures d'incertitude « par étiquette » proposées par Sale et al. (2024).
Explication de la divergence : Le cadre explique pourquoi différentes mesures (par exemple, celles basées sur l'entropie vs celles basées sur la variance) se comportent différemment. Ces différences ne sont pas des contradictions mais des conséquences de la géométrie de la fonction de perte. Les pertes ayant une courbure élevée près de la frontière du simplexe de probabilité (comme la perte logarithmique) sont plus sensibles aux « hallucinations » (assigner une masse à des événements peu plausibles) que les pertes ayant des géométries plus plates (comme la perte quadratique).
Insights de la théorie de l'apprentissage :
- Les auteurs montrent que l'information mutuelle (la mesure d'incertitude épistémique de Gal) est une sous-estimation systématique de la véritable erreur d'estimation subjective. L'information mutuelle capture uniquement la composante de variance (désaccord des postulats) mais ignore l'erreur supplémentaire induite par la restriction des prédictions à une classe d'hypothèses spécifique.
- Ils établissent des conditions sous lesquelles le « meilleur modèle de la classe » pour le risque objectif coïncide avec celui du risque subjectif, liant l'optimalité du modèle par rapport à la réalité à l'optimalité par rapport aux croyances internes.
Analyse des variantes épistémiques : Le papier analyse diverses propositions d'incertitude épistémique (par exemple, la KL appariée attendue, l'information mutuelle inverse) et montre comment elles se rapportent aux composantes symétriques et asymétriques de la décomposition de l'information mutuelle.

Signification et affirmations
Le papier affirme fournir une « nouvelle perspective » pour la quantification de l'incertitude en déplaçant la perspective de la définition d'axiomes pour des primitives d'incertitude vers leur dérivation comme conséquences de choix de modélisation.

Fondement théorique : Les auteurs soutiennent que les mesures d'incertitude n'ont pas besoin d'être débattues comme des primitives indépendantes. Au contraire, elles sont naturellement induites une fois qu'une perte strictement propre et un scénario de modélisation sont fixés. Cela fournit un fondement théorique commun à des mesures disparates dans la littérature.
Pont entre l'UQ et la théorie de l'apprentissage : En introduisant des analogues subjectifs du risque excédentaire, de l'erreur d'approximation et de l'erreur d'estimation, le papier pose les jalons d'un cadre complet de l'UQ basé sur la théorie de l'apprentissage. Il clarifie la relation entre l'incertitude épistémique et les notions standards de l'erreur d'estimation.
Implication pratique : L'approche suggère une nouvelle méthodologie pour les praticiens : étant donné un scénario de modélisation spécifique et une fonction de perte strictement propre choisie, les termes épistémiques et aléatoires correspondants sont automatiquement induits par la décomposition du risque, éliminant ainsi le besoin de choisir entre des définitions ad hoc concurrentes.

Les auteurs positionnent ce travail comme une première étape vers un cadre complet, soulignant qu'il unifie les propositions existantes plutôt que de proposer une seule « meilleure » mesure, et mettent en évidence le rôle de la géométrie de la perte dans la détermination du comportement de la quantification de l'incertitude.