🤖 machine learning

On the QUEST for Uncertainty Quantification via Highest Density Regions

Cet article introduit QUEST, un nouveau cadre de quantification de l'incertitude qui caractérise l'incertitude via le volume des régions de plus haute densité, offrant une alternative théoriquement fondée aux règles de score appropriées qui satisfait des axiomes clés tels que la monotonicité et l'invariance tout en surpassant les mesures standards dans les tests de référence de prédiction sélective.

Auteurs originaux : Sam Goring, Tom Kuipers, Nicola Paoletti, David S. Watson

Publié 2026-06-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sam Goring, Tom Kuipers, Nicola Paoletti, David S. Watson

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de prédire la météo. Vous avez un modèle qui dit : « Il pleuvra demain. » Mais à quel point le modèle est-il sûr de lui ? Est-il sûr à 99 % ou ne fait-il que deviner ? Dans le monde de l'apprentissage automatique (machine learning), cette question du « à quel point est-on sûr » est appelée Quantification de l'Incertitude (UQ - Uncertainty Quantification).

Pendant longtemps, les scientifiques ont utilisé des outils standards pour mesurer cette incertitude, un peu comme si l'on utilisait une règle pour tout mesurer. Mais les auteurs de ce papier, Sam Goring et son équipe, soutiennent que parfois, une règle n'est pas le bon outil. Si vous essayez de mesurer la « mollesse » d'une méduse avec une règle, vous obtenez un chiffre bizarre qui ne vous dit pas vraiment ce qu'est la méduse.

Voici une décomposition simple de leur nouvelle idée, QUEST, en utilisant des analogies de la vie quotidienne.

Le Problème : La « Règle » ne fonctionne pas toujours

La plupart des méthodes actuelles mesurent l'incertitude en regardant la moyenne (la moyenne) et la façon dont les choses s'écartent de cette moyenne (la variance).

L'Analogie : Imaginez que vous regardez une foule de personnes.
- Scénario A (Normal) : Tout le monde se tient dans un cercle serré et ordonné. La moyenne est juste au milieu, et tout le monde est proche d'elle. L'« incertitude » est faible.
- Scénario B (Asymétrique/Skewed) : La plupart des gens sont dans un cercle serré, mais une personne géante se tient à 10 kilomètres de là. La « position moyenne » de la foule est maintenant tirée très loin vers ce géant.
- Scénario C (Bimodal) : La moitié de la foule est dans un cercle à gauche, et l'autre moitié est dans un cercle à droite, avec un immense vide au milieu.

Les anciennes méthodes (comme la variance) s'embrouillent ici. Dans le Scénario B, le géant fait paraître l'« écart » énorme, donc l'ordinateur pense que l'incertitude est massive, même si 99 % des gens sont en réalité très prévisibles. Dans le Scénario C, les anciennes méthodes pourraient dire que l'incertitude est élevée parce que la foule est divisée, mais elles pourraient aussi accidentellement attribuer une probabilité élevée au vide central, ce qui est impossible.

Le papier soutient que lorsque nous voulons trouver le résultat le plus probable (le « mode » ou le sommet de la foule), ces anciens outils donnent des réponses trompeuses.

La Solution : QUEST (La méthode de la « Lampe de poche »)

Les auteurs proposent un nouveau cadre appelé QUEST (Quantifying Uncertainty via highest dEnSiTy regions — Quantification de l'incertitude via les régions de plus haute densité).

Au lieu de mesurer toute l'étendue à partir de la moyenne, QUEST pose une question différente : « Quel espace devons-nous couvrir pour attraper les 90 % les plus probables de la foule ? »

L'Analogie : Imaginez que vous avez une lampe de poche qui ne peut éclairer que les parties les plus brillantes d'une pièce (les zones où il y a le plus de monde).
- Faible Incertitude : Si la foule est un regroupement serré, votre lampe de poche n'a besoin que d'un tout petit cercle pour capturer 90 % d'entre eux. Le « volume » de la lumière est petit.
- Haute Incertitude : Si la foule est dispersée sur un immense champ, votre lampe de poche doit être massive pour capturer 90 % d'entre eux. Le « volume » de la lumière est énorme.

QUEST mesure la taille (le volume) de ce faisceau de la lampe de poche.

Petit Volume = Haute confiance (la foule est regroupée).
Grand Volume = Faible confiance (la foule est éparpillée).

Cela fonctionne parfaitement pour les formes étranges. Si la foule est divisée en deux groupes (Scénario C), la lampe de poche éclaire simplement les deux groupes séparément. Elle ne gaspille pas de lumière dans le vide du milieu. Cela donne une réponse beaucoup plus honnête sur l'incertitude réelle de la prédiction.

Les Trois Types d'Incertitude

Le papier divise l'incertitude en trois catégories, et QUEST mesure toutes les deux :

Incertitude Aléatoire (Le « Bruit ») : C'est le caractère aléatoire naturel du monde. Même si vous connaissiez tout sur le modèle, la météo pourrait rester imprévisible. QUEST mesure cela en regardant la « compacité » de la foule réelle.
Incertitude Épistémique (L'« Ignorance ») : C'est l'incertitude due au fait que le modèle n'en sait pas encore assez. C'est comme un étudiant qui n'a pas étudié. QUEST mesure cela en regardant à quel point les croyances du modèle sont dispersées. Si le modèle devine de manière sauvage, la « lampe de poche » est immense. Si le modèle est confiant, la lampe de poche est petite.
Incertitude Totale : C'est la combinaison des deux. QUEST combine le bruit naturel et l'ignorance du modèle en un seul score.

Pourquoi cela importe (Les « Axiomes »)

Les auteurs n'ont pas seulement inventé une idée sympa ; ils ont prouvé qu'elle suit un ensemble de règles logiques (axiomes) que toute bonne mesure d'incertitude devrait suivre.

Règle 1 : Si vous éparpillez davantage la foule, l'incertitude devrait augmenter. (QUEST réussit ce test ; les anciennes méthodes échouent parfois).
Règle 2 : Si vous déplacez simplement la foule vers un autre endroit sans l'éparpiller, l'incertitude devrait rester la même. (QUEST réussit ce test ; les anciennes méthodes s'embrouillent parfois).
Règle 3 : La mesure ne doit jamais être négative. (QUEST réussit ce test ; certains anciens outils mathématiques peuvent donner des nombres négatifs, ce qui n'a aucun sens pour une « incertitude »).

Les Résultats

L'équipe a testé QUEST par rapport aux anciennes méthodes (variance et entropie) en utilisant des simulations informatiques avec des formes de données complexes (foules asymétriques, foules divisées).

Le Résultat : QUEST était meilleur pour identifier les prédictions les plus fiables. Lorsque les chercheurs ont demandé à l'ordinateur de ne faire des prédictions que sur les points de données les « plus certains », QUEST les a aidés à éviter les erreurs bien mieux que les anciennes méthodes, surtout lorsque les données étaient étranges ou comportaient des valeurs aberrantes.

Résumé

En bref, le papier dit : Arrêtez de mesurer l'incertitude par la distance entre la moyenne et les bords. Commencez à la mesurer par l'espace dont vous avez besoin pour couvrir les choses les « plus probables ».

C'est comme passer de la mesure de la distance entre les deux extrémités d'un tas de linge mal rangé (qui change radicalement si l'on ajoute une chaussette) à la mesure de la taille du panier nécessaire pour contenir les 90 % de vêtements les plus propres et les mieux pliés. C'est une façon plus robuste, logique et « honnête » de savoir à quel point vous pouvez faire confiance aux prédictions de votre IA.

Résumé technique : QUEST pour la quantification de l'incertitude via les régions de plus haute densité

1. Énoncé du problème

La quantification de l'incertitude (UQ) est cruciale pour une prise de décision fiable dans l'apprentissage automatique probabiliste critique pour la sécurité. Bien que les mesures basées sur l'entropie soient la norme pour la classification, l'UQ en régression s'est largement appuyée sur les règles de score appropriées (PSR), qui opérationnalisent l'incertitude comme le risque prédictif ponctuel d'un modèle par rapport à la distribution réelle.

Les auteurs identifient une faille fondamentale dans les approches basées sur les PSR (telles que la variance et l'entropie différentielle) lorsque la statistique cible n'est pas l'espérance conditionnelle (la moyenne). Dans de nombreux contextes pratiques — comme l'apprentissage par renforcement ou la modélisation bayésienne — la cible est le mode conditionnel (Maximum A Posteriori, ou MAP). En présence d'asymétrie, de multimodalité ou de valeurs aberrantes, la moyenne et le mode peuvent diverger considérablement. Les mesures standards comme la variance ont tendance à surestimer l'incertitude dans ces cas, car elles sont sensibles à la masse des queues de distribution plutôt qu'à la concentration de probabilité autour du mode. De plus, les cadres axiomatiques existants pour l'UQ en régression échouent souvent à satisfaire des propriétés intuitives telles que la monotonie sous l'étalement de la distribution ou l'invariance aux décalages de localisation lorsqu'ils sont appliqués à des distributions non gaussiennes ou asymétriques.

2. Méthodologie : Le cadre QUEST

Le papier introduit QUEST (Quantifying Uncertainty via highest dEnSiTy regions), un cadre qui caractérise l'incertitude par le volume du sous-ensemble le plus probable du support d'une distribution, plutôt que par le risque ponctuel.

Concepts fondamentaux

Régions de plus haute densité (HDR) : Pour une fonction de densité de probabilité (PDF) $p$ et un paramètre de robustesse $\alpha \in (0,1)$ , la $(1-\alpha)$ -HDR ( $C_\alpha$ ) est le plus petit ensemble contenant $1-\alpha$ de la masse de probabilité. Elle est définie par $C_\alpha = \{x : p(x) \ge t_\alpha(p)\}$ , où $t_\alpha$ est le seuil assurant la contrainte de masse.
$\alpha$ -Volume (Mesure locale) : Défini comme $V_\alpha(p) := \lambda(C_\alpha)$ , où $\lambda$ est la mesure de Lebesgue. Cela mesure la « taille » de la région contenant le gros de la masse de probabilité. Des volumes faibles indiquent une forte concentration (faible incertitude) ; des volumes élevés indiquent une dispersion (incertitude élevée).
Volume intégré (Mesure globale) : Défini comme $IV(p) = \int_0^1 V_\alpha(p) d\alpha$ . Il résume l'ensemble de la courbe de couverture, fournissant une évaluation globale de la concentration. Les auteurs établissent une équivalence géométrique entre la courbe de couverture et la courbe de Lorenz de l'économie, et entre le volume intégré et le coefficient de Gini.

Typologie de l'incertitude dans QUEST

Le cadre définit trois types d'incertitude basés sur une distribution de second ordre $q$ (représentant les croyances sur les paramètres $\theta$ ) et la véritable distribution de vérité terrain $p_{\theta^*}$ :

Incertitude Aléatoire (AU) : Quantifiée par le volume de la HDR de la distribution réelle $p_{\theta^*}$ $p_{θ^{*}}$ . Elle capture l'incertitude irréductible inhérente au processus de génération des données.
- Locale : $V_\alpha(p_{\theta^*})$
- Globale : $IV(p_{\theta^*})$
Incertitude Épistémique (EU) : Quantifiée par le volume de la HDR de la distribution de second ordre $q$ $q$ . Contrairement aux approches standard qui traitent l'EU comme un résidu (Total - Aléatoire), QUEST traite l'EU comme une mesure purement subjective de la concentration des croyances de l'agent, indépendamment de la vérité.
- Locale : $V_\alpha(q)$
- Globale : $IV(q)$
Incertitude Totale (TU) : Définie via une interaction entre l'AU et l'EU. Puisque l'AU et l'EU existent sur des espaces différents, ils ne sont pas simplement additionnés. Au lieu de cela, la TU est modélisée comme le volume de l'AU pondéré par un facteur de pénalité dérivé de la divergence entre la densité conditionnelle réelle et la densité conditionnelle prédictive au sein de leurs HDR respectives.
- Formule : $TU = V_\alpha(p_{\theta^*}) \cdot g_f(D_f(p^*_\alpha || \hat{p}_\alpha))$
- Ici, $D_f$ est une $f$ -divergence admissible (par exemple, la variation totale), et $g_f$ est une fonction strictement croissante qui pénalise le désalignement entre la croyance de l'agent et la vérité.

3. Principales contributions

Le papier présente quatre contributions majeures :

Conceptuelle : Propose une interprétation centrée sur le volume de l'incertitude basée sur la concentration de densité et un paramètre de robustesse $\alpha$ fourni par l'utilisateur, offrant une alternative aux mesures de risque des PSR.
Méthodologique : Introduit de nouvelles mesures locales ( $\alpha$ -volume) et globales (volume intégré) pour l'incertitude aléatoire et épistémique. Il établit des connexions théoriques entre ces mesures et les statistiques classiques de la théorie de l'information (entropie différentielle) et de l'économie (courbes de Lorenz, coefficients de Gini).
Théorique : Démontre que les mesures QUEST pour l'AU et l'EU satisfont un ensemble d'axiomes adaptés de la littérature sur l'UQ (A0–A5). Ceux-ci incluent la non-négativité, la minimisation aux masses de Dirac, la monotonie sous « nivellement » (étalement de la distribution) et l'invariance aux décalages de localisation. Notamment, le papier soutient que la TU ne devrait pas satisfaire l'axiome de monotonie (A4) dans tous les cas, car une meilleure calibration (réduction de la TU) peut survenir même si l'incertitude épistémique augmente.
Empirique : Valide le cadre via des tests de prédiction sélective. Les résultats montrent que QUEST (particulièrement la mesure globale) surpasse la variance et l'entropie différentielle dans les contextes asymétriques et multimodaux, menant à un classement plus précis de la fiabilité des prédictions.

4. Résultats expérimentaux

Les auteurs ont évalué QUEST par rapport à la variance, l'entropie différentielle et des bases aléatoires en utilisant des ensembles de mélange d'experts profonds sur trois processus de génération de données (DGP) synthétiques :

Gaussien unimodal : Toutes les méthodes ont performé de manière similaire, comme attendu.
Asymétrique unimodal : La variance et l'entropie ont peiné en raison de leur sensibilité à la masse des queues de distribution. QUEST a fourni des classements d'incertitude plus fiables.
Mélange bimodal : Les mesures standards ont souvent mal classé l'incertitude dans les contextes multimodaux. QUEST a nettement surpassé la variance et l'entropie, identifiant correctement les régions de haute concentration de densité.

Dans les tâches de prédiction sélective (où les prédictions ne sont faites que sur les échantillons les plus certains), QUEST (global) a obtenu une perte plus faible sur tous les essais par rapport aux concurrents. Une expérience complémentaire d'apprentissage actif a montré que QUEST performait au même niveau que la variance et l'entropie, bien que les auteurs notent que la performance de QUEST est sensible à la qualité de l'estimation de la densité réelle par le modèle dans les contextes non-oracles.

5. Signification et affirmations

Le papier affirme que QUEST traite des pathologies spécifiques des mesures de l'UQ basées sur les PSR, particulièrement lorsque la cible est le mode plutôt que la moyenne. En déplaçant l'attention du risque ponctuel vers la concentration de la mesure, QUEST offre une caractérisation plus intuitive et robuste de l'incertitude pour les distributions non gaussiennes, asymétriques ou multimodales.

Les auteurs soulignent que leur approche :

Évite les résultats contre-intuitifs des mesures basées sur la variance en présence de valeurs aberrantes ou d'asymétrie.
Fournit un fondement axiomatique solide pour l'AU et l'EU qui respecte la géométrie des densités de probabilité.
Offre un cadre flexible où le paramètre de robustesse $\alpha$ permet à l'utilisateur de contrôler la sensibilité aux fluctuations des queues de distribution.

Le papier conclut modestement, reconnaissant des limites telles que l'hypothèse de continuité absolue par rapport à la mesure de Lebesgue et le coût computationnel de l'estimation des HDR dans des dimensions élevées. Il suggère comme travail futur l'extension du cadre à l'inférence statistique et la gestion des distributions avec des atomes ou des supports de dimension inférieure.