🤖 machine learning

Bayesian Conformal Prediction as a Decision Risk Problem

Cet article présente la prédiction conforme bayésienne (BCP), un cadre qui formule la prédiction conforme comme un problème d'optimisation décision-risque pour générer des ensembles de prédiction de densité postérieure maximale efficaces, potentiellement disjoints, avec des garanties de couverture pour échantillons finis, même en cas de mauvaise spécification du modèle.

Auteurs originaux : Fanyi Wu, Veronika Lohmanova, Samuel Kaski, Michele Caprio

Publié 2026-05-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Fanyi Wu, Veronika Lohmanova, Samuel Kaski, Michele Caprio

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un météorologue essayant de prédire la température de demain.

L'Ancienne Méthode (Méthodes Bayésiennes Standard) :
Vous examinez vos données et dites : « Je suis sûr à 95 % que la température sera comprise entre 60 °F et 80 °F. » Il s'agit d'un Intervalle de Crédibilité. C'est un bloc unique et solide de nombres.

Le Problème : Et si vos données suggéraient que la température est soit très froide (autour de 40 °F) soit très chaude (autour de 90 °F), mais presque jamais au milieu ? Une prédiction standard en « bloc » vous obligerait à inclure la plage intermédiaire (50 °F–85 °F) simplement pour relier les deux extrêmes. Vous finissez par fournir une plage énorme et inutile qui inclut des températures en réalité impossibles.

La Méthode Conformale « Standard » :
Pour résoudre ce problème, les statisticiens ont inventé la Prédiction Conformale. Au lieu de faire confiance aveuglément à leurs propres modèles mathématiques, ils adoptent une approche de « filet de sécurité ». Ils prennent un ensemble de données passées, testent leurs prédictions et disent : « D'accord, si nous élargissons notre filet juste assez pour attraper la bonne réponse 95 % du temps dans le passé, nous ferons de même pour le futur. »

La Limitation : Même avec ce filet de sécurité, la plupart des méthodes utilisent encore une « taille de filet fixe unique ». Si la météo est bimodale (froid OU chaud), elles lancent toujours un filet géant qui couvre l'espace vide au milieu, simplement pour être sûres.

Entrée en scène : La Prédiction Conformale Bayésienne (BCP)

Les auteurs de cet article proposent une nouvelle méthode appelée BCP. Imaginez-la comme un Filet de Sécurité Intelligent et Métamorphe.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le « Décideur » contre la « Règle Fixe »

Dans les méthodes standard, la taille de votre filet de sécurité est fixée par une règle rigide (comme une règle à mesurer). Dans la BCP, la taille du filet est une décision.

L'Analogie : Imaginez que vous faites vos valises.
- Méthode Standard : Vous avez une règle : « Je dois remplir la valise exactement à 50 % de sa capacité. » Si vous avez deux petits objets lourds (les températures froides et chaudes), vous devez remplir l'espace vide au milieu avec du papier de remplissage (données à faible probabilité) simplement pour atteindre 50 %.
- Méthode BCP : Vous avez une règle : « Je dois m'assurer de ne rien laisser d'important derrière, mais je veux que la valise soit aussi petite que possible. » Vous pouvez ranger les deux objets lourds dans des coins séparés et laisser le milieu vide. La valise est plus petite, mais elle contient toujours tout ce dont vous avez besoin.

2. Le Filet « Métamorphe » (Ensembles HPD)

C'est le plus grand tour de magie de l'article. Lorsque les données sont « multimodales » (ce qui signifie qu'elles présentent deux pics distincts ou plus, comme l'exemple météo froid/chaud), la BCP réalise qu'elle n'a pas besoin d'un bloc unique et connecté.

La Métaphore : Au lieu d'une seule corde longue et continue, la BCP utilise deux filets de pêche séparés.
- Un filet attrape les résultats « froids ».
- Un filet attrape les résultats « chauds ».
- Il laisse le milieu « tiède » tranquille.
Le Résultat : La taille totale de l'ensemble de prédiction devient beaucoup plus petite (dans leurs expériences, elle est passée d'une taille moyenne de 4,82 à 2,07), rendant la prédiction beaucoup plus précise sans perdre en fiabilité.

3. La Garantie de Sécurité « PAC »

Vous pourriez demander : « Si vous changez la forme du filet, comment savez-vous qu'il est toujours sûr ? »

L'Analogie : La BCP utilise une « ceinture de sécurité » statistique appelée PAC (Probablement Approximativement Correct).
Même si le modèle météo est erroné (mal spécifié) ou si les données sont étranges, la BCP garantit que sur de nombreuses tentatives, le « filet de sécurité » attrapera la bonne réponse au moins 95 % du temps (ou tout autre objectif que vous fixez). Elle ne repose pas sur le fait que le modèle soit parfait ; elle repose sur la robustesse des mathématiques du filet de sécurité.

4. Le « Stabilisateur » (Quadrature Bayésienne)

Il y a une partie délicate. Lorsque vous essayez de trouver la taille parfaite pour ces filets métamorphes, les mathématiques peuvent devenir « saccadées » et instables, surtout juste à la limite où un nouveau « mode » (un nouveau pic dans les données) apparaît.

La Métaphore : Imaginez essayer d'équilibrer un balai sur votre doigt. Si le sol est irrégulier, c'est difficile.
La Solution : La BCP utilise un outil appelé Quadrature Bayésienne. Imaginez cela comme un « stabilisateur intelligent » ou un « amortisseur ». Il lisse les mathématiques saccadées, permettant à l'ordinateur de trouver la taille de filet parfaite et la plus petite possible sans être perturbé par les irrégularités des données.

Qu'ont-ils réellement prouvé ?

L'article a testé cela sur trois scénarios principaux :

Données sur le Diabète (Régression) : Ils ont testé si le modèle pouvait prédire l'évolution de la maladie.
- Résultat : Lorsqu'ils ont délibérément donné au modèle de « mauvaises » hypothèses a priori (le faisant croire que les données étaient différentes de ce qu'elles étaient), les méthodes bayésiennes standard ont échoué lamentablement (seulement 49 % de précision). La BCP a corrigé cela, restant proche de l'objectif de 80 % de précision.
Données sur le Cancer du Sein (Classification) : Ils ont testé si le modèle pouvait classer les tumeurs comme bénignes ou malignes.
- Résultat : Les méthodes bayésiennes standard étaient trop « prudentes » et donnaient des ensembles de prédiction énormes et inutiles (98 % de couverture alors que 80 % étaient nécessaires). La BCP a resserré cela à la taille cible tout en restant sûre.
Données Fictives « Deux Pics » (Multimodales) : Ils ont créé un scénario fictif où la réponse était définitivement soit « A » soit « B », mais jamais « C » (le milieu).
- Résultat : Les méthodes standard incluaient « C » dans leur prédiction, rendant l'ensemble énorme. La BCP a ignoré avec succès « C », créant deux petits ensembles de prédiction séparés. Cela a rendu les prédictions plus de deux fois plus efficaces (plus petites) tout en restant correctes.

Résumé

La Prédiction Conformale Bayésienne est une méthode qui combine la flexibilité des statistiques bayésiennes avec les garanties de sécurité de la Prédiction Conformale.

Ancienne Méthode : « Je vais vous donner un grand bloc connecté de réponses pour être sûr. »
Méthode BCP : « Je vais vous donner la plus petite collection possible de réponses (même si elles sont en morceaux séparés) que je peux garantir correctes. »

Elle est particulièrement utile lorsque la réponse n'est pas une courbe lisse unique, mais plutôt une réalité « divisée » avec plusieurs possibilités distinctes.

Résumé Technique : Prédiction Conformale Bayésienne via Sélection de Seuil Décision-Théorique

1. Énoncé du Problème

La quantification de l'incertitude en apprentissage automatique fait face à un compromis entre validité statistique et efficacité, particulièrement lorsque les modèles probabilistes sous-jacents sont mal spécifiés. Les méthodes bayésiennes standard fournissent une incertitude a posteriori mais peuvent échouer à maintenir une couverture nominale lorsque le modèle est incorrect. À l'inverse, la Prédiction Conformale (CP) standard offre des garanties de couverture sans distribution et à échantillon fini sous l'hypothèse d'échangeabilité, mais repose souvent sur un seuil de quantile fixe unique. Ce seuil fixe produit généralement des ensembles de prédiction connectés (intervalles), ce qui peut s'avérer inefficace lorsque la distribution prédictive a posteriori est multimodale. Dans de tels cas, les méthodes standard sont contraintes de couvrir les régions de faible densité situées entre des modes séparés pour maintenir la validité, ce qui entraîne des ensembles de prédiction inutilement larges.

Le problème central abordé est de savoir si les seuils conformes peuvent être optimisés à l'aide de distributions prédictives bayésiennes a posteriori pour produire des ensembles de prédiction géométriquement adaptatifs (spécifiquement, des ensembles de Densité Postérieure Maximale ou HPD) qui restent valides même en cas de mauvaise spécification du modèle.

2. Méthodologie : Prédiction Conformale Bayésienne (BCP)

Les auteurs proposent la Prédiction Conformale Bayésienne (BCP), un cadre qui reformule la prédiction conforme comme un problème d'optimisation risque-décision. Au lieu d'accepter un seuil de quantile fixe, la BCP traite le seuil $\lambda$ comme une variable de décision afin de minimiser la taille attendue de l'ensemble de prédiction tout en satisfaisant une contrainte de couverture de style PAC (Probablement Approximativement Correcte).

Composants Clés

Scores de Non-Conformité Bayésiens :
La BCP utilise des scores dérivés de la densité prédictive a posteriori :
$s(x, y) = -\log \hat{p}(y \mid x, D_{tr})$
Ces scores intègrent à la fois l'incertitude des paramètres et l'incertitude prédictive. Pour les calculer efficacement sans réajuster le modèle pour chaque point de calibration, les auteurs emploient l'échantillonnage d'importance Add-One-In (AOI). Cette méthode réattribue les poids aux échantillons postérieurs existants pour approximer la densité prédictive en des points $(x, y)$ arbitraires, assurant que la fonction de score reste fixe par rapport aux étiquettes de calibration afin de préserver l'échangeabilité.
Contrôle du Risque de Style PAC (Statistique $L_+$ ) :
Pour imposer la validité, la BCP adopte le cadre de Contrôle du Risque Conformal (CRC). Elle utilise la statistique $L_+$ , qui majore stochastiquement le vrai risque de non-couverture. Le seuil $\lambda^*$ est sélectionné de telle sorte que :
$P_D(P_{(X,Y)}(Y \notin C(X; \lambda)) \le \alpha) \ge 1 - \beta$
Cela garantit une couverture de $1-\alpha$ avec une probabilité d'au moins $1-\beta$ sur l'aléa des données de calibration, offrant une robustesse même si le modèle bayésien est mal spécifié.
Quadrature Bayésienne (BQ) pour l'Estimation d'Efficacité :
La fonction objectif $g(\lambda) = E_X[|C(X; \lambda)|]$ (taille attendue de l'ensemble) est souvent intraitable. La BCP l'approxime en utilisant la Quadrature Bayésienne, en plaçant une loi a priori de Processus Gaussien sur l'application $\lambda \mapsto g(\lambda)$ .
- Rôle dans les contextes basés sur seuil : La BQ réduit le bruit d'estimation lors de l'identification du plus petit seuil réalisable.
- Rôle dans les contextes HPD : Dans les distributions multimodales, la géométrie des ensembles HPD change brusquement (des composantes déconnectées apparaissent/disparaissent) lorsque $\lambda$ traverse les niveaux de densité aux frontières des modes. Cela provoque une forte variance dans les estimations de Monte Carlo naïves. La BQ stabilise l'estimation de $g(\lambda)$ près de ces discontinuités, permettant une sélection fiable du seuil optimal.
Géométrie Adaptative (Ensembles HPD) :
Contrairement au Split-CP standard ou à la Régression de Quantiles Conformalisée (CQR) qui imposent des intervalles connectés, la BCP construit des ensembles de prédiction basés sur les ensembles de sur-niveau de la densité prédictive a posteriori :
$C_{HPD}(x; \lambda) = \{y : \hat{p}(y \mid x, D_{tr}) \ge e^{-\lambda}\}$
Sous des a posteriori multimodaux, ces ensembles peuvent être disjoints, concentrant la masse de probabilité sur des régions de haute densité séparées et évitant les vallées de faible densité.

3. Contributions Clés

Formulation Décision-Théorique : L'article présente la CP comme un problème d'optimisation où le seuil est une variable de décision minimisant la taille attendue de l'ensemble sous une contrainte de couverture PAC.
Adaptativité Géométrique : En utilisant les densités prédictives a posteriori, la BCP génère des ensembles de prédiction HPD qui peuvent être disjoints sous des distributions multimodales, améliorant considérablement l'efficacité par rapport aux méthodes d'intervalles connectés.
Robustesse à la Mauvaise Spécification : Le cadre découple la validité de la correction du modèle. Alors que les Intervalles de Crédibilité Bayésiens (BCI) échouent sous une mauvaise spécification a priori, la BCP rétablit une couverture proche de la nominale via la contrainte $L_+$ .
Sélection de Seuil Stable : L'intégration de la Quadrature Bayésienne répond à l'instabilité de l'estimation des fonctions objectif près des frontières de modes dans les contextes multimodaux.

4. Résultats Expérimentaux

Les auteurs évaluent la BCP sur des tâches de régression, de classification et de dérive de distribution par rapport à des bases de référence incluant Split-CP, CQR, Intervalles de Crédibilité Bayésiens (BCI), Calcul Bayésien Conformal (CB) et Snell-HPD.

Régression (Jeu de données Diabetes) : Sous mauvaise spécification a priori ( $c=0.02$ ), la couverture BCI s'est effondrée à 49,2 %, tandis que la BCP a maintenu une couverture de 80,0 %. La BCP a atteint la couverture cible avec un intervalle légèrement plus large que Snell-HPD en raison de l'optimisation explicite de l'efficacité, mais a nettement surpassé la BCI en termes de validité.
Classification (Cancer du sein) : La BCI a fortement surcouvert (98,9 % contre 80 % cible). La BCP a atteint 82,5 % de couverture avec une taille moyenne d'ensemble de 0,829, démontrant un contrôle efficace de l'efficacité et de la validité.
Régression Multimodale Synthétique : Ce scénario met en évidence l'avantage principal de la BCP. Les méthodes d'intervalles standard (Split-CP, CQR) ont produit des ensembles connectés couvrant la vallée de faible densité entre les modes, résultant en des tailles moyennes d'environ 4,8. La BCP et Snell-HPD ont utilisé des ensembles HPD disjoints, réduisant la taille moyenne à 2,07 (une amélioration statistiquement significative, $p < 0,0001$ ). La BCP a obtenu un taux de réussite PAC de 0,80, atteignant l'objectif, tandis que Snell-HPD a légèrement échoué (0,78).
Classification Haute Dimensionnelle (ImageNet-A) : Dans un contexte unimodal où la taille attendue de l'ensemble est monotone par rapport au seuil, la BCP a retrouvé la même solution que Snell-HPD (taille moyenne d'ensemble de 40,3 contre 122+ pour les méthodes marginales). Cela confirme que les gains d'efficacité de la BCP sont pilotés par la capacité à gérer des géométries complexes et multimodales plutôt que par la contrainte PAC seule.

5. Importance et Revendications

L'article revendique que la BCP fournit un cadre robuste pour la quantification de l'incertitude qui combine les garanties de validité de la prédiction conforme avec l'adaptativité géométrique de l'inférence bayésienne.

Validité : La méthode garantit une couverture à échantillon fini sous l'hypothèse d'échangeabilité, indépendamment de la correction du modèle.
Efficacité : La contribution principale à l'efficacité est la capacité de construire des ensembles de prédiction disjoints dans les scénarios multimodaux, évitant la « pénalité de faible densité » inhérente aux méthodes d'intervalles connectés.
Portée : Les auteurs notent que dans les contextes standards de seuils imbriqués (régression unimodale, classification standard), la BCP retrouve le plus petit seuil réalisable et s'aligne avec les méthodes existantes basées sur PAC. L'avantage distinct émerge spécifiquement lorsque la distribution prédictive est multimodale.
Limites : La méthode hérite du coût computationnel de l'inférence a posteriori (nécessitant des échantillons MCMC et un réattributement de poids AOI). Les auteurs reconnaissent que la mise à l'échelle vers des ensembles de données très volumineux ou des espaces d'étiquettes de haute dimension reste un défi ouvert.

En résumé, la BCP offre une approche fondée sur des principes pour construire des ensembles de prédiction qui sont à la fois statistiquement valides en cas de mauvaise spécification du modèle et géométriquement efficaces dans des paysages prédictifs complexes et multimodaux.