📊 statistics

CLEAR: Calibrated Learning for Epistemic and Aleatoric Risk

Le papier propose CLEAR, une méthode de calibration qui combine des paramètres distincts pour l'incertitude aléatoire et épistémique afin d'améliorer significativement la couverture conditionnelle et l'efficacité des intervalles de prédiction dans les tâches de régression à travers divers ensembles de données du monde réel.

Auteurs originaux : Ilia Azizi, Juraj Bodik, Jakob Heiss, Bin Yu

Publié 2026-07-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ilia Azizi, Juraj Bodik, Jakob Heiss, Bin Yu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de prédire l'avenir, comme deviner le prix de vente d'une maison ou la vitesse d'une voiture. Vous voulez que votre estimation soit juste, mais vous voulez aussi savoir à quel point cette estimation est « vacillante ». Dans le monde de l'apprentissage automatique, il existe deux raisons principales pour lesquelles votre estimation pourrait être vacillante, et pendant longtemps, la plupart des outils n'en examinaient qu'une seule.

Les deux types de « vacillement »

Considérez l'incertitude aléatoire comme le « grésillement » d'une radio. C'est le bruit qui est simplement là, comme une erreur de mesure ou une rafale de vent aléatoire. Peu importe la façon dont vous étudiez la radio ou le nombre de fois où vous l'écoutez, ce grésillement ne disparaîtra pas à moins de réparer la radio elle-même. C'est le chaos inhérent aux données.

Ensuite, il y a l'incertitude épistémique. C'est le sentiment de dire : « Je n'ai jamais été ici ». Imaginez que vous êtes un cartographe qui n'a dessiné que des cartes du centre-ville. Si vous essayez de deviner à quoi ressemble le terrain dans une forêt lointaine et inexplorée, votre estimation est vacillante parce que vous manquez de données, et non parce que la forêt est bruyante. Si vous sortiez collecter plus de données, ce type de vacillement disparaîtrait.

Le problème des vieilles cartes

La plupart des anciennes méthodes pour faire des prédictions étaient comme un cartographe qui ne se souciait que du grésillement. Ils dessinaient une zone de sécurité (un intervalle de prédiction) autour de leur estimation pour couvrir le « grésillement », mais ils ignoraient complètement le fait qu'ils devinaient un endroit qu'ils n'avaient jamais visité. Cela signifiait que dans les zones familières, leurs cartes étaient correctes, mais dès qu'ils passaient aux limites du monde connu (l'extrapolation), leurs zones de sécurité devenaient dangereusement étroites, donnant un faux sentiment de sécurité.

D'autres méthodes ont tenté de corriger ce problème du « je n'ai jamais été ici » en créant des zones de sécurité extrêmement larges partout, juste au cas où. Mais cela rendait les cartes inutilisables car les zones étaient si larges qu'elles ne disaient rien de spécifique.

Entrez en scène : CLEAR, l'équilibreur intelligent

Les auteurs de cet article, publié à la conférence ICLR 2026, ont introduit une nouvelle méthode appelée CLEAR (Calibrated Learning for Epistemic and Aleatoric Risk). Considérez CLEAR comme un cartographe super intelligent qui transporte deux règles différentes : une pour le « grésillement » et une pour le « territoire inconnu ».

Au lieu de simplement deviner de combien élargir la zone de sécurité, CLEAR utilise deux boutons spéciaux, appelés $\gamma_1$ et $\gamma_2$ , pour équilibrer ces deux types d'incertitude.

Un bouton ajuste le bruit (aléatoire).
L'autre ajuste le manque de données (épistémique).

La magie opère parce que CLEAR ne se contente pas de régler ces boutons sur un nombre fixe. Il examine les données et demande : « En ce moment, quel type de vacillement est le plus problématique ? » Si les données sont bruyantes, il augmente le premier bouton. Si les données sont rares (comme cette forêt lointaine), il augmente le second bouton. Il trouve le mélange parfait pour rendre la zone de sécurité aussi étroite que possible tout en restant sûre.

Ce qu'ils ont trouvé (et ce qu'ils n'ont pas trouvé)

Les chercheurs ont testé CLEAR sur 17 ensembles de données réels différents, allant des prix de l'immobilier à l'efficacité énergétique. Ils ont également lancé des simulations pour voir comment il se comportait dans des environaux contrôlés.

Voici ce que les données ont montré :

Les résultats : Dans ces tests, CLEAR a réussi à réduire la largeur des intervalles de prédiction de 28,3 % et 17,5 % en moyenne par rapport aux anciennes méthodes calibrées séparément. Crucialement, il a fait cela tout en maintenant le niveau de « sécurité » exactement là où il était censé être (en maintenant la couverture nominale).
Les « Et si » : L'article argumente explicitement contre l'idée selon laquelle on devrait simplement additionner les deux incertitudes selon un ratio fixe de 1 pour 1 (comme régler $\lambda = 1$ ). Ils montrent que cette approche fixe est souvent sous-optimale car l'équilibre change en fonction des données.
Les limites : L'article note que bien que CLEAR fonctionne très bien sur ces ensembles de données, il dépend de la qualité des modèles de base qu'il utilise. Si les modèles de base sont médiocres, CLEAR ne peut pas les réparer. De plus, les garanties théoriques dont ils discutent tiennent principalement dans des scénarios « asymptotiques » (c'est-à-dire avec des données infinies) ou dans des simulations ; dans le monde réel avec des données finies, ils s'appuient sur des preuves empiriques qu'il fonctionne bien, plutôt que sur une preuve mathématique qu'il doit fonctionner dans chaque cas limite impossible.

Le « Pourquoi » derrière la magie

Les auteurs suggèrent que la raison pour laquelle CLEAR fonctionne si bien est qu'il corrige un défaut spécifique dans le comportement des anciennes méthodes.

Les anciennes méthodes de « bruit seul » (comme CQR) ont tendance à être trop confiantes dans les endroits où il y a très peu de données. Elles dessinent de petites boîtes dans la forêt inconnue.
Les anciennes méthodes de « manque de données » (comme les ensembles/ensembles) ont tendance à être trop prudentes dans les endroits où il y a beaucoup de données, dessinant de grandes boîtes dans le centre-ville animé.

CLEAR agit comme un médiateur. Il réalise que dans la ville, la règle du « bruit » est celle à laquelle il faut faire confiance, et dans la forêt, la règle de l'« inconnu » est celle à laquelle il faut faire confiance. En laissant les données décider du ratio entre les deux, il crée une zone de sécurité qui est étroite là où elle doit l'être et large là où elle doit l'être.

L'essentiel

Cet article suggère qu'en traitant l'incertitude comme deux ingrédients distincts qui doivent être mélangés dans la bonne proportion, plutôt que comme un bloc unique, nous pouvons rendre les prédictions de l'apprentissage automatique à la fois plus sûres et plus précises. Ce n'est pas une baguette magique qui résout tous les problèmes de l'univers, mais dans les tests qu'ils ont menés, elle a systématiquement surpassé la concurrence, prouvant que parfois, la meilleure façon de gérer l'inconnu est de savoir exactement de quel type d'inconnu vous traitez.

Résumé technique : CLEAR : Apprentissage calibré pour les risques épistémiques et aléatoires

1. Énoncé du problème

Une quantification précise de l'incertitude (UQ) est cruciale pour la fiabilité de la modélisation prédictive, pourtant les méthodes existantes échouent souvent à traiter les deux sources d'incertitude de manière équilibrée.

Incertitude aléatoire : Elle provient de la variabilité intrinsèque des données (bruit de mesure, variables explicatives manquantes) et ne peut être réduite en collectant davantage de données.
Incertitude épistémique : Elle provient de la limitation des données, de l'erreur de spécification du modèle ou des choix subjectifs dans le traitement des données. Elle est réductible avec plus de données ou de meilleurs modèles, mais elle est souvent élevée dans les régions d'extrapolation.

Les approches actuelles ne traitent généralement qu'un seul type ou les combinent avec des ratios fixes et non adaptatifs (par exemple, en fixant le poids de l'incertitude épistémique par rapport à l'aléatoire à 1:1). Cela conduit à une mauvaise couverture conditionnelle, où les intervalles de prédiction sont bien calibrés en moyenne (couverture marginale) mais échouent à fournir une couverture fiable pour des sous-groupes spécifiques ou dans les régions d'extrapolation. De plus, les méthodes existantes fixent souvent implicitement les paramètres d'échelle entre ces composantes d'incertitude, ce qui peut être sous-optimal car l'importance relative de chaque source varie selon les jeux de données et les tâches de prédiction.

2. Méthodologie : CLEAR

Les auteurs proposent CLEAR (Calibrated Learning for Epistemic and Aleatoric Risk), un cadre de calibration qui équilibre de manière adaptative l'incertitude aléatoire et épistémique en utilisant deux paramètres distincts, $\gamma_1$ et $\gamma_2$ .

2.1 Formulation de l'intervalle de prédiction

CLEAR construit des intervalles de prédiction $C(x)$ pour une estimation ponctuelle $\hat{f}(x)$ comme suit :
$C(x) = \left[ \hat{f}(x) \pm \left( \gamma_1 \times \text{aléatoire}_{\pm}(x) + \gamma_2 \times \text{épistémique}_{\pm}(x) \right) \right]$
où $\gamma_2 = \lambda \gamma_1$ . Le paramètre $\lambda$ contrôle l'arbitrage entre les deux types d'incertitude :

$\lambda = 0$ : L'intervalle reflète uniquement l'incertitude aléatoire.
$\lambda \to \infty$ : L'intervalle reflète uniquement l'incertitude épistémique.
$\lambda > 0$ : Un équilibre piloté par les données est atteint.

2.2 Composantes d'estimation

CLEAR est compatible avec n'importe quelle paire d'estimateurs, mais démontre ses performances en utilisant :

Estimateur aléatoire : Des modèles de régression quantile entraînés sur les résidus ( $Y_i - \hat{f}(X_i)$ ) plutôt que sur les cibles brutes. Les auteurs soutiennent que l'ajustement direct des quantiles sur les cibles peut fausser les estimations de l'incertitude aléatoire si le modèle de la moyenne sous-ajuste, tandis que l'ajustement sur les résidus est plus stable. Un ensemble de ces modèles (bagging) est utilisé pour estimer les quantiles conditionnels $\hat{q}^{ale}_{\alpha/2}$ et $\hat{q}^{ale}_{1-\alpha/2}$ .
Estimateur épistémique : Des intervalles dérivés du cadre PCS (Predictability–Computability–Stability). Cela implique l'entraînement d'un ensemble de modèles à travers différentes versions de prétraitement des données et architectures de modèles, puis le bootstrap des modèles les plus performants. Les quantiles ponctuels de cet ensemble définissent la bande d'incertitude épistémique non calibrée $\hat{q}^{epi}_{\alpha/2}$ et $\hat{q}^{epi}_{1-\alpha/2}$ .

2.3 Procédure de calibration

La méthode emploie un processus de calibration en deux étapes sur un jeu de données de validation/calibration :

Recherche par grille pour $\lambda$ : Une grille de valeurs positives $\Lambda$ est évaluée. Pour chaque $\lambda$ candidat, le facteur d'échelle $\gamma_1$ est déterminé via une prédiction conforme partitionnée (split conformal prediction) standard pour assurer une couverture marginale de $1-\alpha$ .
Optimisation : Le $\lambda^*$ optimal est sélectionné en minimisant la perte de quantile (équivalente à la perte pinball ou au score d'intervalle) sur l'ensemble de validation. Cette métrique équilibre à la fois la couverture et la largeur de l'intervalle, encourageant la véracité.

2.4 Propriétés théoriques

L'article établit que sous des hypothèses légères (cohérence des estimateurs de base et grille compacte pour $\lambda$ ), CLEAR atteint une validité conditionnelle asymptotique. Bien que la composante épistémique disparaisse asymptotiquement à la limite de données infinies, elle joue un rôle crucial dans les échantillons finis en empêvant la sous-couverture dans les régions de données rares, là où les méthodes conformes standards (comme CQR) échouent.

3. Contributions clés

Calibration à deux paramètres : L'introduction de deux paramètres de calibration distincts ( $\gamma_1$ et $\gamma_2$ , liés par $\lambda$ ) pour équilibrer les échelles de l'incertitude aléatoire et épistémique, allant au-delà des combinaisons à ratio fixe.
Estimation aléatoire basée sur les résidus : Démontrer que l'ajustement des quantiles sur les résidus produit des estimateurs d'incertitude aléatoire plus cohérents et stables que l'ajustement direct sur les cibles.
Intégration de PCS et CQR : La première combinaison des intervalles de perturbation d'ensemble PCS (pour l'incertitude épistémique) avec la régression quantile conformalisée (CQR) sur les résidus (pour l'incertitude aléatoire).
Évaluation à grande échelle : Évaluation étendue sur 17 jeux de données du monde réel diversifiés et des simulations synthétiques.

4. Résultats expérimentaux

L'article évalue CLEAR par rapport à des lignes de base incluant CQR (aléatoire uniquement), les ensembles PCS (épistémique uniquement), et leurs versions individuellement calibrées.

Métriques de performance : CLEAR obtient systématiquement une largeur d'intervalle calibré normalisée (NCIW) et une perte de quantile plus faibles tout en maintenant une couverture nominale (95 %).
Gains quantitatifs : Sur 17 jeux de données réels, CLEAR a obtenu une amélioration moyenne de 28,3 % de la largeur de l'intervalle par rapport à la ligne de base de l'incertitude aléatoire individuellement calibrée (ALEATORIC-R) et de 17,5 % par rapport à la ligne de base épistémique (PCS), tout en maintenant la couverture.
Robustesse : CLEAR a surpassé les lignes de base sur 15 des 17 jeux de données. Il s'est montré particulièrement efficace dans les scénarios dominés par une forte incertitude aléatoire ou épistémique.
Généralisabilité : La méthode a également été testée avec des Deep Ensembles (épistémique) et la régression quantile simultanée (aléatoire), montrant des améliorations similaires (par exemple, une réduction de largeur de 28,6 % avec les Deep Ensembles).
Étude de cas : Dans une étude de cas sur le logement d'Ames, CLEAR a adapté son pondération ( $\lambda$ ) en fonction des caractéristiques des données. Dans les régimes à faible information (peu de variables), il a privilégié l'incertitude aléatoire ; dans les régimes à haut nombre de variables et faible volume de données, il a radicalement déplacé le poids vers l'incertitude épistémique, identifiant correctement la source dominante d'incertitude.

5. Signification et affirmations

L'article affirme que CLEAR offre une amélioration significative par rapport aux méthodes classiques qui traitent les types d'incertitude de manière isolée ou reposent sur des combinaisons fixes et non adaptatives.

Couverture conditionnelle : En équilibrant de manière adaptative les sources d'incertitude, CLEAR maintient une couverture conditionnelle approximative à travers l'espace d'entrée, particulièrement dans les régions d'extrapolation où les méthodes conformes standards (comme CQR) présentent souvent une sous-couverture.
Interprétabilité : Le paramètre appris $\lambda$ fournit un aperçu de quelle source d'incertitude (épistémique vs aléatoire) domine un jeu de données ou une région spécifique, aidant les praticiens à comprendre les limites de leur modèle.
Robustesse : L'approche à deux paramètres permet à la méthode de compenser les lacunes des estimateurs de base (par exemple, si l'incertitude aléatoire est surestimée ou sous-estimée, $\gamma_1$ peut corriger l'échelle).

Les auteurs reconnaissent les limites, notant que la précision de CLEAR dépend de la qualité des estimateurs de base et qu'un surapprentissage des paramètres peut survenir avec des jeux de données de calibration très réduits. Ils suggèrent que les travaux futurs pourraient étendre CLEAR à la classification, aux séries temporelles et aux scénarios d'apprentissage actif.