🤖 machine learning

Can we trust our models? Epistemic calibration in second-order classification

Ce document introduit la calibration épistémique comme un critère plus strict que la calibration classique pour évaluer la fiabilité des estimations d'incertitude épistémique dans la classification de second ordre, proposant la métrique de l'Erreur de Calibration Épistémique Attendue (EECE) pour révéler des différences de fiabilité significatives entre les méthodes de quantification de l'incertitude que les métriques standards ignorent souvent.

Auteurs originaux : Arthur Hoarau

Publié 2026-06-10

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Arthur Hoarau

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vision d'ensemble : Le problème du « Confiant mais dans l'erreur »

Imaginez que vous engagiez un prévisionniste météo.

Niveau 0 (Précision) : A-t-il prédit la pluie quand il a plu ?
Niveau 1 (Calibration) : Quand il dit « Il y a 70 % de chances qu'il pleuve », est-ce qu'il pleut réellement 7 fois sur 10 ?
Niveau 2 (Confiance/Incertitude) : C'est ce sur quoi l'article se concentre. Quand le prévisionniste dit : « Je ne suis pas sûr, ma confiance est faible », cela signifie-t-il réellement que la situation est chaotique et imprévisible ? Ou est-il simplement en train de deviner au hasard tout en prétendant être incertain ?

La plupart des modèles d'IA actuels sont bons au Niveau 0 et au Niveau 1. Mais ils échouent souvent au Niveau 2. Ils peuvent dire « Je suis incertain à 50 % », alors qu'en réalité, la situation est très prévisible (ou inversement). L'article pose la question suivante : Comment savoir si l'« incertitude » d'un modèle est réellement digne de confiance ?

Le concept central : La « Calibration Épistémique »

Les auteurs introduisent une nouvelle règle appelée Calibration Épistémique.

Ne voyez pas le modèle comme une personne unique, mais comme un comité d'experts (c'est ce qu'on appelle un « modèle de second ordre »).

La Prédiction : Le comité vote. Si 60 % disent « Oui » et 40 % disent « Non », la prédiction finale est de 60 %.
L'Incertitude : L'« écart » des votes. Si tout le monde a voté 60 %, l'incertitude est de zéro (ils sont d'accord). Si la moitié a voté 100 % et l'autre moitié 0 %, l'incertitude est élevée (ils ne sont pas d'accord).

La Calibration Épistémique signifie : l'ampleur du désaccord (l'incertitude) doit correspondre parfaitement à la mesure de l'erreur réelle du comité.

Bonne Calibration : Quand le comité est très en désaccord (incertitude élevée), il doit se tromper souvent. Quand ils sont d'accord (incertitude faible), ils doivent avoir raison.
Mauvaise Calibration : Le comité peut être en désaccord total (dire « Nous sommes super incertains ! »), mais en réalité, ils ont tous raison. Ou bien, ils peuvent être parfaitement d'accord (dire « Nous sommes sûrs à 100 % ! »), mais ils ont tous tort.

L'article soutient qu'un modèle peut être « calibré » au sens ancien (Niveau 1) mais rester « mal calibré » dans ce nouveau sens (Niveau 2).

La règle « Impossible »

L'article présente une découverte surprenante (un « Théorème d'Impossibilité »). Il stipule que :
Si un modèle est véritablement Épistémiquement Calibré, le degré de désaccord entre les experts ne peut rien apprendre de nouveau sur la réponse.

Analogie : Imaginez un groupe d'étudiants passant un examen.

Si les étudiants sont « calibrés », le fait qu'ils se disputent entre eux (incertitude élevée) ne révèle pas par magie la bonne réponse. La bonne réponse est déjà cachée dans la moyenne de leurs votes.
Si l' ampleur de la dispute révèle quelque chose sur la réponse (par exemple : « S'ils se disputent autant, la réponse doit être A »), alors le modèle est défectueux. L'estimation de l'incertitude fait trop de travail.

Le nouvel outil : L'EECE (Le « Mesureur de Confiance »)

Pour mesurer cela, les auteurs ont créé un nouveau score appelé EECE (Expected Epistemic Calibration Error — Erreur de Calibration Épistémique Attendue).

L'Analogie :
Imaginez que vous avez un sac de dés.

Vous lancez les dés 100 fois.
Pour chaque lancer, les dés vous disent : « Je pense que le résultat sera un 4, et je suis incertain à 20 %. »
L'EECE vérifie : « D'accord, vous avez dit que vous étiez incertain à 20 %. Est-ce que les résultats réels ont varié d'environ 20 % ? »
- Si les résultats ont varié de manière sauvage (variance de 50 %) mais que vous avez déclaré une incertitude de seulement 20 %, votre score EECE est mauvais. Vous avez menti sur votre confiance.
- Si les résultats ont varié exactement autant que ce que vous aviez prédit, votre score EECE est parfait.

L'article prouve mathématiquement que ce score EECE est un moyen fiable de mesurer l'erreur « Réelle », tout comme un thermomètre mesure la température de manière fiable.

Ce que les expériences ont montré

Les auteurs ont testé cela sur divers modèles d'IA (comme les Forêts Aléatoires, les modèles Bayésiens et les Deep Ensembles) en utilisant des problèmes mathématiques simples et des tâches de reconnaissance d'images (comme l'identification de chiffres écrits à la main).

Certains modèles sont excellents pour cela : Les modèles comme la Régression Logistique Bayésienne (qui fonctionne bien pour les problèmes simples et linéaires) étaient presque parfaitement « Épistémiquement Calibrés ». Ils savaient exactement à quel point ils étaient incertains.
Certains modèles ont du mal : Les Forêts Aléatoires (une méthode populaire) présentaient souvent des scores d'incertitude qui ne correspondaient pas à leurs erreurs réelles. Elles étaient « confuses » d'une manière qui ne correspondait pas à la réalité.
La complexité compte : Sur des données simples, presque tout le monde s'en sortait bien. Sur des données complexes (comme des photos du monde réel), les différences devenaient énormes. Certaines méthodes qui semblaient bonnes pour prédire la réponse étaient terribles pour rapporter leur incertitude.
Les méthodes « illustratives » : Les auteurs ont également testé des méthodes qui n'étaient même pas conçues pour cela (comme de simples suppositions basées sur la distance). Comme prévu, elles ont échoué au test, prouvant ainsi que le test fonctionne.

La Conclusion

L'article conclut qu'à mesure que nous intégrons l'IA dans des systèmes critiques (comme les voitures autonomes ou le diagnostic médical), nous ne pouvons pas simplement demander : « Le modèle a-t-il raison ? ». Nous devons aussi demander : « L'incertitude du modèle est-elle honnête ? »

La Calibration Épistémique est le nouveau standard pour vérifier cette honnêteté. Elle garantit que lorsqu'une IA dit « Je ne sais pas », elle veut réellement dire que la situation est imprévisible, et que lorsqu'elle dit « Je sais », elle veut vraiment dire qu'elle est confiante et correcte. Sans ce contrôle, nous faisons confiance à des modèles qui pourraient être avec une confiance aveugle dans l'erreur, ou incertains alors qu'ils auraient dû l'être.

Résumé Technique : Calibration Épistémique dans la Classification de Second Ordre

Énoncé du Problème

Bien que l'estimation de l'incertitude soit cruciale pour le déploiement de modèles d'apprentissage automatique dans des environnements à enjeux élevés (ex. : conduite autonome, applications médicales), les métriques d'évaluation actuelles sont insuffisantes. La calibration classique évalue la fiabilité des probabilités prédites (Niveau-1), garantissant qu'une probabilité prédite de $p$ correspond à une fréquence empirique de $p$ . Cependant, cela n'évalue pas si les estimations d'incertitude épistémique (Niveau-2) sont elles-mêmes dignes de confiance.

Les modèles de classification de second ordre (ex. : méthodes bayésiennes, ensembles, apprentissage profond évidentiel) produisent une distribution sur les prédictions plutôt qu'une estimation ponctuelle unique. Un fossé important existe dans la littérature concernant la question de savoir si l'incertitude épistémique rapportée (la dispersion de ces prédictions) reflète fidèlement la dispersion réelle des prédictions autour de la vérité terrain (ground truth). Les méthodes existantes échouent souvent à distinguer si un modèle hésite en raison de la difficulté intrinsèque des données (incertitude aléatoire/aléatorique) ou d'un manque de données d'entraînement (incertitude épistémique), et les métriques standards ne peuvent détecter les modes de défaillance spécifiques où les estimations d'incertitude sont mal calibrées malgré de bonnes performances prédictives moyennes.

Méthodologie et Cadre

L'article introduit la Calibration Épistémique, un critère fondé pour les modèles de second ordre. Contrairement à la calibration classique, qui se concentre sur la prédiction moyenne, la calibration épistémique exige que l'incertitude rapportée (la variance de la distribution de second ordre) corresponde à l'erreur quadratique moyenne attendue des modèles individuels échantillonnés à partir de cette distribution.

Définitions Clés et Résultats Théoriques :

Calibration Épistémique (Définition 5) : Un prédicteur de second ordre $\Pi$ est épistémiquement calibré si, pour toute distribution de prédictions $\Psi$ , la probabilité de l'étiquette réelle étant donnée la distribution, est égale à la moyenne de cette distribution. Crucialement, cela implique que l'écart (la variance) de la distribution ne contient aucune information supplémentaire sur l'étiquette réelle au-delà de ce que la moyenne encode déjà (Théorème 2).
Théorème d'Impossibilité : Les auteurs relient leurs travaux à la littérature existante sur la décomposition biais-variance. Ils prouvent que pour un modèle épistémiquement calibré, la dispersion ne peut pas encoder de biais par rapport à la vérité terrain ; si un modèle est épistémiquement calibré, son estimation de l'incertitude doit strictement refléter la variance des prédictions autour de la vérité, et non un biais systématique.
Erreur de Calibration Épistémique Attendue (EECE) : Pour opérationnaliser ce concept, les auteurs proposent l'EECE. Cette métrique quantifie l'écart entre l'incertitude épistémique rapportée et l'erreur quadratique moyenne empirique des hypothèses échantillonnées au sein de régions binées de l'espace de prédiction conjoint.
- Consistance : L'article prouve (Théorème 3) que l'EECE est un estimateur consistant de la Véritable Erreur de Calibration Épistémique (TECE), convergeant vers la valeur réelle à mesure que le nombre de bacs (bins) et d'échantillons augmente.

Configuration Expérimentale :
La méthodologie est évaluée à travers deux groupes de méthodes :

Méthodes Actives : Théoriquement compatibles avec le cadre basé sur la variance, incluant la Régression Logistique Bayésienne, l'Apprentissage Profond Bayésien (Approximation de Laplace), les Deep Ensembles, les Forêts Aléatoires, DropConnect et le MC-Dropout.
Méthodes Illustratives : Approches basées sur les centroïdes, sur la vraisemblance (likelihood) et sur les k-plus proches voisins, qui ne sont pas conçues pour la décomposition basée sur la variance et servent de bases de comparaison pour la malcalibration attendue.

Les expériences sont menées sur :

Un Jeu de Données de Test (Toy Dataset) (mélange de Gaussiennes) pour contrôler la vérité terrain et analyser les comportements attendus (ex. : sensibilité au bruit et à la taille de l'ensemble d'entraînement).
Des Jeux de Données de Vision à Haute Dimension (MNIST et CIFAR-10), où les données sont projetées dans un espace latent via des auto-encodeurs et traitées comme 10 tâches de classification "un-contre-tous" binaires.

Résultats Clés

Distinction de la Calibration Classique : Les expériences révèlent que les modèles peuvent être classiquement calibrés (prédictions moyennes fiables) tout en étant épistémiquement mal calibrés (estimations d'incertitude peu fiables). Par exemple, les Forêts Aléatoires ont montré une piètre calibration épistémique malgré des performances prédictives raisonnables, tandis que la Régression Logistique Bayésienne a bien performé sur des données gaussiennes linéairement séparables mais a peiné sur des données réelles complexes.
Validation Comportementale : Sur le jeu de données de test, l'EECE s'est comporté comme théoriquement attendu :
- L'erreur de calibration épistémique a augmenté significativement à mesure que le bruit dans l'ensemble d'entraînement augmentait.
- L'EECE a diminué à mesure que la taille de l'ensemble d'entraînement croissait, plafonnant à mesure que le modèle devenait plus certain.
Comparaison des Méthodes :
- Les Deep Ensembles et le MC-Dropout ont démontré une forte calibration épistémique sur la tâche CIFAR-10.
- Les Forêts Aléatoires ont systématiquement présenté l'erreur de calibration épistémique la plus élevée parmi les méthodes basées sur la variance.
- Les méthodes illustratives (basées sur les centroïdes/vraisemblance) ont mal performé, confirmant que les méthodes non ancrées dans des distributions de second ordre ou la diversité des ensembles échouent à satisfaire le critère de calibration épistémique.
Dépendance au Biais Inductif : Les résultats soulignent que la calibration épistémique dépend fortement du biais inductif du modèle. Les modèles performent bien lorsque leurs hypothèses correspondent à la structure des données (ex. : Régression Logistique Bayésienne sur des données linéairement séparables) mais se dégradent lorsqu'ils sont appliqués à des données réelles complexes et non linéaires.

Signification et Revendications

L'article affirme fournir une base fondée sur des principes pour la confiance dans les modèles de classification de second ordre. En introduisant la calibration épistémique, les auteurs soutiennent que les chercheurs et praticiens peuvent désormais évaluer si la "confiance" d'un modèle dans sa propre incertitude est valide.

Notion plus forte : La calibration épistémique est établie comme une condition strictement plus forte que la calibration classique.
Détection des Modes de Défaillance : La métrique EECE capture des modes de défaillance invisibles pour les métriques standards, tels qu'un cas où un modèle rapporte une incertitude élevée qui ne correspond pas à une réelle dispersion des prédictions.
Utilité Pratique : Ce travail comble le fossé entre la quantification théorique de l'incertitude et les exigences de fiabilité des systèmes critiques. Il suggère que pour qu'un modèle soit véritablement digne de confiance dans des contextes à enjeux élevés, il ne doit pas seulement prédire correctement en moyenne, mais aussi rapporter avec précision la dispersion de sa propre distribution prédictive.

Les auteurs restent modestes, notant que si la calibration épistémique est une propriété naturelle pour les modèles bien spécifiés (comme la Régression Logistique Bayésienne sur des données gaussiennes), elle n'est pas universellement satisfaite par toutes les méthodes de quantification de l'incertitude, particulièrement sur des jeux de données réels complexes. L'article ne propose pas de nouveaux algorithmes d'entraînement, mais plutôt un nouveau cadre d'évaluation pour identifier quelles méthodes existantes sont dignes de confiance.