📊 statistics

Density-Informed Pseudo-Counts for Calibrated Evidential Deep Learning

Cet article traite de la surconfiance de l'apprentissage profond évidentiel standard sur les données hors distribution en introduisant le Density-Informed Pseudo-count EDL (DIP-EDL), une méthode qui découple la prédiction de classe de l'estimation de l'incertitude via la densité marginale des covariables afin d'obtenir une incertitude mieux calibrée et une robustesse sous changement de distribution.

Auteurs originaux : Pietro Carlotti, Nevena Gligić, Arya Farahi

Publié 2026-07-20

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pietro Carlotti, Nevena Gligić, Arya Farahi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à reconnaître les animaux. Vous lui montrez des milliers d'images de chats et de chiens, et il apprend à dire « chat » ou « chien » avec une grande assurance. Mais que se passe-t-il quand vous lui montrez l'image d'un grille-pain ? Un robot standard pourrait encore crier « CHAT ! » avec une certitude de 99 %, absolument convaincu d'avoir raison, alors qu'il regarde un appareil de cuisine. C'est un problème majeur dans le monde de l'intelligence artificielle : les machines sont souvent terribles pour savoir quand elles ne savent pas quelque chose. Elles deviennent trop sûres d'elles, surtout lorsqu'elles voient des choses sur lesquelles elles n'ont pas été entraînées.

Pour corriger cela, les scientifiques utilisent une technique appelée Apprentissage Profond Évidentiel (EDL - Evidential Deep Learning). Considérez l'EDL comme si vous doniez au robot un « compteur de confiance » aux côtés de sa réponse. Au lieu de simplement deviner, le robot essaie d'estimer la quantité de « preuves » dont il dispose. S'il a vu un million de chats, il possède une montagne de preuves. S'il voit un grille-pain, il devrait avoir très peu de preuves et dire : « Je ne suis pas sûr ». Cependant, les chercheurs ont découvert que la version actuelle de ce compteur de confiance est défaillante. Elle confond deux types d'incertitude différents : celle causée par des données désordonnées (comme une photo floue) et celle due au fait que le robot n'a simplement jamais vu ce type d'objet auparavant. À cause de cette confusion, le robot reste souvent obstinément confiant même lorsqu'il regarde quelque chose de totalement nouveau.

Ce document, intitulé « Density-Informed Pseudo-Counts for Calibrated Evidential Deep Learning », s'attaque à ce compteur de confiance défaillant. Les auteurs, Pietro Carlotti, Nevena Gligić et Arya Farahi de l'Université du Texas à Austin, prouvent d'abord mathématiquement pourquoi l'ancienne méthode échoue. Ils montrent que la confiance du robot est en réalité contrôlée par un réglage aléatoire choisi par le programmeur humain, plutôt que par les données réelles. Pour corriger cela, ils inventent une nouvelle méthode appelée DIP-EDL. Au lieu de simplement deviner, le DIP-EDL enseigne au robot deux compétences distinctes : d'abord, reconnaître l'animal (la classification), et deuxièmement, cartographier le « voisinage » des données pour voir si la zone est encombrée ou vide (la densité). Si le robot voit un grille-pain dans une partie très vide et inconnue de la carte, le DIP-EDL le force à admettre : « Je ne sais pas ce que c'est », plutôt que de deviner de manière imprévisible.

La boussole cassée et la nouvelle carte

Imaginez que vous êtes un détective essayant de résoudre un mystère. Vous avez un carnet où vous notez des indices. Dans l'ancien système (EDL standard), chaque fois que vous trouvez un indice, vous l'inscrivez et vous criez immédiatement : « J'ai résolu l'énigme ! » Mais il y a un piè anywhere : le carnet a une règle étrange. Peu importe le nombre d'indices que vous trouvez, la « confiance » que vous ressentez est déterminée par un cadran que vous avez réglé au tout début de l'enquête. Si vous réglez le cadran sur « Haute Confiance », vous vous sentirez super sûr de vous même si vous n'avez trouvé qu'un seul petit indice fragile. Si vous le réglez sur « Basse Confiance », vous pourriez douter de vous-même même avec une montagne de preuves. Les auteurs de ce document ont prouvé que c'est exactement ce qui se passe dans l'IA standard. L'« incertitude » de l'IA ne mesure pas réellement ce qu'elle sait ; elle suit simplement le cadran que l'humain a tourné. Cela signifie que l'IA ne peut pas faire la différence entre une photo floue d'un chat (qui est intrinsèquement difficile à voir) et une photo d'un grille-pain (qui est un objet totalement nouveau). Elle devient trop confiante sur le grille-pain, ce qui mène à des erreurs dangereuses.

Le détective en deux étapes

Pour corriger cela, les auteurs ont créé un nouveau détective, le DIP-EDL. Au lieu d'utiliser un seul carnet avec un cadran cassé, ce nouveau détective utilise deux outils distincts travaillant ensemble.

Premièrement, le détective possède un Classifieur. C'est la partie qui regarde l'image et dit : « Cela ressemble à un chat ». Il est très bon pour ce travail.

Deuxièmement, le détective possède un Estimateur de Densité. C'est comme une carte de la ville. Il ne se soucie pas des chats ou des chiens ; il se soucie uniquement de savoir si les rues sont encombrées. Il sait que le « Quartier des Chats » est bondé de maisons, mais que le « Quartier des Grille-pains » est un vaste désert vide.

Voici la magie : le nouveau détective combine ces deux éléments. Lorsque le Classifieur voit un chat dans le quartier bondé des Chats, il dit : « Je suis sûr ! », car il y a beaucoup de maisons similaires à proximité. Mais quand il voit un grille-pain dans le quartier vide des Grille-pains, l'Estimateur de Densité lui murmure : « Hé, cette zone est vide ! Nous n'avons jamais rien vu de tel ici. » Le nouveau détective écoute ce murmure et abaisse immédiatement sa confiance. Il dit : « Je ne sais pas ce que c'est », au lieu de deviner de manière imprévisible.

Ce qu'ils ont trouvé

Les auteurs n'ont pas seulement inventé cette idée ; ils l'ont testée rigoureusement. Ils ont mené des expériences sur trois ensembles de données différents :

MNIST : Une collection de chiffres écrits à la main (comme de 0 à 9).
CIFAR-10 : Une collection de petites photos colorées d'objets du quotidien comme des avions, des voitures et des oiseaux.
LAMOST : Un ensemble de données scientifiques réelles contenant des images d'étoiles et de galaxies.

Dans chaque test, ils ont comparé leur nouveau détective DIP-EDL aux anciens modèles défaillants et même à des méthodes très complexes et coûteuses nécessitant une puissance de calcul massive.

Les résultats ont été impressionnants. Sur les chiffres écrits à la main (MNIST), le DIP-EDL a réussi la classification 99,53 % du temps. Plus important encore, lorsqu'ils lui ont montré des images « hors distribution » (comme des lettres au lieu de chiffres), il les a identifiées comme inconnues avec une précision presque parfaite. Il était bien meilleur pour repérer les « grille-pains » que les anciennes méthodes.

Sur les photos plus difficiles de CIFAR-10, le DIP-EDL était la meilleure méthode à modèle unique, atteignant une précision de 95,03 %. C'était aussi la seule méthode capable d'être à la fois précise pour classer les inconnus (savoir lesquels sont étranges) et précise pour calibrer sa confiance (ne pas être trop sûre d'elle quand elle ne devrait pas l'être).

Même sur le jeu de données complexe d'observation des étoiles (LAMOST), où de nombreuses autres méthodes ont totalement échoué, le DIP-EDL a égalé la précision la plus élevée (89,29 %) et a très bien réussi à identifier les images d'étoiles comme des anomalies.

Pourquoi cela importe

L'article suggère qu'en séparant la question « qu'est-ce que c'est ? » de la question « à quel point cet endroit est-il encombré ? », nous pouvons construire une IA beaucoup plus honnête sur ses limites. Les auteurs ont prouvé mathématiquement que leur méthode fonctionne à mesure que le volume de données augmente, ce qui signifie que le robot devient meilleur et plus fiable à mesure qu'il apprend.

Ils ont également montré que cette nouvelle méthode est flexible. Elle ne nécessite pas que le robot soit un type spécifique de réseau neuronal ; elle peut fonctionner avec presque n'importe quel classifieur que vous lui présenterez. Et contrairement à certaines autres méthodes qui nécessitent de passer l'image dix fois dans l'IA pour obtenir une bonne réponse, le DIP-EDL n'a besoin de regarder qu'une seule fois, ce qui le rend rapide et efficace.

En bref, les auteurs n'ont pas seulement ajusté l'ancien système ; ils ont réalisé que l'ancien système était fondamentalement confus sur la signification de l'« incertitude ». En donnant à l'IA une carte de sa propre connaissance, ils lui ont appris à être humble face à l'inconnu, la rendant plus sûre et plus fiable pour une utilisation dans le monde réel.

Résumé Technique : Pseudo-comptages Informés par la Densité pour l'Apprentissage Évidentiel Profond Calibré

Énoncé du Problème

L'apprentissage profond évidentiel (EDL - Evidential Deep Learning) est un cadre largement utilisé pour la classification consciente de l'incertitude, qui modélise l'incertitude prédictive via des distributions de Dirichlet paramétrées par des réseaux de neurones. Malgré son succès empirique, les fondements théoriques de l'EDL restent mal compris, particulièrement en ce qui concerne son comportement sous un changement de distribution. L'article identifie une faille critique dans l'EDL standard : il confond l'incertitude épistémique (du modèle) et l'incertitude aléatoire (des données). Cette confusion conduit à un excès de confiance systématique sur les entrées hors distribution (OOD - Out-of-Distribution). L'analyse théorique suggère que l'EDL standard repose sur un hyperparamètre (température $\nu$ ) pour équilibrer l'ajustement aux données et la régularisation a priori, rendant sa quantification de l'incertitude arbitraire et dépendante d'un réglage défini par l'utilisateur plutôt que du processus générateur de données sous-jacent. Par conséquent, l'EDL ne parvient pas à distinguer l'incertitude provenant de données limitées (épistémique) de l'incertitude provenant du bruit inhérent (aléatoire), et ses estimations d'incertitude ne s'annulent pas asymptotiquement à mesure que la taille de l'échantillon augmente.

Méthodologie

Interprétation Statistique de l'EDL

Les auteurs fournissent d'abord une interprétation statistique rigoureuse de l'EDL, prouvant que son objectif d'entraînement correspond à une inférence variationnelle amortie (VI) dans un modèle bayésien hiérarchique avec une pseudo-vraisemblance tempérée.

Modèle ICD Tempéré : Les auteurs introduisent un modèle « Independent Categorical-Dirichlet » (ICD) tempéré où la vraisemblance est élevée à une puissance $\nu$ (le paramètre de température).
Équivalence : Ils démontent que la minimisation de la perte EDL standard est mathématiquement équivalente à l'exécution d'une VI amortie sur ce modèle tempéré.
Limite Théorique : Sous ce cadre, les auteurs prouvent que même avec un réseau de neurones optimal et des données infinies, la « vacuité » (une mesure de l'incertitude) de la distribution apprise reste constante et déterminée uniquement par l'hyperparamètre $\nu$ et le paramètre a priori $\alpha$ . Cela confirme que l'EDL standard ne peut pas apprendre à distinguer l'incertitude épistémique de l'incertitude aléatoire ; l'incertitude est imposée de l'extérieur plutôt que d'être apprise à partir de la densité des données.

Solution Proposée : DIP-EDL

Pour remédier à ces limitations, les auteurs proposent l'EDL à Pseudo-comptages Informés par la Densité (DIP-EDL). Cette méthode découple la prédiction de classe de la quantification de l'incertitude en estimant séparément deux composantes :

Distribution de Labels Conditionnelle ( $P^*_{Y|X}$ ) : Estimée par un classifieur discriminatif (réseau de neurones ou autre).
Densité Marginale des Covariables ( $P^*_X$ ) : Estimée par un estimateur de densité.

Paramétrage :
Au lieu d'utiliser un pseudo-comptage global fixe, le DIP-EDL met à l'échelle les pseudo-comptages localement en fonction de la densité d'entrée. La distribution a posteriori variationnelle est définie comme :
$q^{\psi, \phi}_{X_i} = \text{Dir}\left(\alpha + n \cdot DE^\psi_{X_i} \cdot NN^\phi_{X_i}\right)$
Où :

$n$ est la taille de l'ensemble d'entraînement.
$DE^\psi_{X_i}$ est la densité marginale estimée de la covariable $X_i$ .
$NN^\phi_{X_i}$ est la distribution de labels conditionnelle estimée (pseudo-comptages pour chaque classe).

Mécanismes Clés :

Conscience de la Distribution : Dans les régions de haute densité (en distribution), le terme de densité est élevé, permettant au modèle de se concentrer sur la distribution conditionnelle apprise. Dans les régions de faible densité (hors distribution), le terme de densité diminue, provoquant l'effondrement de la distribution a posteriori vers la distribution a priori uniforme, augmentant ainsi l'incertitude.
Consistance Asymptotique : Les auteurs prouvent qu'une estimation cohérente de la densité et de la distribution conditionnelle conduit à la concentration de la distribution a posteriori sur la véritable distribution conditionnelle lorsque $n \to \infty$ .
Modularité : Contrairement à l'EDL de bout en bout, le DIP-EDL permet l'entraînement indépendant de l'estimateur de densité et du classifieur. Cela permet l'utilisation de classifieurs non différentiables (ex: forêts aléatoires) et d'estimateurs de densité prêts à l'emploi.

Contributions Clés

Clarification Théorique : L'article établit que l'entraînement de l'EDL standard est équivalent à une VI amortie sur un modèle tempéré, révélant que sa quantification de l'incertitude est fondamentalement pilotée par un hyperparamètre ( $\nu$ ) plutôt que par des données. Cela explique pourquoi l'EDL échoue à distinguer l'incertitude épistémique de l'incertitude aléatoire.
Nouveau Paramétrage (DIP-EDL) : L'introduction d'un mécanisme de pseudo-comptage informé par la densité qui découple naturellement la prédiction de l'incertitude. Cette approche garantit que l'incertitude varie avec la rareté des données d'entraînement dans l'espace des covariables.
Garanties Théoriques : Preuve de la concentration asymptotique pour le DIP-EDL, montrant que la méthode récupère correctement la véritable distribution conditionnelle et réduit l'incertitude à mesure que la taille de l'échantillon croît, contrairement à l'EDL standard.
Cadre Modulaire : Une architecture flexible qui supporte des classifieurs et des estimateurs de densité arbitraires, supprimant l'exigence d'un entraînement de bout en bout différentiable.

Résultats Expérimentaux

Les auteurs évaluent le DIP-EDL sur trois jeux de données : MNIST, CIFAR-10 et LAMOST (spectres stellaires). Ils le comparent à l'EDL standard, R-EDL, Re-EDL, DAEDL, PostNet, MC-Dropout et Deep Ensembles.

Performance en Distribution (ID) : Le DIP-EDL atteint une précision et une calibration de pointe (score de Brier le plus bas) sur MNIST et CIFAR-10, surpassant l'EDL standard et égalant ou dépassant Deep Ensembles tout en ne nécessitant qu'une seule passe avant lors de l'inférence.
Détection Hors Distribution (OOD) :
- MNIST : Le DIP-EDL atteint un AUROC quasi parfait (0,9997) sur K-MNIST (proche-OOD) et Omniglot (loin-OOD) ainsi que le score de Brier OOD le plus bas, indiquant une calibration supérieure aux modèles de base qui présentent souvent une confiance élevée sur les données OOD.
- CIFAR-10 : Le DIP-EDL surpasse tous les modèles de base, y compris Deep Ensembles, pour la détection OOD lointaine (SVHN) en termes d'AUROC et d'AUPR. Il obtient également le deuxième meilleur score de Brier OOD, démontant une calibration robuste de l'incertitude.
- LAMOST : Sur ce jeu de données scientifique réel et complexe avec un déséquilibre de classes sévère, le DIP-EDL égale Deep Ensembles pour la plus haute précision ID (0,8929) et obtient la meilleure détection OOD parmi les approches à modèle unique.
Études d'Ablation : Les expériences confirment que supprimer l'estimateur de densité mène à une détection OOD aléatoire, tandis que supprimer le classifieur mène à une précision ID aléatoire. Le facteur d'échelle $n$ s'avère critique pour la calibration.

Signification et Revendications

Les auteurs affirment que la portée de leur travail réside dans trois directions :

Fondement Théorique : Il fournit une interprétation statistique rigoureuse de l'EDL, clarifiant le rôle de la régularisation et exposant les limitations fondamentales des méthodes actuelles pour distinguer les types d'incertitude.
Généralisation et Modularité : En découplant la classification et la quantification de l'incertitude, le DIP-EDL généralise le cadre EDL à des classes de classifieurs arbitraires (incluant des modèles non différentiables) et permet l'entraînement indépendant des composantes.
Efficacité Pratique : La méthode conserve l'efficacité computationnelle de l'EDL standard (une seule passe avant à l'inférence) tout en améliorant significativement la robustesse et la calibration sous changement de distribution, ce qui en fait un cadre scalable pour une prédiction fiable et consciente de l'incertitude dans les applications critiques.

Les auteurs restent modestes quant aux travaux futurs, notant que l'affinement de l'estimation de la densité et l'établissement de garanties en échantillon fini sont des étapes suivantes potentielles.