🤖 machine learning

When Confidence Lacks Concepts: Interpretable OOD Detection via Representation Perturbations

Ce document propose un cadre de détection de hors-distribution (OOD) interprétable pour l'imagerie médicale qui renforce la sécurité en exploitant des autoencodeurs parcimonieux pour extraire des vecteurs de concepts spécifiques à une classe, en utilisant leur stabilité induite par la perturbation pour distinguer les échantillons de distribution interne des anomalies hors distribution sur la base de l'alignement représentationnel.

Auteurs originaux : Anju Chhetri, Pratik Shrestha, Ramesh Rana, Prashnna Gyawali, Binod Bhattarai

Publié 2026-06-16

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anju Chhetri, Pratik Shrestha, Ramesh Rana, Prashnna Gyawali, Binod Bhattarai

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : Le robot médecin trop sûr de lui

Imaginez un robot médecin hautement qualifié, capable de diagnostiquer des maladies à partir d'images médicales (comme des radiographies ou des photos d'endoscopie). Il a étudié des milliers d'images d'estomac sains et de types spécifiques de cancers.

Cependant, ce robot a un défaut dangereux : il généralise trop. Si vous lui montrez l'image d'un organe complètement différent, ou un artefact étrange, ou une maladie qu'il n'a jamais vue, il pourrait tout de même affirmer avec assurance : « Je sais exactement ce que c'est ! » et donner un diagnostic. Dans le monde réel, c'est risqué car le robot pourrait être sûrement dans l'erreur.

Les méthodes actuelles tentent de détecter ces erreurs en observant le « calcul interne » du robot (comme son niveau de certitude). Mais le problème est que ces signaux internes sont comme une boîte noire. Nous savons que le robot est incertain, mais nous ne savons pas pourquoi. C'est comme le voyant d'alerte sur le tableau de bord d'une voiture qui indique « Problème moteur » sans donner plus de détails. En santé, nous avons besoin de savoir pourquoi le robot est incertain pour pouvoir lui faire confiance.

La solution : Le test de « perturbation de concept »

Les auteurs de cet article proposent une nouvelle façon de tester le robot, qu'ils appellent CAPS (Class-conditioned Activation Perturbations). Au lieu de simplement regarder la réponse finale, ils « titillent » le cerveau du robot pour voir si sa réflexion est stable.

Voici comment cela fonctionne, étape par étape :

1. Apprendre le « vocabulaire » de la maladie (l'SAE)

D'abord, les chercheurs apprennent au robot une nouvelle façon de penser. Ils utilisent un outil appelé Autoencodeur Creux (SAE - Sparse Autoencoder).

L'analogie : Imaginez que le robot pense habituellement en une sorte de soupe géante et désordonnée de mots. L'SAE agit comme un traducteur qui décompose cette soupe en ingrédients distincts et uniques (des concepts).
Le résultat : Pour une maladie spécifique (par exemple, le « Pylore »), le robot apprend à identifier des « vecteurs de concepts » spécifiques. Ce sont comme des plans mentaux de ce à quoi ressemble un Pylore sain (ex : « forme ronde », « couleur rose », « ouverture spécifique »).

2. Le test du « Et si ? » (La perturbation)

Lorsque le robot examine l'image d'un nouveau patient, il fait une supposition. Disons qu'il devine « Pylore ».

Le test : Les chercheurs prennent le « plan du Pylore » spécifique (le vecteur de concept) et poussent doucement la représentation interne de l'image par le robot dans cette direction. C'est comme demander au robot : « Si je fais en sorte que cette image ressemble légèrement plus à un Pylore parfait, est-ce que ta confiance change ? »

3. La vérification de la stabilité (ID vs OOD)

C'est là que la magie opère. Les chercheurs mesurent à quel point la confiance du robot change après cette petite poussée.

Scénario A : Le vrai patient (In-Distribution / ID)
- La situation : L'image est réellement un Pylore.
  - La réaction : Le cerveau du robot est déjà aligné avec le « plan du Pylore ». Quand vous le poussez vers ce plan, il réagit à peine. Sa confiance reste stable.
- Le verdict : « C'est un échantillon connu et sûr. »
Scénario B : Le faux/inconnu patient (Out-of-Distribution / OOD)
- La situation : L'image est en réalité un artefact étrange ou un autre organe, mais le robot a quand même deviné « Pylore ».
- La réaction : Le cerveau du robot n'est pas réellement aligné avec le « plan du Pylore ». Quand vous le poussez vers ce plan, le robot est confus. Sa confiance oscille violemment parce que l'image ne correspond pas réellement au concept.
- Le verdict : « C'est suspect ! Le robot devine sans base réelle. Signalez cela comme étant hors distribution (OOD). »

Pourquoi cela compte : De la boîte noire à la boîte de verre

L'article affirme que cette méthode est spéciale car elle est interprétable.

L'ancienne méthode : « Le robot est incertain. » (Nous ne savons pas pourquoi).
La nouvelle méthode : « Le robot est incertain parce que l'image manque des caractéristiques visuelles spécifiques (concepts) qui définissent un Pylore, même si le robot a deviné Pylore. »

Les chercheurs ont testé cela sur trois types d'imagerie médicale :

Endoscopie (regarder à l'intérieur de l'estomac/intestins).
Histopathologie (regarder des échantillons de tissus sous un microscope).
Ophtalmologie (regarder des scanners de la rétine de l'œil).

Ce qu'en ont dit les experts

Pour prouver que leurs « concepts » étaient réels et non de simples calculs mathématiques abstraits, ils ont montré les résultats à un médecin humain (un gastro-entérologue).

Les conclusions : Le médecin a confirmé que lorsque le robot était « stable », les images présentaient des repères médicaux clairs et réels (comme l'ouverture de l'appendice ou la ligne Z de l'œsophage).
L'échec : Lorsque le robot était « instable » (les échantillons OOD), le médecin a confirmé que ces images manquaient de ces repères ou montraient des éléments qui n'avaient pas leur place (comme un polype mal placé ou une superposition logicielle).

Résumé

L'article présente une méthode pour attraper les erreurs de l'IA en vérifiant si la confiance de l'IA est « ancrée » dans des caractéristiques réelles et compréhensibles.

Si l'IA est confiante et que l'image correspond au « concept » de cette confiance, elle est probablement sûre.
Si l'IA est confiante mais que l'image ne correspond pas au « concept » (provoquant une forte réaction lors du test), il s'agit probablement d'une erreur.

Cela rend l'IA plus sûre pour les domaines à enjeux élevés comme la médecine, non seulement en détectant les erreurs, mais aussi en expliquant pourquoi une erreur pourrait se produire.

Résumé technique : Quand la confiance manque de concepts : Détection de l'OOD interprétable via des perturbations de représentation

Énoncé du problème
Les réseaux de neurones profonds, particulièrement en imagerie médicale, présentent une tendance à la surgénéralisation lorsqu'ils sont confrontés à des décalages de distribution (par exemple, des variations dans les protocoles d'imagerie, les données démographiques des patients ou de nouvelles pathologies). Bien que des méthodes de détection de hors-distribution (OOD - Out-of-Distribution) existent pour atténuer les risques de prédictions peu fiables, la plupart reposent sur des signaux internes opaques (tels que les probabilités softmax, les scores d'énergie ou les distances de caractéristiques) dont la signification sémantique est mal comprise. Ce manque d'interprétabilité limite la confiance dans les contextnements cliniques critiques, où comprendre pourquoi un échantillon est signalé comme anomalie est aussi crucial que la détection elle-même. Le document traite du besoin d'un cadre de détection OOD qui soit à la fois discriminatif et interprétable, liant les décisions de détection à des concepts spécifiques et cliniquement significatifs.

Méthodologie : Perturbations d'activation conditionnées par la classe (CAPS)
Le cadre proposé, CAPS, fonctionne en sondant la stabilité des prédictions du modèle sous des perturbations sémantiques conditionnées par la classe au sein de l'espace de représentation. La méthodologie procède en trois étapes :

Entraînement de l'auto-encodeur parcimonieux (SAE) :
Les auteurs utilisent des auto-encodeurs parcimonieux (Sparse Autoencoders - SAE) pour décomposer les activations intermédiaires denses (spécifiquement le jet [CLS] d'un Vision Transformer) en composantes sémantiques parcimonieuses. Le SAE apprend une représentation latente parcimonieuse $s(h)$ et un décodeur $D$ tels que l'activation originale $h$ est approximée par une combinaison linéaire de colonnes de décodeurs (caractéristiques). L'objectif d'entraînement équilibre la fidélité de la reconstruction et la parcimonie ( $L = \|h - \bar{h}\|^2_2 + \gamma\|s(h)\|_1$ ).
Extraction de concepts spécifiques à la classe :
Pour chaque classe $c$ , les auteurs identent un sous-ensemble de latents SAE qui sont caractéristiquement actifs en calculant l'activation latente moyenne sur les échantillons d'entraînement en distribution (ID - In-Distribution). Les $k$ premières dimensions latentes avec la plus haute activation moyenne sont sélectionnées pour former un dictionnaire de concepts spécifique à la classe $K_c$ . Ces colonnes de décodeurs représentent les directions linéaires codant les caractéristiques définissant la classe.
Analyse de la perturbation et de la stabilité :
Lors de l'inférence, pour une entrée de test $\bar{x}$ , le modèle prédit d'abord une classe $\hat{y}$ . Le vecteur de concept correspondant $v_{\hat{y}}$ est construit en agrégeant et en normalisant les vecteurs de concept sélectionnés pour $\hat{y}$ . Ce vecteur est ensuite injecté dans l'activation intermédiaire du modèle à la couche $l$ via une perturbation contrôlée : $\tilde{h}_l = h_l + \beta v_{\hat{y}}$ , où $\beta$ contrôle la force de la perturbation.
L'hypothèse centrale est que les échantillons ID, qui s'alignent avec les directions sémantiques spécifiques à la classe, présenteront une faible sensibilité à ces perturbations (résultant en de faibles changements dans les logits de la classe). Inversement, les échantillons OOD, qui manquent d'alignement avec ces directions apprises, montreront des écarts amplifiés dans les logits. Le score de détection OOD est défini par l'amplitude du décalage de logit $\Delta \ell_c$ . Les échantillons dépassant un seuil $\tau$ (calibré sur un ensemble ID tenu à l'écart) sont classés comme OOD.

Contributions clés

Cadre novateur : La proposition de CAPS, une méthode de détection OOD qui exploite les perturbations de concept au niveau de la représentation plutôt que des scores de sortie opaques.
Évaluation multi-domaines : Évaluation approfondie à travers trois modalités distinctes d'imagerie médicale : l'endoscopie (Kvasir-v2), l'histopathologie (NCT-CRC-HE-100K/CRC-VAL-HE-7K) et l'imagerie ophtalmique (OCT rétinien).
Interprétabilité clinique : Démonstration que les caractéristiques SAE extraites correspondent à des motifs visuels cliniquement significatifs (par exemple, des repères anatomiques comme l'ouverture pylorique ou des caractéristiques physiologiques comme la coloration de la bile), validées par un examen expert clinique en aveugle.

Résultats
La méthode a été évaluée par rapport aux bases de référence de pointe (incluant Energy, MSP, Mahalanobis, ViM et NERO) en utilisant les métriques AUROC et FPR95 :

Histopathologie : CAPS a obtenu la meilleure performance avec 95,28 % d'AUROC et 23,17 % de FPR95.
OCT : CAPS a atteint 93,67 % d'AUROC et 24,80 % de FPR95, surpassant toutes les bases de référence.
Kvasir-v2 (Endoscopie) : La méthode a atteint 79,58 % d'AUROC. Les auteurs attribuent cette performance modérée à la taille plus réduite du jeu de données (2 400 échantillons), ce qui limite la capacité du SAE à apprendre des directions hautement discriminantes et spécifiques à la classe par rapport aux jeux de données plus larges d'histopathologie et d'OCT (>50k échantillons).
Robustesse : L'analyse de sensibilité a montré que la méthode est stable à travers une large gamme d'hyperparamètres ( $k$ et $\beta$ ) pour les jeux de données disposant de données suffisantes, bien qu'une instabilité ait été observée dans le régime de données limitées de Kvasir-v2.

Signification et affirmations
L'article affirme que CAPS fournit un "signal OOD discriminatif et une lentille interprétable sur les mécanismes internes pilotant l'incertitude du modèle". En formulant la détection OOD comme une analyse de stabilité conditionnée par le concept, l'approche comble le fossé entre la haute performance de détection et la confiance clinique. Les auteurs démontrent que les échantillons OOD sont détectés non pas simplement parce qu'ils sont "différents", mais parce qu'ils manquent des caractéristiques sémantiques spécifiques, vérifiées par des experts, qui pilotent les prédictions confiantes pour les classes en distribution.

Les auteurs maintiennent un ton modeste concernant les limites, reconnaissant que dans les régimes de faibles données, la difficulté de capturer des directions sémantiquement cohérentes peut impacter la fiabilité. Ils postulent que si le pré-entraînement au niveau de la modalité aide, le développement de stratégies d'entraînement SAE plus robustes pour les environnements de santé contraints en données reste une direction nécessaire pour les travaux futurs. Ce travail est présenté comme une étape vers l'unification de l'interprétabilité au niveau de la représentation et de l'évaluation de la fiabilité dans les réseaux de neurones profonds.