Résumé Technique : Autoencodeurs Creux pour une Détection de Hors-Distribution Interprétable

Énoncé du Problème

Les modèles d'apprentissage automatique, en particulier les réseaux de neurones profonds (DNN), opèrent sous l'hypothèse que les données au moment du test suivent la même distribution que les données d'entraînement. Lorsque cette hypothèse est violée (Hors-Distribution ou OOD - Out-of-Distribution), les modèles produisent souvent des prédictions surestimées et incorrectes. Les méthodes existantes de détection OOD souffrent de deux limitations principales :

1. Dépendance aux Couches Finales : La plupart des méthodes n'utilisent que les représentations de la couche finale (par exemple, les logits ou les embeddings), négligeant l'information hiérarchique riche présente dans les couches intermédiaires du réseau. Comme le démontre l'article, les structures discriminantes distinguant les entrées ID (en distribution) des entrées OOD apparaissent souvent dans les couches précoces mais deviennent obscurcies ou compressées dans les représentations finales.
2. Manque d'Interprétabilité : Même lorsque les scores de détection sont efficaces, ils offrent peu d'indices sur le pourquoi un échantillon est OOD ou sur quelles représentations internes distinguent les entrées ID des entrées OOD. Cela entrave le diagnostic pour savoir si les décalages de distribution proviennent de corruptions visuelles de bas niveau ou de décalages sémantiques de haut niveau.

Méthodologie : SAID

Les auteurs proposent SAID (Sparse Autoencoders for Interpretable Detection), un cadre de détection OOD post-hoc qui exploite des autoencodeurs creux (SAE - Sparse Autoencoders) entraînés sur les activations intermédiaires d'un modèle de vision pré-entraîné et gelé.

1. Entraînement des SAE sur les Couches Intermédiaires

SAID entraîne des SAE séparés sur les activations de caractéristiques intermédiaires ($a = f_l(x)$) de couches $l$ sélectionnées d'un modèle de base gelé (par exemple, ViT ou ResNet).

• Architecture : Les auteurs utilisent des Top-k SAEs, qui imposent la parcimonie (sparsity) en mettant explicitement à zéro toutes les dimensions latentes sauf les $k$ plus actives. Cela évite l'utilisation d'une pénalité de parcimonie L1 dans la fonction de perte.
• Objectif : Les SAE sont entraînés pour minimiser l'erreur quadratique moyenne (MSE) entre l'activation d'entrée et l'activation reconstruite ($D(E(a)) \approx a$).
• Interprétabilité : La contrainte de parcimonie encourage les caractéristiques apprises à être « monosémantiques », où chaque caractéristique active correspond à un concept distinct et interprétable par l'humain.

2. Notation OOD basée sur la Similitude

Au moment de l'inférence, SAID compare l'encodage creux d'un échantillon de test contre la distribution apprise des classes In-Distribution (ID) :

1. Construction de Prototypes : Pour chaque classe $c$ et chaque couche $l$, l'encodage latent moyen $\mu_{c,l}$ est calculé et stocké à partir de l'ensemble d'entraînement.
2. Encodage : Pour une entrée de test $x$, le classificateur pré-entraîné prédit une classe $\hat{c}$. Le SAE pour chaque couche $l$ encode l'activation intermédiaire de $x$ en un vecteur creux $z_l$.
3. Notation (Scoring) : Un score OOD spécifique à la couche $s_l(x)$ est calculé comme la similitude cosinus entre l'encodage creux $z_l$ et l'encodage moyen de la classe prédite $\mu_{\hat{c},l}$.
4. Agrégation : Le score OOD final $S(x)$ est la moyenne des similitudes cosinus à travers toutes les couches sélectionnées.
5. Décision : Les échantillons avec $S(x) \geq \tau$ sont classés comme ID ; sinon, ils sont OOD.

3. Annotation de Concepts via VLM

Pour fournir l'interprétabilité, les auteurs emploient un modèle de vision-langage (VLM, spécifiquement GPT-5.5) pour annoter les caractéristiques latentes des SAE.

• Pour chaque caractéristique latente, les 25 meilleures images ID qui l'activent le plus fortement sont récupérées.
• Ces images sont transmises au VLM avec un prompt pour décrire les motifs visuels partagés, générant une étiquette de concept lisible par l'humain (par exemple, « Four de couleur grise », « Ailes »).
• Cela permet d'analyser si les entrées ID et OOD activent des concepts sémantiquement cohérents.

Contributions Clés

1. Nouveau Cadre de Détection : Introduction de SAID, une méthode post-hoc qui utilise les encodages SAE des couches intermédiaires pour améliorer les performances de détection OOD.
2. Démonstration de l'Utilité des Couches Intermédiaires : Preuve empirique montrant que les couches intermédiaires contiennent des informations discriminantes souvent perdues dans les représentations de la couche finale, conduisant à une meilleure détection à travers les décalages sémantiques et de covariables.
3. Interprétabilité et Diagnostic : L'utilisation des étiquettes de concepts dérivées des SAE comme outil de diagnostic. Les auteurs montrent que les entrées ID activent des concepts sémantiquement cohérents avec l'image, tandis que les entrées OOD activent des concepts discordants ou incohérents, fournissant une vue par couche des décalages de distribution.

Résultats Expérimentaux

La méthode a été évaluée sur ImageNet-1K (ID) contre divers jeux de données OOD (SSB-Hard, NINCO, ImageNet-C, ImageNet-R, etc.) en utilisant des backbones ViT-B/16 et ResNet-50.

• Performance : SAID atteint des performances de pointe (SOTA) en moyenne sur les benchmarks de décalage sémantique et de covariable.
  • Sur le backbone ViT, SAID a obtenu le meilleur AUROC moyen pour les deux types de décalage (par exemple, 92,4 % d'AUROC sur le décalage sémantique, 83,5 % sur le décalage de covariable), surpassant les bases comme VIM, RMDS et KNN.
  • Sur ResNet-50, SAID a également obtenu l'AUROC moyen le plus élevé, bien que la marge par rapport aux méthodes existantes soit plus faible.
• Impact des Couches Intermédiaires : Les études d'ablation ont confirmé que l'ajout de SAE de couches intermédiaires améliore systématiquement l'AUROC par rapport à l'utilisation de la seule couche finale. La couche la plus informative varie selon le jeu de données (par exemple, les couches précoces pour les décalages de texture/covariable, les couches tardives pour les décalages sémantiques), justifiant la stratégie d'agrégation.
• Analyse de Concept : L'analyse quantitative a montré que les échantillons ID présentent une plus grande « concordance de concept » (fraction de concepts activés sémantiquement cohérents avec l'image) que les échantillons OOD. Cet écart est particulièrement prononcé dans les couches tardives, suggérant que les décalages de distribution sont très visibles dans les représentations de concepts de haut niveau.

Signification et Limites

Signification :
L'article soutient que SAID offre un double avantage : il améliore la précision de la détection en exploitant l'information distribuée à travers la hiérarchie du réseau et fournit un mécanisme pour interpréter comment les décalages de distribution affectent les représentations apprises. En passant des « boîtes noires » de logits à des caractéristiques creuses basées sur des concepts, SAID permet aux praticiens de diagnostiquer si un modèle échoue en raison d'une corruption de bas niveau ou de décalages sémantiques de haut niveau.

Limites :
Les auteurs reconnaissent plusieurs contraintes :

• Étendue du Domaine : L'évaluation est actuellement limitée au domaine de la vision.
• Parcimonie Fixe : L'utilisation d'une contrainte de parcimonie fixe-$k$ suppose un nombre constant de caractéristiques actives par entrée, ce qui peut ne pas s'adapter à la complexité variable de différents points de données.
• Coût Computationnel : L'entraînement de SAE à haute capacité pour plusieurs couches intermédiaires est gourmand en ressources, ce qui peut limiter l'applicabilité à des modèles extrêmement larges ou à des environnements aux ressources limitées.