💻 computer science

Unified Multi-Layer Subspace Modeling for Cross-Domain OOD Detection

Le papier introduit PRISM, une méthode post-hoc agnostique au modèle qui unifie les caractéristiques multi-couches en un seul plongement hiérarchique pour détecter les entrées hors distribution en combinant la distance de Mahalanobis conditionnelle à la classe et l'énergie résiduelle, atteignant des performances de pointe en cross-domain avec une configuration par défaut unique et un surcoût d'inférence minimal.

Auteurs originaux : Gerhard Krumpl, Henning Avenhaus, Horst Possegger

Publié 2026-09-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gerhard Krumpl, Henning Avenhaus, Horst Possegger

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'intelligence artificielle moderne est devenue remarquablement douée pour reconnaître les formes. Lorsqu'on lui présente des milliers de photographies de chats, de chiens ou de voitures, ces systèmes apprennent à identifier ces objets spécifiques avec une grande précision. Cependant, un défaut fondamental subsiste : ces systèmes sont souvent trop sûrs d'eux. Si vous montrez à un reconnaisseur de chats entraîné l'image d'un grille-pain, le système pourrait ne pas simplement dire : « Je ne sais pas ». Au lieu de cela, il pourrait déclarer avec assurance : « C'est un chat très étrange ». Cela se produit parce que le système n'a été entraîné que sur des chats ; il n'a aucune notion de ce qui se trouve en dehors de son entraînement. Dans des domaines à enjeux élevés comme l'imagerie médicale ou la sécurité industrielle, une telle erreur est dangereuse. Un système qui diagnostique de manière erronée et certaine un patient ou qui manque une fissure dans une pièce de machine parce qu'il suppose que l'anomalie est juste une version bizarre d'un objet connu peut mener à des défaillances silencieuses et catastrophiques. L'objectif des chercheurs dans ce domaine est de construire un mécanisme de sécurité capable de détecter de manière fiable lorsqu'une entrée appartient à une catégorie que le système n'a jamais vue auparavant.

Pendant des années, les scientifiques ont tenté de résoudre ce problème en examinant le fonctionnement interne de ces réseaux de neurones. Ces réseaux traitent les images à travers de nombreuses couches, un peu comme si l'on épluchait un oignon. Les premières couches détectent des éléments simples comme les bords et les couleurs, tandis que les couches plus profondes reconnaissent des formes et des objets complexes. La plupart des méthodes existantes pour détecter les entrées inconnues reposent sur une seule de ces couches. Certaines ne regardent que la décision finale du réseau, tandis que d'autres examinent les caractéristiques juste avant cette étape finale. Le problème est qu'aucune couche unique n'est parfaite pour chaque situation. Parfois, les couches précoces détiennent les meilleurs indices indiquant qu'une image est étrange ; d'autres fois, les couches profondes sont plus révélatrices. Comme la « meilleure » couche change selon le type d'image et le problème spécifique, les méthodes qui choisissent une seule couche échouent souvent lorsqu'elles sont transférées dans un nouvel environnement. D'autres approches tentent de combiner les signaux de plusieurs couches, mais elles nécessitent généralement une étape de calibration où elles sont ajustées à l'aide d'exemples des données précisément inconnues qu'elles sont censées détecter. Cela crée un paradoxe : pour construire un détecteur de l'inconnu, vous avez d'abord besoin de voir des exemples de l'inconnu, ce qui va à l'encontre de l'objectif d'un outil de sécurité généraliste.

Dans une nouvelle étude, des chercheurs proposent une méthode appelée PRISM qui évite ces pièges en traitant l'ensemble du réseau comme un système unique et unifié plutôt que comme une collection de couches séparées. Au lieu de choisir une seule couche en laquelle avoir confiance ou de faire la moyenne des scores de plusieurs couches, PRISM recueille les informations des parties peu profondes, moyennes et profondes du réseau en même temps. Il assemble ces différentes vues pour créer une représentation unique et complète de l'image. Les chercheurs utilisent ensuite une technique statistique pour cartographier la forme des données « normales » au sein de cet espace combiné. Ils créent un modèle de ce à quoi ressemblent les images typiques et connues lorsqu'elles sont observées simultanément à travers toutes ces couches. Lorsqu'une nouvelle image arrive, le système vérifie deux choses. Premièrement, il mesure la distance entre l'image et le centre des données connues au sein de cet espace combiné. Deuxièmement, il vérifie si l'image possède des caractéristiques qui pointent vers une direction que le système n'a jamais vue auparavant, mesurant essentiellement à quel point l'image ne peut pas être expliquée par les motifs connus.

Les chercheurs ont testé cette approche à travers une grande variété de scénarios du monde réel, incluant des photographies naturelles, des scanners médicaux comme des IRM et des vidéos endoscopiques, ainsi que des tâches d'inspection industrielle. Ils ont comparé PRISM à vingt-deux autres méthodes de pointe. Les résultats ont montré que PRISM surpasse systématiquement les autres, atteignant la précision moyenne la plus élevée dans tous ces domaines différents sans nécessiter d'ajustement spécial pour chacun d'eux. Crucialement, il y parvient en utilisant uniquement des données provenant d'exemples connus, « in-distribution », ne nécessitant aucun exemple de l'inconnu pour calibrer ses paramètres. Alors que d'autres méthodes performaient bien dans un domaine spécifique, tel que l'imagerie médicale, elles éprouvaient souvent des difficultés lorsqu'elles étaient appliquées à des photos industrielles ou des scènes naturelles. PRISM, en revanche, maintenait une performance solide partout. L'étude a également révélé que la méthode n'ajoute presque aucun temps supplémentaire à la vitesse de traitement de l'ordinateur, ce qui la rend pratique pour une utilisation en temps réel.

La conclusion fondamentale de ce travail est que la manière la plus fiable de détecter l'inconnu n'est pas de chercher une seule « meilleure » couche ou de s'appuyer sur des combinaisons pré-ajustées, mais de fusionner toute la profondeur du réseau en une vue unique et cohérente. En modélisant la géométrie des données connues à travers toutes les couches à la fois, le système devient robuste aux particularités spécifiques des différents jeux de données. Les chercheurs ont démontré que cette approche élimine le besoin des étapes de calibration instables qui empoisonnent les méthodes actuelles. Ils ont montré que lorsque l'on cesse d'essayer de deviner quelle partie du réseau est la plus importante pour laisser plutôt le réseau entier s'exprimer simultanément, on obtient un détecteur bien plus constant et fiable. Cela suggère que pour les applications critiques en matière de sécurité, la voie à suivre réside dans une modélisation multi-couches unifiée qui respecte la pleine complexité des données, plutôt que de simplifier le problème en regardant une seule tranche du réseau.

Résumé technique : PRISM pour la détection de l'OOD cross-domaine

Énoncé du problème

La détection de données hors distribution (OOD - Out-of-Distribution) est un défi critique pour le déploiement de réseaux de neurones dans des systèmes réels critiques pour la sécurité. Bien que les modèles atteignent souvent une précision élevée sur les données de distribution intra (ID - In-Distribution), ils peuvent produire des prédictions erronées et trop confiantes sur des entrées qui s'écartent de la distribution d'entraînement. Les méthodes existantes de détection OOD post-hoc reposent généralement sur un seul niveau de représentation (par exemple, les logits ou les caractéristiques pénultimes) ou agrègent les scores de plusieurs couches en utilisant une sélection de profondeur ou une pondération calibrée sur l'OOD.

Les auteurs identifient une limitation fondamentale de ces approches : le niveau de représentation le plus informatif pour la détection OOD varie considérablement selon les différents types d'OOD et les domaines d'application (images naturelles, imagerie médicale, inspection industrielle). Par conséquent, les choix de couches fixes ou les stratégies d'agrégation calibrées sur des ensembles de validation OOD spécifiques sont fragiles et échouent à se généraliser à travers les domaines. De plus, de nombreuses méthodes multi-couches existantes nécessitent une calibration dépendante de l'OOD ou des données synthétiques pour apprendre les poids des couches, ce qui introduit de la complexité et réduit la transférabilité dans des scénarios où des données OOD représentatives sont indisponibles.

Méthodologie : PRISM

Le document propose PRISM (Projected Representation with Intermediate-layer Subspace Modeling), une méthode de détection OOD post-hoc, agnostique au modèle, conçue pour la robustesse cross-domaine. PRISM adhère à un principe de « fusion puis modélisation », évitant l'agrégation de scores par couche au profit de la création d'une représentation de caractéristiques unifiée avant la modélisation statistique.

La méthode se compose de trois étapes principales :

Construction de caractéristiques multi-couches unifiées :
Au lieu de sélectionner une seule couche, PRISM extrait des cartes de caractéristiques de plusieurs couches intermédiaires (de la plus superficielle à la plus profonde) à travers le réseau. Pour les réseaux de neurones convolutifs (CNN), les cartes de caractéristiques spatiales sont agrégées via un pooling moyen global (global average pooling) ; pour les Vision Transformers (ViT), les séquences de tokens sont moyennées. Chaque vecteur résultant est normalisé par $\ell_2$ pour éviter que les couches ayant des magnitudes d'activation plus grandes ne dominent la représentation jointe. Ces vecteurs normalisés sont concaténés pour former un unique vecteur de caractéristiques multi-couches de haute dimension $\mathbf{z}(\mathbf{x})$ .
Modélisation de sous-espace des données ID :
PRISM suppose que les données ID résident sur une variété (manifold) de faible dimension au sein de cet espace de caractéristiques fusionné. En utilisant uniquement les données d'entraînement ID, la méthode applique l'Analyse en Composantes Principales (PCA) pour estimer un sous-espace principal $\mathbf{W}$ qui capture les modes dominants de variabilité ID. Lors de l'inférence, un vecteur de caractéristiques est décomposé en :
- Projection ( $\mathbf{u}$ ) : La composante alignée avec le sous-espace principal, capturant les motifs sémantiques cohérents avec les données ID.
- Résidu ( $\mathbf{r}$ ) : La composante orthogonale représentant les caractéristiques non supportées par la variété ID apprise.
Score OOD :
PRISM combine deux signaux complémentaires en un seul score sans poids appris ni calibration OOD :
- Distance de Mahalanobis projetée ( $s_{\text{proj}}$ ) : Une distance de Mahalanobis conditionnelle à la classe, calculée dans le sous-espace projeté. Elle détecte les écarts par rapport aux structures conditionnelles de classe au sein de la variété apprise.
- Énergie résiduelle ( $s_{\text{res}}$ ) : La norme $\ell_2$ au carré du vecteur résiduel. Elle capture l'énergie dans les directions orthogonales à la variété ID, détectant des directions de caractéristiques nouvelles ou non supportées.
Le score OOD final est le produit négatif de ces deux termes : $s_{\text{PRISM}}(\mathbf{x}) = -s_{\text{proj}}(\mathbf{x}) \cdot s_{\text{res}}(\mathbf{x})$ . Cette combinaison multiplicative met l'accent sur les échantillons qui dévient de la structure ID à la fois à l'intérieur et à l'extérieur du sous-espace principal. Toutes les statistiques (moyennes, covariance, paramètres PCA) sont estimées exclusivement à partir des données ID.

Contributions clés

Identification de la sensibilité de l'agrégation : Les auteurs démontrent que l'agrégation par couche et la calibration basée sur l'OOD sont hautement sensibles à l'ensemble de validation OOD choisi, conduisant à un comportement instable en cross-domaine. Ils montrent que les poids optimaux des couches varient considérablement selon les décalages d'images médicales et naturelles.
Modélisation de sous-espace multi-couches unifiée : PRISM introduit un principe qui élimine le besoin de sélection de couche, d'heuristiques d'agrégation de scores et de calibration dépendante de l'OOD. En fusionnant les représentations avant la modélisation, il conserve les avantages de robustesse de la modélisation statistique des caractéristiques tout en capturant des informations complémentaires des couches superficielles aux couches profondes.
Évaluation cross-domaine complète : La méthode est évaluée sur des benchmarks naturels, médicaux et industriels (OpenOOD, OpenMIBOOD, ICONIC-444) en utilisant une configuration par défaut unique. PRISM atteint l'AUROC moyen de l'état de l'art et le meilleur rang moyen sur les jeux de données sans nécessiter de calibration basée sur l'OOD.
Efficacité : La méthode présente un surcoût d'inférence minimal (moins de 1,0 % pour des tailles de batch $\geq 16$ ) par rapport aux méthodes de référence, ce qui la rend pratique pour un déploiement réel.

Résultats

Des expériences approfondies sur 22 méthodes post-hoc de pointe à travers divers benchmarks produisent les conclusions suivantes :

Performance globale : PRISM atteint l'AUROC moyen le plus élevé (93,92 %) sur tous les benchmarks, surpassant la deuxième meilleure méthode (MDS++, 89,13 %) de 4,79 points.
Robustesse au domaine : Contra à les méthodes concurrentes qui présentent une variabilité marquée selon le domaine (par exemple, MDSEns performe bien sur les données médicales mais mal sur ImageNet-1k ; GRAM excelle dans les contextes industriels mais se dégrade dans les tâches médicales), PRISM maintient une performance élevée et constante à travers les domaines naturels, médicaux et industriels.
Robustesse aux catégories OOD : PRISM maintient un AUROC élevé, des catégories quasi-OOD aux catégories OOD extrêmes, indiquant une robustesse face à l'augmentation des décalages de distribution.
Généralisation architecturale : PRISM performe de manière cohérente sur différentes architectures de backbones, incluant ResNets, Swin Transformers et ViTs, sans réglage spécifique à l'architecture.
Études d'ablation : L'article confirme que les termes de la distance de Mahalanobis projetée et de l'énergie résiduelle sont tous deux nécessaires pour une performance optimale, car ils capturent différents types de déviations géométriques. La représentation multi-couches unifiée s'avère plus efficace que les bases à couche unique ou la simple agrégation de scores.

Signification et affirmations

L'article affirme que PRISM répond à l'instabilité des méthodes actuelles de détection OOD en privilégiant un déploiement transférable, basé uniquement sur l'ID. En fusionnant les représentations de la couche superficielle à la couche profonde et en modélisant la géométrie ID unifiée dans un sous-espace de faible dimension, PRISM évite les pièges des préférences de profondeur dépendantes du benchmark ou de la calibration dépendante de l'OOD.

Les auteurs soulignent que, bien qu'aucun détecteur post-hoc unique ne soit universellement meilleur dans tous les domaines et types d'OOD, PRISM offre une solution robuste et « par défaut » qui intègre des informations complémentaires à travers les profondeurs de représentation. Cette approche réduit la sensibilité aux définitions spécifiques de l'OOD ou aux ensembles de validation utilisés lors du développement, offrant un mécanisme plus fiable pour identifier les décalages de distribution dans diverses applications réelles où les données OOD peuvent être rares ou inconnues. La capacité de la méthode à atteindre des performances de pointe avec une configuration fixe à travers les domaines naturels, médicaux et industriels souligne la valeur de la modélisation de sous-espace multi-couches unifiée pour la robustesse cross-domaine.