🤖 machine learning

A Systematic Analysis of Out-of-Distribution Detection Under Representation and Training Paradigm Shifts

Cet article présente une évaluation systématique démontrant que l'efficacité des détecteurs hors distribution dépend principalement de la représentation apprise sous-jacente et du paradigme d'entraînement plutôt que du seul design du score, révélant que les caractéristiques de l'effondrement de la représentation dictent les stratégies de scoring optimales et permettant de prédire les détecteurs les plus performants sans données hors distribution supplémentaires.

Auteurs originaux : Claudio César Claros Olivares, Austin J. Brockmeier

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Claudio César Claros Olivares, Austin J. Brockmeier

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un étudiant très intelligent (une IA) qui a travaillé dur pour un ensemble spécifique d'examens (les données d'entraînement). Lorsque vous lui posez une question tirée de son guide d'étude, il répond avec une grande confiance. Mais que se passe-t-il si vous lui posez une question sur quelque chose qu'il n'a jamais vu, comme une question sur la cuisine alors qu'il n'a étudié que les mathématiques ?

Dans le monde de l'IA, on appelle cela une situation Hors Distribution (OOD). Le danger est que l'IA puisse toujours répondre avec une grande confiance, même si elle a complètement tort. C'est un « échec silencieux ».

Ce papier est comme un bulletin de notes massif et systématique qui tente de déterminer : « Lorsque l'IA est confuse, quel « système d'alarme » fonctionne le mieux pour nous dire qu'elle est confuse ? »

Voici la décomposition de leurs résultats utilisant des analogies simples :

1. Le Problème : L'alarme « Taille Unique » ne fonctionne pas

Pendant des années, les chercheurs ont tenté de construire un seul « meilleur » système d'alarme (une fonction de score) pour détecter quand une IA est confuse. Ils pensaient : « Si nous trouvons simplement la formule mathématique parfaite, elle fonctionnera pour chaque IA. »

Les auteurs ont découvert que c'est faux. C'est comme essayer d'utiliser le même type de détecteur de fumée pour une cuisine, un garage et une forêt.

Dans une cuisine (données simples et familières), un détecteur de fumée basique fonctionne bien.
Dans une forêt (données très différentes et complexes), vous avez besoin d'un type de capteur entièrement différent.

Le papier montre que la « meilleure » alarme dépend entièrement de la façon dont le cerveau de l'IA est organisé (sa représentation interne), et non pas seulement de la mathématique de l'alarme elle-même.

2. L'Expérience : Tester les alarmes dans différentes « Météos »

Les chercheurs ont testé 20 systèmes d'alarme différents sur deux types de cerveaux d'IA (CNN et ViT) à travers quatre « guides d'étude » (ensembles de données) différents.

Ils ont également catégorisé les « questions confuses » en trois niveaux de difficulté, comme des conditions météorologiques :

Near-OOD (Pluie légère) : La question est légèrement différente de ce qu'ils ont étudié (par exemple, demander un « chien » alors qu'ils ont étudié des « chats »).
Mid-OOD (Tempête violente) : La question est assez différente (par exemple, demander des « voitures » alors qu'ils ont étudié des animaux).
Far-OOD (Ouragan) : La question est totalement étrangère (par exemple, demander des « textures » ou des motifs abstraits).

La Découverte : L'alarme qui fonctionne sous la « Pluie légère » échoue souvent dans un « Ouragan ».

Pour les cerveaux d'IA simples (CNN) : Sous la pluie légère, les alarmes de probabilité simples fonctionnent le mieux. Mais à mesure que la tempête s'intensifie, les alarmes qui examinent la forme et la géométrie des données deviennent les gagnantes.
Pour les cerveaux d'IA complexes (ViT) : Ils sont différents. Au milieu d'une tempête, les alarmes qui examinent les erreurs de reconstruction (la capacité de l'IA à reconstruire l'image à partir de la mémoire) fonctionnent le mieux.

3. L'Ingrédient Secret : « L'Effondrement Neural »

Le papier introduit un concept appelé Effondrement Neural. Imaginez le cerveau de l'IA comme une bibliothèque.

Bon Effondrement : Les livres (données) sont soigneusement rangés sur des étagères parfaites et symétriques. Tout est organisé et rangé.
Mauvais Effondrement : Les livres sont éparpillés partout, en désordre et se chevauchant.

Les auteurs ont découvert une règle magique :

Si la bibliothèque est bien organisée (effondrement élevé), les alarmes qui vérifient les frontières et les prototypes (comme « Cela ressemble-t-il à un chat ? ») fonctionnent le mieux.
Si la bibliothèque est désordonnée (effondrement faible), les alarmes qui vérifient les gradients et les distances (comme « Quelle est la distance par rapport au livre le plus proche ? ») fonctionnent mieux.

4. La Solution : Une « Boule de Cristal » pour l'IA

Au lieu de deviner quelle alarme utiliser, les auteurs ont construit un prédicteur.

Pensez à ce prédicteur comme à une boule de cristal. Vous n'avez pas besoin de tester l'IA sur des questions confuses pour savoir quelle alarme utiliser. Vous regardez simplement la géométrie du cerveau de l'IA (la propreté de la bibliothèque) en utilisant les métriques de « l'Effondrement Neural ».

Entrée : « Voici comment le cerveau de l'IA est organisé. »
Sortie : « Sur cette base, vous devriez utiliser l'Alarme A pour la pluie légère et l'Alarme B pour les ouragans. »

Ils ont testé cette boule de cristal en l'entraînant sur un type d'IA (VGG-13) et en lui demandant de prédire les meilleures alarmes pour un autre type d'IA (ResNet-18). Cela a fonctionné incroyablement bien, réduisant les erreurs de 51 % à 84 % par rapport à la simple hypothèse d'une alarme fixe.

5. Le « Filtre de Projection » : Nettoyer la Lentille

Le papier a également découvert que parfois, la vue de l'IA est floue à cause de « bruit » (détails non pertinents).

Ils ont créé un filtre (comme nettoyer un objectif d'appareil photo) qui élimine le bruit avant que l'alarme ne vérifie l'image.
La Surprise : Le type de filtre dépend de l'IA.
- Pour les CNN, un filtre global (nettoyer tout l'objectif d'un coup) fonctionne le mieux.
- Pour les ViT, un filtre spécifique à la classe (nettoyer l'objectif spécifiquement pour l'objet que l'IA pense voir) fonctionne le mieux.

Résumé

La conclusion principale est simple : Ne regardez pas seulement l'alarme ; regardez le cerveau.

Pour détecter quand une IA échoue, vous devez d'abord comprendre comment cette IA spécifique a organisé ses connaissances. Si les connaissances sont rangées, utilisez un type de détecteur. Si elles sont désordonnées, utilisez un autre. Les auteurs fournissent une carte (le prédicteur) qui vous indique exactement quel détecteur utiliser simplement en regardant la structure interne de l'IA, vous évitant ainsi de deviner et d'échouer.

Résumé Technique : Une Analyse Systématique de la Détection Hors Distribution sous des Changements de Paradigmes de Représentation et d'Entraînement

Énoncé du Problème

Les réseaux de neurones profonds produisent fréquemment des « défaillances silencieuses », délivrant des prédictions incorrectes avec une haute confiance. La détection Hors Distribution (OOD) vise à signaler ces défaillances en attribuant des scores de confiance qui distinguent les prédictions fiables des prédictions non fiables. Bien que de nombreuses Fonctions de Score de Confiance (CSF) existent, leurs classements de performance sont notoirement instables à travers différents jeux de données, architectures et pipelines d'entraînement. La question centrale abordée par ce travail est : Quand une famille spécifique de détecteurs fonctionne-t-elle, et quelle propriété du modèle entraîné détermine son efficacité ?

Les auteurs remettent en cause la vision selon laquelle la détection OOD est simplement un concours entre règles de notation. Au contraire, ils émettent l'hypothèse que la performance est gouvernée principalement par la géométrie de la représentation apprise, façonnée par l'architecture, le paradigme d'entraînement et la complexité de l'espace des étiquettes, plutôt que par la conception du score appliqué par-dessus.

Méthodologie

1. Benchmark Centré sur la Représentation

Les auteurs présentent un benchmark systématique qui fait varier factoriellement quatre dimensions clés :

Backbones : CNN (VGG-13, ResNet-18) et Vision Transformers (ViT).
Paradigmes d'Entraînement : Entropie Croisée Vanilla (ConfidNet), DeVries (confiance interpolée) et Deep Gamblers (fonction de perte de pari avec réservation).
Jeux de Données Sources : CIFAR-10, CIFAR-100, SuperCIFAR-100 et TinyImageNet.
Régimes OOD : Les jeux de données sont regroupés en régimes proche, intermédiaire et lointain basés sur des distances sémantiques dérivées de CLIP, dépassant les regroupements binaires standard proche/lointain.

2. Pipeline de Classement Statistique

Pour remédier à l'instabilité des classements, l'article remplace les résumés à vainqueur unique par un pipeline de classement contrôlé par comparaisons multiples :

Métriques : Métriques sans seuil AURC (Aire sous la Courbe Risque-Couverture) et AUGRC (Aire sous la Courbe Risque-Couverture Généralisée).
Procédure : Le test de Friedman identifie les différences significatives dans les classements. Les tests post-hoc Conover–Holm avec correction de Holm identifient des cliques de « vainqueurs » statistiquement indiscernables. Cela permet d'identifier des groupes de CSF qui sont conjointement compétitifs, plutôt que de forcer un seul meilleur choix.

3. Filtrage par Projection

L'étude introduit le filtrage par projection comme une intervention contrôlée sur la géométrie de la représentation. En utilisant l'Analyse en Composantes Principales (PCA) sur les features de la couche pénultième, les auteurs reconstruisent les features à partir de sous-espaces de rang faible. Ils évaluent trois variantes :

Projection Globale : Un seul sous-espace pour toutes les classes.
Projection par Classe : Des sous-espaces spécifiques à chaque classe.
Projection Prédite par Classe (CPP) : Utilisation du sous-espace de la classe prédite par le modèle.

4. Analyse de l'Effondrement Neural (NC)

Les auteurs utilisent des métriques d'Effondrement Neural (NC) pour quantifier la géométrie des features de la dernière couche. Ces métriques mesurent des phénomènes tels que l'effondrement de la variabilité, la convergence vers un cadre équiangulaire simplexe (ETF), et la dualité entre les moyennes de classe et les poids du classifieur.

Corrélation : Des tests de Mantel sont utilisés pour corréler les distances de géométrie NC avec les distances de classement des CSF.
Prédiction : Un cadre prédictif basé sur le NC est proposé. Un modèle de régression logistique L2 par CSF est entraîné sur des features NC (calculées à partir du classifieur entraîné) pour prédire la liste courte compétitive de détecteurs pour un nouveau modèle, sans nécessiter de données de validation OOD.

Contributions Clés

Benchmark Conscient de la Représentation : Une évaluation complète couvrant les CNN, les ViT, plusieurs paradigmes d'entraînement et un régime OOD granulaire à trois niveaux (proche/intermédiaire/lointain).
Pipeline de Clique Statistique : Une méthode robuste pour identifier les CSF performantes statistiquement indiscernables, offrant une vision plus nuancée de la performance compétitive que les moyennes agrégées.
Stratification Basée sur CLIP : Un regroupement des jeux de données OOD piloté par les données qui révèle une transition systématique dans l'efficacité des détecteurs, passant des scores basés sur la marge (OOD proche) aux scores conscients de la géométrie (OOD intermédiaire/lointain).
Insights du Filtrage par Projection : La démonstration que la granularité de filtrage optimale dépend de l'architecture : la projection globale améliore globalement les CSF sur les CNN, tandis que la Projection Prédite par Classe (CPP) est l'intervention critique pour les ViT affinés.
Prédicteur Basé sur le NC : Une méthode pour recommander une liste courte compétitive de détecteurs pour un modèle non vu en utilisant uniquement le profil NC du modèle, éliminant le besoin de données de validation OOD.

Résultats

Résultats Empiriques sur les Familles de Détecteurs

La famille de détecteurs compétitive évolue systématiquement avec la sévérité du changement et l'architecture :

CNN :
- Distribution Intérieure / Mauvaise Classification : Dominée par des scores probabilistes simples (par ex. GEN, MSR).
- OOD Proche : Les scores basés sur la marge (Energy, MLS) et NNGuide sont les plus forts.
- OOD Intermédiaire/Lointain : Les scores conscients de la géométrie (CTM, fDBD, NNGuide) deviennent dominants.
ViT (Affinés) :
- La transition est plus abrupte. L'OOD proche est hétérogène.
- L'OOD intermédiaire est dominé par des scores basés sur la reconstruction (KPCA RecError).
- L'OOD lointain bascule vers des scores basés sur les résidus (Residual, ViM, pNML).

Impact du Filtrage par Projection

CNN : La projection globale améliore significativement les scores basés sur la distance (par ex. Mahalanobis, CTM) en éliminant les variations parasites, tandis que les variantes conditionnelles par classe dégradent souvent la performance.
ViT : La Projection Prédite par Classe (CPP) génère les gains les plus importants (par ex. pour GradNorm), éliminant efficacement les résidus de pré-entraînement qui obscurcissent la géométrie spécifique à la tâche. La projection globale apporte des gains modestes pour les scores basés sur les logits.

Géométrie NC et Prédiction

Corrélation : Les tests de Mantel confirment une corrélation significative ( $r = 0,31\text{--}0,68, p \le 0,004$ ) entre la géométrie NC et les classements des CSF à travers tous les paradigmes d'entraînement.
Transfert Inter-Architecture : Un prédicteur basé sur le NC entraîné sur VGG-13 prédit avec succès les listes courtes compétitives pour ResNet-18 sans réentraînement.
- Performance : La liste courte prédite réduit le regret moyen de l'ensemble par rapport à la meilleure base fixe CSF de 51 % à 84 % à travers les régimes OOD proche, intermédiaire et lointain.
- Signification : Dans 49 des 54 comparaisons appariées de Wilcoxon corrigées par Holm, le prédicteur surpasse significativement les bases de référence.

Signification et Revendications

L'article revendique que la performance de la détection OOD est gouvernée principalement par le régime de représentation, et non par la conception du score uniquement.

Mécanisme : La géométrie de la représentation apprise (spécifiquement le degré d'Effondrement Neural et l'alignement avec les poids du classifieur) dicte quelles règles de notation sont efficaces. Les scores basés sur les prototypes et les limites prospèrent lorsque les représentations sont effondrées et alignées ; les scores basés sur le gradient et la variété sont préférés lorsque l'effondrement est plus faible.
Utilité Pratique : Les auteurs démontrent que l'on peut prédire quel détecteur OOD fonctionnera pour un modèle donné en analysant simplement la géométrie interne du modèle (métriques NC), éliminant le besoin de données de validation OOD coûteuses.
Changement Méthodologique : Ce travail fait évoluer le domaine de la question « Quelle CSF gagne en moyenne ? » vers « Quelle famille est statistiquement compétitive sous quel régime de représentation, et pourquoi ? ».

Les auteurs restent modestes quant à la portée, notant que les résultats sont limités à la classification d'images sur des jeux de données et des backbones spécifiques, et que le transfert inter-architecture a été testé sur une seule paire CNN-à-CNN. Ils soulignent que le prédicteur NC fournit une liste courte de candidats plutôt qu'un choix déterministe unique, reconnaissant qu'un nouveau départ peut être nécessaire lors du déploiement.