Ranked Activation Shift for Post-Hoc Out-of-Distribution Detection

Cet article propose une méthode post-hoc sans hyperparamètre, nommée Ranked Activation Shift, qui améliore la détection des données hors distribution en remplaçant les magnitudes d'activation triées par un profil de référence fixe, garantissant ainsi des performances stables et supérieures sans nécessiter de réglage ni d'hypothèses sur les fonctions d'activation.

L'essentiel

Imaginez que vous avez un expert en reconnaissance d'images (une intelligence artificielle) qui a été formé uniquement pour reconnaître des chats et des chiens. Si vous lui montrez une photo d'un chat, il dira "C'est un chat !". Si vous lui montrez un chien, il dira "C'est un chien !".

Mais que se passe-t-il si vous lui montrez une photo d'une voiture ou d'un poulet ?
Le problème, c'est que l'IA va souvent essayer de forcer la réponse. Elle va dire : "Euh, c'est un chat, mais avec une probabilité de 99% !" alors que c'est totalement faux. C'est ce qu'on appelle un danger de surconfiance. Dans des domaines comme la médecine ou la conduite autonome, cette erreur peut être catastrophique.

L'objectif de ce papier est de créer un système d'alarme simple et efficace pour dire : "Hé, cette image ne ressemble à rien de ce que j'ai appris, je ne suis pas sûr de moi !"

Le problème des anciennes méthodes : "Le réglage manuel"

Avant cette nouvelle méthode, les chercheurs utilisaient des techniques pour "nettoyer" les pensées de l'IA (ses activations internes) afin de mieux repérer les erreurs.

• L'analogie : Imaginez que vous essayez d'ajuster le volume d'une radio pour entendre une station lointaine. Les anciennes méthodes (comme SCALE ou ASH) vous demandent de tourner un bouton (un paramètre) pour trouver le bon volume.
• Le souci : Ce réglage fonctionne bien sur une radio, mais pas sur une autre. Si vous changez de modèle d'IA ou de type de données, vous devez tout re-réglé. De plus, si l'IA utilise une technologie moderne (comme les Transformers), ces anciennes méthodes peuvent complètement échouer, un peu comme essayer de mettre de l'essence dans une voiture électrique.

La solution RAS : "Le modèle de référence"

Les auteurs proposent une méthode appelée RAS (Ranked Activation Shift). Voici comment elle fonctionne, sans aucun réglage compliqué :

1. L'empreinte digitale de la normalité :
   D'abord, on prend l'IA et on lui montre plein d'exemples de ce qu'elle connaît bien (des chats et des chiens). Au lieu de regarder les valeurs brutes, on regarde l'ordre des pensées de l'IA.

   • L'image : Imaginez que l'IA a 1000 neurones qui s'activent. On les classe du plus fort au plus faible. On crée une "moyenne" de cet ordre pour les chats et les chiens. C'est notre profil de référence.

2. Le test en temps réel :
   Quand on présente une nouvelle image (une voiture), l'IA réfléchit.

   • Si c'est un vrai chat, l'ordre de ses pensées ressemblera au profil de référence.
   • Si c'est une voiture, l'ordre sera bizarre (des neurones qui devraient être silencieux s'activent, et inversement).

3. L'ajustement (Le "Shift") :
   Au lieu de couper ou d'amplifier les signaux au hasard, la méthode RAS réorganise les pensées de l'IA pour qu'elles correspondent exactement au profil de référence des chats/chiens.

   • L'analogie : C'est comme si vous aviez un vêtement trop grand ou trop petit. Au lieu de le couper (ce qui le détruit), vous le re-taillez pour qu'il épouse parfaitement la forme standard d'un corps humain.
   • Si l'image était un vrai chat, le vêtement s'ajuste parfaitement.
   • Si l'image était une voiture, le vêtement ne s'ajustera jamais bien, et l'IA se rendra compte que quelque chose cloche.

Pourquoi c'est génial ?

• Zéro réglage (Plug-and-Play) : Vous n'avez pas besoin de tourner de boutons ni de chercher le bon paramètre. La méthode fonctionne telle quelle, peu importe le modèle d'IA (que ce soit un vieux modèle ou un modèle très moderne comme les Transformers).
• Robuste : Les anciennes méthodes échouaient souvent quand les neurones de l'IA pouvaient avoir des valeurs négatives (ce qui est courant dans les nouvelles architectures). RAS, lui, se fiche de savoir si les valeurs sont positives ou négatives, il regarde uniquement l'ordre (le classement). C'est comme comparer la taille des élèves d'une classe : peu importe s'ils mesurent 1m50 ou 2m, on sait toujours qui est le plus grand.
• Précis : En forçant l'IA à se conformer à sa "mémoire" de ce qu'est un objet normal, les objets étranges ressortent immédiatement comme des anomalies.

En résumé

Imaginez que vous essayez de reconnaître des visages.

• Les anciennes méthodes disent : "Si le nez est trop grand, on le coupe un peu. Si l'œil est trop petit, on l'agrandit." Mais parfois, ça ne marche pas et on se trompe.
• La méthode RAS dit : "Je connais la moyenne parfaite d'un visage humain. Je vais réorganiser les traits de ce visage pour qu'ils correspondent à cette moyenne. Si je n'y arrive pas ou si le résultat est bizarre, alors ce n'est pas un visage humain."

C'est une méthode simple, universelle et très efficace pour dire à l'IA : "Attention, tu ne sais pas ce que tu regardes !", sans avoir besoin de la reprogrammer ni de lui apprendre de nouvelles choses.

Résumé technique

1. Problématique

Les modèles d'apprentissage profond déployés dans des scénarios réels sont souvent confrontés à des données qui diffèrent de celles sur lesquelles ils ont été entraînés (données hors distribution ou OoD). La capacité à détecter ces entrées est cruciale pour la sécurité des systèmes d'IA (conduite autonome, imagerie médicale, etc.).

Les méthodes de détection post-hoc (qui ne nécessitent pas de réentraînement du modèle) actuelles reposent souvent sur l'édition des activations de la couche pénultiète. Cependant, ces méthodes présentent deux limites majeures :

1. Instabilité des performances : Elles varient considérablement selon les architectures et les jeux de données.
2. Dépendance aux hypothèses de rectification : Des méthodes avancées comme SCALE et ASH-S (basées sur le scaling ou l'étirement des activations) échouent lorsque la couche pénultiète n'est pas rectifiée (c'est-à-dire qu'elle contient des valeurs négatives), ce qui est le cas de nombreuses architectures modernes comme les ViT (Vision Transformers) et ConvNeXt (utilisant GELU ou SiLU).

2. Méthodologie : RAS (Ranked Activation Shift)

Les auteurs proposent RAS, une méthode post-hoc sans hyperparamètres qui remplace les magnitudes d'activation triées par un profil de référence fixe issu des données in-distribution (ID).

Fonctionnement :

1. Phase de configuration (Offline) :

   • Pour un ensemble de données d'entraînement ID, on extrait les vecteurs d'activation de la couche pénultiète.
   • Chaque vecteur est trié par ordre croissant (ou décroissant) de magnitude.
   • On calcule le vecteur de référence $\mu$ en faisant la moyenne de ces vecteurs triés sur l'ensemble ID.
     $$\mu = \frac{1}{N} \sum_{i=1}^N r(\mathbf{a}_i)$$
     où $r(\cdot)$ est la fonction de tri.

2. Phase d'inférence (Online) :

   • Pour une nouvelle entrée $x$, on extrait son vecteur d'activation $\mathbf{a}$.
   • On détermine la permutation $\pi$ qui trie $\mathbf{a}$.
   • On remplace la valeur de chaque position triée par la valeur correspondante du vecteur de référence $\mu$, tout en conservant la position originale (on "déplace" les valeurs pour qu'elles correspondent à la distribution ID).
     $$\bar{a}_{\pi(j)} = \mu_j$$
   • Le vecteur modifié $\bar{a}$ est ensuite transmis au classifieur pour obtenir le score OoD.

Avantages clés de l'approche :

• Indépendance du signe : Contrairement aux méthodes de scaling qui supposent des activations positives, RAS fonctionne sur l'ordre (le rang) des activations, ce qui le rend applicable aux architectures avec des activations négatives.
• Aucun hyperparamètre : La méthode ne nécessite aucun seuil à ajuster ni aucune donnée OoD pour l'optimisation.
• Préservation de l'accuracy ID : La transformation est conçue pour ne pas altérer la classification des données in-distribution.

3. Contributions Clés

1. Analyse des échecs des méthodes existantes : Les auteurs démontrent que l'hypothèse sous-jacente des méthodes de scaling (que la moyenne des activations ID est supérieure à celle des OoD et que les activations sont rectifiées) est souvent violée. Ils identifient un mode de défaillance critique lorsque les activations ne sont pas rectifiées (présence de valeurs négatives), ce qui rend le facteur d'échelle $r$ non monotone et inefficace.
2. Introduction de RAS : Une méthode universelle, sans hyperparamètres, qui aligne la distribution des activations d'un échantillon sur le profil moyen trié des données ID.
3. Analyse de l'impact des décalages : Contrairement à l'hypothèse répandue selon laquelle seule la suppression des activations anormalement élevées (inhibition) aide à la détection OoD, les auteurs montrent que l'inhibition et l'excitation (pousser les activations basses vers le haut) contribuent indépendamment et positivement à la séparation des distributions. RAS combine les deux effets.

4. Résultats Expérimentaux

Les auteurs ont évalué RAS sur le benchmark OpenOOD avec plusieurs architectures (ResNet, EfficientNet, ConvNeXt, ViT, Swin Transformer) et des scénarios OoD variés (Near-OoD et Far-OoD).

• Performance supérieure et cohérente : RAS surpasse ou égale systématiquement les méthodes de l'état de l'art (ReAct, DICE, ASH, SCALE) sur presque toutes les combinaisons architecture/dataset, y compris sur les modèles où les méthodes concurrentes échouent (ViT, ConvNeXt).
• Robustesse aux architectures : RAS est le seul méthode à maintenir des performances élevées sur des modèles avec des activations non rectifiées, là où ASH-S et SCALE chutent drastiquement.
• Compatibilité : RAS peut être combiné avec diverses fonctions de score (EBO, ViM, GEN) pour améliorer leurs performances respectives.
• Préservation de l'accuracy : Les résultats montrent que RAS maintient l'accuracy de classification sur les données ID quasi inchangée (dégradation négligeable), ce qui n'est pas garanti par toutes les méthodes d'amélioration de score.
• Efficacité : La complexité computationnelle est de $O(D \log D)$, ajoutant seulement environ 6% de temps d'inférence par rapport à une inférence standard.

5. Signification et Conclusion

Ce travail remet en question les hypothèses théoriques des méthodes de détection OoD basées sur le scaling et propose une solution plus robuste basée sur le rang plutôt que sur la magnitude absolue.

La signification principale réside dans la généralisation : RAS offre une solution "plug-and-play" qui fonctionne uniformément bien sur un large éventail de modèles modernes (y compris les Transformers), sans nécessiter de réglage fin ni d'accès à des données OoD pour l'entraînement. En démontrant que la modification des activations vers le profil ID, qu'elle soit à la hausse ou à la baisse, améliore la discrimination, les auteurs ouvrent une nouvelle voie pour la conception de détecteurs OoD plus fiables et universels.