The Invisible Gorilla Effect in Out-of-distribution Detection

Cette étude révèle que la détection des données hors distribution (OOD) souffre d'un biais méconnu, nommé « effet du gorille invisible », où les performances chutent lorsque les artefacts visuels ne partagent pas de similarité avec la région d'intérêt du modèle, un phénomène validé par l'analyse de milliers d'images et de contre-exemples générés.

L'essentiel

🕵️‍♂️ Le "Gorille Invisible" des Intellectuels Artificiels

Imaginez que vous regardez un match de basket. On vous demande de compter combien de fois les joueurs en t-shirts blancs se passent le ballon. Vous vous concentrez tellement sur ce compte que, soudainement, une personne déguisée en gorille traverse le terrain, tape sur sa poitrine et repart.

Le plus drôle ? Vous ne l'avez pas vu. C'est ce qu'on appelle l'effet "Gorille Invisible" en psychologie : quand on est trop concentré sur une tâche, on devient aveugle à l'imprévu.

Eh bien, les chercheurs de l'Université d'Oxford ont découvert que les intelligences artificielles (IA) souffrent du même problème, mais d'une manière très particulière et dangereuse.

---

🩺 Le Scénario : Le Médecin IA

Imaginons une IA entraînée pour détecter des cancers de la peau.

• Sa tâche : Regarder une tache sur la peau (la "Région d'Intérêt" ou ROI).
• Son entraînement : Elle a appris à reconnaître les taches rouges, brunes ou noires sur une peau claire.
• Son objectif : Si elle voit quelque chose d'étrange (comme une goutte d'encre ou un marqueur), elle doit dire : "Attention ! Je ne suis pas sûre, c'est peut-être une erreur !" (C'est ce qu'on appelle la détection "Out-of-Distribution").

🎨 Le Problème : La Couleur compte plus que vous ne le pensez

Les chercheurs ont posé une question simple : Si on met une goutte d'encre sur la photo, l'IA va-t-elle la repérer ?

La réponse est surprenante et contre-intuitive : Oui, mais seulement si l'encre a la même couleur que la tache de peau !

• Cas 1 (L'encre rouge) : Si la tache de peau est rougeâtre et que l'encre est rouge, l'IA dit : "Oh ! C'est bizarre, ça ressemble à ma tache, mais ce n'est pas normal. Je vais alerter !". Elle détecte l'erreur très bien.
• Cas 2 (L'encre noire ou verte) : Si la tache est rougeâtre mais que l'encre est noire ou verte, l'IA dit : "Non, ce n'est pas ma tache, c'est juste un fond noir. Je vais ignorer ça et continuer mon diagnostic.". Elle rate l'erreur.

C'est ça, l'Effet Gorille Invisible dans l'IA : l'IA est si concentrée sur la couleur de la "chose importante" (la tache) qu'elle ignore complètement les objets qui ont une couleur différente, même s'ils sont très visibles pour un humain.

L'analogie du détective :
Imaginez un détective qui cherche un voleur portant un manteau rouge.

• Si le voleur porte un manteau rouge, le détective crie : "C'est lui !" (Il le repère).
• Si le voleur porte un manteau bleu, le détective dit : "Ce n'est pas le gars que je cherche, passez votre chemin." (Il ignore le voleur).

Le problème, c'est que le voleur bleu est tout aussi dangereux ! L'IA est "aveugle" aux couleurs qui ne correspondent pas à son obsession.

---

🔍 Ce que les chercheurs ont fait

Pour prouver ce phénomène, ils ont fait des expériences massives :

1. Des milliers d'images : Ils ont pris des photos de peau, de rayons X et d'objets industriels.
2. 40 méthodes différentes : Ils ont testé 40 façons différentes de programmer l'IA pour qu'elle soit vigilante.
3. Le résultat : Presque toutes les méthodes échouent quand l'objet étranger a une couleur différente de ce que l'IA a appris à surveiller. C'est comme si l'IA avait des "lunettes de soleil" qui filtrent certaines couleurs.

🛠️ Comment réparer ça ?

Les chercheurs ont testé deux solutions :

1. L'augmentation de la couleur (Color Jitter) : On entraîne l'IA avec des images dont on change les couleurs au hasard.

   • Résultat : Ça ne marche pas très bien. Parfois, ça aide, parfois ça rend l'IA encore plus confuse. C'est comme essayer d'apprendre à un enfant à ne pas avoir peur des chats en lui montrant des photos de chats de toutes les couleurs, mais ça ne règle pas le problème de fond.

2. La "Projection de l'espace" (Subspace Projection) : C'est la solution gagnante.

   • L'idée : Les chercheurs ont identifié une "zone de bruit" dans le cerveau de l'IA (un espace mathématique) où les changements de couleur créent de la confusion. Ils ont appris à l'IA à ignorer cette zone spécifique et à se concentrer uniquement sur ce qui compte vraiment.
   • Résultat : L'IA devient beaucoup plus robuste. Elle repère l'encre noire aussi bien que l'encre rouge. C'est comme si on enlevait les lunettes de soleil de l'IA pour qu'elle voie le monde en vraie couleur.

💡 Pourquoi c'est important pour nous ?

Dans la vraie vie (hôpitaux, voitures autonomes), les erreurs ne sont pas toujours rouges.

• Un médecin pourrait avoir un stylo bleu sur un dossier.
• Une voiture autonome pourrait voir un panneau vert au lieu d'un panneau rouge.

Si l'IA est "aveugle" à ces couleurs différentes, elle peut prendre des décisions catastrophiques en pensant que tout va bien.

En résumé : Ce papier nous dit que pour rendre l'IA sûre, il ne suffit pas de la rendre intelligente. Il faut s'assurer qu'elle ne devient pas "aveugle" aux détails qui ne ressemblent pas exactement à ce qu'elle a appris. Il faut qu'elle soit vigilante à tout, pas seulement à ce qui ressemble à son "Gorille".

Résumé technique

1. Problématique

Les réseaux de neurones profonds (DNN) excellent dans les tâches de vision par ordinateur en apprenant des caractéristiques discriminatives localisées dans des régions d'intérêt (ROI) spécifiques de l'image (par exemple, une lésion cutanée en dermatologie). Cependant, leur performance se dégrade souvent face à des données hors distribution (OOD), c'est-à-dire des données qui diffèrent significativement de celles utilisées pour l'entraînement.

Bien que des méthodes de détection OOD aient été développées pour rejeter ces prédictions peu fiables, les travaux antérieurs ont montré que leur efficacité varie considérablement selon le type d'artefact (ex: bruit, annotations). L'article identifie un biais previously non rapporté : la capacité d'un détecteur OOD à identifier un artefact dépend de manière contre-intuitive de la similarité visuelle (notamment la couleur) entre cet artefact et la ROI du modèle.

2. Méthodologie

Les auteurs ont mené une étude empirique rigoureuse pour valider et analyser ce phénomène, qu'ils nomment l'Effet du Gorille Invisible (en référence à l'expérience cognitive où les observateurs focalisés sur une tâche ignorent un stimulus inattendu, sauf s'il ressemble à ce qu'ils observent).

A. Données et Benchmarks

• Jeux de données : Utilisation de trois ensembles publics : CheXpert (radiographies thoraciques), ISIC (dermatologie) et MVTec-AD (inspection industrielle).
• Artéfacts OOD :
  • ISIC : Annotations à l'encre et cartes de couleurs.
  • MVTec : Artefacts à l'encre sur des vis et des pilules.
  • CheXpert : Carrés synthétiques de différentes intensités.
• Contrefaçons (Counterfactuals) : Pour éliminer les biais de jeu de données, les auteurs ont généré des images où les couleurs des artefacts ont été échangées (ex: transformer une annotation rouge similaire à la lésion en noir, et vice-versa) tout en préservant la texture et la variance des pixels.
• Segmentation : Utilisation du modèle SAM (Segment Anything Model) pour isoler précisément la ROI et les artefacts afin de calculer leurs couleurs moyennes (RGB).

B. Évaluation à grande échelle

• Méthodes testées : 40 méthodes de détection OOD différentes, couvrant trois catégories :
  1. Méthodes internes post-hoc (basées sur la confiance ou les caractéristiques).
  2. Méthodes internes ad-hoc (nécessitant un réentraînement).
  3. Méthodes externes (modèles de reconstruction, densité, etc.).
• Configuration : 3795 configurations d'hyperparamètres testées sur 7 benchmarks et 3 architectures de modèles (ResNet18, VGG16, ViT-B/32).
• Critère de similarité : Calcul de la distance euclidienne RGB entre la couleur de l'artefact et la couleur moyenne de la ROI. Les artefacts sont classés comme "similaires" ou "dissimilaires".

C. Analyse Mécanistique

• Analyse de sous-espace : Les auteurs utilisent l'Analyse en Composantes Principales (PCA) sur l'espace latent du modèle pour identifier un "sous-espace de nuisance". Ils démontrent que les variations de couleur des artefacts s'alignent avec les directions de haute variance dans l'espace latent.
• Hypothèse : Les méthodes basées sur les caractéristiques (feature-based) tendent à sous-penaliser les directions de haute variance (comme le fait le score de Mahalanobis), rendant les artefacts très différents (dissimilaires) plus difficiles à détecter car ils sont projetés trop près de la distribution normale.

3. Résultats Clés

A. Validation de l'Effet du Gorille Invisible

• Performance inversée : Pour la plupart des méthodes, la détection OOD est meilleure lorsque l'artefact a une couleur similaire à la ROI, et pire lorsqu'il est dissimilaire.
  • Exemple : Sur ISIC, le score de Mahalanobis atteint un AUROC de 76,98 % pour des annotations à l'encre rouge (similaire à la lésion) contre 63,64 % pour des annotations noires (dissimilaires), soit une chute de performance significative.
• Généralité : L'effet est observé sur les trois jeux de données et les trois architectures de modèles.
• Impact des méthodes : Les méthodes basées sur les caractéristiques (feature-based) subissent des chutes de performance beaucoup plus importantes (moyenne de 7,1 points de pourcentage) que les méthodes basées sur la confiance (1,5 point).

B. Analyse Statistique

• Une corrélation positive significative ($\rho = 0.47$) a été trouvée entre la sensibilité à la couleur des artefacts et les directions de haute variance dans l'espace latent.
• Les tests de Wilcoxon confirment que la différence de performance entre les artefacts similaires et dissimilaires est statistiquement significative ($p < 10^{-5}$).

C. Stratégies d'Atténuation

• Augmentation par "Jitter" de couleur : L'ajout de perturbations de couleur pendant l'entraînement s'est avéré inefficace et parfois contre-productif, dégradant la précision sur les données in-distribution (ID) sans garantir une meilleure détection OOD.
• Projection de sous-espace (Subspace Projection) : En projetant les caractéristiques du modèle sur un sous-espace orthogonal au "sous-espace de nuisance" (les directions de haute variance sensibles à la couleur), les auteurs ont réussi à réduire l'écart de performance entre les artefacts similaires et dissimilaires pour plusieurs méthodes basées sur les caractéristiques (ex: Mahalanobis, FeatureNorm). Cette méthode améliore la robustesse sans coût computationnel significatif.

4. Contributions Principales

1. Découverte d'un biais critique : Identification et nomination de l'Effet du Gorille Invisible dans la détection OOD, montrant que la similarité visuelle avec la ROI rend les artefacts plus détectables, contrairement à l'intuition selon laquelle la similarité globale rendrait la détection plus difficile.
2. Évaluation exhaustive : Analyse de 40 méthodes et 3795 configurations d'hyperparamètres, fournissant un benchmark complet et reproductible.
3. Validation par contrefaçons : Utilisation de données synthétiques échangées par couleur pour prouver que l'effet n'est pas dû à un biais de jeu de données mais à la mécanique du modèle.
4. Analyse théorique et solution : Lien établi entre les directions de haute variance de l'espace latent et la détection OOD, avec une proposition de mitigation efficace via la projection de sous-espace.

5. Signification et Impact

Ce travail remet en question l'hypothèse courante selon laquelle la difficulté de la détection OOD est une fonction monotone de la similarité globale avec les données d'entraînement. Il révèle que ce sur quoi le modèle se concentre (la ROI) joue un rôle déterminant dans la détection des anomalies.

• Pour la recherche : Il souligne la nécessité de tester les détecteurs OOD sur des artefacts visuellement variés et non seulement sur des distributions "lointaines".
• Pour les applications critiques (Médical, Autonomie) : Dans des domaines comme la dermatologie, un modèle pourrait échouer à détecter une image avec une annotation noire (dissimilaire à la lésion rouge) tout en détectant facilement une annotation rouge. Cela pose un risque de sécurité majeur où des erreurs pourraient passer inaperçues.
• Recommandation : Les auteurs suggèrent d'utiliser des techniques de projection de sous-espace pour créer des détecteurs plus robustes aux variations de couleur et aux artefacts "invisibles" pour le modèle.

En résumé, l'article démontre que les détecteurs OOD actuels souffrent d'une forme d'"aveuglement attentionnel" similaire à celle observée chez les humains, où les anomalies qui ne ressemblent pas à l'objet d'intérêt principal sont ignorées, nécessitant de nouvelles approches pour garantir une sécurité fiable.