When Visual Evidence is Ambiguous: Pareidolia as a Diagnostic Probe for Vision Models

Cette étude propose un cadre diagnostique basé sur la paréidolie faciale pour révéler comment les choix de représentation, plutôt que les seuils de score, déterminent si les modèles de vision interprètent les ambiguïtés visuelles par une suractivation sémantique (comme les VLM), une abstention par incertitude (comme ViT) ou une suppression conservatrice (comme les détecteurs).

L'essentiel

🧐 Le Grand Test des "Visages Fantômes"

Imaginez que vous regardez une prise électrique sur un mur. Pour vous, c'est juste un objet en plastique avec deux trous. Mais pour votre cerveau, si vous vous concentrez un peu, les deux trous et le bouton du milieu peuvent ressembler à deux yeux et une bouche. Vous voyez un visage là où il n'y en a pas. C'est ce qu'on appelle la paréidolie. C'est un phénomène humain fascinant : notre cerveau adore trouver des visages partout, même dans les nuages ou les toasts grillés.

Les chercheurs de cet article se sont demandé : "Et si on demandait à une intelligence artificielle (IA) de faire la même chose ?"

Ils ont pris une collection d'images où des humains voient des visages dans des objets inanimés (comme des prises, des rochers, ou des nuages) et ont demandé à six modèles d'IA différents de les analyser. Le but n'était pas de voir qui est le plus "intelligent", mais de comprendre comment ils interprètent l'ambiguïté.

🤖 Les Six Joueurs de l'Arène

Pour ce test, ils ont mis en compétition trois types d'IA, comme s'ils étaient des équipes avec des philosophies différentes :

1. Les "Lecteurs de Pensée" (Les VLMs comme CLIP et LLaVA) : Ce sont des modèles qui ont appris à associer des images à des mots. Ils sont très forts pour comprendre le contexte, mais ils ont une tendance à "voir" ce qu'ils s'attendent à voir.

   • L'analogie : Imaginez un détective qui, dès qu'il voit une forme vague, crie "C'est un criminel !" parce qu'il a lu trop de romans policiers. Il est très confiant, mais il se trompe souvent.
   • Le résultat : Surtout LLaVA, le modèle le plus avancé, a été le plus "paranoïaque". Il a vu des visages humains partout, même sur des objets qui ressemblaient à des aliens ou des dessins animés. Il était ultra-confiant dans ses erreurs.

2. Le "Sceptique" (ViT) : C'est un modèle qui regarde juste les pixels, sans lire de texte.

   • L'analogie : C'est comme un scientifique très prudent. Quand il voit une forme bizarre, il dit : "Je ne suis pas sûr. Ça pourrait être un visage, ou un chat, ou un nuage." Il ne se lance pas dans des conclusions hâtives.
   • Le résultat : Il ne voit pas beaucoup de visages, mais quand il en voit, il est très incertain. Il ne se trompe pas souvent, mais il ne prend pas de risques.

3. Les "Gardiens Rigides" (YOLO et RetinaFace) : Ce sont des modèles spécialisés pour détecter des objets précis (comme des voitures ou des vrais visages humains).

   • L'analogie : Ce sont des gardes du corps très stricts. Ils ont un manuel d'instructions qui dit : "Si ce n'est pas un vrai visage humain, ne dis rien." Ils ignorent les formes ambiguës.
   • Le résultat : Ils voient très peu de visages fantômes. Ils sont très sûrs d'eux, mais ils sont si prudents qu'ils ignorent même les indices qui pourraient être un visage.

💡 La Grande Révélation : La Confiance n'est pas la Vérité

C'est le point le plus important de l'article, et c'est contre-intuitif :

• L'IA la plus confiante n'est pas la plus sûre.
  Le modèle LLaVA était le plus confiant (il disait "C'est un visage !" avec 100% de certitude), mais c'était aussi celui qui faisait le plus d'erreurs en voyant des visages là où il n'y en avait pas.
• L'IA la plus incertaine peut être la plus honnête.
  Le modèle ViT disait "Je ne sais pas trop", et c'était en fait la réponse la plus juste pour éviter de s'imaginer des choses.
• L'IA la plus silencieuse est la plus stricte.
  Les détecteurs de visages ne parlaient pas, car ils avaient des règles strictes pour ne pas se tromper.

La leçon : Ne vous fiez pas au "degré de confiance" d'une IA. Une IA peut être ultra-confiante et complètement dans le mille, tout comme elle peut être très hésitante et avoir raison.

😟 L'Émotion Change la Donne

Les chercheurs ont aussi remarqué quelque chose de troublant avec les modèles "Lecteurs de Pensée" (VLMs). Quand les objets ressemblaient à des visages tristes ou effrayés, ces IA avaient encore plus tendance à y voir des humains.

• L'analogie : C'est comme si un humain, en voyant une forme triste dans un nuage, pensait immédiatement "Oh, c'est une personne qui pleure", alors qu'un autre humain verrait juste un nuage gris. Les IA ont "intégré" l'idée que la tristesse = visage humain, ce qui fausse leur jugement.

🛠 Pourquoi est-ce important ?

Aujourd'hui, on utilise des IA pour des choses sérieuses : la surveillance, les diagnostics médicaux, ou la modération de contenu. Si une caméra de surveillance voit un visage sur un rocher et déclenche une alarme, c'est un problème.

Ce papier nous dit : "Arrêtez de juste demander aux IA d'être plus précises. Il faut comprendre comment elles pensent."

Si vous voulez corriger une IA qui voit des fantômes partout, changer ses seuils de détection ne suffit pas. Il faut changer sa "mentalité" (sa façon d'associer les mots et les images).

En résumé

Ce papier utilise les "visages fantômes" (paréidolie) comme un test de stress pour les IA. Il découvre que :

1. Les IA qui parlent beaucoup (VLMs) ont tendance à halluciner des visages humains partout, surtout s'ils sont tristes.
2. Les IA qui sont très confiantes ne sont pas forcément les plus fiables.
3. Pour construire des IA plus sûres, il faut apprendre à gérer l'ambiguïté, pas juste à être plus rapide ou plus précis.

C'est un rappel important : parfois, le meilleur réflexe d'une intelligence (artificielle ou humaine) est de dire : "Je ne suis pas sûr, je ne vais pas tirer de conclusion."

Résumé technique

1. Problématique et Contexte

La paréidolie faciale est un phénomène psychologique où le système visuel perçoit des visages dans des objets non faciaux (ex: une prise électrique, un nuage). Lorsque les preuves visuelles sont ambiguës, les modèles de vision par ordinateur doivent décider s'ils interprètent ces motifs comme des visages significatifs.

L'article identifie un problème critique : les benchmarks standards ne capturent pas comment les modèles gèrent l'ambiguïté, l'incertitude et les biais sémantiques dans ces situations. La plupart des travaux précédents se sont concentrés uniquement sur les détecteurs de visages, manquant une analyse comparative plus large sur la manière dont différents régimes de représentation (classification pure, détection d'objets, modèles vision-langage) résolvent l'ambiguïté.

Objectif principal : Utiliser la paréidolie comme une sonde de diagnostic au niveau de la représentation pour analyser les mécanismes d'interprétation, la localisation, l'incertitude et les biais à travers différentes architectures de modèles.

2. Méthodologie

Les auteurs proposent un cadre d'évaluation unifié et une pipeline de diagnostic compact, utilisant le jeu de données FacesInThings (environ 5 000 images annotées par des humains de régions faciales dans des objets inanimés).

A. Régimes de Représentation et Modèles Évalués

Six modèles appartenant à quatre régimes de représentation sont évalués sans fine-tuning (en utilisant des checkpoints pré-entraînés) :

1. Modèles Vision-Langage (VLM) :
   • Contrastifs : CLIP-B/32 et CLIP-L/14 (alignement texte-image).
   • Génératifs : LLaVA-1.5-7B (encodeur visuel + grand modèle de langage).
2. Classification Visuelle Pure : ViT-B/16 (entraîné sur ImageNet, sans composante linguistique).
3. Détection d'Objets Générale : YOLOv8 (entraîné sur COCO).
4. Détection Spécifique de Visages : RetinaFace (entraîné spécifiquement sur les visages humains réels).

B. Protocole d'Évaluation Unifié

Pour comparer ces modèles hétérogènes, les auteurs normalisent les sorties dans un espace de classes commun (5 concepts : Humain, Animal, Dessin animé, Alien, Autre).

• Appariement : Une règle spatiale relâchée (IoU $\ge$ 0,2 ou inclusion du centre) est utilisée pour associer les prédictions du modèle aux régions de paréidolie annotées.
• Métriques Clés :
  • Couverture et Localisation : Taux de détection (réponse globale) vs Taux de détection de la paréidolie principale (PPDR, localisation correcte).
  • Incertitude : L'Indice d'Ambiguïté de Représentation (RAI), basé sur l'entropie de Shannon de la distribution de probabilité sur les 5 classes.
  • Biais : Mesure des "fausses alarmes" (prédire "Humain" sur des régions non humaines), notamment les taux Non-Humain $\to$ Humain et Alien $\to$ Humain.
  • Évaluation contrôlée par GT : Pour isoler le biais sémantique des erreurs de localisation, les détecteurs sont évalués sur des crops basés sur les boîtes ground-truth.

3. Résultats Principaux

L'analyse révèle trois mécanismes distincts d'interprétation sous l'ambiguïté :

A. Sur-activation Sémantique des VLM

• Comportement : Les modèles Vision-Langage (surtout LLaVA-1.5-7B) montrent une forte tendance à interpréter les motifs ambigus comme des visages humains.
• LLaVA : Produit les prédictions les plus confiantes (faible incertitude/RAI) mais avec le biais le plus élevé (sur-appel massif vers la classe "Humain").
• CLIP : Montre un biais directionnel fort, particulièrement exacerbé par les émotions négatives (peur, colère), suggérant que les indices affectifs agissent comme des preuves sémantiques pour le concept "Humain".
• Conclusion : L'alignement linguistique tire systématiquement les entrées ambiguës vers le concept humain.

B. Stratégie d'Abréviations par l'Incertitude (ViT)

• Comportement : Le classifieur purement visuel (ViT) reste diffus (haute incertitude/RAI élevé) mais non biaisé.
• Mécanisme : Il évite de s'engager sur une classe spécifique (notamment "Humain") lorsque les preuves sont faibles, adoptant une stratégie d'abstention ("uncertainty-as-abstention").

C. Suppression par des Priors Conservateurs (Détecteurs)

• Comportement : YOLOv8 et RetinaFace montrent un biais très faible.
• Mécanisme : Ce faible biais ne provient pas d'une incertitude élevée, mais d'un gating sémantique strict basé sur des priors forts (ex: RetinaFace ne cherche que de vrais visages).
• Preuve : Même lorsque la localisation est contrôlée (évaluation sur des crops ground-truth), les détecteurs restent conservateurs, confirmant que leur comportement est dû à leur représentation interne et non à une incapacité à localiser.

D. Découplage Incertitude-Biais

C'est une découverte centrale : l'incertitude n'est pas un indicateur fiable de la sécurité sémantique.

• Une faible incertitude peut signifier une suppression sûre (détecteurs) ou une sur-interprétation extrême (LLaVA).
• Une forte incertitude peut servir de mécanisme de protection contre le biais (ViT).

4. Contributions Clés

1. Diagnostic Unifié de la Paréidolie : Introduction d'une suite d'évaluation compacte mesurant la détection, la localisation, l'incertitude et le biais à travers des sous-groupes (difficulté, émotion, classe).
2. Comparaison Trans-Régime : Première comparaison directe de six modèles couvrant quatre régimes de représentation (VLM, classification pure, détection générale, détection spécialisée) sous un même protocole.
3. Découplage Incertitude-Biais : Démonstration que l'incertitude prédictive et le biais sémantique sont des dimensions distinctes. La confiance (faible incertitude) ne garantit pas la sécurité.
4. Modulation Affective et Structurelle : Mise en évidence du fait que les émotions négatives amplifient le biais dans les VLM, tandis que les priors architecturaux forts (détecteurs) suppriment la paréidolie même lorsque la localisation est contrôlée.

5. Signification et Implications

• Sécurité des Systèmes : Pour les applications critiques (surveillance, modération de contenu, imagerie médicale), la simple calibration des seuils de confiance est insuffisante. Les modèles peuvent être extrêmement confiants tout en étant systématiquement biaisés (faux positifs sur des objets non humains).
• Conception des Modèles : Le biais sous l'ambiguïté est gouverné par les choix de représentation (alignement linguistique, priors de détection) plutôt que par la performance globale. Les architectures génératives peuvent encoder des priors faciaux plus forts que les modèles contrastifs.
• Nouveau Paradigme d'Évaluation : La paréidolie doit être utilisée comme un outil de "stress test" pour évaluer la robustesse sémantique et la structure d'interprétation des modèles, au-delà de la simple précision sur des données claires.
• Perspectives Futures : Les auteurs suggèrent d'utiliser les entrées de type paréidolie comme des "hard negatives" structurés pour affiner les frontières de représentation et réduire la sur-activation sémantique.

En résumé, cet article démontre que la manière dont un modèle interprète l'ambiguïté révéle ses biais profonds et ses mécanismes de décision, offrant une méthode rigoureuse pour auditer la sécurité sémantique des systèmes de vision modernes.