📄 other

FalseResMem: A Neural Network to Predict False Memories in Visual Recognition Tasks

L'article présente FalseResMem, un nouveau réseau de neurones qui combine les architectures ResNet50 et AlexNet pour prédire avec précision les taux de fausses alarmes au niveau de l'image dans les tâches de reconnaissance visuelle, démontrant une généralisation robuste à travers diverses catégories d'images.

Auteurs originaux : Anastasiia Mikhailova, Wilma A. Bainbridge

Publié 2026-07-25

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anastasiia Mikhailova, Wilma A. Bainbridge

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que votre cerveau est un garde de sécurité ultra-perfectionné pour vos souvenirs. Son travail consiste à décider si une nouvelle image que vous voyez est une « étrangère » ou une « vieille amie ». D'habitude, cela fonctionne très bien. Mais parfois, le garde se fait piéger. Vous voyez une photo inédite d'un zèbre, et votre cerveau hurle : « Je connais ce gars ! Nous nous sommes déjà rencontrés ! », même si vous ne l'avez jamais vu de votre vie. C'est ce qu'on appelle une fausse alerte ou un faux souvenir. C'est cette sensation de déjà vu — ce sentiment étrange qu'une expérience nouvelle est en réalité familière. Les scientifiques savent depuis longtemps que certaines personnes sont plus enclines à ces confusions que d'autres, mais ils ont aussi remarqué quelque chose de bizarre : certaines photos semblent piéger tout le monde. Une photo spécifique d'une cascade peut donner l'impression à toute une foule de l'avoir déjà vue, alors qu'une photo d'un chat habillé de façon étrange pourrait ne tromper personne. Pendant longtemps, les chercheurs ont pensé que ces erreurs n'étaient que du bruit aléatoire ou le résultat de la façon dont le cerveau d'une personne spécifique était câblé. Mais et si l'erreur ne venait pas de la personne, mais de l'image elle-même ? Et si certaines images étaient simplement « trompeuses par nature » ?

C'est exactement le mystère que l'équipe de chercheurs de l'Université de Chicago s'est donné pour mission de résoudre. Ils ont construit un nouveau type de cerveau informatique, un réseau de neurones nommé FalseResMem, conçu avec un superpouvoir spécifique : regarder une image et prédire la probabilité qu'elle piège la mémoire humaine. Au lieu d'essayer de deviner ce que vous vous souviendrez, ce modèle devine ce que vous croirez à tort vous souvenir. Ils l'ont entraîné sur une bibliothèque massive de 10 000 images, lui apprenant à repérer les ruses visuelles cachées qui font qu'une photo semble familière alors qu'elle est totalement nouvelle. Les résultats sont fascinants : l'ordinateur a appris que les scènes simples, d'aspect naturel (comme des cascades) ou les motifs à fort contraste (comme les rayures de zèbre) sont les pièges mémoriels ultimes. Le modèle est si performant qu'il peut prédire ces « fausses alertes » presque aussi bien qu'un groupe d'humains peut se mettre d'accord entre eux. C'est comme donner aux scientifiques une boule de cristal qui leur dit : « Hé, si vous montrez cette image spécifique aux gens, ils vont être confus », ce qui pourrait nous aider à comprendre pourquoi nos souvenirs nous mentent parfois et comment les arrêter.

L'histoire de l'image « trompeuse »

Voyez votre mémoire comme un immense classeur. Quand vous voyez une nouvelle photo, votre cerveau sort un dossier pour voir s'il correspond à quelque chose déjà présent dans le classeur. S'il ne correspond pas, vous dites : « Nouveau ! ». S'il correspond, vous dites : « Ancien ! ». Mais parfois, le cerveau devient paresseux ou confus. Il voit une image qui ressemble un peu à quelque chose dans le classeur et dit : « Ancien ! », même s'il s'agit d'un parfait étranger. C'est une fausse alerte.

Pendant des années, les scientifiques ont pensé que ces erreurs concernaient principalement la personne regardant la photo. Peut-être était-elle fatiguée, ou peut-être avait-elle simplement une attitude de type « oui, je connais ça ». Mais des découvertes récentes ont montré que certaines photos sont simplement de mauvais acteurs. Elles piègent systématiquement les gens, peu importe qui les regarde. C'est l'effet Mandela en action — où de vastes groupes de personnes partagent le même faux souvenir concernant un logo ou un événement célèbre. Les chercheurs derrière cet article voulaient savoir : Pouvons-nous construire un ordinateur qui regarde une photo et nous dit : « Celle-ci est un maître du déguisement » ?

Entrée en scène de FalseResMem : Le détective de la mémoire

L'équipe a créé FalseResMem, un programme informatique spécial qui agit comme un détective des erreurs de mémoire. Voici comment il fonctionne en langage clair :

L'entraînement : Ils ont nourri l'ordinateur avec un immense ensemble de données appelé MemCat, qui contient 10 000 images d'animaux, de nourriture, de paysages, de sports et de véhicules. Ils n'ont pas seulement montré les images ; ils les ont montrées à près de 100 personnes réelles et ont enregistré la fréquence à laquelle chaque personne commettait une erreur. Si 50 personnes sur 100 ont cru qu'une photo d'un ours était familière alors qu'elle ne l'était pas, cette photo reçoit un score de Taux de Fausse Alerte (TFA) de 0,5.
La puissance cérébrale : L'ordinateur utilise deux « yeux » différents pour regarder les photos. Un œil est un expert pré-entraîné (ResNet50) qui connaît beaucoup de choses sur les formes et les objets généraux. L'autre œil est un détective construit sur mesure (une structure de type AlexNet) qui a été spécifiquement enseigné pour chercher les ruse qui provoquent la confusion.
La prédiction : L'ordinateur combine ce qu'il voit pour donner à chaque image un score entre 0 et 1. Un score de 0 signifie : « Personne ne sera trompé par ceci ». Un score de 1 signifie : « Tout le monde sera trompé ».

Qu'ont-ils découvert ?

Les résultats étaient étonnamment clairs. L'ordinateur a appris à prédire ces faux souvenirs avec un haut degré de précision. Lorsqu'ils ont testé le modèle, il a égalé les niveaux d'accord humain avec une corrélation de 0,60. Cela signifie que l'ordinateur est presque aussi bon qu'un groupe d'humains s'accordant sur les photos les plus piégeuses.

Mais la partie la plus amusante est de savoir ce que l'ordinateur a jugé être piégeux :

Les maîtres du déguisement : Les images qui ont obtenu les scores de tromperie les plus élevés étaient souvent des scènes simples basées sur la nature. Pensez à des cascades ou des zèbres. Ces images possèdent des motifs répétitifs et un contraste élevé (comme les rayures noires et blanches) qui semblent faire dire à notre cerveau : « J'ai déjà vu ce motif auparavant ! », même si ce n'est pas le cas. Elles sont « trompeuses par nature ».
Les choix sûrs : Les images les moins susceptibles de tromper les gens étaient des scènes complexes avec un contenu étrange ou surprenant, comme un animal faisant quelque chose de totalement inattendu. Parce que ces scènes sont si uniques et étranges, notre cerveau dit : « D'accord, je n'ai définitivement jamais vu cela auparavant », et nous ne sommes pas dupes.
Le problème de la nourriture : Curieusement, le modèle a un peu peiné avec les photos de nourriture. Bien qu'il soit excellent pour prédire les pièges pour les paysages et les animaux, il ne l'était pas autant pour la nourriture. Cela suggère que nos cerveaux pourraient utiliser des règles différentes pour se souvenir d'un burger par rapport à un souvenir d'une montagne.

Pourquoi est-ce important ?

Il ne s'agit pas seulement d'un tour cool pour un jeu vidéo. Les chercheurs ont montré que FalseResMem peut regarder des images qu'il n'a jamais vues auparavant — comme des visages, de l'art ou des symboles — et tout de même deviner la probabilité qu'elles provoquent un faux souvenir.

Pour les témoins oculaires : Si vous êtes un officier de police essayant d'identifier un suspect, vous ne voulez pas présenter à un témoin une photo qui est, par sa nature même, « trompeuse », car il pourrait penser avoir déjà vu le suspect même s'il ne l'a pas fait. Cet outil pourrait aider à conceendre de meilleures compositions de suspects, moins susceptibles de provoquer des condamnations injustes.
Pour les scientifiques : Cela leur donne un moyen de tester leurs théories. Au lieu de deviner quelles photos pourraient confondre les gens, ils peuvent utiliser ce modèle pour choisir les photos les plus « piégeuses ».
Pour comprendre nos cerveaux : Cela prouve que les faux souvenirs ne sont pas de simples erreurs aléatoires. Ils sont dictés par des caractéristiques spécifiques dans les images. Certaines images sont simplement programmées pour nous donner l'impression que nous les connaissons.

L'article conclut que nous pouvons désormais traiter ces erreurs de mémoire non pas comme du bruit aléatoire, mais comme un signal prévisible. En comprenant les caractéristiques « trompeuses » des images, nous pouvons commencer à comprendre pourquoi nos cerveaux nous jouent parfois des tours, et peut-être même apprendre à les arrêter. L'ordinateur n'a pas seulement appris à voir ; il a appris à voir pourquoi nous sommes confus.

Résumé Technique : FalseResMem – Un réseau de neurones pour prédire les faux souvenirs dans les tâches de reconnaissance visuelle

Énoncé du problème

La recherche sur la mémoire visuelle s'est traditionnellement appuyée sur la théorie de la détection du signal (SDT) pour caractériser la performance de reconnaissance, en séparant la force de la mémoire (hits) des critères de décision (fausses alarmes). Dans ce cadre, le taux de fausses alarmes (FAR) — la classification incorrecte d'images inédites comme étant familières — est souvent traité comme une erreur globale au niveau du participant ou un bruit provenant d'un critère de réponse libéral ou d'une faible sensibilité. Cependant, des preuves récentes suggèrent que les faux souvenirs ne sont pas de simples erreurs aléatoires, mais des phénomènes cohérents et spécifiques à l'image. Certaines images suscitent systématiquement des fausses alarmes plus élevées chez différents observateurs (par exemple, l'effet Mandela), indépendamment des traits de mémoire généraux de l'observateur.

Les modèles de deep learning actuels, tels que ResMem, prédisent avec succès la mémorabilité des images (taux de hits) en extrayant des caractéristiques visuelles intrinsèques. Toutefois, aucun modèle existant ne cible explicitement la prédiction des fausses alarmes au niveau de l'image. Traiter le FAR comme un simple bruit occulte les propriétés visuelles systématiques qui pilotent la fausse reconnaissance. Le défi consiste à développer un modèle capable de prédire la probabilité qu'une image inédite soit faussement reconnue comme familière en se basant uniquement sur ses caractéristiques visuelles, en dépassant les résumés au niveau du participant pour passer à une modélisation de l'erreur spécifique à l'image.

Méthodologie

Jeu de données

Le modèle a été entraîné exclusivement sur le jeu de données MemCat (Goetschalckx & Wagemans, 2019), une collection à grande échelle de 10 000 images naturelles réparties en cinq catégories sémantiques : animaux, nourriture, paysages, sports et véhicules.

Vérité de terrain (Ground Truth) : Les scores FAR ont été dérivés d'une tâche de reconnaissance continue impliquant une moyenne de 99 participants par image. Une fausse alarme était enregistrée lorsqu'un participant identifiait incorrectement une image inédite comme étant une répétition.
Raisonnement : MemCat a été choisi de préférence à LaMem en raison de sa supériorité en termes de cohérence inter-observateurs du FAR ( $\rho = 0,78$ contre $0,67$) et de sa meilleure qualité de données (ex. : absence de doublons). Les tentatives de fine-tuning sur LaMem n'ont pas amélioré les performances.

Architecture du modèle : FalseResMem

FalseResMem est une architecture hybride de deep learning conçue pour prédire un score FAR unique (0–1) pour toute image d'entrée. Il adapte l'architecture de ResMem mais est entraîné spécifiquement pour la prédiction d'erreurs. Le modèle se compose de deux flux d'extraction de caractéristiques parallèles :

Flux ResNet-50 : Utilise les couches 0 à 8 (conv1 jusqu'au pooling moyen adaptatif) d'un ResNet-50 pré-entraîné sur ImageNet-1K. Cette branche extrait des caractéristiques globales de dimension 2 048. Des tests approfondis ont montré que le ResNet-50 avec pré-entraînement ImageNet surpassait les autres variantes (ResNet-18, 34, 101, 152) et l'entraînement à partir de zéro.
Flux inspiré d'AlexNet : Une pile de cinq couches convolutionnelles entraînée à partir de zéro (initialisée avec des poids aléatoires). Ce flux traite les images via une séquence de couches convolutionnelles (noyaux de 11x11, 5x5, 3x3), des activations ReLU, un max-pooling et une normalisation de réponse locale (LRN), produisant un vecteur de caractéristiques de dimension 9 216. On suppose que cette branche capture des caractéristiques spécifiques liées aux fausses alarmes, distinctes de la mémorabilité générale.

Fusion et Tête (Head) :
Les caractéristiques ResNet de dimension 2 048 et les caractéristiques AlexNet de dimension 9 216 sont concaténées en un vecteur de dimension 11 264. Celui-ci est injecté dans une tête à sept couches entièrement connectées :

Couches 1–6 : Couches denses avec des dimensions 4096, 4096, 2048, 1024, 512 et 256, chacune suivie d'une activation ReLU et d'un dropout ( $p=0,5$ ) après les couches 1, 3 et 4.
Couche 7 : Une dernière couche dense (256 $\to$ 1) avec une activation sigmoïde pour produire la probabilité FAR prédite.

Entraînement et Évaluation

Optimisation : Le modèle a été entraîné en utilisant la descente de gradient stochastique (SGD) avec momentum (0,9) et une perte d'erreur quadratique moyenne (MSE).
Réglage des hyperparamètres : 30 essais ont été réalisés via Optuna pour optimiser le taux d'apprentissage ( $10^{-5}$ à $10^{-2}$ ) et la taille des lots (8–128). La meilleure configuration utilisait un taux d'apprentissage de 0,009381 et une taille de lot de 32.
Validation : Les performances ont été évaluées par validation croisée à 10 plis. Le plafond de performance du modèle a été établi en calculant la cohérence inter-observateurs split-half des scores FAR humains ( $\rho = 0,60 \pm 0,29$ ).
Interprétabilité : L'importance des caractéristiques a été analysée à l'aide d'Ablation-CAM (pour gérer les problèmes de disparition du gradient dans les couches profondes) et de la sensibilité à l'occlusion (glissement d'occlueurs de 32x32) afin d'identifier les régions spatiales critiques pour les prédictions de FAR élevées.

Résultats Clés

Performance Prédictive

FalseResMem a obtenu des performances robustes sur le test set de MemCat :

Validation croisée : Corrélation moyenne de rang de Spearman ( $\rho$ ) de 0,48 $\pm$ 0,13.
Meilleur cas : Le modèle le plus performant a atteint une corrélation de test de $\rho = 0,60$ (MSE = 0,002), atteignant ainsi le plafond de la cohérence inter-observateurs humaine.
Généralisation : Le modèle s'est généralisé avec succès à neuf jeux de données indépendants, incluant des scènes (FIGRIM, LaMem), des visages, des symboles conventionnels et de l'art, avec des corrélations statistiquement significatives ( $\rho$ allant de 0,06 à 0,28).

Performance par Catégorie

La performance a varié selon les catégories sémantiques :

Plus haute précision : Les images d'Animaux ( $\rho = 0,673$ ) et de Paysages ( $\rho = 0,605$ ) ont montré le plus fort alignement avec les données humaines.
Plus basse précision : Les images de Nourriture ont présenté le plus grand écart par rapport à la vérité de terrain ( $\rho = 0,477$ ), un résultat cohérent avec l'échec du modèle à se généraliser au jeu de données FoodFolio.
Limites de généralisation : Bien que le modèle se soit généralisé aux visages et aux symboles conventionnels, il n'a pas pu prédire le FAR pour les symboles "artificiels" (conçus pour être mémorables ou oubliables) et a montré une faible corrélation pour les images d'art.

Résultats d'Interprétabilité

Images à FAR élevé : Associées à des motifs visuellement simples, à haut contraste et structurellement neutres (ex. : cascades, rayures de zèbre). L'Ablation-CAM et les analyses d'occlusion ont révélé que le modèle repose sur des activations localisées de faible intensité dans ces régions.
Images à FAR faible : Associées à des scènes complexes, sémantiquement surprenantes ou incongruentes. Celles-ci ont provoqué des activations diffuses sur l'ensemble de l'image, suggérant que le modèle les rejette comme étant inédites en raison de leur complexité globale.
Contribution des caractéristiques : Le flux AlexNet a été crucial pour capturer les caractéristiques locales spécifiques pilotant les fausses alarmes, tandis que le flux ResNet a fourni le contexte global.

Principales Contributions

Premier prédicteur de FAR au niveau de l'image : FalseResMem est le premier réseau de neurones explicitement conçu et entraîné pour prédire les taux de fausses alarmes au niveau de l'image, déplaçant l'attention du traitement du FAR comme un bruit vers un modèle de signal systématique piloté par l'image.
Architecture Hybride : L'introduction d'une architecture à double flux combinant un ResNet-50 pré-entraîné sur ImageNet avec une pile de type AlexNet ré-entraînée pour capturer à la fois les caractéristiques globales et spécifiques pilotant la reconnaissance erronée.
Outil Pratique : Les auteurs ont publié FalseResMem en tant que package Python open-source (falseresmem), offrant aux chercheurs en psychologie, neurosciences et vision par ordinateur un outil accessible pour estimer le FAR sans expertise en programmation.
Validation Empirique : L'étude fournit la preuve empirique qu'une part substantielle de la variabilité de la reconnaissance erronée est prédictible à partir des caractéristiques visuelles seules, atteignant le plafond théorique de la cohérence humaine.

Signification et Revendications

L'article affirme que FalseResMem offre un changement de paradigme dans la modélisation de la mémoire visuelle en recadrant les fausses alarmes non pas comme des erreurs aléatoires ou des traits de participants, mais comme des propriétés prédictibles des images. En atteignant une performance qui correspond à la cohérence inter-observateurs humaine, le modèle démontre que les caractéristiques visuelles intrinsèques (telles que les limites de contraste et l'uniformité spatiale) pilotent systématiquement la "familiarité trompeuse" associée aux faux souvenirs.

Les auteurs soulignent l'utilité de cet outil pour :

La conception expérimentale : Permettre aux chercheurs de pré-sélectionner des stimuli pour induire intentionnellement ou éliminer les faux souvenirs.
Les applications médico-légales et cliniques : Améliorer potentiellement les procédures de témoignage oculaire en identifiant les images sujettes à la fausse reconnaissance et en sondant les biais de mémoire dans les populations cliniques.
L'avancement théorique : Fournir un cadre quantitatif pour étudier l'effet "Mandela" et d'autres faux souvenirs collectifs, comblant ainsi le fossé entre la théorie classique de la mémoire et le deep learning moderne.

L'article conclut que l'intégration de métriques basées sur l'erreur, comme le FAR, dans la modélisation de la mémoire visuelle est essentielle pour développer des théories complètes de la mémoire qui tiennent compte à la fois du rappel précis et des distorsions systématiques.