The Impact of Noise on Memorability in Minds and Machines
Cet article démontre que, tandis que les réseaux de neurones profonds conventionnels ne parviennent pas à égaler la robustesse humaine dans l'estimation de la mémorabilité des images sous l'effet du bruit en raison de leur dépendance aux caractéristiques individuelles des images, le nouveau modèle GraphMem s'aligne avec succès sur la performance humaine en exploitant la structure relationnelle entre les images.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète
Nous ne vivons pas dans un monde visuel parfait. Nos yeux voient souvent à travers des pare-brises striés par la pluie, des images de vidéosurveillance granuleuses ou la lumière tamisée du soir. Pourtant, malgré ces imperfections, la mémoire humaine est remarquablement cohérente. Si vous montrez à un grand groupe de personnes une photographie d'un enfant soufflant les bougies d'un anniversaire et une autre d'un parking vide, la plupart se souviendront de la scène de la fête et oublieront le parking. Ce phénomène, connu sous le nom de mémorabilité de l'image, suggère que certaines images sont simplement plus faciles à conserver pour notre cerveau que d'autres. Les scientifiques croient depuis longtemps que les images mémorables sont traitées plus efficacement par le cerveau, ce qui permet de les reconnaître et de les stocker rapidement. Pour étudier cela, les chercheurs se sont de plus en plus tournés vers l'intelligence artificielle, utilisant des réseaux de neurones profonds — des systèmes informatiques conçus pour imiter le cerveau humain — afin de prédire quelles images les gens retiendront. Ces modèles sont désormais utilisés pour évaluer et sélectionner des images pour tout, de la publicité à la recherche scientifique, remplaçant souvent les observateurs humains. Mais une question cruciale demeure : ces machines comprennent-elles la mémoire de la même manière que nous, surtout lorsque les images qu'elles voient sont dégradées par du bruit ou du flou ?
Une équipe de chercheurs de l'Université George Mason a entrepris de tester cela en comparant la façon dont les humains et l'intelligence artificielle gèrent le bruit visuel. Ils ont commencé par un ensemble standard d'images connues pour avoir différents niveaux de mémorabilité, allant de scènes hautement mémorables à celles qui sont facilement oubliées. Ils ont ensuite dégradé systématiquement ces images en ajoutant différentes quantités de statique visuelle, semblable au grain observé sur les vieux écrans de télévision, et en les rendant également floues. D'abord, ils ont passé ces images bruitées à travers plusieurs modèles informatiques de pointe qui sont actuellement considérés comme les meilleurs pour prédire la mémoire humaine. Les résultats ont été surprenants. Les modèles informatiques se sont comportés d'une manière qui ressemble à un phénomène appelé résonance stochastique, où l'ajout d'un peu de bruit peut en fait rendre un signal faible plus facile à détecter. Dans les modèles, l'ajout de bruit faisait apparaître les images les moins mémorables comme étant plus mémorables, tout en faisant paraître les plus mémorables comme moins mémorables. C'était comme si le bruit perturbait la concentration de l'ordinateur, l'amenant à mal juger l'importance de l'image.
Les chercheurs ont ensuite demandé à des participants humains d'effectuer la même tâche, en visionnant les mêmes images bruitées et floues dans un jeu de reconnaissance continue où ils devaient identifier des images répétées. Les résultats humains ont raconté une histoire complètement différente. Lorsque les images étaient dégradées, la mémoire humaine pour les images hautement mémorables est restée forte et résistante au bruit. Cependant, la mémoire pour les images moins mémorables a chuté brutalement. Contrairement aux ordinateurs, les humains n'ont pas trouvé que le bruit aidait à se souvenir des images oubliables ; au contraire, le bruit rendait simplement plus difficile le fait de se souvenir de quoi que ce soit, mais la capacité du cerveau à conserver les images les plus frappantes était bien plus robuste. L'étude a révélé que cet écart entre la performance humaine et celle des machines persistait même lorsque les chercheurs réentraînaient les modèles informatiques sur des images bruitées, une technique qui aide habituellement les machines à mieux reconnaître les objets dégradés. Les modèles continuaient de mal juger l'effet du bruit sur la mémoire, suggérant que leur façon interne de traiter les images est fondamentalement différente de la façon dont les humains apprennent et se souviennent.
Pour comprendre pourquoi les ordinateurs échouaient, les chercheurs ont examiné où les modèles « regardaient » lorsqu'ils prenaient leurs décisions. Ils ont découvert que pour les images hautement mémorables, les modèles concentraient leur attention sur une partie centrale spécifique de l'image. Lorsqu'un bruit était ajouté, cette concentration se dispersait, et la confiance du modèle dans la mémorabilité de l'image chutait. Pour les images moins mémorables, les modèles avaient initialement une attention dispersée, mais le bruit provoquait parfois une concentration sur un point unique, augmentant accidentellement leur score. En revanche, la mémoire humaine ne repose pas sur un point focal unique de la même manière. Les chercheurs ont découvert que la mémoire humaine dépend fortement de la façon dont une image se rapporte aux autres images d'un ensemble, plutôt que des caractéristiques de l'image elle-même. Pour tester cela, ils ont construit un nouveau modèle appelé GraphMem. Au lieu d'analyser chaque image de manière isolée, ce modèle examine les relations entre toutes les images, les cartographiant en fonction de leur similitude les unes avec les autres.
Lorsque les chercheurs ont testé cette nouvelle approche, les résultats ont radicalement changé. GraphMem, qui prend en compte le contexte et les relations entre les images, a fonctionné beaucoup plus comme un humain. Il a correctement prédit que les images hautement mémorables resteraient stables même lorsque le bruit augmentait, tandis que les moins mémorables en souffriraient. Il n'est pas tombé dans le piège de croire que le bruit rendait les mauvaises images meilleures. L'étude suggère que la raison pour laquelle l'intelligence artificielle actuelle peine avec la mémoire dans des conditions de bruit est qu'elle traite chaque image comme un objet autonome, ignorant le contexte plus large dans lequel nous percevons naturellement le monde. Les humains, ayant grandi en voyant le monde dans toute son imperfection de clarté, ont appris à filtrer le bruit et à compter sur la distinction d'une image par rapport à tout ce qu'ils ont vu par ailleurs. Les conclusions indiquent que pour construire des systèmes de mémoire véritablement semblables à l'humain, l'intelligence artificielle doit aller au-delà de l'analyse des caractéristiques individuelles et commencer à comprendre le réseau de relations qui relie une image à la suivante.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.