GRAFF-MM : Graph-Frequency Filtering for Multi-Modal Memorability Prediction

Certaines images marquent l'esprit tandis que d'autres s'effacent presque instantanément. Cette qualité, connue sous le nom de mémorabilité, ne dépend pas simplement de la beauté d'une image ou de l'attrait qu'elle suscite chez une personne. Il s'agit plutôt d'un trait mesurable de l'image elle-même, une propriété qui détermine la probabilité qu'une personne se souvienne de cette scène spécifique après l'avoir vue une seule fois. Les chercheurs savent depuis longtemps que l'intuition humaine est médiocre pour deviner quelles images seront mémorisées ; nous supposons souvent qu'un visage frappant ou une couleur vive rendra une image mémorable, pour finalement découvrir qu'une scène banale avec un agencement spécifique d'objets est ce qui persiste réellement. Pour comprendre ce phénomène, les scientifiques se sont tournés vers les ordinateurs, construisant des modèles qui tentent de prédire ces scores en analysant les ingrédients visuels d'une photographie. Les premières tentatives reposaient sur des mesures simples de couleur et de forme, mais celles-ci passaient souvent à côté du contexte profond qui rend une image mémorable. Des efforts plus récents ont utilisé l'intelligence artificielle complexe pour examiner les objets et leurs relations, pourtant beaucoup de ces systèmes négligent encore les détails subtils et rapides d'une scène ou la façon dont l'œil humain balaie naturellement une image.

Une équipe de chercheurs a maintenant proposé une nouvelle approche qui réunit plusieurs manières de percevoir une image pour résoudre ce casse-tête. Leur travail, appelé GRAFF-MM, repose sur l'idée qu'aucune méthode unique ne peut capturer tout ce qui rend une image mémorable. Au lieu de cela, le modèle combine trois flux distincts d'informations : la disposition spatiale des objets, les zones où l'œil humain est le plus susceptible de se fixer, et le langage descriptif qui explique ce qui se passe dans la scène. Pour gérer la disposition spatiale, les chercheurs ont construit un système qui traite une image comme une carte de points connectés, où chaque point représente un objet et les lignes entre eux montrent comment ces objets sont liés les uns aux autres. Crucialement, ils ont amélioré ce système en lui apprenant à prêter attention à la fois aux motifs larges et lisses de la scène et aux bords nets et détaillés qui signalent souvent quelque chose d'inhabituel ou d'important. Ce double focus permet à l'ordinateur de voir non seulement qu'une moto est sur une route, mais qu'elle penche brusquement dans un virage, un détail qui pourrait être la clé de la raison pour laquelle l'image est mémorisée.

Les chercheurs ont testé ce nouveau modèle contre quatre collections différentes d'images, allant de milliers de photographies diverses à de plus petits ensembles concentrés sur des objets spécifiques. Dans chaque cas, le nouveau modèle a surpassé les méthodes précédentes, atteignant un niveau de précision qui correspond étroitement à la manière dont les humains s'accordent sur les images mémorables. Sur un ensemble de données majeur, le modèle a atteint un score de 0,692, et sur un autre, il a atteint 0,711, des chiffres qui indiquent un fort alignement avec la mémoire humaine. L'étude comprenait également un examen détaillé de la raison pour laquelle le modèle fonctionne, montrant que le retrait de l'une de ses trois composantes principales — la carte spatiale, le guide d'oculométrie ou la description textuelle — entraînait une chute de la performance. Cela confirme que chaque pièce apporte quelque chose d'unique : le texte fournit l'histoire, le guide d'oculométrie montre où se trouve l'action, et la carte spatiale révèle la structure.

L'une des découvertes les plus significatives est que la capacité du modèle à détecter les détails à haute fréquence — ces changements rapides et nets dans l'image que les systèmes précédents lissaient souvent — était essentielle à son succès. En filtrant les données visuelles pour conserver à la fois la vue d'ensemble et les détails fins, le modèle pouvait repérer les agencements inhabituels ou les actions spécifiques qui font sortir une image du lot. Les chercheurs ont également visualisé la façon dont le modèle a appris, montrant qu'en combinant ces différents types d'informations, les images analysées commençaient à se regrouper plus clairement selon leur degré de mémorabilité. Bien que le modèle ne soit pas parfait et éprouve parfois des difficultés avec les images floues ou les scènes trop complexes, il représente une étape importante dans la compréhension de la manière dont les ordinateurs peuvent apprendre à voir le monde comme le fait la mémoire humaine. Ce travail suggère que pour prédire véritablement ce que nous retiendrons, nous devons regarder une image non pas seulement comme une collection de pixels, mais comme une histoire racontée à travers l'espace, l'attention et le langage.