GRAFF-MM : Graph-Frequency Filtering for Multi-Modal Memorability Prediction

有些图像会刻在脑海中，而另一些则几乎瞬间褪去。这种被称为“记忆力”（memorability）的特性，并不单纯取决于一张图片有多美或者一个人有多喜欢它。相反，它是图像本身的一种可衡量的特征，是一种决定一个人在看过一次特定场景后，有多大可能将其回忆起来的属性。研究人员早已知道，人类的直觉在猜测哪些图像会被记住方面表现很差；我们常以为一张引人注目的脸或鲜艳的色彩会让图像更具记忆力，结果却发现，一个具有特定物体排列方式的平凡场景反而更令人难以忘怀。为了理解这一现象，科学家们转向了计算机，通过构建模型来尝试通过分析照片的视觉成分来预测这些评分。早期的尝试依赖于对颜色和形状的简单测量，但这些方法往往忽略了让图像具有记忆力的深层语境。近期的研究工作则使用了复杂的人工智能来观察物体及其关系，然而，这些系统仍然遗漏了场景中微妙的高速细节，或是人类眼睛自然扫描图像的方式。

现在，一组研究人员提出了一种结合了多种不同视觉方式的新方法来破解这一谜题。他们的这项名为 GRAFF-MM 的工作基于这样一个理念：没有任何单一的方法能够捕捉到构成图像记忆力的全部要素。相反，该模型结合了三路截然不同的信息流：物体的空间布局、人类眼睛最可能聚焦的区域，以及解释场景正在发生什么的描述性语言。为了处理空间布局，研究人员构建了一个系统，将图像视为一张由连接点组成的地图，其中每个点代表一个物体，而点之间的连线则展示了这些物体如何相互关联。至关重要的是，他们通过教导系统同时关注场景中宽阔平滑的模式以及那些通常预示着异常或重要事物的锐利、精细的边缘，从而改进了这一系统。这种双重关注使计算机不仅能看到路面上有一辆摩托车，还能看到摩托车正向转弯处剧烈倾斜——这个细节可能正是图像被记住的关键。

研究人员将这个新模型与四个不同的图像集进行了测试，范围从数以千计的各类照片到针对特定物体的较小集合。在每种情况下，新模型都超越了以往的方法，达到了与人类对哪些图像具有记忆力的共识高度一致的准确度。在一个主要的数据集上，该模型达到了 0.692 的得分，在另一个数据集上达到了 0.711，这些数字表明其与人类记忆高度契合。研究还对模型为何奏效进行了详细探讨，结果显示，移除其三个主要部分中的任何一个——空间图谱、眼动追踪指南或文本描述——都会导致性能下降。这证实了每一部分都贡献了独特的东西：文本提供了故事，眼动追踪指南展示了动作发生的位置，而空间图谱则揭示了结构。

最重要的发现之一是，该模型检测高频细节的能力（即那些早期系统经常平滑掉的快速、锐利的图像变化）对其成功至关重要。通过过滤视觉数据以保留宏观全景和微观细节，该模型能够识别出那些让图像脱颖而出的异常排列或特定动作。研究人员还将模型的学习过程进行了可视化，展示了随着它整合这些不同类型的信息，它所分析的图像开始根据其记忆力程度进行更清晰的分组。虽然该模型并不完美，有时在处理模糊图像或过于复杂的场景时会遇到困难，但它代表了在理解计算机如何学习像人类记忆那样观察世界方面迈出的重要一步。这项工作表明，要真正预测我们会记住什么，我们不能仅将图像视为像素的集合，而应将其视为一个通过空间、注意力与语言共同讲述的故事。