The Impact of Noise on Memorability in Minds and Machines
本文表明，尽管传统的深度神经网络由于依赖于单张图像特征，在噪声环境下估计图像记忆力时无法达到人类的鲁棒性，但新提出的 GraphMem 模型通过利用图像之间的关系结构，成功实现了与人类表现的一致性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
我们并不生活在一个完美的视觉世界中。我们的眼睛经常要透过布满雨痕的挡风玻璃、颗粒感十足的监控录像，或是傍晚昏暗的光线去观察。然而，尽管存在这些缺陷，人类的记忆力却表现得异常稳定。如果你给一群人看一张小孩吹灭生日蜡烛的照片和一张空荡荡停车场照片，大多数人会记住派对的场景，而忘记停车场。这种被称为“图像记忆度”（image memorability）的现象表明，某些图像对于我们的大脑来说更容易被捕捉并留存。科学家们长期以来一直认为，记忆深刻的图像能被大脑更高效地处理，从而实现快速识别和存储。为了研究这一点，研究人员越来越多地转向人工智能，利用深度神经网络——一种旨在模拟人类大脑的计算机系统——来预测哪些图像人们会记住。这些模型现在被用于为从广告到科学研究的各个领域进行评分和筛选图像，往往取代了人类观察者。但一个关键的问题仍然存在：这些机器是否以与我们相同的方式理解记忆，尤其是当它们看到的图像受到噪声或模糊的影响时？
乔治梅森大学的一组研究人员试图通过比较人类和人工智能如何处理视觉噪声来测试这一点。他们首先使用了一组已知的具有不同记忆度水平的标准图像集，其范围涵盖了高度可记忆的场景到极易被遗忘的场景。随后，他们通过添加不同程度的视觉静态噪声（类似于旧电视屏幕上的颗粒感）以及模糊处理，有系统地降解了这些图像。首先，他们将这些带有噪声的图像输入到几种目前被认为在预测人类记忆方面最先进的计算机模型中。结果令人惊讶。计算机模型的行为表现出一种类似于“随机共振”（stochastic resonance）的现象，即加入少量噪声实际上可以使微弱信号更容易被检测到。在这些模型中，增加噪声使得记忆度最低的图像看起来更具记忆力，同时使最具记忆力的图像显得记忆力下降。这就像是噪声干扰了计算机的注意力，导致它误判了图像的重要性。
研究人员随后要求人类参与者执行相同的任务，观看同样的带噪声和模糊的图像，进行一场连续识别游戏，即他们必须识别重复出现的图片。人类的结果讲述了一个完全不同的故事。当图像被降解时，人类对高记忆度图片的记忆依然保持强劲且对噪声具有抵抗力。然而，对于那些记忆度较低的图片，记忆力则大幅下降。与计算机不同，人类并没有发现噪声有助于记住那些容易被遗忘的图像；相反，噪声只是让记住任何事物都变得更加困难，但大脑捕捉那些最引人注目的图像的能力要强大得多。研究发现，即使研究人员在噪声图像上对计算机模型进行了重新训练（这通常能帮助机器更好地识别降解后的物体），这种人类与机器之间的性能差距依然存在。模型仍然会误判噪声对记忆的影响，这表明它们的图像处理内部方式与人类学习和记忆的方式有着本质的区别。
为了理解计算机为何失败，研究人员观察了模型在做出判断时是在“看”哪里。他们发现，对于高度可记忆的图像，模型会将注意力集中在图像特定的中心部分。当加入噪声时，这种焦点就会发生散射，导致模型对图像记忆度的信心下降。对于记忆度较低的图像，模型最初的焦点是分散的，但噪声有时会导致它们集中在某一个点上，从而意外地提升了得分。相比之下，人类的记忆并不像这样依赖于单一的焦点。研究人员发现，人类的记忆在很大程度上取决于图像如何与其他图像在集合中建立联系，而不仅仅是图像本身的特征。为了测试这一点，他们构建了一个名为 GraphMem 的新模型。GraphMem 不再孤立地分析每张图像，而是通过观察所有图像之间的关系，根据它们彼此之间的相似性来进行映射。
当研究人员测试这种新方法时，结果发生了戏剧性的转变。考虑了上下文和图像间关系的 GraphMem 表现得更像人类。它能够正确预测高度可记忆的图像即使在噪声增加时也能保持稳定，而记忆度较低的图像则会受到影响。它没有掉入“噪声让差图像变好”的陷阱。这项研究表明，目前的 AI 之所以难以应对噪声条件下的记忆问题，是因为它们将每一张图像都视为一个独立的个体，忽略了我们观察世界的更广泛背景。人类在成长过程中见识了各种不完美的清晰度，因此学会了过滤噪声，并依靠图像相对于我们所见之物的独特性来识别事物。研究结果表明，要构建真正类人的记忆系统，人工智能必须超越对单个特征的分析，开始理解连接一张图像到下一张图像的这种关系网络。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。