📄 other

FalseResMem: A Neural Network to Predict False Memories in Visual Recognition Tasks

该论文介绍了 FalseResMem，这是一种结合了 ResNet50 和 AlexNet 架构的新型神经网络，用于准确预测视觉识别任务中的图像级误报率，并展示了在不同图像类别上的鲁棒泛化能力。

原作者： Anastasiia Mikhailova, Wilma A. Bainbridge

发布于 2026-07-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Anastasiia Mikhailova, Wilma A. Bainbridge

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你的大脑就像一名超级先进的记忆安保人员。它的职责是判断你看到的每一张新照片是一个“陌生人”还是“老朋友”。通常情况下，这项工作做得很好。但有时，保安会被骗过去。你看到一张全新的斑马照片，你的大脑却在尖叫：“我认识这家伙！我们以前见过！”尽管你这辈子从未见过它。这被称为虚假警报（false alarm）或虚假记忆（false memory）。这就是“既视感”（déjà vu）的感觉——那种觉得新体验其实很熟悉的神奇感。科学家早已知道有些人更容易出现这类混淆，但他们也注意到了一些奇怪的现象：某些图片似乎会骗过所有人。一张特定的瀑布照片可能会让一群人都觉得他们以前见过它，而一张穿着怪异的猫的照片可能却骗不了任何人。长期以来，研究人员认为这些错误只是随机的噪音，或者是由于特定个人的大脑结构造成的。但如果错误不在于人，而在于图片本身呢？如果有些图像天生就具有“欺骗性的熟悉感”呢？

这正是芝加哥大学的一个研究团队致力于解决的谜题。他们构建了一种新型的计算机大脑，一个名为 FalseResMem 的神经网络，其设计拥有一个特定的超能力：观察一张图片并预测它欺骗人类记忆的可能性。它不是试图猜测你会记得什么，而是猜测你会错误地以为记得什么。他们用一个包含 10,000 张图像的海量库训练了这个模型，教会它识别那些让原本全新的照片看起来像旧识的隐藏视觉陷阱。结果非常迷人：计算机学会了简单的、类似自然界的场景（如瀑布）或高对比度的图案（如斑马纹）是终极的记忆陷阱。该模型的表现如此出色，以至于它预测“虚假警报”的能力几乎可以与一群人类达成共识的水平相媲美。这就像是给了科学家一个水晶球，能告诉他们：“嘿，如果你给人们看这张特定的图像，他们将会感到困惑”，这有助于我们理解为什么我们的记忆有时会欺骗我们，以及如何阻止它们。

关于“欺骗性”图片的探究

把你的记忆想象成一个巨大的文件柜。当你看到一张新照片时，你的大脑会从柜子里抽出一份文件，看看它是否与已有的内容相匹配。如果匹配不上，你会说：“新的！”如果匹配上了，你会说：“旧的！”但有时，大脑会变得懒惰或混乱。它看到一张图片，觉得它和柜子里的某些东西有点像，于是便说：“旧的！”即便那完全是个陌生人。这就是虚假警报。

多年来，科学家一直认为这些错误主要与看照片的人有关。也许他们累了，或者也许他们只是有一种“是的，我认识”的态度。但最近的发现表明，有些照片本身就是“坏演员”。它们始终如一地欺骗着人们，无论看照片的是谁。这就是“曼德拉效应”在起作用——即大量人群对某个著名的标志或事件有着共同的错误记忆。这篇论文背后的研究人员想要知道：我们能否构建一台计算机，通过观察一张照片来告诉我们：“这是一个伪装大师”？

进入 FalseResMem：记忆侦探

研究团队创建了 FalseResм，一个专门充当记忆错误侦探的特殊计算机程序。以下是它的工作原理（用通俗易懂的语言解释）：

训练过程： 他们向计算机输入了一个名为 MemCat 的庞大数据集，其中包含 10,000 张动物、食物、风景、运动和交通工具的图像。他们不仅仅是展示图片，还展示给了近 100 名真实的人类，并记录了每个人犯错的频率。如果 100 人中有 50 人认为一张熊的照片很熟悉（尽管它并不熟悉），那么这张照片就会得到一个 0.5 的“虚假警报率”（FAR）分数。
大脑力量： 计算机使用两只不同的“眼睛”来观察照片。一只眼睛是预训练的专家（ResNet50），它了解许多关于通用形状和物体的知识。另一只眼睛是一个定制构建的侦探（类似于 AlexNet 的结构），它被专门教导去寻找导致混乱的“诡计”。
预测过程： 计算机结合它所看到的内容，为每张图片给出一个 0 到 1 之间的分数。分数为 0 意味着“没有人会被这张图欺骗”；分数为 1 意味着“每个人都会被这张图欺骗”。

他们发现了什么？

结果出人意料地清晰。计算机学会了以极高的准确度来预测这些虚假记忆。当他们测试该模型时，它与人类的一致性水平达到了 0.60 的相关性。这意味着计算机几乎与一群人类就哪些照片具有欺骗性达成共识的水平相当。

但最有趣的部分是计算机判定什么样的图片具有欺骗性：

伪装大师： 获得最高“欺骗分数”的图像通常是简单的、基于自然的场景。想想瀑布或斑马。这些图像具有重复的图案和高对比度（如黑白条纹），这似乎会让我们的脑子想：“我以前见过这种模式！”即使我们从未见过。它们是“具有欺骗性的熟悉感”。
稳妥的选择： 最不容易欺骗人们的图像是那些包含奇特或令人惊讶内容的复杂场景，比如一只正在做完全出人意料之事的动物。因为这些场景如此独特且古怪，我们的脑子会说：“好吧，我肯定没见过这个，”因此我们不会被骗。
食物问题： 有趣的是，该模型在处理食物照片时表现得有些吃力。虽然它在预测风景和动物的欺骗性方面表现出色，但在处理食物时却没那么好。这表明，我们的大脑在记忆汉堡和记忆山脉时，使用的规则可能不同。

这为什么重要？

这不仅仅是一个酷炫的游戏技巧。研究人员展示了 FalseResMem 可以观察它从未见过的图片——如人脸、艺术品或符号——并依然能够猜测这些图片引起虚假记忆的可能性。

对于目击者： 如果你是一名警察，试图识别嫌疑人，你不希望给证人看一张本质上具有“欺骗性熟悉感”的照片，因为他们可能会认为自己见过嫌疑人，即使他们并没有。这个工具可以帮助设计更好的辨认程序，从而降低产生错误定罪的可能性。
对于科学家： 它为研究人员提供了一种测试理论的方法。他们不必猜测哪些照片会让人困惑，而是可以使用这个模型来挑选完美的“棘手”照片进行实验。
对于理解大脑： 它证明了虚假记忆并非随机的错误。它们是由图像本身的特定特征驱动的。有些图片天生就具备让人产生“熟悉感”的特质。

论文结论指出，我们现在可以将这些记忆错误视为一种可预测的信号，而非随机的噪音。通过理解图像中具有“欺骗性”的特征，我们可以开始理解为什么大脑有时会玩弄我们的感觉，甚至学习如何阻止它们。计算机不仅学会了观察，它还学会了观察我们为何会感到困惑的原因。

技术摘要：FalseResMem —— 一种用于预测视觉识别任务中虚假记忆的神经网络

问题陈述

传统的视觉记忆研究依赖于信号检测论（Signal Detection Theory, SDT）来表征识别性能，将记忆强度（击中率）与决策标准（虚警）区分开来。在这一框架下，虚警率（False Alarm Rate, FAR）——即将新颖图像错误分类为熟悉图像的现象——通常被视为全局性的、参与者层面的误差或由宽松的反应标准或低敏感度引起的噪声。然而，近期的证据表明，虚假记忆并非仅仅是随机误差，而是一种一致的、图像特异性的现象。某些图像在不同观察者之间会一致地引发更高的虚警（例如“曼德拉效应”），且这种现象独立于观察者的总体记忆特征。

目前的深度学习模型（如 ResMem）通过提取内在视觉特征，成功预测了图像的可记忆性（击中率）。然而，尚无现有模型明确针对预测图像层面的虚警。将 FAR 仅视为噪声，掩盖了驱动系统性虚假识别的视觉属性。挑战在于开发一种能够仅基于视觉特征，预测一个新颖图像被错误识别为熟悉的概率的模型，从而超越参与者层面的总结，实现图像特异性的误差建模。

研究方法

数据集

该模型完全基于 MemCat 数据集（Goetschalckx & Wagemans, 2019）进行训练，这是一个包含五个语义类别（动物、食物、风景、运动和车辆）共 10,000 张自然图像的大规模集合。

地面真值（Ground Truth）： FAR 分数源自一项连续识别任务，每张图像平均有 99 名参与者。当参与者错误地将一张新颖图像识别为重复出现时，记录一次虚警。
合理性： 选择 MemCat 是因为其具有优于 LaMem 的观察者间 FAR 一致性（ $\rho = 0.78$ 对比 $0.67$）以及更高的数据质量（例如不存在重复项）。尝试在 LaMem 上进行微调并未提升性能。

模型架构：FalseResMem

FalseResMem 是一种混合深度学习架构，旨在预测任何输入图像的单个 FAR 分数（0–1）。它改编了 ResMem 的架构，但专门针对误差预测进行训练。该模型由两个平行的特征提取流组成：

ResNet-50 流： 利用在 ImageNet-1K 上预训练的 ResNet-50 的第 0–8 层（从 conv1 到自适应平均池化）。该分支提取 2,048 维全局特征。广泛的测试表明，经过 ImageNet 预训练的 ResNet-50 优于其他变体（ResNet-18, 34, 101, 152）以及从头开始训练的模型。
类 AlexNet 流： 一个从头开始训练（使用随机权重初始化）的五层卷积堆栈。该流通过一系列卷积层（11x11, 5x5, 3x3 卷积核）、ReLU 激活、最大池化和局部响应归一化（LRN）处理图像，输出一个 9,216 维的特征向量。该分支被假设用于捕捉与一般可记忆性不同的、与虚警相关的特定特征。

融合与头部（Fusion and Head）：
将 2,048 维的 ResNet 特征与 9,216 维的 AlexNet 特征进行拼接，形成一个 11,264 维的向量。该向量被输入到一个七层全连接头部：

第 1–6 层：全连接层，维度分别为 4096, 4096, 2048, 1024, 512 和 256，每层后接 ReLU 激活，并在第 1、3、4 层后加入 Dropout（ $p=0.5$ ）。
第 7 层：最终的全连接层（256 $\to$ 1），使用 Sigmoid 激活函数 输出预测的 FAR 概率。

训练与评估

优化： 模型使用带有动量（0.9）的随机梯度下降（SGD）和均方误差（MSE）损失进行训练。
超参数调优： 通过 Optuna 进行了 30 次试验，以优化学习率（ $10^{-5}$ 至 $10^{-2}$ ）和批大小（8–128）。最佳配置使用的学习率为 0.009381，批大小为 32。
验证： 使用 10 折交叉验证评估性能。通过计算人类 FAR 分数的拆分半数观察者间一致性（ $\rho = 0.60 \pm 0.29$ ）来确定模型性能的上限。
可解释性： 使用 Ablation-CAM（以处理深层网络中的梯度消失问题）和遮挡敏感度分析（使用 32x32 的遮挡物滑动）来识别对高 FAR 预测至关重要的空间区域。

关键结果

预测性能

FalseResMem 在 MemCat 测试集上表现稳健：

交叉验证： 平均 Spearman 秩相关系数 ( $\rho$ ) 为 0.48 $\pm$ 0.13。
最佳情况： 表现最好的模型实现了 $\rho = 0.60$ （MSE = 0.002）的测试相关性，有效地达到了人类观察者间一致性的上限。
泛化能力： 模型成功泛化到九个独立的数据集，包括场景（FIGRIM, LaMem）、面部、常规符号和艺术品，并表现出显著的相关性（ $\rho$ 范围为 0.06 到 0.28）。

特定类别性能

性能随语义类别而异：

最高准确度： 动物（ $\rho = 0.673$ ）和风景（ $\rho = 0.605$ ）显示出与人类数据最强的对齐。
最低准确度： 食物图像与地面真值的偏差最大（ $\rho = 0.477$ ），这一发现与模型无法泛化到 FoodFolio 数据集的结果一致。
泛化限制： 虽然模型泛化到了面部和常规符号，但它无法预测“工程化”符号（旨在增强或削弱可记忆性的符号）的 FAR，且在艺术图像上的相关性较弱。

可解释性发现

高 FAR 图像： 与视觉简单、高对比度和结构中性的模式（如瀑布、斑马纹）相关。Ablation-CAM 和遮挡分析显示，模型依赖于这些区域的局部、低强度激活。
低 FAR 图像： 与复杂的、具有语义惊喜感或不一致性的场景相关。这些场景引起了弥散性的全图激活，表明模型基于全局复杂性拒绝将其视为新颖图像。
特征贡献： AlexNet 流对于捕捉驱动虚警的特定局部特征至关重要，而 ResNet 流则提供了全局上下文。

核心贡献

首个图像级 FAR 预测器： FalseResMem 是第一个专门设计并训练用于预测图像级虚警率的神经网络，将研究重点从将 FAR 视为噪声转向将其建模为系统性的、由图像驱动的信号。
混合架构： 引入了结合了经 ImageNet 预训练的 ResNet-50 与重训的类 AlexNet 堆栈的双流架构，以捕捉驱动虚假识别的全局和特定特征。
实用工具： 作者将 FalseResMem 作为开源 PyPI 包（falseresmem）发布，为心理学、神经科学和计算机视觉领域的研究人员提供了一个无需编程专业知识即可估算 FAR 的便捷工具。
实证验证： 本研究提供了经验证据，证明很大一部分虚假识别的变异性可以仅从视觉特征中进行预测，并达到了人类一致性的理论上限。

意义与主张

本文声称，FalseResMem 通过将虚警重新定义为可预测的图像属性，而非随机误差或参与者特征，从而在视觉记忆建模领域实现了范式转移。通过达到与人类观察者间一致性相匹配的性能，该模型证明了内在视觉特征（如对比度边界和空间均匀性）系统性地驱动了与虚假记忆相关的“欺骗性熟悉感”。

作者强调了该工具在以下方面的用途：

实验设计： 允许研究人员预筛选刺激物，以有意地诱发或消除虚假记忆。
法医学与临床应用： 通过识别易产生虚假识别的图像，潜在地改进目击者证言程序，并探测临床人群的记忆偏差。
理论推进： 为研究“曼德拉效应”及其他集体虚假记忆提供定量框架，架起经典记忆理论与现代深度学习之间的桥梁。

文章得出结论，将基于误差的指标（如 FAR）整合到视觉记忆建模中，对于开发能够解释准确回忆及系统性扭曲的全面记忆理论至关重要。