💻 computer science

Do You Remember? Toward Memory-Centric Multimodal AI

该论文介绍了“DoYouRemember”，这是一种以记忆为中心的多模态人工智能架构，它通过使用共享矩阵和局部指数移动平均（EMA）更新的重构记忆系统，取代了标准的单次处理模式，并证明了大语言模型（LLM）的隐藏状态会丢弃视觉信息，且将幻觉重新定义为有损记忆解压的一种固有属性而非缺陷。

原作者： Xuguang Yu, Weigang Zheng, Minyue Yu

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xuguang Yu, Weigang Zheng, Minyue Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

你还记得吗？为什么 AI 会“忘记”它所看到的一切（以及我们是如何修复它的）

想象一下，你正在看着一位朋友的面孔。你的大脑并不会在脑海中存储一个完美的、高清晰度的视频文件。相反，你的大脑会捕捉一个快照，将其压缩成几个关键概念（比如微笑的弧度、眼睛的颜色），随后当你试图回忆时，你的大脑会基于这些概念进行“重建”出一幅新的图像。这并非回放，而是一种创造性的重构。

现在，想象一个超级智能的机器人，它看着你的脸，准确地告诉你患有什么皮肤状况，但随后立即从记忆中删除了你脸部的照片。这正是当今最先进的 AI 模型所做的：它们能完美地“理解”图像，却对图像“毫无记忆”。

一项名为 DoYouRemember 的新研究试图通过教授 AI 如何利用模仿人类记忆机制的系统来真正“记住”它所看到的内容，从而解决这个问题。

重大发现：理解 $\neq$ 记忆

研究人员从一个简单的疑问开始：如果一个 AI 能够完美地描述一张图像，它的脑海中是否仍然“看”到了这张图像？

他们构建了一个三步走的机器来测试这一点：

压缩器（The Compressor）： 他们将一张脸的照片压缩成极其精简的数字简写（就像把一部 4K 电影变成几段文本代码）。
思考者（The Thinker）： 他们将这些代码输入到一个巨大的 AI 大脑（大语言模型）中，以分析皮肤情况。
重建者（The Rebuilder）： 他们尝试将 AI 的“想法”（其内部隐藏状态）重新转化为图像。

令人震惊的结果：
当他们尝试从 AI 的想法中重建面部时，得到的却是……静电噪声。纯粹的噪声。
AI 非常擅长说出“这个人脸颊上有红斑”，但它的内部记忆中却完全没有关于该红斑的可恢复视觉信息。这就像是一个翻译员能说出完美的英语，却完全忘记了原始的法语单词。AI 理解了“意义”，却破坏了“图像”。

论文证明了对于这些 AI 模型而言，理解并不等于记忆。 AI 消耗视觉数据来生成句子，然后便将视觉数据丢弃了。

失败的尝试：为什么“反向传播”不起作用

在找到解决方案之前，团队尝试了许多方法来强迫 AI 保留记忆。他们尝试了不同的记忆架构，并使用了标准的训练方法——反向传播（backpropagation）（这就像老师通过计算学生错得有多离谱来纠正作业）。

他们尝试了：

让 AI 向一个共享记忆板写入内容。
使用不同类型的“对比学习”（教 AI 识别相似的事物）。
缩短误差与记忆之间的路径。

结论： 所有的尝试都失败了。记忆板始终处于冻结状态。

为什么？论文用一个数学规则解释了这一点，称之为梯度抵消（Gradient Cancellation）。想象一下，有 9 亿个人试图同时在同一块小白板上写字。一个人想画一只猫，另一个人想画一只狗，第三个人想画一棵树。如果他们同时用力推笔，力量就会互相抵消，导致小白板依然空白。论文表明，当你试图用标准方法训练共享记忆时，来自每张图像的“推力”是如此微弱（它会缩小约 $\sqrt{N}$ 倍，其中 $N$ 是图像数量），以至于记忆永远无法学习到任何新东西。

解决方案：“局部”记忆技巧

由于“全局”老师（反向传播）无法解决问题，研究人员尝试了一种受大脑神经元连接方式启发的方法：局部学习规则（Local Learning Rules）。

他们不再要求整个系统进行自我修正，而是让每张图像仅更新记忆板上 64 个总槽位中最相关的 前 8 个 槽位。他们使用了一种称为**指数移动平均（EMA）**的方法，这就像是在不抹除旧记忆的情况下，温柔地将新记忆平滑地融入其中。

结果：

记忆板奏效了： 通过让图像仅更新其特定的“槽位”，记忆板保持了多样性，没有变成一片模糊。
重建效果变好了： 当他们尝试从这种新记忆中重建面部时，得到了清晰、可辨认的面孔。
- 在 10 张未见过的测试图像 上，该记忆系统的重建质量得分（LPIPS）达到了 0.123，非常接近理想的最高分（“上限”）0.071。
- 该记忆仅使用了 229,000 个参数（极小的空间）来存储原本需要 16 倍 空间的信息。

“超级记忆”的惊喜：
当他们把记忆板做得更大（扩展到 1,024 个槽位）时，神奇的事情发生了。这个记忆系统实际上变得比原始的“完美”压缩方法还要好！

新的记忆系统在未见图像上的得分达到了 0.056（LPIPS），击败了原始压缩得分的 0.071。
为什么？因为原始压缩使用的是“块状”的数字阶梯（量化），而新的记忆使用的是平滑的连续数值。有了足够的槽位，平滑的记忆可以比块状的记忆更好地填补空白。

这对未来意味着什么

论文得出结论：幻觉（hallucinations）（即 AI 胡编乱造的情况）并不是一个漏洞，而是有损记忆工作方式的一个特征。就像你可能记得一张脸，但记错了眼睛的具体色调一样，一个会压缩信息的 AI 在尝试回忆时，必然会对缺失的细节进行“猜测”。

作者提出了构建 AI 的新方向：

以记忆为中心的 AI（Memory-Centric AI）： 我们不应只是将图像喂给大脑并输出文本，而应该构建一个具有持久“记忆矩阵”的 AI，让所有感官（视觉、听觉、触觉）都能向其写入信息。
局部规则： 我们应该停止尝试用全局修正（反向传播）来训练这种记忆，转而使用模拟生物大脑学习方式的局部规则（如前 8 个槽位的更新）。

他们在皮肤健康图像（使用能拍摄患者皮肤 20 多种不同类型照片的 3D 皮肤分析仪）上测试了这一点。这个领域非常完美，因为它既需要理解医学状况，也需要记住精确的视觉细节。

简而言之： 论文证明了目前的 AI 在说话的一瞬间就会“忘记”它所看到的。但通过改变训练记忆的方式——使用局部的、温柔的更新而非全局的修正——我们可以构建出能够像人类一样，真正记住、重建并验证所见之物的 AI。

技术摘要：你还记得吗？迈向以记忆为中心的多模态人工智能

1. 问题陈述

当前的多模态大语言模型（MLLMs）运行在一种单向范式之上：图像由冻结的视觉编码器处理，被投影到 LLM 的嵌入空间中，并被用于生成文本。一旦文本生成完毕，LLM 隐藏状态中的视觉信息便会被丢弃。作者认为，这种架构缺乏一种“重构性记忆”（reconstructive memory）机制——即回忆并验证所感知内容的能力。

借鉴认知科学（Bartlett, 1932）的理论，本文指出人类的记忆并非忠实的记录，而是一个重构过程。核心假设是：若要让 MLLM 实现真正的“记忆”，它们必须能够从其内部表示中重构出感知内容。然而，作者发现了一个根本性的脱节：虽然 MLLMs 可能“理解”一张图像（生成准确的语义分析），但其隐藏状态可能并不保留任何用于重构的“可解码视觉表示”。此外，试图通过训练共享记忆矩阵来弥补这一差距的历史尝试均告失败，原因在于梯度抵消以及 LLM 信息转换的不可逆性。

2. 方法论：DoYouRemember 架构

作者提出了 DoYouRemember，一种旨在为 MLLMs 引入重构性记忆的三阶段架构：

感觉压缩（第 0 阶段）： 使用向量量化变分自编码器（VQ-VAE）将 256×256 的图像压缩为 1,024 个离散视觉标记（tokens）。该阶段作为一种可逆的有损压缩基准（压缩比约为 200:1），在丢弃像素冗余的同时保留了具有诊断相关性的特征。
意识推理（第 1 阶段）： 视觉标记和文本提示词由经过 LoRA 微调的 LLM（Qwen2.5-7B-Instruct）进行处理。模型在生成皮肤科分析文本的同时，保留视觉标记位置的隐藏状态。
重构验证（第 2 阶段）： 扩散变换器（DiT 式）解码器尝试从 LLM 的隐藏状态或专门的记忆矩阵中重构原始图像。

实验设计

作者进行了一系列受控实验以隔离信息流：

上界实验： 使用相同的扩散解码器，对比从 VQ-VAE 标记（LLM 前）与 LLM 隐藏状态（LLM 后）进行重构的效果。
记忆架构： 测试了四代共享记忆模块（SM-v1 至 SM-v4），包括基于注意力的写入、空间分片和直接梯度路径。
训练策略： 作者测试了基于反向传播的方法（MSE、DDPM）和对比学习（SimCLR、BYOL、SimSiam），最终确定使用 局部 EMA（指数移动平均）。

数据集

有标签数据： 1,000 幅带有专家皮肤科分析的 3D 面部皮肤纹理图。
无标签数据： 99,000 幅用于无监督记忆积累的正面面部图像。

3. 关键发现与结果

A. “理解”与“记忆”的鸿沟

最关键的发现是：LLM 隐藏状态中几乎不包含可恢复的视觉信息。

证据： 扩散解码器能够从 VQ-VAE 标记（LLM 前）中成功重构出清晰的面部特征，但当输入 LLM 隐藏状态（LLM 后）时，则会产生纯粹的高频噪声。
启示： LLM 将视觉信息转化为用于文本生成的语义意义，使得视觉底层变得不可还原。这不仅仅是“有损压缩”（如 VQ-VAE），而是“不可逆的信息转换”。模型理解了图像，但并未记住它。

B. 反向传播在共享记忆中的失效

作者系统地证明了通过反向传播训练共享记忆矩阵 ( $M$ ) 在所有测试的架构和对比方法中均会失败。

梯度抵消： 当一个共享矩阵为 $N$ 个异构输入服务时，逐样本梯度会发生抵消。有效梯度量级随 $O(1/\sqrt{N})$ 缩放。当 $N=99,000$ 时，梯度信号被衰减了约 314 倍，降至初始化噪声水平之下。
鸡生蛋的死循环： 重构损失无法训练压缩器，因为压缩器必须预先知道应保留什么才能最小化损失，但如果不通过梯度信号，它就无法学习该保留什么。
全局 EMA 失效： 通过 EMA 对记忆槽进行全局平滑会破坏槽位间的多样性，导致所有槽位收敛至近乎相同的向量。

C. 局部 EMA 的成功

作者提出将 局部 EMA 作为一种非反向传播的解决方案，解决了上述识别出的根源问题。

机制： 每张图像仅通过指数移动平均更新其最相关的 $k$ 个（例如 8 个）记忆槽，总共有 $K$ （例如 64 个）个槽位。无需计算梯度；更新由激活相似度驱动。
结果：
- 多样性： 局部 EMA 保留并增加了槽位间的多样性（方差从 0.040 增加到 0.194），避免了全局 EMA 出现的崩溃现象。
- 重构质量： 一个 229K 参数的记忆矩阵（ $K=64$ ）在未见过的测试图像上实现了接近 VQ 上界的重构质量（LPIPS 0.123 vs. 0.071; SSIM 0.775 vs. 0.877）。
- 扩展性： 将记忆槽增加到 $K=1024$ （3.67M 参数）后，记忆甚至超越了 VQ 上界（LPIPS 0.056 vs. 0.071）。这证实了只要槽位数足够多，使 EMA 抵消降至量化阈值以下，连续表示形式的 $M$ 就能避免 VQ 的量化误差。

4. 理论贡献

论文将这些发现统一在信息论框架之下：

记忆即有损压缩： 记忆被定义为有损压缩，而召回则是解压缩。
率失真极限（Rate-Distortion Limit）： 梯度抵消被识别为当单个共享表示服务于异构输入时，率失真极限在数学上的体现。
局部学习规则： 论文认为，共享记忆需要局部学习规则（如赫布塑性/Hebbian plasticity），而非全局反向传播。局部 EMA 之所以成功，是因为它通过限制更新范围在语义相似的簇内，绕过了梯度抵消。
幻觉作为解压缩伪影： 作者将幻觉重新定义为有损解压缩的固有属性，而非缺陷。当信息在压缩过程中丢失时，解压缩器必须对缺失数据进行插值，从而导致看似合理但可能不准确的输出。这同样适用于 LLM、人类记忆和扩散模型。

5. 意义与主张

该论文声称确立了以记忆为中心的多模态人工智能的新范式：

架构转型： 论文提议从“外挂式”视觉编码器 + LLM 的流水线，转向以共享记忆矩阵 ( $M$ ) 为计算中心的模式。在这种范式下，感知编码器充当“写入头”，LLM 作为负责语义组织的“意识层”，而召回是一个迭代的解压缩过程。
局部规则的验证： 论文提供了首次实验验证，证明局部学习规则（局部 EMA）可以成功训练共享记忆表示，而反向传播则会失败。
领域应用： 作者将皮肤健康成像视为理想的验证领域，因为该领域具有高密度的协同注册多模态数据（每位患者有 20 多种图像类型），这有助于测试“冗余编码”假设（即多模态编码能减少幻觉）。

研究结论指出，当前的 Transformer 架构中，“理解”（语义提取）与“记忆”（可解码感知表示的保留）之间的区别是本质性的。实现真正的重构性记忆需要架构上的变革，即优先考虑局部学习规则和持久的、共享的记忆基质，而非单向的文本生成目标。