🤖 AI

One Token per Multimodal Evidence: Latent Memory for Resource-Constrained QA

本文介绍了潜在记忆（Latent Memory），这是一种资源高效的范式，它将多模态证据压缩为单个潜在标记以进行检索和生成，在保持其在纯文本和多模态基准测试中具有竞争力的问答性能的同时，显著降低了标记消耗和存储成本。

原作者： Zhi Zheng, Ziqiao Meng, Hao Luan, Wei Liu, Wee Sun Lee

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhi Zheng, Ziqiao Meng, Hao Luan, Wei Liu, Wee Sun Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《One Token per Multimodal Evidence: Latent Memory for Resource-Constrained QA》的解释，使用了简单的语言和富有创意的类比。

核心问题：“沉重的行李箱”

想象你是一位天才侦探（AI），正试图破解一个谜团。为了完成工作，你需要阅读大量的线索（文本文章和照片）。

在目前的方式中（现有的 RAG 系统），每当你接到一个新问题时，图书管理员都会把整个原始图书馆交给你。

如果线索是一篇长文章，你会读完其中的每一个字。
如果线索是一张照片，图书管理员不仅是把照片给你，还会用成千上万个词来描述每一个像素，以便让你能“看到”它。

结果： 你被压垮了。由于你背负着装满原始数据的沉重且未压缩的行李箱，即使你只需要其中一个小事实，你也会耗尽能量（存储）和时间（处理速度）。这使得在手机或边缘计算设备等小型设备上使用这种技术变得不可能。

解决方案：“神奇摘要卡”（潜空间记忆/Latent Memory）

作者提出了一种名为潜空间记忆（Latent Memory）的新系统。与其把沉重的原始行李箱交给你，他们将每一件证据（无论是段落还是照片）都压缩成一张单一、微小的、神奇的摘要卡。

可以这样理解：

旧方法： 为了寻找一句话，你随身携带了一本 500 页的书。
新方法： 你随身携带一张索引卡，上面包含了那本书的“精髓”。

它是如何工作的：三个步骤

1. 压缩站（“翻译官”）
在 AI 看到线索之前，一个专门的小助手（压缩模型/Compressor Model）会查看每一件证据。

它阅读文本或观察照片。
它将整个含义提炼成一个单一的“Token”（一个高维数字向量）。
它扔掉原始的厚书或照片，只保留这张微小的卡片。
类比： 想象一位顶级大厨品尝了一锅复杂的炖菜，然后在餐巾纸上写下一个完美的秘密代码，完美捕捉了那种味道。你不再需要整锅汤，只需要那个代码。

2. 搜索（“神奇指南针”）
当你提出问题时，系统不会去搜索那些厚重的书籍。相反，它将你的问题转化为一个类似的“代码”，并使用指南针在抽屉里找到匹配的摘要卡。

因为现在一切都是单张卡片，所以搜索过程极其迅速，且占用的空间非常小。

3. 回答（“直接喂养”）
系统提取前几个匹配的摘要卡，并将它们直接交给主 AI（生成器/Generator）。

主 AI 不需要阅读原始文本或观看原始照片。它只需阅读卡片上的“秘密代码”，就能瞬间理解上下文并给出答案。
关键点： 主 AI 不需要重新训练。它只需学习如何“阅读”这些新卡片，而不是旧书。

为什么这很重要？

1. 极高的效率（“轻量化背包”）
论文声称这种方法将“Token 成本”（AI 需要处理的数据量）降低了 3 到 10 倍。

文本： AI 不再处理 200 个单词的上下文，而是处理 1 个 Token。
图像： 以前需要将照片展开为数百个“视觉单词”，现在 AI 只处理 1 个 Token。
结果： 你可以在更小的设备（如手机）上运行强大的 AI，因为数据的“背包”现在变得轻如羽毛。

2. 它依然有效（“完美记忆”）
你可能会担心：“如果我们扔掉了原书，AI 会忘记细节吗？”

作者使用三种特定的技巧来训练压缩器，以确保“摘要卡”不仅仅是一个模糊的概念，而是一个精确的关键：
- 重构（Reconstruction）： 系统尝试从卡片中“重建”原始文本或图像描述，以确保细节仍然存在。
- 对比（Contrast）： 它学习确保“Annie Morton”的卡片与“Terry Richardson”的卡片截然不同，以免混淆。
- 蒸馏（Distillation）： 它教导卡片表现得就像原始证据在被 AI 阅读时所起的作用一样。

3. 实验结果

文本问题： 在标准的阅读理解测试中，这种方法的效果与沉重、缓慢的方法不相上下，但使用的 Token 少了 3 倍。
图像问题： 在涉及照片的问题（如识别图片中的物体）测试中，它的效率提高了 10 倍，并且表现甚至比其他方法更好，因为它不会被处理图像通常所需的庞大数据量所干扰。

局限性（论文所述）

论文指出，当证据可以分解为单个“原子单元”（一段话或一张照片）时，这种方法效果最好。

它在处理依赖复杂结构的事物时可能会遇到困难，例如一个巨大的电子表格（行与列之间的关系至关重要），或者一段长视频（事件的先后顺序至关重要）。将这些内容压缩成一张卡片可能会丢失“大局观”的结构。

总结

潜空间记忆（Latent Memory） 就像是将一个装满沉重原始书籍和照片的图书馆，变成了一个精巧的数字化卡片目录，其中每一项都由一个微小且完美的代码代表。这使得 AI 能够利用极少的内存和极快的速度来回答复杂问题，让强大的 AI 能够在原本无法胜任的设备上运行。

技术摘要：一模态一标记（One Token per Multimodal Evidence）：面向资源受限型问答任务的潜空间记忆

问题陈述

大语言模型（LLMs）和视觉语言模型（VLMs）依赖外部记忆来将其输出锚定在相关的多模态证据上，以完成问答（QA）任务。然而，现有的记忆范式计算成本高昂且存储密集。现有的检索增强生成（RAG）系统检索原始文本和图像，并将它们以未压缩的形式传递给生成器。这种方法会导致显著的标记（token）消耗和延迟，特别是对于多模态证据，单张图像在生成过程中可能会扩展为数百个视觉标记。这些成本阻碍了记忆增强系统在资源受限环境（如边缘设备和在线助手）中的部署，在这些环境中，存储和延迟是关键的约束条件。

方法论：潜空间记忆（Latent Memory）

本文提出了潜空间记忆（Latent Memory），这是一种用紧凑的高维潜标记（latent tokens）取代原始多模态证据项的新范式。其核心思想是将每个证据单元（文本或图像）压缩为单个潜标记，该标记具有双重用途：检索与生成。

架构与流水线

记忆压缩： 一个小型、可训练的压缩器 LLM/VLM ( $\theta$ ) 将每个证据项 $x_i$ 编码为一个单一的潜标记 $z_i$ 。这是通过在输入中附加一个可学习的 [MEM] 标记并提取其最终隐藏状态来实现的。
统一检索空间： 潜标记通过一个 MLP 被投影到一个低维检索空间。在查询时，问题被嵌入到相同的空间中，并通过相似度搜索（例如内积）检索相关的潜标记。
潜空间调节生成： 检索到的潜标记通过一个可学习的投影器被投影到冻结的大型 LLM/VLM 生成器 ( $\phi$ ) 的隐藏维度中。生成器基于这些潜标记产生答案，从而绕过了处理原始证据或扩展视觉标记的需求。
可选重构： 为了保持可解释性，可以使用解码器从潜标记中重构原始文本或图像描述，但这对于生成并非必需。

训练目标

压缩器及其相关投影器通过结合三种目标的统一损失函数进行端到端训练：

重构损失 ( $L_{Recon}$ )： 确保潜标记保留足够的信息以重构原始文本或图像嵌入（对文本使用教师强制法，对图像使用 CLIP 嵌入预测）。
对比检索损失 ( $L_{Contrast}$ )： 将查询嵌入与支持性的正向潜证据对齐，同时将其推离负向证据，从而构建一个统一的检索空间，用于处理混合模态。
蒸馏损失 ( $L_{Distill}$ )： 使冻结生成器在由潜标记提示时的行为，与其在由原始证据提示时的行为保持一致。这确保了生成器能够将潜标记解释为有效的证据，而无需对大型生成器本身进行微调。

核心贡献

潜空间记忆范式： 作者提出了一种全新的记忆范式，将每个多模态证据项编译为一个单一的高维潜标记，显著降低了存储和标记消耗。
统一训练目标： 他们证明了通过结合重构、对比学习和蒸馏的训练目标，单个潜标记可以同时支持检索、信息保留和生成。
效率-性能权衡： 该方法在实现具有竞争力的问答性能的同时，大幅减少了生成器标记的使用量（减少 3 倍至 10 倍）。

实验结果

该方法在七个纯文本问答基准测试（如 HotpotQA, 2WikiMultihopQA, MuSiQue）和多模态基准测试（WebQA）上进行了评估。

纯文本问答： 使用冻结的 Meta-Llama-3-8B-Instruct 生成器，1-token 潜空间记忆在精确匹配（EM）和 F1 分数上达到了与 RAG 基线（BM25, Dense Retrieval, Qwen3-Embedding）相当的水平，同时使用了约 3 倍更少的标记。例如，在域外平均表现上，当 $k=5$ 时，它使用了 71 个标记，而 BM25 和密集检索分别使用了 209 个和 208 个标记。
多模态问答 (WebQA)： 使用冻结的 LLaVA-1.5-13B 生成器，潜空间记忆提供了最强的图像锚定问答性能。在 $k=5$ 时，它仅使用 82 个标记就实现了 69.4 的图像 F1 分数，而表现最好的基线（Nemo-Emb）则需要 1,885 个标记才能达到 53.0 的 F1 分数。
可扩展性： 该方法在编译阶段随证据项数量线性扩展，并在推理期间保持低复杂度，避免了与全上下文提示相关的二次方增长。
泛化能力： 在 HotpotQA 上训练的潜空间记忆可以有效地迁移到域外数据集（2WikiMultihopQA, MuSiQue），无需额外微调，展示了鲁棒的检索能力。

重要性与主张

本文声称，通过从根本上改变外部记忆的表示方式，潜空间记忆为资源受限的应用提供了一个可行的解决方案。通过将多模态证据压缩为单个标记，它解决了存储压力（尤其是图像）和生成过程中的标记消耗这两大瓶颈。

作者强调，这种方法允许在具有严格存储或延迟约束的设备（如边缘 AI）上部署记忆增强系统，而无需微调昂贵的大型生成器模型。统一的潜表示空间简化了检索-生成流水线，使得高效处理长上下文和多轮交互成为可能。虽然目前的方案假设证据可以分解为原子级的文本或图像单元，但论文将潜空间记忆定位为迈向更高效的多模态智能体系统的基础性一步。