💬 NLP

Context Recycling for Long-Horizon LLM Inference

本文介绍了 ContextForge，这是一个通过结构化查询生成、外部记忆检索和受控合成来回收任务相关信息，从而增强长周期大语言模型（LLM）推理的系统，旨在无需扩大上下文窗口或重新训练模型的情况下，降低 Token 消耗并保持准确性。

原作者： Derek Thomas

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Derek Thomas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图与一位非常聪明但记性不太好的助手进行一场漫长且复杂的对话。这位助手有一个严格的规则：他们的脑海中一次只能容纳大约 100 页的笔记。如果你说话 10 分钟，他们可能还能记得开头；如果你说一个小时，他们就会完全忘记开头的内容，因为他们的“心理笔记本”已经满了。

这篇论文介绍了一个名为 ContextForge 的系统，它解决了这个问题。它不把助手的有限记忆视为一个不断填满的桶，而是将其视为一个可重复使用的工作空间，就像办公室里的一张干净办公桌。

以下是其工作原理的拆解，通过简单的概念进行说明：

1. “可回收的办公桌”（上下文回收）

在大多数 AI 系统中，每当你提出一个新问题时，系统都会将你之前说过的一切内容都倾倒进助手的记忆中，希望它们能装得下。最终，办公桌会被旧笔记堆得杂乱无章，导致没有空间放置新笔记。

ContextForge 改变了规则：

办公桌的大小是固定的： 助手始终拥有相同大小的办公桌空间（即“上下文窗口”）。
清理小组： 在助手回答新问题之前，系统会清理掉与前一个话题相关的特定笔记。
新话题： 然后，它会立即引入当前问题所需的确切新笔记。
结果： 无论对话持续多久，助手永远不会耗尽空间。这就像一位图书管理员，始终准备着一张小巧、干净的桌子。当你询问“历史”时，他们会收起“历史”书籍，并换上“生物学”书籍。桌子的尺寸从未改变，但信息始终是最新的。

2. 五层图书馆（层级化记忆）

为了让这个办公桌系统发挥作用，作者构建了一个包含五层结构的图书馆，信息在其中以不同的速度和成本存在：

第 -1 层（大脑的本能）： 可选。 如果你拥有该 AI 模型，你可以通过调整其大脑权重来永久地“教导”它特定的术语或技能。这就像助手天生具备医学或编程的天赋，而无需每次都阅读书籍。这不占用任何“办公桌空间”。
第 0 层（永久标牌）： 这是系统的身份标识和高层规则。它会永久留在桌面上，就像一个“欢迎”标牌。它不需要被重新阅读。
第 1 层（活跃书架）： 这是“可回收”的部分。当你提出问题时，系统会抓取你需要的特定章节（或“分支”）知识，并将其放在桌面上。当你完成任务后，它会将书放回书架。
第 2 层（超快速索引）： 这是一个闪电般的目录。它告诉系统从庞大的图书馆中抓取哪本书，耗时不到一秒。它并不阅读书籍，只是指向正确的那一本。
第 3 层（大型仓库）： 这是实际的存储空间（硬盘），你的所有数据都存储在这里。它可以容纳数 TB 的信息（实际上是无限的），但访问速度较慢。系统仅从中提取所需内容。

3. “主动管家”

这个系统并没有等待你请求某本书后再跑去仓库寻找，而是配备了一位能够预判你需求的管家。

如果你每天上午 9:00 都会查看“晨会”笔记，管家会在 8:55 就将它们准备在桌面上。
如果你正在查看“数据库”笔记，管家可能会顺便也把“模式（Schema）”笔记拉过来，因为它们通常是配套使用的。
这一切都是自动进行的，使 AI 显得更快速、准备更充分。

4. “无需训练”的魔术技巧

论文还描述了一种巧妙的技巧，可以在无需昂贵训练的情况下赋予 AI 特定知识。

旧方法： 要教 AI 医学知识，你通常需要喂给它数千本医学书籍，并在昂贵的图形卡上运行数天。
ContextForge 方法： 他们使用一种数学捷径（SVD）来观察 AI 对医学文本与普通文本的反应。然后，他们创建了一个微小的“适配器”（一个小型的插件），用于教导 AI 医学思维的“模式”。这在普通计算机上仅需约 3 分钟，且不需要专门的训练数据。

5. 数据说明

作者使用一个庞大的医疗保险记录数据集（2.76 亿行），将该系统与一个标准的、高端的 AI 智能体（Azure AI Foundry）进行了对比测试。

准确性： 两个系统的回答正确率大致相当（约为 85% 对 84%）。
速度： ContextForge 系统在 12 轮对话中快了 4.7 倍，在 15 轮对话中快了 8 倍。
成本（Token）： 在短期测试中，它使用的“Token”（AI 用来衡量文本的货币）少了 4.2 倍；在长期测试中，则少了 13.4 倍。

为什么差距会拉大？
随着对话变长，标准 AI 每次都必须重新发送整个聊天历史，这使得它变得越来越慢且越来越贵。而 ContextForge 系统保持了“办公桌”的整洁，只发送新的、相关的信息，因此无论对话多长，它都能保持快速且廉价。

总结

论文认为，与其试图为 AI 构建越来越大的记忆桶，不如将记忆视为计算机中的一个工作集：加载你需要的内容，使用它，然后将其清理掉。通过将知识组织成层级结构并回收工作空间，你可以与 AI 进行长期的、复杂的对话，而不会让它变得缓慢、昂贵或健忘。

该系统是开源的，并且可以与现有的 AI 模型配合使用，这意味着你不需要发明一种新型 AI 就能获得这些好处；你只需要更好地管理记忆。

技术摘要：面向长程 LLM 推理的上下文回收技术

问题陈述

大语言模型（LLMs）本质上是无状态的；每一次 API 请求在开始时都缺乏对先前交互的记忆，完全依赖于一个固定的上下文窗口（通常为 8K–128K token）来接收外部知识。这为需要处理海量知识库（数十亿 token）的长周期会话应用带来了根本性的失配。传统方法面临显著局限：

检索增强生成 (RAG)： 引入了单次查询延迟，依赖于近似语义匹配（易受漂移影响），且缺乏持久的会话记忆，将每一次对话视为独立的检索操作。
微调 (LoRA/QLoRA)： 将知识嵌入权重中，但需要标注数据、GPU 计算资源，且当知识发生变化时需要重新构建完整的适配器。
扩展上下文窗口： 虽然模型可以摄取更长的文档，但预填充（prefill）延迟和推理成本随长度大幅增长，且模型在不同会话之间仍保持无状态。

核心挑战在于：如何在不让活跃上下文窗口随对话长度无限增长的前提下，管理固定上下文预算以应对无界的会话。

方法论：五层分层记忆架构

本文提出将上下文窗口重新定义为不再是一个不断增长的缓冲区，而是一个可回收的执行工作空间——类比于操作系统中的工作集（working set）。知识根据其与模型计算的接近程度分布在五个层级中：

第 -1 层：LoRA 权重（可选）： 对于自托管模型，通过**无需训练的 LoRA（training-free LoRA）**构建方式将领域专业知识嵌入到 MLP 权重矩阵中。该层消耗零上下文 token。该适配器利用前向传播激活统计数据，并对领域特定文本与通用文本激活之间的差异进行奇异值分解（SVD）来构建，无需反向传播或 GPU。
第 0 层：残差状态： 系统提示词、顶层树状摘要和预计算指标在会话开始时一次性组装。其键值（KV）缓存条目作为稳定的前缀被保留，并在各轮对话中重复使用而不需重新编码，从而节省了约 48% 的内存。
第 1 层：分支缓存： 活跃的知识分支（相关的树节点）被动态加载到上下文窗口中。这是唯一一个 token 计数随查询而变化的层。分支切换耗时小于 50 毫秒。通过 3-bit KV 量化，16 GB 的显存预算可容纳约 768K 个 token 的缓存知识。
第 2 层：记忆索引： 一个内存中的 SQLite FTS5 倒排索引，使用 BM25 评分将关键词映射到树节点。查找过程对于每个词项均为 $O(1)$ 复杂度，且在小于 1 毫秒内完成，作为不消耗上下文 token 的路由层。
第 3 层：知识库： 一个基于磁盘的 SQLite 数据库（WAL 模式），提供近乎无限的容量（在 SSD 上读取延迟 <5 毫秒）。所有的树节点、文档和会话历史均存储于此。

核心机制

上下文回收 (Context Recycling)： 在每一轮对话中，系统显式加载相关的分支（第 1 层），生成响应，然后从活跃上下文中释放该分支的 token。下一次查询可以使用相同的固定 token 预算加载一个完全不同的分支。
主动加载 (Proactive Loading)： 系统利用确定性的关键词提取和 BM25 排名在推理前组装上下文。此外，它还采用基于时间模式、主题邻近性和会话连续性的预测性预加载技术，将预加载的分支保留在 KV 缓存中，实现零边际查询成本。
知识树 (Knowledge Tree)： 知识按层级组织。索引查找针对简洁的摘要（快速、小规模），而上下文注入则在激活分支时使用完整内容（完整、大规模）。
有界活跃上下文 (Bounded Active Context)： 压缩引擎监控对话缓冲区，当超过阈值（例如 3,000 个 token）时触发基于 LLM 的摘要处理，丢弃冗余信息同时保留事实和决策。这确保了无论对话长度如何，活跃 token 的使用始终保持有界。

核心贡献

上下文回收范式： 一种系统级的处理方法，将上下文窗口视为固定预算的可回收资源而非一次性缓冲区，从而在固定活跃上下文预算下实现长周期会话。
五层分层架构： 一个跨越从可选的零 token LoRA 权重到磁盘备份存储的架构，通过确定性的主动检索在每次推理调用前组装相关知识。
无需训练的 LoRA 构建： 一种仅利用前向传播激活统计数据和 SVD 构建领域适配器的方法，消除了对标注训练数据或 GPU 计算的需求。
开源实现 (ContextForge)： 一个实现该架构的 Python 系统，已通过企业级数据集验证。

实证结果

研究人员使用 GPT-5.4 在一个包含 2.76 亿行的企业级数据集（CMS Medicare 提供者利用与支付数据）上，将 ContextForge 与在相同条件下的 Azure AI Foundry 智能体（Fabric Data Agent 工具）进行了对比测试。

12 轮基准测试：
- 准确率： 基本持平（85/120 vs. 84/120）。
- 效率： ContextForge 使用了 4.2 倍更少的 token（31K vs. 132K）且速度快了 4.7 倍（9.7s vs. 45.7s）。
15 轮基准测试（长程场景）：
- 准确率： ContextForge 得分更高（225/300 vs. 194/300）。
- 效率： 优势随深度增加而复合增长。ContextForge 使用了 13.4 倍更少的 token（25,666 vs. 345,112）且速度快了 8.0 倍（7.6s vs. 60.5s）。
- 推理逻辑： 基准智能体会重传完整的对话历史（每轮达到约 22K token），而 ContextForge 每轮组装新鲜的上下文（约 850 token），从而使延迟和 token 使用量保持稳定。
鲁棒性： 两套系统触发内容安全过滤器的频率相同（误报率一致），但 ContextForge 在测试过程中未出现基准系统所经历的一次基础设施错误。

意义与声明

论文声称，ContextForge 证明了在不需要改变模型架构或面对不断增长的上下文窗口的情况下，通过固定活跃上下文预算即可实现高准确度、长程的 LLM 推理。

正交性： 该方法与长上下文模型架构的进展是正交的，并与 RAG 互补。它管理的是进入上下文窗口的内容，无论窗口大小如何。
效率 vs. 准确率： 本文提出的系统与生产环境基准的主要差异在于效率而非准确率。该系统在实现同等或略优准确率的同时，大幅降低了 token 消耗和延迟。
可扩展性： 无论对话长度或后端存储规模如何（支持高达 281 TB），活跃上下文的使用量始终保持有界。
谦逊声明： 作者承认了局限性，指出无需训练的 LoRA 验证是在内部评估集而非标准化公开基准（如 MedQA）上进行的，且该系统目前仅适用于可以访问权重的自托管模型。实证评估基于两个特定的基准测试和一个数据集，作者并未声称在所有领域都具有统计学意义。

研究结论认为，分层记忆层级、上下文回收和主动加载是管理生产环境中具有大规模、无界知识库的 LLM 推理的有效系统级策略。