💬 NLP

From Standalone LLMs to Integrated Intelligence: A Survey of Compound Al Systems

本调查将复合人工智能系统定义为一种新兴范式，该范式将大型语言模型与检索器和智能体等外部组件相整合，并提出统一的分类体系，对检索增强生成和大型语言模型智能体等基础范式进行分析，以解决当前的碎片化问题并指导系统级人工智能的未来研究。

原作者： Jiayi Chen, Junyi Ye, Guiling Wang

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiayi Chen, Junyi Ye, Guiling Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位博学多才、阅书无数的图书管理员，名叫"LLM"（大语言模型）。这位管理员几乎读过截至某个日期之前写下的所有书籍。他们撰写故事、回答问题以及聊天时速度极快。然而，他们存在三个大问题：

他们会遗忘事物：他们无法记住停止学习之后发生的事实（他们的知识是“过时的”）。
他们会编造事物：有时，当他们不知道答案时，会自信地编造虚假事实（这被称为“幻觉”）。
他们无法做数学或使用工具：他们擅长交谈，但无法实际计算复杂的方程式、搜索实时互联网或控制机械臂。

本文介绍了一种构建人工智能的新方法，称为复合人工智能系统（Compound AI Systems, CAIS）。CAIS 不再仅仅依赖那位图书管理员，而是围绕这位管理员组建一个团队或乐团，以解决上述问题。

以下是本文如何利用简单的类比来拆解这个“团队”：

1. 四位关键团队成员（四大支柱）

本文将这一新的人工智能世界组织为四个协同工作的主要角色：

研究员（RAG - 检索增强生成）：
- 问题： 图书管理员不知道今天的新闻或你公司的私人文件。
- 解决方案： 在图书管理员回答之前，一位研究员会跑到图书馆书架（或互联网）上，查找具体、最新的文档。他们将笔记交给图书管理员，以便其基于事实而非猜测来回答。
- 类比： 这就像在考试前给图书管理员一张小抄。
项目经理（LLM 智能体）：
- 问题： 图书管理员擅长单一任务，但面对需要多步骤的漫长复杂项目时会感到困惑。
- 解决方案： 智能体是具备规划能力的图书管理员版本。它将一个大任务（如“规划一次旅行”）分解为小步骤（预订航班 -> 寻找酒店 -> 查看天气）。它还能使用工具，例如调用旅行 API 或进行数学计算，并检查自己的工作以修正错误。
- 类比： 这就像一位工头，他不仅砌砖，还绘制蓝图、订购材料并检查工程。
多感官专家（MLLMs - 多模态大语言模型）：
- 问题： 图书管理员只能阅读文本。如果你给他们看一张损坏引擎的照片或一场风暴的视频，他们就“失明”了。
- 解决方案： 这些是获得了眼睛和耳朵的图书管理员。他们可以查看图像、聆听音频并观看视频，然后描述所见内容或回答相关问题。
- 类比： 这就像给图书管理员戴上眼镜和耳机，让他们能够理解一个不仅仅是文字的世界。
指挥家（编排）：
- 问题： 如果你拥有研究员、项目经理和多感官专家，他们可能会互相抢话，或者对谁该做什么感到困惑。
- 解决方案： 指挥家是管理整个团队的系统。它决定何时呼叫研究员、何时要求智能体进行规划，以及如何将他们的回答整合为一个最终结果。它确保团队顺畅协作。
- 类比： 想象一个交响乐团。图书管理员是小提琴手，但指挥家确保鼓、长笛和小提琴都在正确的时间演奏，从而奏出音乐而非噪音。

2. 他们如何协同工作（流水线）

本文指出，现实世界中的复合人工智能系统并非仅仅是其中某一种；它通常是所有这些同时存在。

想象你问系统：“分析这张损坏机器的照片，并找到修复它的说明书。”

多感官专家查看照片并理解那是什么机器。
研究员外出查找该机器型号的具体说明书。
项目经理（智能体）规划修复步骤，并决定使用工具检查该零件是否有库存。
指挥家（编排）管理流程，确保照片分析在搜索说明书之前进行，并将所有内容整合成一个清晰的回答给你。

3. 当前的挑战

本文承认，虽然这种“团队”方法很强大，但目前也很混乱：

它很复杂：组建一个团队比雇佣一个人更难。如果其中一部分损坏，整个系统可能会失败。
他们不说同一种语言：不同的工具和智能体通常使用不同的格式，使得连接它们变得困难（就像试图将欧洲充电器插入美国插座）。
难以测试：我们还没有完美的测试方法来评估整个团队是否运作良好，尤其是当它们同时查看图片并与工具交互时。

4. 未来：标准化

本文强调，人们开始创建“通用适配器”（如模型上下文协议或MCP）。这些就像通用电源排插，可以让任何人工智能工具轻松插入任何人工智能系统。目标是停止为每一个连接构建定制桥梁，转而采用一种标准方式，让所有这些人工智能组件彼此对话。

总结

简而言之，本文指出：不要试图打造一个能完美完成所有事情的巨大大脑。 相反，要构建一个智能系统，将大脑（LLM）与记忆库（检索）、规划者（智能体）、眼睛/耳朵（多模态）以及管理者（编排）连接起来。这种“复合”系统是人工智能的未来，因为它克服了任何单一模型的局限性。

技术综述：从独立大语言模型到集成智能：复合人工智能系统综述

1. 问题陈述

尽管大语言模型（LLMs）已演变为人工智能的基础设施，但其固有的结构性局限阻碍了它们在动态、现实环境中的部署。这些局限包括幻觉（流畅但事实不准确输出）、滞后性（无法获取训练后知识）以及受限推理（有限的上下文窗口制约了多跳推理和长视野任务分解）。

为克服这些障碍，学术界正逐渐汇聚于复合人工智能系统（CAIS）。CAIS 被定义为模块化、可扩展的架构，将大语言模型与专用外部组件（如检索器、工具使用代理、符号规划器、记忆模块和多模态编码器）集成在一起。然而，尽管采用率日益增长，CAIS 的格局仍然碎片化。现有文献侧重于孤立的组件（例如特定的 RAG 综述、代理框架或优化方法），但缺乏一个统一的、系统级的框架来进行分析、分类和评估，以综合整个技术栈中的交互作用。

2. 方法论

作者基于对四大主要学术数据库（ACM 数字图书馆、arXiv、IEEE Xplore、Semantic Scholar）的结构化文献检索，以及对顶级会议论文集（ACL、NeurIPS、ICML、CVPR 等）的人工审查，开展了一项系统性综述。

搜索范围：涵盖 2020 年至 2026 年初的出版物，重点针对 GPT-3 和开创性 RAG 工作发布后的时期。
筛选标准：纳入的论文需将大语言模型作为主要推理组件，并结合至少一个外部模块（检索器、工具、记忆、API、编码器或编排框架），且呈现新颖的实证结果、架构或系统性分析。
最终语料库：保留并分析了约 220 篇论文。
分类体系构建：作者沿四个正交轴组织该领域格局：检索增强生成（RAG）、大语言模型代理、多模态大语言模型（MLLMs） 和编排。

3. 主要贡献

A. 多维分类法与统一框架

本文提出了 CAIS 的形式化表示，即函数 $f(L, C, D)$ ，其中：

$L$ ：大语言模型集合（通用或微调）。
$C$ ：外部组件集合（工具、检索器、编码器等）。
$D$ ：定义架构、拓扑和协调的系统设计。

该综述将四个基础轴整合为一个连贯的框架：

RAG：将大语言模型扎根于外部非参数化记忆中。
大语言模型代理：在迭代循环中进行自主决策、规划和工具使用。
MLLMs：扩展大语言模型以感知和推理非文本模态（图像、音频、视频）。
编排：整合所有组件的结构与协调设计。

B. 比较分析与权衡

本文提供了四张结构化对比表，提炼了每个轴的设计权衡：

RAG 检索器范式（表 2）：比较了稀疏、稠密、图、混合以及“大语言模型即检索器”方法在延迟、召回率、可扩展性、可解释性和领域特异性方面的表现。它强调混合检索器通常能获得最高的召回率，而“大语言模型即检索器”虽提供灵活性但推理成本高昂。
大语言模型代理推理框架（表 3）：分析了思维链（Chain-of-Thought）、ReAct、思维树（Tree of Thoughts）、反思（Reflexion）和自 RAG（Self-RAG）等框架。指出虽然 ReAct 是工具使用中最广泛采用的基线，但思维树在深度规划时计算成本高昂，而反思通过记忆提供了强大的错误恢复能力。
MLLM 架构（表 5）：比较了融合策略（交叉注意力、Q-Former 桥接、线性投影、原生端到端）。研究发现，原生端到端训练（如 Gemini）提供强大的推理能力，而模块化方法（如 LLaVA、BLIP-2）则具有更好的效率和可升级性。
编排框架（表 7）：基于拓扑、协调机制和工具支持，评估了 LangChain、AutoGen、DSPy 和 CrewAI 等框架。

C. 标准化与互操作性格局

该综述将新兴的标准化栈映射为三层架构：

模式层：结构化工具接口（例如 OpenAI 函数调用、JSON Schema）。
工具访问协议层：模型上下文协议（MCP），标准化了 AI 系统与外部工具服务器之间的通信。
代理互操作性层：跨框架协议，包括代理到代理（A2A）、代理通信协议（ACP）、代理网络协议（ANP） 和 代理规范（Agent Spec）。
作者认为，互操作性正通过“转换与分层”（适配器与中间表示）而非单一通用标准实现汇聚。

D. 评估方法

本文回顾了四个轴上的基准测试，指出在统一系统级指标方面存在持续差距。

RAG：使用 HotpotQA 和 BEIR 等数据集，在检索质量（MRR、nDCG）和生成事实性（EM、F1）方面进行评估。
代理：在角色忠实度、推理轨迹准确性和工具使用效率方面进行评估。
MLLMs：在视觉问答、文档理解和安全对齐（例如 MM-SafetyBench）方面进行测试。
编排：通过基础设施性能（吞吐量、延迟）和系统协调指标进行衡量。

4. 结果与发现

系统复杂性：CAIS 引入了显著的工程开销。随着集成组件数量的增加，调试和优化变得呈超线性困难。
失效模式：该综述识别了 MLLMs 中的特定失效模式（视觉幻觉、跨模态不一致性），这些错误会传播至整个 CAIS 流水线。
设计权衡：不存在单一的最优配置。例如，虽然稠密检索器能捕捉语义相似性，但缺乏稀疏方法的可解释性；同样，端到端的 MLLM 训练虽能产生强劲性能，却牺牲了模块化。
标准化差距：虽然 MCP 等协议正获得关注，但针对标准化接口的安全治理（认证、沙箱化）仍发展不足，引入了新的攻击面。

5. 意义与主张

本文将自己定位为首个对复合人工智能系统进行全面的、跨轴的系统级综合。其意义在于：

统一碎片化研究：弥合了关于 RAG、代理和多模态模型的孤立综述之间的鸿沟，提供了共享的词汇和概念框架。
提供设计蓝图：通过形式化 $f(L, C, D)$ 模型并分析权衡，为研究人员和从业者奠定了设计下一代人工智能系统的基础，使其从“独立独奏者”转变为“异构人工智能组合的编排者”。
识别关键挑战：明确勾勒出开放的研究方向，包括需要端到端可训练的流水线、针对交互式/多模态任务的统一评估指标，以及用于互操作性的稳健治理框架。

作者总结道，随着 CAIS 扩展到现实世界、多模态和交互式环境中，一种综合检索、代理、感知和编排的系统级视角对于推动该领域发展至关重要。