A Survey on Foundations and Frontiers of Multimodal Agentic Frameworks: Techniques and Applications
本综述通过分析多样化模态如何集成到感知和推理等核心功能模块中、对架构设计进行分类，并评估其在机器人技术和网络导航等领域的应用，系统地考察了多模态对智能体框架的影响，旨在识别现有差距并为构建鲁棒、通用的智能系统绘制路线图。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
几十年来，人工智能的梦想是构建一种能够像人类一样独立思考和行动的机器。早期的“智能体”尝试往往以失败告终，因为它们过于僵化，遵循着在混乱现实世界中容易崩溃的严格规则。随着大语言模型的出现，这一领域发生了剧变——这些强大的计算机程序经过海量文本训练，能够进行推理、规划并遵循指令。然而，这些基于文本的思考者存在一个盲点：它们只能理解文字。当面对图像、声音或视频时，它们必须依赖一种笨拙的翻译过程，将丰富的视觉或听觉细节转化为简单的描述。这种翻译往往会剥离掉在复杂环境中正确行动所需的关键细节。
为了弥补这一差距，研究人员一直在开发新一代系统，使之能够通过多种感官同时感知和理解世界。这些是多模态智能体，能够同时观察图像、聆听声音并阅读文本来做出决策。科学家的核心问题在于如何最好地结合这些不同的感官。系统应该使用独立的工具来分析每种感官，然后将结果传递给一个中央大脑？还是大脑本身就应该从一开始就具备理解所有感官的能力？由来自全球各大学术机构的研究人员开展的一项全面新综述，绘制了这些系统的整个版图，分析了不同的设计选择如何影响它们在现实世界中观察、思考、记忆和行动的能力。
研究人员检查了数百个框架，并根据它们处理信息的方式进行了分类。他们发现，最早且最简单的方法涉及一个仅限文本的大脑，它调用专门的外部工具来描述图像或转录音频。虽然这种方式具有模块化和灵活性的优点，但调查显示其存在一个重大缺陷：将复杂的图像转化为文本描述的过程不可避免地会导致信息丢失。重要的空间细节，例如物体确切的位置或移动方式，往往会在翻译过程中消失。为了解决这个问题，第二波系统应运而生，它们采用了“后期融合”技术。这些系统将来自图像或声音的原始数据转换为数学格式，并直接输入到语言模型的记忆中。这保留了更多细节，但不同的感官在组合之前仍然是在相对独立地进行处理。
作者认为，目前处于前沿地位的是最先进的系统，即使用“早期融合”架构的模型。在这些模型中，计算机不会先将世界翻译成文字。相反，它在单个统一的流中共同处理原始像素、声波和文本标记（tokens）。这使得系统能够注意到微妙的联系，例如声音的语调是否与面部表情相符，或者屏幕上按钮的精确位置，而不会在翻译过程中丢失任何细节。调查表明，这些原生多模态系统在需要细粒度理解的任务中（如通过查看截图来导航网站或根据所见控制机械臂）正开始超越其前身。
然而，论文明确指出，这些进步也带来了显著的权衡。虽然集成度最高的系统能力最强，但它们的运行成本也最高且速度最慢。研究人员发现，依赖大规模专有模型的系统往往在速度方面表现不佳，处理单个步骤可能需要数秒甚至数分钟，这使得它们在驾驶汽车或叠衣服等需要实时处理的任务中显得不切实际。相比之下，针对特定工作进行微调的小型专业化模型可以运行得更快、更便宜，尽管它们在解决全新问题时可能不够聪明。调查强调，并不存在单一的“最佳”设计；正确的选择完全取决于任务。对于需要实时移动手臂的机器人，速度和效率至关重要，因此更倾向于小型专业化模型；而对于需要理解复杂视频或生成创意内容的系统，大型集成模型所提供的丰富理解力则值得支付额外的成本。
研究人员还观察了这些智能体在特定现实场景中的表现。在机器人领域，最成功的系统是那些能够将所见直接转化为物理运动，从而跳过独立规划步骤的系统。在导航网站和应用程序的数字世界中，调查发现即使是最优秀的系统在精准度方面仍面临挑战。虽然它们能理解页面的大致概念，但往往无法点击到完全正确的按钮或在正确的框内输入内容，显示出其表现与人类之间存在巨大差距。同样，在理解长视频时，最高效的系统并不会尝试观看每一帧，而是像人类观众一样，跳过视频以寻找与问题相关的特定时刻，这在保持准确性的同时节省了巨大的计算能力。
尽管取得了这些成功，调查指出了一些阻碍这些智能体在现实世界中实现真正可靠性的顽固局限性。一个主要问题是“落地性”（grounding），即连接高层概念与特定物理位置的能力。即使是最聪明的系统也经常产生“幻觉”，比如误以为某个不存在的按钮存在，或者未能意识到它们计划的某个动作在物理上是不可能的。另一个挑战是记忆力；虽然智能体可以记住过去的事件，但它们在处理环境发生意外变化时，往往难以保持连贯的长时记忆。研究人员还注意到，许多表现最好的系统依赖于封闭的专有模型，这些模型无法被更广泛的科学界检查或改进，这使得验证其真实能力或理解其失败原因变得困难。
最终，论文表明，智能体的未来不仅在于让模型变得更大，还在于让它们变得更高效且更具落地性。最有前景的路径似乎是混合方法，即将大型模型的强大能力与小型专业化工具的速度和精度相结合。通过精心设计那些知道何时使用全量智能、何时依赖更简单快速方法的系统，研究人员希望构建出不仅聪明，而且可靠、快速且安全，足以在复杂且不可预测的现实世界中与人类协作的智能体。从仅限文本的思考者向真正多模态智能体的转变是一次巨大的飞跃，但调查结论指出，在这些系统能够真正具备人类智能般的灵活性和可靠性之前，仍有重重障碍待解，这项工作远未结束。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。