← 最新论文
💬 自然语言处理

A Survey on Collaborative Mechanisms Between Large and Small Language Models

本综述全面考察了大语言模型与小语言模型之间的协作机制,详细阐述了它们的交互范式、赋能技术以及在资源受限环境中的应用,同时探讨了当前的挑战,并为实现高效、无处不在的人工智能指明了未来方向。

原作者: Yi Chen, Haiquan Wang, JiaHao Zhao, HaoHao Han

发布于 2026-11-19
📖 1 分钟阅读☕ 轻松阅读

原作者: Yi Chen, Haiquan Wang, JiaHao Zhao, HaoHao Han

原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明

在人工智能飞速发展的格局中,两种类型的数字大脑之间已经出现了一种明显的鸿沟。一方是庞大的模型,这些系统是在浩如烟海的文本上训练而成的,拥有理解细微差别、进行复杂问题推理以及生成创意内容的出众能力。这些巨头功能极其强大,但它们也异常沉重,需要消耗大量的电力和专门的计算机硬件来运行,这往往迫使它们只能居住在遥远的数据中心里。另一方是较小的模型,它们是更精简、更快速的版本,可以适配智能手机或传感器等日常设备。这些小型系统高效且注重隐私,能够在没有互联网连接的情况下即时工作,但它们缺乏其大型对应版本所具备的深厚知识和推理能力。多年来,这种选择似乎一直是二元的:要么使用云端功能强大但反应迟缓的巨头,要么使用设备上快速但能力有限的助手。如今研究人员面临的问题是,这两类截然不同的工具是否可以协同工作,将两者的优势结合起来,创造出既强大又适用于日常生活的智能系统。

中国科学院研究人员的一项新调查正是在探索这一可能性,该调查绘制了大型语言模型与小型语言模型如何通过协作来克服各自局限性的蓝图。作者描述了一个不断发展的领域,在这里,这些模型并非竞争关系,而是形成了伙伴关系。在这种安排中,小模型通常充当“第一响应者”,处理诸如识别语音命令或过滤基础问题等快速、简单的任务。如果请求过于复杂或需要深厚的知识,小模型会将接力棒传递给大模型,由大模型提供详细解答,然后再将结果传回给用户。这种分工协作使得系统能够在本地设备上高效运行,同时在需要时仍能访问云端的庞大智能。该调查详细介绍了这种团队协作的多种方式,从一个模型完成另一个模型未竟之事的简单交接,到由路由器实时决定哪个模型应处理特定对话部分的更高级方法。

研究人员发现,这种协作不仅仅是一个理论构想,它正受到现实世界需求的驱动,特别是对速度、隐私以及在没有稳定互联网连接时工作的需求。在智能手表上的语音助手或监测设备故障的工业传感器等场景中,等待信号传输到远程服务器的时间太长了。在这些情况下,小模型负责即时反应,而大模型仅在进行繁重任务时介入。这种方法还保护了隐私;敏感数据(如医疗记录或个人文档)可以由小模型在本地进行处理,在将必要信息发送给大模型进行分析之前,先剥离掉身份识别细节。该调查强调,这种混合方法对于将先进的人工智能带到以前无法触及的地方变得至关重要,例如汽车内部、在森林上空飞行的无人机,或者数据安全至关重要的病房。

然而,通往完美协作的道路并非没有障碍。作者指出,管理模型之间的交接会引入自身的延迟和成本。决定哪个模型执行什么任务需要时间,如果决策过程过于缓慢,可能会抵消使用小型模型带来的速度优势。此外,确保两个模型使用同一种“语言”并提供一致答案也存在挑战;如果小模型和大模型的训练背景不同,它们可能会提供相互矛盾的建议,或者听起来像是两个不同的人在说话。此外,随着这些系统变得更加复杂,追踪它们的性能并确保其安全性也会变得困难。研究人员指出,虽然目前的方法展现出了巨大的潜力,但该领域仍需要更好的衡量成功的方法、更强大的安全协议以防止数据泄露,以及更稳健的方法来确保模型在事实层面达成一致。

展望未来,该调查认为这种协作的未来在于使这些伙伴关系变得更加聪明和流畅。未来的系统将不再遵循僵化的规则,而是可能学会即时调整策略,利用技术来动态决定何时调用大模型,以及何时依赖小模型。研究人员设想了一个两者界限模糊的未来,它们将在比仅仅传递文本更深层次的信息交换上实现共享。这可能导致一种新的系统,其中小模型能将特定的见解直接输入到大模型的思考过程中,从而创造出一种大于部分之和的统一智能。随着人工智能向更具物理应用属性的方向发展,例如与现实世界互动的机器人,这种协作式方法很可能成为标准,使机器能够在人类生活的复杂环境中既能深度思考,又能快速且安全地行动。

您所在领域的论文太多了?

获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。

试用 Digest →