✨ 要点🔬 技术摘要
想象一个机器人就像是僵硬、单一用途工具的世界：一个只能烤面包的面包机，一个只能清扫地板的吸尘器，以及一个只能拧入一种特定螺栓的工厂机械臂。几十年来，这一直是机器人技术的现实。它们在执行那项特定的工作时表现出色，但如果你要求它们做任何稍微不同的事情，或者环境发生变化，它们就会束手无策。但最近，一种新型的“大脑”进入了视野，改变了一切。这些被称为基础模型（Foundation Models） 。把它们想象成超级聪明、精通互联网的学生，在踏入实验室之前，他们已经读遍了几乎所有的书，看过了几乎所有的视频，并研究了地球上几乎所有的图像。因为见过如此多的事物，他们能够以一种通用的方式理解世界，而不是仅仅遵循严格的规则手册。当你将这种“全知”的大脑与物理机器人躯体结合在一起时，你就会得到一个能够理解简单句子——比如“我饿了，你能给我拿点零食吗？”——并随后能够自行思考如何走向厨房、打开冰箱、找到食物并递给你，即使它从未见过这个特定的厨房。这就是人工智能与物理行动交汇的激动人心的前沿领域，它承诺将机器人从笨拙、专门化的机器转变为适应力强、乐于助人的伴侣。
这篇论文是这一新前沿领域的一幅宏大且全面的地图。作者们是一支来自欧洲和美国各大学的研究团队，他们不仅关注某一种类型的机器人或某一种特定的技巧，而是全面调研了这些庞大的 AI 大脑是如何被教导来控制机器人躯体的。他们将过去几年的研究整理成了五个截然不同的演进“时代”。它始于简单地接入现有的视觉和语言 AI 工具，随后转向将这些工具连接起来进行规划，接着是训练机器人通过观察人类来学习，最后是创造出能够记住过往经验、能够即时学习新技能并在混乱、不可预测的真实世界中运行的机器人。
这篇论文就像一本巨大的百科全书，将数百个不同的研究项目归类到整齐的类别中。它考察了正在使用什么样的“大脑”（例如仅文本的思考者、仅视觉的观察者，或是结合了视觉-语言-动作的模型）、机器人是如何学习的（通过模仿人类、通过尝试并获取奖励，或是通过阅读指令），以及机器人实际在做什么（例如在房间内导航、拿起物体或与人交谈）。作者发现，尽管这些模型功能极其强大且可以泛化到新任务，但它们还并不完美。它们可能反应迟钝，有时会产生“幻觉”或编造事实，并且在处理触摸和安全移动物体的物理细节方面存在困难。论文最后列出了仍需克服的最大障碍，例如对机器人如何失败及如何恢复的过程需要更多数据的需求，以及如何让这些系统足够快以实现实时工作的挑战。最终，这篇综述表明，虽然我们正在为真正的智能机器人奠定基础，但在探索如何使它们足够可靠且安全地融入我们的日常生活方面，我们仍处于早期阶段。
技术摘要：机器人领域的基座模型：全面综述
问题陈述
机器人领域正在经历一场范式转移：从固定的、单任务的、特定领域的解决方案，转向能够在复杂、开放世界及动态环境中运行的自适应、多功能、通用型智能体。虽然传统的基于模型的控制在结构化环境中具有效率，但缺乏适应性。相反，标准的机器学习（ML）方法提供了高度的适应性，但往往需要大量的数据集，且缺乏开放世界推理所需的语义理解能力。基座模型（Foundation Models, FMs）的出现——即在海量、互联网规模的异构数据集上训练的大规模神经网络——有望弥补这一差距，通过提供前所未有的多模态理解、长程规划和跨具身泛化能力。然而，基座模型在机器人领域应用的快速激增导致了研究格局的碎片化。现有的综述往往局限于特定的任务、模型或应用领域，缺乏涵盖方法、数据集和挑战全谱系的系统性、多准则分类法。
研究方法
本研究采用结构化且系统的文献综效法来绘制机器人基座模型的研究版图。过程包括：
文献检索： 在六个主要科学数据库（IEEE Xplore, Google Scholar, Scopus, DBLP, arXiv, 和 Web of Science）中进行查询，使用针对性的关键词（如“foundation model”、“robotics”、“vision-language-action”）并结合布尔运算符。搜索优先考虑过去五年的著作，同时也包含了具有开创性的早期研究。筛选与选择： 通过多阶段筛选过程剔除重复项、非英语论文以及无法获取全文的文章。最终选定的 438 篇文章中，基座模型作为关键算法组件，并具有实质性的理论或实验贡献。分类学分析： 所选文献通过高度细致的多准则分类法进行分析。本综述从六个不同维度对方法进行了考察：
基座模型类型（LLMs, VFMs, VLMs, VLAs）。
底层神经网络架构（Transformers, SSMs, Diffusion, CNNs, 图模型）。
学习范式（监督学习、自监督学习、微调、领域自适应、模仿学习、强化学习、上下文/提示学习、世界模型、生成式学习）。
学习阶段（预训练、离线微调、在线自适应、持续学习）。
机器人任务（感知、规划、导航、操纵、人机交互）。
应用领域（智能移动体、工业操纵、供应链运营、服务机器人、医疗机器人、认知农业系统、危机处理智能体、海洋机器人、空间机器人）。
数据集合成： 对公开数据集进行了合成与整理，按重复出现的家族进行分类，并详细说明了它们的典型用途及当前的空白点。挑战与方向分析： 围绕当前的开放性挑战和极具前景的未来研究方向，构建了层级化的讨论。
注：作者明确指出，本综述不包含对所调查方法的实证/定量基准测试，承认其是对一个快速演进领域的快照式记录。
核心贡献
本文对机器人基座模型领域进行了全面且系统的调查，提供了以下具体贡献：
演进框架： 研究将机器人基座模型的研究划分为五个不同的阶段：
第一阶段 (2018-2021)： 集成原生 NLP 和 CV 模型以支持感知。第二阶段 (2021-2022)： 使用视觉-语言 (VL) 表示进行落地规划。第三阶段 (2022-2023)： 在大规模机器人数据上训练的具身视觉-语言-动作 (VLA) 策略出现。第四阶段 (2023-2024)： 具备记忆、自主任务组合及“Web-to-robot”迁移能力的系统。第五阶段 (2024-至今)： 多感官泛化与现实世界部署。
多准则分类法： 提供了一个跨六个准则的综合方法分类。主要发现包括：
模型类型： LLMs 在高层推理方面表现出色但缺乏物理落地；VFMs 提供鲁棒的感知但具有领域特定性；VLMs 桥接了语言与视觉但需要外部策略；VLAs 提供端到端策略但面临高数据和延迟成本。架构： Transformers 在多模态对齐方面占据主导地位；状态空间模型 (SSMs) 为实时控制提供线性复杂度；扩散模型实现了精确的动作生成；图模型支持结构化推理。学习范式： 对监督、自监督、模仿、强化和生成式学习技术进行了综合，强调了样本效率、泛化能力与安全性之间的权衡。
数据集版图： 本文对公开数据集进行了合成，识别出向大规模跨具身轨迹语料库（如 Open X-Embodiment, AgiBot World）和高保真现实世界基准测试的转变。文章批判性地指出当前的空白，特别是触觉/力觉传感数据的匮乏以及现有数据集中缺乏失败/恢复记录的问题。
应用领域： 综述详细介绍了基座模型在不同领域的部署，包括工业操纵（对新物体的零样本泛化）、服务机器人（遵循自然语言指令）、医疗机器人（手术深度估计）和空间机器人（自主地形分析）。
挑战与未来方向： 文中确定了关键挑战，包括推理延迟、缺乏语义/物理落地、数据稀缺、具身偏差、安全风险以及伦理对齐的必要性。提出了面向多感官集成、模拟到现实 (sim-to-real) 迁移以及稳健现实世界部署的未来方向。
结果与洞察
综述显示，尽管基座模型从根本上改变了机器人设计和编程，但它们并非一种单一的解决方案。
权衡： 在语义广度（由 LLMs 和 VLMs 提供）与实时、具身执行（由 VFMs 和 VLAs 提供）之间存在根本性的权衡。混合系统对于平衡这些属性变得日益必要。泛化 vs. 精准度： 基座模型实现了对未见物体和环境的零样本泛化，通常减少了对特定任务编程的需求。然而，这以降低专业领域的动作精准度为代价，并增加了在规划过程中产生幻觉和逻辑漏洞的可能性。数据依赖： 尽管被称为“基座”模型，该领域仍然严重依赖于大规模、高质量、多模态数据集的可用性。现实世界失败数据和触觉反馈的匮乏仍然是实现稳健部署的重要瓶颈。演进趋势： 该领域正从模块化流水线（独立的感知与控制）向端到端的通用策略演进，旨在将感知、推理和动作整合进单一架构中。
重要意义
本文声称其重要性在于提供了首个针对整个机器人基座模型领域进行全面、系统且高度细致的多准则调查 。不同于以往仅关注特定子集（例如仅关注 VLA 或仅关注操纵）的工作，本研究：
记录了该领域的完整演进轨迹，包括直至 2026 年的最新进展。
提供了一个结构化的分类法，允许研究人员同时跨模型类型、架构、学习范式和应用领域对方法进行比较。
综合了当前公开数据集的状态，强调了阻碍进步的关键空白。
对挑战和未来方向进行了全面的讨论，为旨在将基座模型从研究原型转化为可靠现实世界机器人的研究人员提供了路线图。
作者强调，虽然本综述不提供新的实证基准，但它建立了对该领域现状、局限性和潜力的必要基础性理解，从而在机器人基座模型时代促进更明智的研究与开发。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。