Foundation Models and Agentic AI for Autonomous Driving: A Systematic Review
本综述通过对100多篇文献的综合分析，提出了一个整合了基础模型、智能体AI（agentic AI）与协作式V2X系统的统一九大主题分类法，并凭借从综合认知架构视角出发，共同探讨推理与效率之间的权衡、仿真到现实的差距以及安全治理，从而使其区别于以往的调查研究。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
通往真正自动驾驶汽车之路长期以来一直由一种特定的工程技术铺就：一种僵化的流水线模式，其中一个计算部分负责观察世界，另一个部分决定行动，而第三个部分则负责转动方向盘。多年来，这种模块化方法足以让汽车行驶起来，但在面对现实生活中混乱且不可预测的本质时却显得力不从心。人类驾驶员不仅仅是看到了红灯；他们还能理解施工区域的语境、横穿马路者的意图以及救护车靠近时的紧迫性，同时还能向乘客解释自己的行为。为了弥合僵化代码与类人直觉之间的鸿番，研究人员开始转向一类被称为“基础模型”（foundation models）的新型人工智能。这些是基于海量文本和图像训练的大型系统，能够将语言和视觉结合起来进行理解。当应用于驾驶领域时，它们有望将车辆从简单的自动化机器转变为认知伙伴，使其能够对复杂的交通状况进行推理，用通俗易懂的英语解释其选择，并适应从未见过的场景。
一份由来自印度、马来西亚、阿拉伯联合酋长国和沙特阿拉伯的研究团队于2026年9月发表的全面综述，描绘了这一快速变化的领域版图。在 A. Srinivaas 和 Jeswin K F 的带领下，作者们并未仅仅列举新的小工具；他们对一百多项近期研究进行了系统性分析，以了解这些强大的语言和视觉模型是如何被编织进自动驾驶的结构之中的。他们的工作表明，该领域正在从孤立的感知系统转向统一的“认知架构”。在这种新愿景中，汽车不仅仅是在对传感器做出反应，而是在积极地对世界进行推理，利用工具收集信息，并与其它车辆及城市基础设施协作以安全导航。
该综述强调了这些系统构建方式的重大演变。早期的尝试依赖于分离的视觉和思考模块，而最新的研究则侧重于“视觉-语言-动作”（Vision-Language-Action）模型。这些系统将观察场景、理解描述场景的语言以及直接控制车辆运动的能力结合在一个连贯的过程中。例如，系统不再仅仅是检测到行人，而是能理解一个写着“学校区域”的标志，并推理出即使行人尚未出现，也应当减速。研究人员发现，像 DriveMLM 和 TeLL-Drive 这样的框架已经展示出在提高决策能力和缩短汽车“思考”时间方面的潜力。在一次使用名为 CARLA 的模拟环境进行的特定测试中，一个名为 DriveMLM 的模型通过更好地将其视觉理解与规划决策相匹配，使 CARLA Town05 Long 驾驶评分提高了 4.7 分。
然而，通往完全自动驾驶未来的道路并非没有障碍，该综述仔细区分了在计算机模拟中有效与在真实街道上有效的情况。作者指出，存在一个持续存在的“模拟到现实的差距”（simulation-to-reality gap）。虽然许多此类先进模型在 CARLA 或 nuScenes 等虚拟世界中表现出色，但当转移到现实世界条件时往往会遇到困难。这种差距是巨大的；在某些情况下，协同感知系统从模拟环境转移到现实世界时，性能下降幅度高达 40%。这是因为模拟环境中完美、可预测的数据无法完全捕捉到实际交通、天气和人类行为的混乱无常。此外，正是这些使模型变得智能的特性——即通过复杂的思维链进行推理的能力——也让它们变得缓慢。大型语言模型进行“思考”所需的时间对于紧急情况下的瞬时决策来说可能过长，这在智能与速度之间造成了艰难的权衡。
该综述的另一个关键发现是缺乏统一的安全框架。目前，安全检查、车辆间的通信以及人工智能本身通常被视为独立的问题。研究人员认为，要让这些系统获得信任，需要一种将安全验证直接集成到推理过程中的整体方法。他们指出，虽然在利用“数字孪生”（高度详细的城市虚拟副本）来测试这些系统方面已取得了一些进展，但目前还没有标准化的方法来衡量这些数字世界与现实的匹配程度。如果没有这种标准，很难证明一辆车在公共道路上是否真正安全。综述还涉及了“代理人工智能”（agentic AI）这一新兴概念，即汽车作为一个具有记忆并能使用工具的独立智能体在运行。虽然这为能够从经验中学习并相互协作的车辆提供了前景，但作者警告说，这些系统仍处于起步阶段，并在互操作性和可靠性方面面临挑战。
论文最后概述了清晰的未来路线图，强调下一代自动驾驶将不是由单一突破定义的，而是由几种复杂技术的集成定义的。研究人员建议，未来在于混合系统，即将传统控制系统的速度与大型语言模型的推理能力相结合，并由支持车辆间及车辆与城市基础设施通信的稳健网络提供支撑。他们强调，要使这些系统成为现实，业界必须解决如何让这些强大的模型足够快以用于实时应用、足够安全以通过认证，以及足够透明以赢得人类信任的问题。从一辆仅仅是跟随车道的汽车，向着一辆理解世界并对其进行推理的汽车迈进的旅程正在进行中，但“最后一英里”需要解决人工智能和工程学领域中最困难的一些挑战。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。