🤖 AI

Robusto-2: Benchmarking Humans & VLMs for Autonomous Driving in Lima & New York City

本文介绍了 Robusto-2 基准测试，旨在评估并比较来自利马和纽约市的人类驾驶员与视觉语言模型（VLMs）在涵盖这两个挑战性地理区域的多种驾驶场景中的表现，结果表明，尽管人类与视觉语言模型的反应会因问题类型而异，但由于场景具有高度的分布外特性，两组对象均未表现出归因于特定城市的显著性能差异。

原作者： Adrian Cespedes, Marcelo Chincha, Dunant Cusipuma, Victor Flores-Benites, David Ortega, Arturo Deza

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Adrian Cespedes, Marcelo Chincha, Dunant Cusipuma, Victor Flores-Benites, David Ortega, Arturo Deza

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：自动驾驶汽车会产生“文化冲击”吗？

想象一下，你正在教一个机器人开车。你在一个安静、有序的小镇训练它。然后，你把它丢到一个混乱、繁忙的大都市，那里的交通规则更像是建议而非法律。机器人会惊慌失措吗？它能理解正在发生的一切吗？

这篇论文的作者想要测试的正是不止于此。他们提出了这样一个问题：如果我们向自动驾驶汽车的“大脑”（称为视觉语言模型，即 VLMs）展示来自两个截然不同的混乱城市——秘鲁利马和美国纽约市的视频，它们的反应会与人类驾驶员不同吗？人类驾驶员在面对利马和纽约时，反应又会有所不同吗？

实验过程：一场针对人类与机器人的驾驶测试

把这项研究看作是一场大规模的多语言驾驶测试。

测试对象：
- 10 名来自利马的人类： 熟悉秘鲁街道的真实驾驶员。
- 10 名来自纽约的人类： 熟悉纽约市街道的真实驾驶员。
- 10 个 AI 模型： 来自不同科技公司的不同“大脑”（即 VLMs）。
- 总计： 30 位“驾驶员”参加测试。
测试材料：
- 他们没有使用完美的晴天画面。他们使用了来自利马和纽约的行车记录仪视频。
- 他们专门挑选了最“混乱”的 5 秒钟片段——即 AI 最感到困惑或产生自我矛盾的场景。这些是“边缘案例（edge cases）”，比如雨中出租车强行切入，或者行人横穿马路。
测试题目：
不仅仅是观看视频，每个人（人类和 AI）都必须回答关于视频的问题，就像做测验一样。问题分为四个类别：
- 事实类： “汽车正在做什么？”（简单的观察）。
- 评分类： “如果按 1 到 10 分评分，这里的交通有多混乱？”（主观判断）。
- 反事实类： “需要发生什么情况才会导致碰撞？”（想象力）。
- 推理类： “谁拥有优先通行权？”（逻辑与规则）。

令人惊讶的结果

研究人员原本预期 AI 会被“外国”城市搞糊涂（例如，基于美国数据训练的 AI 可能会在利马表现不佳）。他们也预期利马的驾驶员会与纽约的驾驶员看法不同。以下是他们的实际发现：

1. “地理”迷思

预期： “利马的驾驶员看利马会与纽约驾驶员看利ма 的看法不同。”
现实： 并非如此。 无论是在看哪个城市的视频，来自利马的人类和来自纽约的人类给出的答案几乎完全一致。
类比： 想象向一位亚马逊雨林的渔民和一位北极圈渔民展示一张风暴的照片。尽管他们生活在不同的地方，但他们都会达成共识：“那是一场风暴。”利马或纽约的驾驶混乱是如此具有普遍性，以至于人类大脑处理它们的方式是相同的。

2. 人类与机器人的差距

预期： 或许 AI 和人类表现得一样好。
现实： 并非如此。 人类和 AI 给出的答案经常大相径庭。
类比： 如果你问人类和机器人：“那辆车快要撞上了吗？”，人类可能会说：“是的，司机看起来分心了，”而机器人可能会说：“不，距离是安全的。”他们在观察同一个场景，但“思考”的语言却完全不同。

3. “问题类型”比“地点”更重要

答案最大的差异并不在于视频是在哪里拍摄的（利马还是纽约），而在于提出了什么样的类型的问题。
当被问及简单事实时，大家意见一致。当被要求想象“如果……会怎样”的情景时，AI 和人类产生了巨大的分歧。

“混乱”的结论

论文以一个转折结束。通常，我们认为“分布外（Out-of-Distribution, OOD）”的数据是某种奇特且独特的现象。但作者发现，混乱是普世的。

无论是利马还是纽约的混乱街道，这种“杂乱感”在人类和 AI 眼中看起来都是一样的。差距不在于城市之间，而在于**生物大脑（人类）与数字大脑（AI）**之间的差距。

为什么这很重要（根据论文所述）

作者指出，由于这些城市非常混乱，且目前还没有自动驾驶汽车在那里运行，因此它们实际上是完美的“压力测试”。

类比： 如果你想测试一个新引擎是否强劲，你不会在平坦的高速公路上行驶。你会让它行驶在乱石堆上。利马和纽约就是驾驶界的“乱石堆”。
通过在这些混乱的数据上测试 AI，我们可以看清 AI 的“认知骨架”在哪里会相对于人类驾驶员发生崩溃。

简而言之， 不同文化背景的人类看待驾驶混乱的方式是相同的。然而，AI 无论是在哪里接受的训练，其看待方式都与人类不同。这篇论文提供了一个新的数据集，旨在帮助研究人员弥合这一差距。

技术摘要：Robusto-2：针对利马与纽约市自动驾驶任务的人类与视觉语言模型（VLM）基准测试

问题陈述

随着自动驾驶汽车（SDC）技术从硬编码的启发式算法演变为由以视觉语言模型（VLM）为认知骨干的视觉-语言-动作（VLA）模型驱动的模块化系统，一个关键的开放性问题仍然存在：这些系统在面对新的地理区域和分布外（OOD）边缘情况场景时，泛化能力如何？

目前的多种模态基础模型主要是在西半球数据（特别是美国数据）上进行训练的。这引发了关于其部署在复杂、混乱环境中的安全担忧，因为在这些环境中，训练数据稀缺甚至不存在。虽然旧金山和深圳等城市已有活跃的自动驾驶部署，但利马（秘鲁）和纽约市（美国）等地点仍是极具挑战性的环境，目前尚无自动驾驶车队在这些地区运营。本文研究了人类驾驶员与 VLM 在面对来自这两个截然不同地理区域的驾驶场景时，其跨文化泛化能力的差距。

方法论

作者提出了 Robuto-2，这是一个采用 $2 \times 3$ 全因子设计的基准测试研究，涉及三个群体：

来自秘鲁利马的人类驾驶员。
来自美国纽约市的人类驾驶员。
来自不同初创公司和组织的十个不同的视觉语言模型（VLM）。

数据收集与选择

刺激物（Stimuli）： 研究利用了在利马和纽约使用相同摄像机设置录制的行车记录仪视频。研究人员从原始录像中提取了 200 段 5 秒钟的片段（每个城市 100 段）。
OOD 选择流水线： 为了确保选择具有挑战性的、分布外（OOD）的场景，作者将 200 个片段输入到多个 VLM 中，并提出 20 个视觉问答（VQA）问题。他们计算了答案的嵌入（embeddings），并选择了在模型响应中表现出最高方差的 10 个片段（每个城市各 10 个）。这些高离散度的片段被解释为 OOD 场景，并被用作最终的刺激物。
参与者： 研究招募了 10 名来自利马和 10 名来自纽约的人类参与者。所有人类参与者均经过验证为持有有效驾照的大学生（年龄 18–30 岁）。所有 30 个系统（20 名人类 + 10 个 VLM）都使用相同的 20 个英文问题进行提示。

视觉问答（VQA）框架

评估采用了四块问题结构：

事实性（Q1–Q5）： 关于天气、时间、交通信号和流量的问题（每个视频特有）。
评分（Q6–Q10）： 对杂乱程度、危险程度、遇到类似场景的可能性以及自动驾驶汽车相对于人类驾驶员的预期表现进行主观定量评估（1–10 分制）。
反事实与假设（Q11–Q15）： 探索没有标准答案的碰撞场景的创造性问题。
推理（Q16–Q20）： 关于路权和行人安全的复杂推理问题，旨在探测思维链（Chain-of-Thought）能力。

分析技术

嵌入分析： 使用主成分分析（PCA）将答案投影到二维空间，并通过表征相似性分析（RSA）来可视化收敛/发散模式。
系统偏差分析： 将多维尺度分析（MDS）应用于评分的 L1 距离。VLM 每个视频-问题对被提示 20 次，以构建分布小提琴图。
语义相似度： “LLM 作为评判者”（使用处于思考模式的 Qwen3-4B）执行答案的成对比较，在 -2（强烈不同意）到 2（强烈同意）的范围内对对齐程度进行评分。

核心结果

1. 地理位置 vs. 问题类型

分析表明，响应模式主要受所提问题类型（如事实性 vs. 推理型）的调节，而非视频数据的地理位置。

地理不变性： 无论是人类还是 VLM，在回答基于不同地理位置的视频时，都没有表现出强烈的差异。作者将其归因于所选片段的高度 OOD 特性，这可能掩盖了地理细微差别。
人类一致性： 来自利马和纽约的人类在处理不同来源的视频时，表现出了非常相似的回答模式。

2. 人类 vs. VLM 的分歧

收敛/分歧： 人类和 VLM 在响应上存在分歧，但这种分歧取决于问题类别。
地理对分歧的调节作用： 虽然人类模式在不同地理环境下保持一致，但在利马背景下，人类与 VLM 之间的差距比在纽约环境下略显明显。具体而言，VLM 在利马的表现比在纽约更远离人类集群。
VLM 一致性： 不同的 VLM 无论其特定的训练数据或程序如何，都共享相似的回答模式，这支持了“柏拉图表征假设”。

3. 评分的具体发现

危险感知（Q8）： VLM 在不同地理环境下对危险等级的评分表现出高度的相似性。
自我意识（Q9）： 当被要求评价自动驾驶汽车处理该场景的能力时，VLM 在不同地理环境下表现出最高的距离（差异性），这表明其在评估自动驾驶能力时对地理背景具有敏感性。

核心贡献

Robusto-2 数据集： 发布了一个包含来自利马和纽约行车记录仪视频的完整因子数据集，并附带了 20 名人类和 10 个 VLM 的 VQA 响应注释。
跨文化基准： 一种新型研究设计，通过纳入来自“训练”区域（美国/纽约）和“非原生”区域（利马）的人类受试者来控制地理因素，解决了以往研究（如 Robusto-1）中存在的偏见（即对比非母语使用者与美国训练的模型）。
方法论框架： 一个基于模型分歧方差选择 OOD 视频片段的流水线，确保基准测试专注于边缘情况而非平均驾驶场景。

重要性与主张

论文声称，尽管人类与机器认知之间存在差距，但在面对高度混乱的 OOD 驾驶场景时，地理位置之间不存在显著的跨文化泛化差距（利马 vs. 纽约）。

作者强调，他们的发现表明人类和 VLM 在这些混乱环境中以“相似的混乱方式”进行应对。这意味着模型响应缺乏地理特异性，可能是由于 OOD 场景本身的难度，而非文化适应失败。

局限性与谦逊态度：
作者明确指出，该研究规模较小（20 个片段，20 个问题，30 个受试者，总计约 12,000 个数据点）。他们承认，虽然数据量与大规模众包研究相比较低，但该设计允许对经常被“超大规模人类（Mega-Human）”聚合数据集所掩盖的系统间差异进行独特的剖析。作者确定的主要瓶颈是高质量人类驾驶员数据的收集，而非 VLM 响应的计算。作者计划在未来的迭代中扩展这项工作，纳入更多人群和来自五大洲的数据。