CityGen: Structure-Guided City-Style Synthesis for Cross-City Autonomous Driving
本文介绍了用于评估跨城市泛化能力的地理不连续基准 CityTransfer-Bench，并提出了 CityGen，这是一种基于扩散的生成框架，通过高清地图条件合成实现零标签城市自适应，以提升自动驾驶在多样化城市环境中的鲁棒性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个机器人驾驶汽车。你在新加坡训练它，这是一个拥有特定建筑、路标和天气的城市。机器人在那里学得完美无缺。但随后，你将同一个机器人带到波士顿。突然间，道路看起来不同了，建筑风格各异，交通流也发生了变化。机器人感到困惑并开始犯错。这就是“跨城市”问题：在一个城市训练的自动驾驶汽车往往在另一个城市会失效。
本文介绍了两样主要事物来解决这个问题：一项用于衡量该问题的新测试，以及一个用于解决该问题的新工具。
1. 新测试：“城市迁移基准”（CityTransfer-Bench）
将其想象为一场严格的期末考试。此前，研究人员会将来自不同城市的数据混合在一起，这使得很难判断机器人是在真正学习适应，还是仅仅记住了混合数据。
作者创建了一种“地理隔离”的测试。他们仅使用来自新加坡的数据训练机器人，然后仅使用来自波士顿的数据进行测试。这确保了机器人此前从未“见过”波士顿。这就像只教学生英语，然后用法语测试他们，以观察他们是否真正掌握了语言迁移能力。该测试检验三项技能：
- 感知：它能看见汽车和行人吗？
- 分割：它能理解道路何时结束、人行道何时开始吗？
- 规划：它能决定如何安全地转向和刹车吗？
2. 新工具：“城市生成器”（CityGen）（数字翻译器）
为了帮助机器人通过这场考试，作者构建了CityGen。想象 CityGen 是一个神奇的数字翻译器，它能在不改变场景“骨架”的情况下改变场景的“皮肤”。
以下是其工作原理，使用一个简单的类比：
- 骨架（高清地图）：每个城市都有一个刚性结构：车道在哪里、停车标志在哪里、车辆位于何处。这就是“骨架”。CityGen 利用高清地图将这一骨架锁定。它确保如果一辆车在原图中位于左侧车道，在新图中它仍保持在左侧车道。这保证了几何结构的完美。
- 皮肤（城市风格）：城市拥有一种“氛围”或“皮肤”。新加坡可能拥有郁郁葱葱的绿树和热带光线，而波士顿则有砖砌建筑和秋叶。CityGen 使用一种特殊的 AI（扩散模型）剥离新加坡的“皮肤”，并绘上波士顿的“皮肤”。
- 魔法技巧（零标签）：通常，要教机器人关于波士顿的知识，你需要人工为数千张波士顿照片进行标注（例如在车辆周围画框）。这既昂贵又缓慢。CityGen 的特殊之处在于它是**“零标签”**的。它查看未标注的波士顿照片（即原始图像）来学习“风格”（颜色、纹理、光照）。然后，它将这种风格应用到新加坡的骨架上。
结果：
CityGen 将一张来自新加坡的照片转换成一张看起来完全像是在波士顿拍摄的照片，但拥有完全相同的道路布局和车辆位置。
为什么这很重要
该研究表明，当他们使用这些“虚假”的波士顿照片来训练机器人时，机器人在真实波士顿的驾驶表现会大幅提升。
- 在 CityGen 之前：仅在新加坡数据上训练的机器人在波士顿表现不佳（就像学生在法语考试中不及格）。
- 在 CityGen 之后：在新加坡数据加上 CityGen 生成的合成波士顿数据上训练的机器人表现要好得多。它学会了识别“汽车”仍然是“汽车”，即使汽车被涂成了不同的颜色，或者路灯看起来不同。
核心结论
作者创造了一种新方法，用于测试自动驾驶汽车能否应对新城市，并构建了一个充当“风格过滤器”的工具。该过滤器将熟悉的驾驶场景重新装扮成新城市的“衣裳”，教导 AI 具备灵活性，而无需为每个新地点进行昂贵的人工标注。这是一种通过在虚拟的、经过风格翻译的世界版本中进行练习，从而使自动驾驶汽车更具“全球适应性”的方法。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。