想象一下，你正试图教会一个机器人如何开车。为了安全起见，机器人在真正接触真实的转向盘之前，需要在虚拟世界中练习数百万英里。但构建这些虚拟世界既困难又昂贵。通常，工程师必须在 3D 计算机程序中手动放置每一棵树、每一栋建筑和其他车辆，这需要耗费大量时间。这就是一种被称为“生成式人工智能”的特殊计算机科学派上用场的地方。把它想象成一位超级聪明的艺术家，它看过数百万张照片，现在可以画出看起来非常真实的全新图像。科学家们一直试图教这位艺术家使用激光雷达（LiDAR）来绘制 3D 地图，激光雷达是自动驾驶汽车用来观察 3D 世界的“眼睛”。面临的大挑战在于，虽然这位艺术家很擅长绘画，但它非常不擅长遵循特定的指令。如果你对它说“画一个繁忙的十字路口”，它可能会画出一片森林，或者把汽车放在天空中。这就像是在给一位只说另一种语言的厨师提供食谱；结果往往是一团糟。
这就是同济大学的一个研究小组所解决的问题，他们开发了一个名为 LiDARDraft 的新工具。他们希望找到一种方法，让人们能够通过简单的输入，如一段文字、一张随手拍的照片，甚至是一个粗略的草图，来创建逼真的 3D 驾驶场景，而无需成为 3D 建模专家。他们的秘密武器是一个被称为“3D 布局”（3D layout）的聪明中间人。想象一下你正在用乐高积木搭建一座城市。你不需要尝试将每一个积木都雕刻得像真正的汽车或树木那样精致，你只需要使用简单的方块：一个代表汽车的红色盒子，一个代表灌木的绿色椭圆，以及一个代表道路的扁平灰色平面。这个简单的“乐高蓝图”很容易制作，但它包含了所有关于物体位置和属性的重要信息。LiDARDraft 使用这个乐高蓝图作为桥梁。它将你的简单输入（例如一段文本描述）转化为这种乐高布局，然后使用一个特殊的引导器（称为 ControlNet）来精确地告诉 AI 艺术家如何将这些简单的方块转化为详细且逼真的 3D 激光扫描图。
研究人员发现，这种方法的效果出奇地好。通过强制 AI 遵循这个“乐高蓝图”，他们能够生成高质量的 3D 点云（数字 3D 地图），并且完全符合用户的指令。例如，如果你输入“我前面有一辆车，左边有一棵树”，系统就会创建一个具有完全相同排列、形状和位置的场景。他们通过文本、图像甚至现有的 3D 扫描进行了测试，在每种情况下，他们的方法都比之前的尝试表现得更好，因为之前的尝试经常会添加随机的假车，或者把道路布局搞错。该团队展示了该系统甚至可以根据一张街道照片生成完整的 3D 驾驶模拟，或者根据一个粗略的草图填充进逼真的细节。