GHOST 论文技术总结

论文标题：GHOST: Ground-projected Hypotheses from Observed Structure-from-Motion Trajectories
作者：Tomasz Frelek, Rohan Patil, Akshar Tumu, Henrik I. Christensen (UC San Diego)

1. 研究背景与问题定义 (Problem)

在自动驾驶领域，理解车辆在复杂城市环境中“可以”且“将会”如何移动是一个核心问题。

• 现有挑战：传统方法通常依赖昂贵的显式语义标注（如人工标注的可行驶区域）、多传感器融合（激光雷达等）或高精地图（HD Maps）。这些方法成本高、扩展性差，且难以覆盖长尾场景（如非结构化道路、微出行工具）。
• 核心洞察：互联网上存在海量的行车记录仪（Dashcam）视频，这些视频隐含了真实人类驾驶行为的监督信号。每一段视频都记录了车辆在特定场景几何、交通规则和社会约束下的可行运动轨迹。
• 研究目标：提出一种可扩展的自监督方法，利用单目（Monocular）行车记录仪视频，无需人工标注，自动学习并预测车辆的可行轨迹假设（Trajectory Hypotheses）。

2. 方法论 (Methodology)

GHOST 框架将轨迹预测问题转化为图像分割问题，其核心流程分为三个阶段：

2.1 数据收集与自监督信号生成 (Self-Supervised Pipeline)

• 数据来源：利用 YouTube 等平台的非结构化行车记录仪视频（约 30 小时原始视频，覆盖 14 个城市，包含多种天气、光照和相机配置）。
• 运动恢复结构 (SfM)：
  • 使用 COLMAP 处理视频序列，提取稀疏 3D 点云和未标度（Unscaled）的 6-DoF 相机位姿。
  • 采用增量式映射（Incremental Mapping）和束调整（Bundle Adjustment）优化几何结构。
• 地面投影与掩码生成 (Ground Projection & Mask Generation)：
  • 尺度恢复：由于 SfM 存在尺度模糊性，论文提出了一种基于投影的鲁棒地面高度估计方法。假设车辆遵循运动学模型且相机光轴与路面切平面平行，利用 Theil-Sen 估计器（Theil-Sen Estimator）对稀疏点云中的地面点进行线性回归，计算相机相对于地面的高度。
  • 轨迹投影：将计算出的相机高度应用于 SfM 轨迹，将其投影到地面平面，生成代表车辆足迹的空间掩码（Spatial Masks）。
  • 质量控制：自动过滤掉因特征匹配失败或运动估计错误导致的“空帧”（Null Frames），最终构建出约 65 万帧的高质量训练数据。

2.2 轨迹作为分割任务 (Trajectory as Segmentation)

• 模型架构：采用标准的 UNet 架构，编码器使用在 ImageNet 上预训练的 ResNet34（同时也测试了 SegFormer）。
• 输入输出：输入单张 RGB 图像，输出一个概率分割掩码，表示地面上可行的未来运动区域。
• 损失函数设计 (关键创新)：
  • 为了从单一演示轨迹中学习出多模态（Multi-modal）的可行路径分布，作者设计了一种加权非对称损失函数（Weighted Asymmetric Loss）。
  • 机制：该损失函数对假阴性（False Negatives，即漏掉可行区域）的惩罚远大于假阳性（False Positives，即多预测了区域）。
  • 目的：鼓励模型覆盖所有合理的运动区域，而不是仅仅复制单一的地面真值轨迹。这使得模型能够隐式地学习场景布局、车道拓扑和路口结构，从而预测出多种可能的轨迹假设。

3. 主要贡献 (Key Contributions)

1. 可扩展的自监督流水线：首次提出从非约束的单目行车记录仪视频中，利用 SfM 技术提取自监督的轨迹信号，无需任何人工标注。
2. 轨迹预测的分割化建模：将未来轨迹假设估计问题重新定义为图像分割问题，利用视觉特征隐式学习场景语义和运动先验。
3. 大规模监督的泛化性：实证表明，在大规模数据上训练，结合非对称损失，模型能够学习到超越单一演示轨迹的、结构化的可行路径先验（即多模态预测能力）。
4. 跨平台迁移能力：成功将模型迁移到电动滑板车（Electric Scooter）平台，证明了该方法在缺乏结构化数据集的微出行领域同样有效。

4. 实验结果 (Results)

• 评估数据集：在 NuScenes 数据集（OpenLaneV2 Subset B）上进行评估。利用 HD 地图构建可达性算法生成地面真值（Ground Truth），使用 Soft Intersection over Union (Soft IoU) 作为评价指标。
• 定量表现：
  • ResNet34 和 SegFormer 背底的模型在整体 Soft IoU 上分别达到 0.5579 和 0.5645。
  • 在包含多条车道的复杂场景（Multi-Lane）中，模型表现并未下降，甚至略有提升，证明了其多模态预测能力（未坍缩为单一轨迹）。
• 定性分析：
  • 模型能准确预测直行、转弯、变道等场景的可行区域。
  • 能够识别并避开动态障碍物（如迎面而来的卡车），即使 HD 地图未标注这些动态信息。
  • 在路口和道路分叉处，模型能同时预测多条可行路径。
• 滑板车迁移实验：
  • 在仅 40 分钟滑板车数据上进行微调（Fine-tuning）后，模型能很好地适应滑板车的运动特性（如自行车道、人行道）。
  • 相比之下，从零训练（From Scratch）的模型容易过拟合，倾向于预测单一轨迹，而微调模型保留了多模态预测能力。

5. 意义与局限性 (Significance & Limitations)

意义

• 摆脱对高精地图的依赖：该方法直接从视觉中学习车道拓扑和场景结构，适用于无图或地图更新滞后的场景。
• 低成本与高扩展性：利用互联网海量视频数据，解决了自动驾驶数据标注昂贵的问题，特别适用于数据稀缺的微出行（Micro-mobility）和越野场景。
• 通用性：模型能够泛化到不同的相机配置、车辆类型（汽车到滑板车）和驾驶环境（左舵/右舵、不同天气）。

局限性与未来工作

• 几何约束：SfM 在纯直线行驶（低视差）场景下重建效果较差，导致部分数据被过滤。
• 高度估计假设：假设地面局部平面化，在陡坡或复杂地形（如高速公路匝道）可能产生误差。
• 评估基准的局限：使用静态 HD 地图作为真值存在缺陷，无法反映动态障碍物，且地图拓扑可能不完整，导致模型正确的动态避障行为被错误惩罚。

总结

GHOST 提出了一种创新的自监督范式，通过“从观察到的运动结构中提取假设”（Ground-projected Hypotheses from Observed Structure-from-Motion Trajectories），利用大规模单目视频数据训练出能够预测多模态可行轨迹的分割模型。该方法不仅降低了自动驾驶系统对昂贵传感器和人工标注的依赖，还展示了在复杂、非结构化环境及新型交通工具上的强大泛化能力。