Open-Vocabulary Domain Generalization in Urban-Scene Segmentation

本文针对开放词汇语义分割在未见域和未见类别上的泛化难题，提出了首个自动驾驶领域的开放词汇域泛化（OVDG-SS）基准，并设计了基于状态空间的 S2-Corr 机制以修正文本 - 图像关联失真，从而显著提升了模型在复杂城市场景中的跨域鲁棒性。

要点

这篇论文讲的是如何让自动驾驶汽车的“眼睛”变得更聪明、更适应各种突发情况。为了让你更容易理解，我们可以把自动驾驶的视觉系统想象成一位正在学习认路的“新手司机”。

1. 现在的困境：新手司机的两个“死穴”

想象一下，这位新手司机（现有的 AI 模型）是在阳光明媚的晴天、城市主干道上训练出来的。

• 死穴一：认死理（传统领域泛化 DG-SS 的局限）
  他背熟了“路”、“车”、“人”、“天空”这些词。但是，如果突然遇到一个路障、施工锥桶或者一只流浪狗，他完全不知道这是什么，因为训练时没教过。这就好比让他认“苹果”，他就不认识“梨”。
• 死穴二：怕变天（开放词汇分割 OV-SS 的局限）
  现在的技术让他能认很多新东西（比如通过文字描述认出“雨伞”或“气球”），但他太依赖环境了。一旦天气变坏（下雨、大雾）、光线变暗（隧道、夜晚）或者到了陌生的城市（地理环境变了），他的“视力”就会严重下降，把“隧道”看成“路”，把“水坑”看成“天空”。

论文的核心问题就是： 怎么让这位司机既能认出从未见过的物体（比如突然出现的施工队），又能在恶劣天气和陌生地方依然保持视力清晰？

2. 解决方案：给司机装上“智能降噪耳塞” (S2-Corr)

作者提出了一种新的方法，叫做 OVDG-SS（开放词汇领域泛化语义分割），并发明了一个核心组件叫 S2-Corr。

我们可以用两个生动的比喻来理解 S2-Corr 是如何工作的：

比喻一：从“嘈杂的派对”到“安静的图书馆”

• 现状（噪音干扰）： 当环境变化（比如下雨了），AI 大脑里原本清晰的“文字 - 图像”对应关系（比如“路”这个词对应“路面”的图像）变得嘈杂和混乱。就像在一个嘈杂的派对上，你想听清朋友说话，但周围全是噪音，导致你听错了，把“路”听成了“墙”。
• S2-Corr 的作用： 它像一个智能降噪耳塞。它不直接去听所有声音，而是通过一种特殊的“状态空间”机制，动态地过滤掉那些因为天气、光线变化产生的“噪音”。它能让 AI 在混乱的环境中，依然精准地抓住“路”就是“路”这个核心联系。

比喻二：蛇形扫描与“记忆衰减”

传统的 AI 在看图时，像是一个漫无目的乱逛的人，容易把远处的错误信息带到近处（比如把远处的雾当成近处的障碍物）。

• S2-Corr 的策略：
  1. 蛇形扫描（Snake Scanning）： 它像一条蛇一样，有节奏地、连续地扫描图像（像蛇蜿蜒爬行），而不是东跳一下西跳一下。这样能保证它看到的画面是连贯的，不会断片。
  2. 记忆衰减（Geometric Decay）： 它有一个聪明的“遗忘机制”。如果它发现刚才看到的信息（比如上一秒的图像）因为环境突变变得不可靠了，它就会快速“遗忘”掉那些不可靠的旧信息，只保留清晰、可信的新信息。这就像你在迷雾中走路，如果前面的路看不清，你就不要盲目相信刚才的记忆，而是专注于脚下清晰的一小步。

3. 他们做了什么？（建立新考场）

为了证明这个方法有效，作者不仅提出了理论，还建立了一个全新的“考试系统”：

• 以前的考试： 只考晴天、只考城市、只考已知的物体。
• 新的考试（OVDG-SS Benchmark）：
  • 场景变了： 从晴天考到暴雨、从白天考到黑夜、从城市考到隧道、从平坦路面考到施工工地。
  • 题目变了： 不仅考“车”和“人”，还考“路障”、“施工车”、“雨伞”、“流浪猫”等从未在训练中出现过的物体。

4. 结果如何？

在这个全新的“地狱级”考试中：

• 旧方法： 要么认不出新物体，要么在雨天直接“瞎”了。
• S2-Corr（新方法）： 就像给司机装上了全天候的夜视仪 + 智能翻译官。
  • 在暴雨夜的施工工地，它不仅能认出“路”和“车”，还能准确识别出从未见过的“施工锥桶”和“工人”。
  • 而且，它跑得更快，更省电（计算效率更高），不像其他方法那样笨重。

总结

这篇论文就像是在说：

“以前的自动驾驶 AI，要么是‘认死理的学霸’（只认识老同学），要么是‘娇气的艺术家’（环境一变就崩溃）。我们发明了一种**‘超级适应力’机制（S2-Corr），它像一位经验丰富的老练司机，无论天气多坏、路况多怪、遇到什么新奇的障碍物，都能迅速过滤干扰、看清本质**，安全地开完全程。”

这项技术对于让自动驾驶真正走进现实世界，应对各种不可预测的复杂场景，具有非常重要的意义。

技术摘要

这是一篇关于**开放词汇语义分割中的域泛化（Open-Vocabulary Domain Generalization in Semantic Segmentation, OVDG-SS）**的学术论文总结。该论文针对自动驾驶等复杂场景，提出了一种新的任务设定和解决方法，旨在同时解决“未见过的域（Unseen Domains）”和“未见过的类别（Unseen Classes）”的分割问题。

以下是该论文的详细技术总结：

1. 研究背景与问题定义 (Problem Definition)

• 现有挑战：
  • 域泛化语义分割 (DG-SS)： 传统方法旨在让模型在未见过的环境（如不同天气、光照、地理区域）中表现鲁棒，但通常局限于固定的已知类别集。在开放世界中，这限制了其识别新物体（如施工路障、特殊车辆）的能力。
  • 开放词汇语义分割 (OV-SS)： 利用视觉 - 语言模型（VLMs，如 CLIP）可以识别训练集中未出现的类别，但这些模型在**域偏移（Domain Shift）**下表现脆弱。当从训练域（如晴天城市）迁移到目标域（如雨天、隧道或不同国家）时，文本与图像的关联（Text-Image Correlation）会严重失真，导致性能大幅下降。
• 核心问题 (OVDG-SS)：
  • 论文提出了OVDG-SS这一新设定：要求模型在未见过的域（如恶劣天气、不同地理区域、施工场景）中，不仅能分割已知类别，还能准确识别未见过的开放词汇类别（如路锥、警车、隧道、铁路等）。
  • 关键痛点： 现有的 OV-SS 方法在域偏移下，预训练 VLM 生成的初始文本 - 图像相关性图（Correlation Map）会出现大量噪声和错位，且传统的基于交叉注意力（Cross-Attention）的聚合机制会传播并放大这些噪声。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 S2-Corr（State-Space-driven text-image Correlation refinement），这是一种基于状态空间模型（State-Space Model, SSM）的关联细化机制。

2.1 核心洞察

作者发现，域偏移会导致 VLM 生成的初始相关性图 $C$ 充满噪声。传统的交叉注意力机制（如 CAT-Seg）在处理这些噪声时，会将错误的激活传播给相邻像素和类别，导致性能崩溃。

2.2 S2-Corr 模块设计

S2-Corr 在基线模型（基于 CAT-Seg 架构）的基础上，用**选择性状态空间模型（Selective SSM）**替代了传统的交叉注意力聚合，并引入了三个关键创新：

1. 聚合前的调制 (Modulation Before Aggregation)：

   • 图像条件调制： 在空间聚合前，利用图像特征对相关性嵌入进行调制，注入图像特定的上下文信息，增强空间一致性。
   • 文本条件调制： 利用多域文本提示（如“雨中的猫”、“夜间的猫”）生成域感知的文本特征，对类别嵌入进行调制，使模型能更好地适应不同的域条件。

2. 可学习的几何衰减先验 (Learnable Geometric Decay Prior)：

   • 在 SSM 的状态更新方程中，引入一个可学习的几何衰减项 $\gamma$。
   • 作用： 动态门控机制（$A_t$）负责数据驱动的适应，而几何衰减先验则强制模型在长距离序列传播中抑制噪声。当检测到长距离依赖不可靠时，衰减机制能有效“遗忘”过去的噪声状态，防止错误传播。

3. 分块蛇形扫描策略 (Chunk-wise Snake Scanning)：

   • 为了保持 2D 空间结构的连续性，作者将展平后的序列划分为多个块（Chunks）。
   • 蛇形扫描： 采用蛇形（Zigzag）顺序遍历行，而不是简单的行优先扫描，以消除行边界处的不连续性。
   • 分块传播： 每个块内部的隐藏状态依次更新，并将块的最终状态传递给下一个块。这种设计既保留了 SSM 的线性计算效率，又通过分块机制限制了长距离噪声的累积，同时保持了空间邻接性。

3. 主要贡献 (Key Contributions)

1. 提出 OVDG-SS 新设定： 首次定义了同时应对未见域和未见类别的语义分割任务，填补了 DG-SS 和 OV-SS 之间的空白。
2. 构建首个基准数据集 (Benchmark)： 建立了针对自动驾驶场景的 OVDG-SS 基准，包含：
   • 合成到真实 (Synthetic-to-Real)： 从 GTA-7 训练，迁移到真实世界数据。
   • 真实到真实 (Real-to-Real)： 从 Cityscapes 训练，迁移到 ACDC（恶劣天气）、BDD（不同光照）、Mapillary（不同地理区域）和 ROADWork（施工场景）。
   • 扩展词汇： 引入了 30 多个额外的驾驶相关类别（如隧道、铁路、路障、工人等），涵盖 19 类和 58 类两种设置。
3. 提出 S2-Corr 方法： 设计了一种高效的状态空间驱动关联细化模块，通过抑制域偏移引起的噪声，显著提升了跨域泛化能力。
4. 性能与效率的双重突破： 实验表明，S2-Corr 在保持高精度的同时，推理速度更快，参数量更少，且在大词汇量设置下具有更好的可扩展性。

4. 实验结果 (Results)

• 数据集与设置： 在构建的基准上，对比了多种 SOTA 方法（包括训练免费方法如 ClearCLIP、训练基方法如 CAT-Seg、MaskAdapter 等）。
• 主要性能指标 (mIoU)：
  • Real-to-Real (CS-7 $\to$ Dv-19/Dv-58)： 使用 ViT-B/16 backbone，S2-Corr 在 Dv-19 上达到 50.3%，比之前的最佳方法（CAT-Seg）高出 6.8%；在 Dv-58 上达到 47.9%，提升 2.9%。使用 ViT-L/14 时提升更为显著。
  • Synthetic-to-Real (GTA-7 $\to$ Dv-19/Dv-58)： 在合成到真实的巨大域偏移下，S2-Corr 依然取得了最佳性能，Dv-19 达到 48.2%，Dv-58 达到 46.7%。
• 效率分析：
  • 随着词汇量增加（从 19 类到 150 类），传统基于注意力的方法（如 CAT-Seg）推理速度急剧下降（从 15.4 FPS 降至 5.7 FPS），而 S2-Corr 仍能保持 18.3 FPS。
  • GPU 显存占用显著降低（9.2 GB vs 13.8 GB+），训练时间缩短。
• 定性分析： 可视化结果显示，S2-Corr 生成的文本 - 图像相关性图更清晰、噪声更少，特别是在隧道、铁路等未见类别和恶劣天气场景下，分割边界更准确。
• 异常检测 (OOD)： 在标准的异常检测基准（如 RoadAnomaly）上，S2-Corr 仅通过扩展文本词汇（无需额外的 OOD 监督）就超越了专门的 OOD 分割方法，证明了其泛化能力。

5. 意义与展望 (Significance)

• 理论价值： 揭示了 VLM 在域偏移下文本 - 图像关联退化的核心问题，并证明了状态空间模型（SSM）在序列关联聚合中比交叉注意力更具鲁棒性和效率。
• 应用价值： 为自动驾驶等安全关键领域提供了更可靠的感知方案。系统不仅能适应雨、雪、夜等复杂环境，还能识别训练集中未出现的突发障碍物（如施工设备、动物），极大地提升了开放世界感知的安全性。
• 未来方向： 作者计划进一步扩展基准数据集的类别多样性，并探索如何从特征层面而非仅在推理阶段增强 VLM 的域鲁棒性。

总结： 该论文通过引入 OVDG-SS 任务设定和 S2-Corr 方法，成功解决了开放词汇分割在跨域场景下的鲁棒性问题，在精度、泛化能力和计算效率上均取得了显著突破，为构建适应动态真实世界的智能感知系统奠定了坚实基础。