IntrinsicWeather: Controllable Weather Editing in Intrinsic Space

本文提出了 IntrinsicWeather，一种基于扩散先验的可控天气编辑框架，它通过在内在空间（包含材质、几何和光照）进行分解与重渲染，结合内在图感知注意力机制和 CLIP 空间提示插值，实现了比现有像素空间方法更精细的户外场景天气控制，并发布了配套数据集以提升自动驾驶等下游任务的鲁棒性。

要点

这篇论文介绍了一个名为 IntrinsicWeather（内在天气）的新系统。简单来说，它是一个能让 AI 像“换装师”一样，随意改变照片里天气（比如把晴天变成雨天、雪天或雾天），同时还能完美保留物体原本样子的神奇工具。

为了让你更容易理解，我们可以把这张照片想象成一个复杂的“三层蛋糕”：

1. 核心概念：把照片“拆解”再“重组”

传统的 AI 修图（像素级编辑）就像是在蛋糕表面直接抹奶油。如果你想把晴天改成雨天，它可能会把整块蛋糕都涂成灰色，或者把蛋糕里的水果（比如路边的树、车）也一起涂黑，导致物体变形、颜色怪异。

IntrinsicWeather 的做法完全不同，它更像是一个高明的“拆解大师”：

• 第一步：拆解（逆渲染）
  它不直接看照片的颜色，而是把照片“剥开”，分成三层：

  1. 材质层（蛋糕胚和水果）：这是物体原本的样子（比如车是红色的，路是灰色的，树是绿的）。这部分不受天气影响。
  2. 形状层（蛋糕的轮廓）：这是物体的几何结构（比如车是圆的，路是平的）。
  3. 光照层（奶油和装饰）：这才是天气所在的地方（比如阳光、雨滴、雾气、阴影）。

  比喻： 想象你在看一个被雾气笼罩的公园。传统方法可能会把树也变模糊；而 IntrinsicWeather 会先“透视”过去，看清树原本的样子（材质和形状），只把“雾气”这一层单独提取出来。

• 第二步：重组（正向渲染）
  当你输入指令“变成暴雨天”时，系统会保留前两层（树还是那棵树，路还是那条路），然后重新绘制第三层（光照层）。它会生成逼真的雨滴、湿漉漉的路面反光，以及乌云密布的光线，最后把这三层完美地“粘合”回去。

2. 它是怎么做到的？（两个关键“助手”）

这个系统有两个核心组件，我们可以把它们想象成两个超级助手：

• 助手 A：透视眼（逆渲染器）
  它的任务是看穿照片。它利用一种叫“内在图注意力机制”（IMAA）的独门绝技。

  • 比喻： 就像给 AI 戴上了一副“智能眼镜”。当它看一张图时，这副眼镜会告诉它：“嘿，注意看那个金属栏杆，那是金属的，要特别关注它的反光！”或者“看那个远处的路牌，虽然小，但它的形状很重要，别搞错了。”
  • 这解决了以前 AI 在复杂户外场景（比如远处的小车、复杂的建筑）中容易“看走眼”的问题，确保拆解出来的材质和形状非常精准。

• 助手 B：魔术师（正向渲染器）
  它的任务是根据指令变魔术。

  • 比喻： 它手里拿着一个“天气调色盘”。如果你说“要下雨”，它不会生硬地把图片变灰，而是利用一种叫"CLIP 空间插值”的技术，像调节音量旋钮一样，平滑地控制雨的大小。
  • 它可以做到：小雨时路面微湿，大雨时积水反光，甚至能模拟出雨滴落在不同物体上的不同效果。它还能让光线变化非常自然，不会让车突然变成绿色。

3. 为什么它这么厉害？（解决了什么痛点）

• 以前的问题： 以前的 AI 改天气，经常把车变绿、把树变方，或者让雨下得像贴纸一样假。因为它们是在“表面”做文章，没有理解物体的本质。
• 现在的突破： IntrinsicWeather 因为先“拆解”了物体本质，所以无论天气怎么变，车还是那辆车，树还是那棵树。
• 实际应用： 这对自动驾驶非常重要。现在的自动驾驶汽车在暴雨或大雾天容易“瞎眼”（识别不出行人或障碍物）。
  • 比喻： 如果自动驾驶系统训练时只见过晴天，遇到暴雨就懵了。IntrinsicWeather 可以帮它“生成”各种天气下的训练数据，让它在暴雨天也能像晴天一样看得清清楚楚，识别率提升了近 90%！

4. 总结

这就好比给照片请了一位顶级的“换装师”：

1. 她先把你衣服里的“骨架”和“皮肤”（材质和形状）保护好。
2. 然后只把外面的“外套”（天气和光线）换掉。
3. 最后，无论你让她穿雨衣、披雪衣还是戴墨镜，你看起来都还是你自己，只是环境变了，而且变得非常真实自然。

这篇论文不仅提出了这个聪明的方法，还专门制作了包含 3.8 万张合成图和 1.8 万张真实图的大数据集，专门用来训练 AI 学会这种“透视”和“换装”的本领，让未来的自动驾驶和图像编辑更加智能和可靠。

技术摘要

这是一份关于论文 《IntrinsicWeather: Controllable Weather Editing in Intrinsic Space》 的详细技术总结。

1. 研究背景与问题 (Problem)

• 核心挑战：现有的基于扩散模型的图像编辑方法（如 WeatherWeaver）主要在像素空间（Pixel Space）进行天气变换。这种方法存在显著局限性：
  • 缺乏细粒度控制：难以精确控制天气变化的程度和类型。
  • 物理一致性差：在改变天气时，往往无法保持场景底层的几何结构（Geometry）和材质属性（Material），导致物体变形、纹理失真或光照不自然。
  • 光照与材质纠缠：像素级编辑难以解耦天气效应（如雨雪、雾气）与场景固有的材质和几何信息。
• 现有方法局限：现有的内在分解（Intrinsic Decomposition）方法多针对室内场景或小物体，难以泛化到大规模、多天气条件的自动驾驶户外场景。

2. 方法论 (Methodology)

作者提出了 IntrinsicWeather，一个在内在空间（Intrinsic Space）进行可控天气编辑的扩散模型框架。该框架包含两个核心组件：

A. 逆渲染器 (Inverse Renderer)

• 功能：将输入图像分解为天气不变（Weather-invariant）和天气可变（Weather-variant）的内在图。
  • 天气不变图：反照率（Albedo）、粗糙度（Roughness）、金属度（Metallicity）、法线图（Normal）。这些代表场景的几何和材质。
  • 天气可变图：辐照度图（Irradiance），捕捉光照和天气效应（如阴影、雾气、雨雪粒子）。
• 关键技术：内在图感知注意力机制 (IMAA, Intrinsic Map-Aware Attention)
  • 问题：标准扩散模型（如 Stable Diffusion）在处理远距离小物体和复杂几何细节时表现不佳，且缺乏对特定内在图区域的关注。
  • 解决方案：
    1. 利用 DINOv2 提取图像块（Patch tokens）。
    2. 为每种内在图（如法线、金属度）定义可学习的嵌入向量。
    3. 通过**门控机制（Gating Mechanism）**生成注意力掩码（Mask），筛选出与当前目标内在图最相关的图像区域。
    4. 将这些掩码作为**注意力偏置（Attention Bias）**注入到 DiT（Diffusion Transformer）中，强制模型关注关键区域（例如：法线图关注几何边缘，金属度图关注车辆和栏杆）。
  • 效果：显著提升了户外复杂场景下的分解保真度。

B. 前向渲染器 (Forward Renderer)

• 功能：结合分解得到的内在图（几何、材质）和文本提示（描述目标天气），重新合成图像。
• 关键技术：CLIP 空间插值 (CLIP-space Interpolation)
  • 利用预训练扩散模型（Stable Diffusion 3.5）的先验知识。
  • 在 CLIP 文本嵌入空间中计算天气方向向量（例如：从“阴天”到“雨天”的方向）。
  • 通过插值系数 $\alpha$ 调整嵌入向量，实现细粒度的天气控制（如从轻微降雨到暴雨的平滑过渡）。
  • 采用特征蒸馏（Feature Distillation）策略，对齐原始 Stable Diffusion 的中间特征，以保留丰富的生成先验。

C. 数据集构建

由于缺乏大规模、多天气的自动驾驶内在图数据集，作者构建了两个新数据集：

1. WeatherSynthetic：基于 Unreal Engine 5 渲染的 3.8 万张合成图像，涵盖多种天气（晴、雨、雪、雾、沙尘等）和时间段，包含完美的内在图真值。
2. WeatherReal：基于真实世界数据集（Waymo, KITTI）构建的 1.8 万张图像，利用逆渲染器生成伪标签，并经过人工筛选和多模态模型清洗，用于微调模型以提升泛化能力。

3. 主要贡献 (Key Contributions)

1. 框架创新：提出了首个在内在空间进行可控天气编辑的框架，成功解耦了材质、几何与光照/天气，实现了物理上更合理的编辑。
2. 算法改进：设计了IMAA（内在图感知注意力机制），解决了扩散模型在户外大尺度场景中对特定几何和材质区域关注不足的问题。
3. 细粒度控制：利用 CLIP 空间插值技术，实现了从轻微到极端天气的平滑、可控过渡。
4. 数据贡献：发布了 WeatherSynthetic 和 WeatherReal 两个包含内在图标注的大规模自动驾驶天气数据集。

4. 实验结果 (Results)

• 定量评估：
  • 逆渲染：在 WeatherSynthetic 测试集上，PSNR 比现有最佳方法（如 RGB↔X, DiffusionRenderer）高出 10 dB 以上，SSIM 和 LPIPS 指标也显著领先。
  • 前向渲染：在 PickScore（用户偏好）、CLIP-S（图文一致性）和 DINO-S（结构相似性）指标上均优于像素级编辑方法（如 Flux-Kontext, WeatherWeaver）和天气恢复方法。
• 定性对比：
  • 能够完美去除雨雪粒子、地面积雪，同时保持物体形状、颜色和纹理不变。
  • 相比 WeatherWeaver，IntrinsicWeather 能生成更自然的过渡效果（如路面逐渐变湿），而非简单的滤镜叠加。
• 下游任务提升：
  • 在 ACDC 基准测试上，经过 IntrinsicWeather 处理后的图像，显著提升了自动驾驶感知模型的鲁棒性：
    • 目标检测（DETR）的 AP75 从 13.15% 提升至 24.60%（提升 87.1%）。
    • 语义分割（Segformer）的 mIOU 从 24.13% 提升至 30.05%。

5. 意义与影响 (Significance)

• 自动驾驶安全：通过主动修正恶劣天气下的视觉输入失真，显著提高了检测器和分割器在雨、雪、雾等极端天气下的性能，对提升自动驾驶系统的安全性至关重要。
• 物理可解释性：将图像编辑从“像素级操作”提升到“物理属性级操作”，为图像生成领域提供了新的范式，即通过解耦场景因素来实现更可控、更真实的编辑。
• 数据生态：填补了大规模自动驾驶场景下多天气内在图数据的空白，为后续相关研究提供了宝贵资源。

总结：IntrinsicWeather 通过结合逆渲染分解、内在图感知注意力机制以及 CLIP 空间插值，成功解决了现有天气编辑方法中几何失真和控制粗糙的问题，为自动驾驶感知和图像编辑领域带来了实质性的技术进步。