🤖 AI

CSGen: A Multi-Domain Curvilinear Structure Generation Model via Hierarchical Multimodal Diffusion

本文介绍了 CSGen，这是一种分层多模态扩散模型，它利用大规模多领域数据集、渐进式控制策略以及稀疏感知损失机制，在多种多媒体应用中实现了具有精确曲线结构的高保真、可控图像生成。

原作者： Zhe Shan, Ziming Yang, Lei Zhou, Wenwen Zhang, Cong Lin, Xia Xie

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhe Shan, Ziming Yang, Lei Zhou, Wenwen Zhang, Cong Lin, Xia Xie

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人艺术家去描绘这个世界。你已经向它展示了数百万张猫、汽车和日落的照片，因此它能完美地画出一只毛茸茸的狗或一辆闪亮的汽车。但随后，你让它画一些截然不同的东西：比如人行道上一条细小、蜿蜒的裂缝，或是眼睛内部精细的血管网络。突然间，机器人变得困惑了。它试图画出整个路面或整只眼睛，从而淹没了你想要的那条微小的裂缝。这就是“曲线结构”（curvilinear structures）的问题——那些长而细、弯曲的线条，对于医疗扫描、道路地图以及检查桥梁安全性等领域至关重要。这些线条如此纤细且稀疏，以至于很容易在背景的噪声中消失。

为了解决这个问题，科学家们使用了“扩散模型”（diffusion models）。你可以把这些模型想象成一位雕塑家，他从一块充满噪声和静电感的黏土块开始，通过一点点剔除噪声来显现出清晰的图像。通常情况下，这种方法在处理大型、厚实的物体时效果很好。但当物体是一条脆弱、如发丝般细的线条时，雕塑家往往会将其抹平或将其折断，因为这条线相对于整幅画作来说实在太小了。核心问题在于：我们该如何教这个数字雕塑家变得极其温柔且精准，从而处理这些细小、脆弱的线条，而不丢失整体轮廓？

于是，CSGen 应运而生，这是一个专门为掌握这些棘手的弯曲线条而设计的全新模型。这项研究背后的研究人员意识到，传统的 AI 艺术家训练方式并不适用于细长结构。他们构建了一个全新的训练系统，其作用就像一位严格但乐于助人的艺术老师。首先，他们收集了一个包含超过 24,000 个此类蜿蜒线条样本的大型库，涵盖了五个不同的领域：你眼中的静脉、心脏中的动脉、混凝土中的裂缝、叶片中的叶脉以及地图上的道路。这为 AI 提供了学习各种“细线”模式的丰富素材。

但仅仅拥有这些图片是不够的。研究人员发明了两个聪明的技巧来帮助 AI 集中注意力。第一个技巧就像是一个“循序渐进”的教学计划。他们不再要求 AI 一次性画出整个复杂的场景，而是先教它线条的基本形状和连接（即骨架），之后才添加颜色和纹理等细节。这防止了 AI 因为感到困惑而将线条切断。第二个技巧是为训练过程设置了一个特殊的“聚光灯”。由于线条非常细，AI 通常会忽略它们。研究人员对模型进行了编程，使其额外关注绘画中最细、最脆弱的部分，本质上是在告诉它：“不要跳过这些微小的部分；它们是最重要的！”

结果表明，这种新方法行之有效。当测试 CSGen 时，它生成的图像中的蜿蜒线条比以往的方法更加准确且连贯。它不仅看起来更美观，而且当其他计算机程序尝试利用这些生成的图像来学习如何寻找裂缝或血管时，这些程序在执行任务时的表现也变得更出色了。论文指出，通过将庞大且多样化的数据集与这些智能训练步骤相结合，我们终于可以让 AI 处理这些对于保障道路安全和医疗诊断准确性至关重要的精细、弯曲结构。

技术摘要：CSGen —— 一种基于分层多模态扩散的多领域曲线结构生成模型

1. 问题陈述

曲线结构分析（如视网膜血管、道路网络、裂缝）是多媒体领域的一项基础任务，然而实现具有这些结构的可控生成高保真图像仍是一个尚未得到充分探索的挑战。与常见物体不同，曲线结构具有以下特征：

极高的空间稀疏性： 它们仅占据图像像素中的极小部分，造成了严重的背景与前景信号失衡。
拓扑刚性： 它们需要精确的几何连通性和连续性，而标准的扩散模型往往难以维持这些特性。
数据稀缺性： 由于人工标注成本高昂且自然场景中缺乏可识别的实例，为这些特定结构构建高质量、像素级标注的数据集非常困难。

现有的扩散模型（如 SD3.5）在处理这些任务时表现不佳，因为它们的预训练先验偏向于密集的、以物体为中心的场景。当应用于曲线结构时，它们会遭受语义漂移（无法将文本提示词与细粒度几何结构对齐）和拓扑破碎（导致细长且脆弱的分支断裂）的问题。

2. 方法论：CSGen

作者提出了 CSGen，这是一个基于 Stable Diffusion 3.5 (SD3.5) 主干网络的层次化多模态扩散模型。该框架集成了三项核心创新，以应对曲线生成的特定挑战：

A. 多领域、多模态数据集构建

为了克服数据稀缺问题，作者构建了一个包含 5 个领域（视网膜血管、冠状动脉、混凝土裂缝、叶脉和道路网络）共 24,678 个样本 的综合数据集，并配备了 7 种类型的标注。

结构控制图： 系统并非仅依赖掩码（Mask），而是生成了四种互补的控制图：宽度图（基于距离的厚度）、草图（骨架-边缘融合）、边缘图（Canny 检测）以及局部草图（通过随机擦除增强鲁棒性）。
层次化语义描述符： 文本提示词采用两层构建方法：
1. 基于规则的描述符： 离散化的几何属性（如曲折度、宽度），用以提供稳定的结构锚点。
2. 基于 VLM 的描述符： 由视觉语言模型（VLM）生成的详细环境描述，并受元数据约束以防止幻觉产生。

B. 分层渐进控制策略 (HPCS)

为了减轻语义漂向并确保拓扑完整性，HPCS 通过阶段性信号注入将几何拓扑与视觉上下文解耦：

几何锚定 ( $h_{geo}$ )： 初期，模型由通过 CLIP（源自基于规则的描述符）编码的稳定几何属性进行引导。这建立了核心拓扑结构。
上下文精炼 ( $h_{ctx}$ )： 随着训练推进，通过 T5（源自 VLM 描述符）编码的细粒度场景细节被逐渐注入。
机制： 一个课程表（Curriculum Schedule）控制注入权重 $\lambda(\tau)$ ，确保模型在精炼环境纹理之前先学习结构骨架。

C. 稀疏感知损失重加权机制 (SLRM)

标准损失函数（如 MSE）对所有空间坐标一视同仁，导致模型忽略稀疏且细长的结构。SLRM 通过以下方式解决此问题：

量化难度： 计算每个样本结构的等效直径 ( $d_i$ )。
动态重加权： 使用对数函数为直径较小（更细、更脆弱）的结构分配更高的优化权重。这迫使模型在流匹配（Flow-matching）优化过程中，优先保证拓扑关键且低对比度区域的完整性。

3. 核心贡献

CSGen 模型： 一种新型层次化多模态扩散模型，能够合成与多种控制条件（布局图和文本提示词）高度对齐的高保真图像，专门针对曲线结构设计。
综合数据集： 创建了一个拥有 2.4 万多个样本、具备多样化标注的多领域数据集，为统一生成模型在专业领域的训练提供了强大的先验知识。
HPCS 与 SLRM： 引入了将拓扑与上下文解耦的渐进控制策略，以及增强脆弱结构关注度的稀疏感知损失机制，显著提升了边界精度和拓扑一致性。

4. 实验结果

广泛的实验表明，CSGen 的表现优于包括 FLUX、Qwen 以及经过微调的 SD3.5 变体（如 LoRA、ControlNet）在内的最先进（SOTA）方法。

生成质量： CSGen 在图像级指标（FID: 98.5, IS: 4.19）和语义对齐度（VQA: 0.96）方面均取得了卓越性能。
结构准确性： 在基于解析器（使用 SegFormer 对生成图像进行分割）的评估中，CSGen 显著提升了拓扑感知指标。值得注意的是，clDice（一种拓扑一致性指标）从基准模型的 0.628 提升至 0.766（全模型）。
消融实验：
- SLRM 提供了最显著的提升，尤其是在保持细小分支方面。
- HPCS 有效地稳定了流匹配优化过程，实现了从粗糙锚点到丰富细节的平滑过渡。
下游应用价值： 当将 CSGen 生成的数据作为合成数据用于训练血管、裂缝和道路网络的分割模型（如 DeepLabV3+, SegFormer）时，CSGen 生成的数据一致性地提升了模型性能（例如，在血管任务上提升了 2.64 mIoU），而标准的 ControlNet 增强有时反而会导致性能下降。

5. 意义

本文将 CSGen 定位为一种可扩展的、以数据为中心的复杂曲线结构分析范式。它声称通过将生成过程从随机近似转向拓扑一致性重建，填补了多媒体分析领域的一个关键空白。通过解决空间稀疏性和拓扑连通性的特定挑战，CSGen 能够生成高质量、可控的数据，为数据增强、结构健康监测和医学图像分析等下游任务提供坚实的支撑。作者强调，其方法使得即使对于最稀疏和脆弱的结构，也能生成具有精确结构遵循能力的图像，而这种能力在目前的通用扩散模型中是缺失的。