💻 computer science

InkDiffuser: High-Fidelity One-shot Chinese Calligraphy via Differentiable Morphological Optimization

InkDiffuser 是一个基于扩散的框架，它通过集成高频增强机制和一种新颖的可微墨迹结构（DIS）损失函数，显式地正则化墨迹形态并提升笔画真实感，从而实现高保真度的单样本中国书法合成。

原作者： Kunchong Shi, Jing Zhang

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Kunchong Shi, Jing Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教机器人书写中国书法。目标是让机器人仅观察一个由人类大师书写的汉字范例，随后便能以相同的风格书写任何它从未见过的其他汉字。

当前机器人的问题在于，它们的字迹显得过于“数字化”。线条过于完美，边缘过于锐利，缺乏真实墨汁在纸上晕染时那种杂乱而美妙的神韵。那看起来像是电脑字体，而非毛笔绘画。

这篇论文的作者，InkDiffuser，构建了一个新系统来解决这一问题。以下是他们的方法，运用了简单的类比：

1. “高频”眼镜（STAF 模块）

将标准 AI 模型想象成戴着雾面眼镜的人。它们能看到大局（汉字的整体轮廓），却会忽略微小的细节，比如笔画的锐利转角或墨迹停止的确切边缘。

作者在他们的系统中添加了一副特殊的“高频眼镜”。

工作原理：他们将输入图像通过一个滤波器，该滤波器仅突出锐利的边缘和精细的线条（如同绘画的轮廓）。
神奇之处：他们将这种“仅边缘”的视图与正常视图一同输入给 AI。这迫使机器人关注它通常忽略的微小细节。这就像给艺术家提供了一副放大镜，以免他们不小心将字母的转角模糊化。

2. “墨理”导师（DIS Loss）

这是该论文最独特的发明。真正的书法不仅仅是白纸上的黑线；它是墨与纸之间复杂的相互作用。墨汁拥有一个深色、坚实的核心（毛笔用力按压处）和一个模糊、扩散的光晕（墨汁渗入纸张处）。

当前的 AI 模型将整个字视为一块实心的色块。它们不理解中心与边缘应当有所不同。

作者创建了一位名为可微墨迹结构（DIS）损失的“导师”。

类比：想象你要教学生画一朵云。如果你只说“画一个白色的形状”，他们可能会画出一个完美的圆圈。但如果你说“画一个深色中心，逐渐淡化为柔和、模糊的边缘”，他们就能画对。
工作原理：DIS 损失就像一位严格的艺术老师。它将生成的图像分解为两部分：
1. 核心：检查笔画的中心是否坚实且准确。
2. 光晕：检查边缘是否像真实墨迹那样模糊且自然扩散。
技巧：通常，关于“模糊性”的数学规则对计算机来说太难学习，因为它们涉及“硬性”截止（就像电灯开关要么开要么关）。作者发明了一种这些数学规则的“软”版本（使用平滑曲线代替开关），以便计算机能够通过试错来学习锐利边缘与柔和墨迹晕染之间的区别。

3. 结果

当他们把这两者结合起来——用“高频眼镜”来确保形状正确，用“墨理导师”来确保纹理正确——机器人生成的书法看起来极其逼真。

之前：机器人的字迹显得扁平、模糊，或像标准的电脑字体。
之后：机器人的字迹拥有了书法的“灵魂”。你可以看到墨迹的扩散、笔触的锐利转角，以及那些让它看起来像是由人书写的自然瑕疵。

核心结论

该论文声称，通过教导 AI 观察细微细节并理解墨迹扩散的物理原理，它们能够仅凭单个范例生成优美、高质量的中文书法。他们将其与其他顶级方法进行了测试，其系统胜出，生成的汉字在结构准确性和视觉逼真度上均优于目前任何现有方案。

技术摘要：InkDiffuser

问题陈述

当前生成中国书法的方法，特别是在少样本和单样本设置中，在视觉保真度和艺术真实性方面存在显著局限。尽管现有方法（包括基于 GAN 和基于扩散的方法）能够合成结构上合理的字形，但它们往往无法复现真实毛笔书写所特有的复杂墨迹形态。具体而言，这些方法倾向于生成看起来过于数字化、扁平或模糊的输出，缺乏真实书法中精细的墨韵扩散、笔画边缘变化以及墨与纸的自然相互作用。此外，扩散模型中的标准内容编码器往往优先处理低频特征，导致锐利拐角和笔画边缘等高频结构细节丢失，这对于复杂汉字尤为有害。

方法论

作者提出了InkDiffuser，这是一个专为单样本中国书法合成设计的基于扩散的图像到图像框架。该框架建立在去噪扩散概率模型（DDPM）之上，并引入了两个核心机制以解决上述局限：

1. 时空自适应融合（STAF）模块

为了对抗高频结构细节的丢失，InkDiffuser 为内容流采用双编码器架构：

双重编码：主编码器（ $E_c$ ）处理标准内容图像，而专用高频编码器（ $E_{hf}$ ）处理内容图像的高通滤波（Sobel 边缘）版本。
残差融合：STAF 模块通过残差框架融合这些特征。它学习向内容主干添加分层调制的细节增量。
自适应控制：融合由三维控制机制管理：
- 空间：像素级注意力图确保高频细节仅注入显著区域（如笔画边缘），同时抑制平滑区域的噪声。
- 层间：分配权重以利于浅层高分辨率层进行细粒度细节注入，同时保持深层层的语义完整性。
- 时间：融合强度由扩散时间步调制，在早期高噪声阶段提供强结构引导，并随着图像清晰化而逐渐减弱，以防止伪影。

2. 可微墨迹结构（DIS）损失

为了显式正则化墨迹形态并实现毛笔特征的端到端优化，作者提出了 DIS 损失。该损失使用软可微形态学操作将墨迹生成问题分解为三个目标：

可微形态学：传统形态学操作（腐蚀/膨胀）依赖于不可微的最小/最大函数。InkDiffuser 使用由温度参数 $\tau$ 缩放的 Sigmoid 函数来近似这些操作，允许梯度流经形态学分析。
三组件损失：
1. 核心结构一致性（ $L_c$ ）：使用软腐蚀隔离笔画核心，确保即使在扩散效应下骨架结构仍保持准确。
2. 扩散边界一致性（ $L_b$ ）：利用软膨胀与软腐蚀之间的差异创建边界掩码，将监督集中在墨迹扩散区域以控制扩散程度。
3. 扩散平滑度（ $L_{lap}$ ）：采用拉普拉斯算子最小化生成图像与目标图像之间边缘响应的差异，鼓励真实墨迹典型的平滑、圆润过渡。
圆形结构元素：为了保持书法曲线的自然平滑度，使用圆形核而非传统的方形核。

总训练目标结合了标准扩散 MSE 损失、感知损失（基于 VGG）以及加权 DIS 损失。

主要贡献

InkDiffuser 框架：一种新颖的单样本生成框架，有效平衡了精细结构完整性的保留与真实墨迹扩散动态的渲染。
时空自适应融合（STAF）：一个从内容图像中提取并融合高频分量的模块，以增强笔画表示，显著改善了复杂汉字的合成。
可微墨迹结构（DIS）损失：一种定制的损失函数，结合软形态学算子，为墨迹分解（核心与边界）提供显式监督，使模型能够以端到端方式学习真实的墨迹扩散和边界控制。

实验结果

作者在包含 293 种中文字体的数据集上评估了 InkDiffuser，该数据集分为已见和未见集合，使用了两个评估基准：UFUC（未见字体，未见字符）和UFSC（未见字体，已见字符）。

定量性能：InkDiffuser 在两个基准的所有五个指标（LPIPS、SSIM、L1、RMSE、PSNR）上均取得了最先进的性能。值得注意的是，在具有挑战性的 UFUC 设置下，与最强基线（FontDiffuser）相比，其 SSIM 提高了 0.0242，L1 误差降低了 0.0072。
定性性能：视觉比较表明，与基于 GAN 的方法（如 CF-Font、IF-Font）和其他基于扩散的方法（如 FontDiffuser、MXFont++）相比，InkDiffuser 生成的字符具有更优越的结构一致性和更清晰的笔画渲染。生成的输出表现出更真实的墨迹扩散，且缺失笔画或模糊等伪影更少。
消融研究：
- STAF 模块被证明通过恢复缺失的拓扑细节，显著提高了结构指标（SSIM、L1）。
- DIS 损失对于提升感知质量（LPIPS）和视觉真实性至关重要，特别是在合成真实墨迹渗化方面。
- 两个模块的组合产生了最佳结果，其中 STAF 提供结构锐度，而 DIS 则柔化这些边缘以匹配自然墨流。
超参数敏感性：实验表明，DIS 损失权重（ $\lambda_{dis}$ ）为 0.02 时，在结构保真度和墨迹真实性之间提供了最佳权衡。更高的权重会导致模型优先考虑风格而非内容，从而导致结构退化。

意义与主张

本文声称，InkDiffuser 通过直接解决数字生成与毛笔书写物理现实之间的差距，代表了中文书法合成领域的重大进步。通过显式建模高频结构线索和可微墨迹形态，该方法克服了以往作品“扁平”或“数字化”的外观。作者断言，他们的方法在结构准确性和视觉墨迹真实性方面均达到了最先进的水平，特别是在笔画交互密集的复杂字符中。这项工作确立了将显式形态学先验纳入扩散模型是生成需要精细控制纹理和边界动态的高保真艺术风格的一种可行且有效的策略。