💻 computer science

HAM: A Training-Free Style Transfer Approach via Heterogeneous Attention Modulation for Diffusion Models

该论文提出了一种名为 HAM 的免训练风格迁移方法，通过异质注意力调制（包括全局注意力调节和局部注意力移植）及风格噪声初始化，在扩散模型中有效平衡了风格迁移与内容身份保持之间的矛盾，实现了无需额外训练即可达到最先进的性能。

原作者： Yeqi He, Liang Li, Zhiwen Yang, Xichun Sheng, Zhidong Zhao, Chenggang Yan

发布于 2026-03-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Yeqi He, Liang Li, Zhiwen Yang, Xichun Sheng, Zhidong Zhao, Chenggang Yan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 HAM 的新方法，它能让 AI 绘画模型（扩散模型）在不重新训练的情况下，轻松地把一张照片变成某种特定的艺术风格（比如把一张普通照片变成梵高的《星月夜》风格），同时还能完美保留原图里的人物或物体长什么样。

为了让你更容易理解，我们可以把整个过程想象成**“给一位大厨（AI 模型）做一道新菜”**。

1. 以前的难题：要么“走样”，要么“没味”

在 HAM 出现之前，让 AI 换风格就像让大厨做一道“宫保鸡丁”风格的“红烧肉”。

以前的方法 A（微调训练）： 就像让大厨专门去进修一个月，只学做红烧肉。效果虽好，但太慢、太贵，而且换个菜系（风格）还得重新进修。
以前的方法 B（直接注入风格）： 就像直接往红烧肉里倒宫保鸡丁的调料。结果往往是：肉的味道变了（风格有了），但肉本身都煮烂了，或者形状全变了（原图的内容/身份丢失了）。这就叫**“风格与内容的失衡”**。

2. HAM 的解决方案：三位一体的“魔法烹饪术”

HAM 不需要重新训练大厨，它通过三个巧妙的步骤，在烹饪过程中实时“调教”AI，让它既保留原图的“灵魂”（内容），又穿上新的“衣服”（风格）。

第一步：准备食材（风格注入的噪声初始化 - SINI）

比喻： 想象你要做一道菜，不能只用普通的白开水（随机噪声）开始，也不能只用纯鸡汤（风格噪声）。
HAM 的做法： 它把“原图的灵魂”和“风格的调料”混合在一起，作为烹饪的起点。
关键点： 它非常聪明地保留了一部分“原图特有的残留物”（Content Residual Noise）。就像在汤底里保留了一勺原汤，确保无论怎么加料，这道菜的“底味”（原图是谁）都不会变。

第二步：全局把控（全局注意力调节 - GAR）

比喻： 这是**“宏观的调味师”**。
作用： 在 AI 绘画的每一个笔触中，GAR 负责**“抓大放小”**。它看着整张画，确保画面的大结构、大轮廓（比如人的脸、房子的形状）保持原样，同时把整体的色调、光影氛围（风格）渗透进去。
就像： 给一幅素描画上统一的滤镜，让整张画看起来像梵高画的，但素描的线条和人物位置完全没变。

第三步：局部精修（局部注意力移植 - LAT）

比喻： 这是**“微观的化妆师”**。
作用： 有时候，光靠宏观调色不够，细节（比如笔触的纹理、特定的色彩搭配）需要更精准的控制。HAM 发现，直接替换“关键信息”（Key/Value）会破坏原图，所以它换了一个思路：只替换“风格信息”，保留“内容提问”。
怎么做： 它把“风格老师”的笔触细节（Key/Value）移植过来，但坚持让“内容老师”来决定画什么（Query）。
就像： 让一位画油画的老师（风格）来指导一位画素描的学生（内容），老师负责教怎么运笔、怎么上色，但学生决定画的是苹果还是香蕉。这样既有了油画的质感，又没画错东西。

3. 为什么 HAM 这么厉害？

不用重新训练（Training-Free）： 就像不需要给大厨重新上课，只需要给他一套“魔法调料包”和“操作手册”，他就能立刻做出完美的风格转换。
两头兼顾（平衡大师）： 以前的方法往往顾此失彼（要么风格太浓把脸画歪了，要么脸太像原图但风格没出来）。HAM 通过上述三个步骤的**“异质注意力调制”**，完美地找到了平衡点。
通吃各种模型： 无论是老款的 SD2.1 还是新款的 SD3.5，这套方法都能用。

总结

你可以把 HAM 想象成一个超级智能的“风格滤镜”。
以前给照片换风格，就像给一个人穿戏服，穿得太紧会把人勒变形（内容丢失），穿得太松又像没穿（风格不明显）。
而 HAM 就像是一个高明的裁缝，它能在不改变你身材（内容）的前提下，为你量体裁衣，穿上最华丽、最复杂的戏服（风格），让你看起来既像你自己，又像一位艺术大师。

一句话概括： HAM 让 AI 换风格变得像“给照片加滤镜”一样简单，但效果却像“请大师重画”一样逼真，而且完全不用重新训练 AI。

1. 研究背景与问题 (Problem)

背景：
扩散模型（Diffusion Models）在图像生成领域表现卓越，风格迁移（Style Transfer）是其重要应用之一。现有的基于扩散模型的风格迁移方法主要分为两类：

微调类（Tuning-based）： 如 ControlNet、LoRA 等，通过更新参数来学习风格。这类方法计算成本高，且对风格参考的鲁棒性较差，过度微调可能导致内容丢失。
免训练类（Training-free）： 如 StyleID、DiffArtist 等，通过在推理过程中注入特征（通常仅操作自注意力机制）来实现零样本风格迁移。

核心痛点：
现有的免训练方法往往陷入**“风格 - 内容”的权衡困境（Style-Content Trade-off）**：

如果过度强调风格注入，会导致内容图像的身份信息（Identity）丢失，结构扭曲。
如果过度保留内容，则无法有效捕捉复杂的风格参考（如梵高的笔触、特定的纹理）。
现有方法多仅依赖自注意力（Self-Attention）操作，难以在保持内容细节的同时精准控制风格，导致生成结果要么风格不足，要么内容失真。

2. 方法论 (Methodology)

作者提出了一种名为 HAM (Heterogeneous Attention Modulation) 的免训练框架。该方法不依赖梯度优化，而是通过三个核心模块协同工作，在扩散过程中动态调节注意力机制和噪声初始化，以实现高质量的风格迁移。

2.1 整体架构

HAM 利用从内容图像和风格参考中提取的“教师模型”（Teacher Models）知识，通过异构注意力调制传递给“学生生成器”（Student Generator）。该框架兼容 SD2.1（DDIM 架构）和 SD3.5（DiT 架构）。

2.2 核心模块

A. 风格注入噪声初始化 (Style-Infused Noise Initialization, SINI)

目的： 解决初始噪声中风格与内容的冲突。直接融合内容噪声和风格噪声往往导致风格不足或内容退化。
机制： 采用自适应实例归一化（AdaIN）融合风格和内容噪声，并引入内容残差噪声（Content Residual Noise）。
公式逻辑： 初始噪声 $z_T^m$ 由两部分组成：一部分是风格化的初始噪声（通过 AdaIN 融合），另一部分是经过加权的内容残差噪声。通过超参数 $\gamma$ 平衡两者，确保生成轨迹的起点既包含风格特征，又保留足够的结构信息。

B. 全局注意力调节 (Global Attention Regulation, GAR)

作用位置： 自注意力层（Self-Attention）。
目的： 宏观控制风格注入，同时保持内容的空间结构和语义完整性。
机制：
1. 分别从内容教师模型和风格教师模型中提取自注意力投影（Query, Key, Value）。
2. 利用 AdaIN 将内容投影的统计分布（均值/方差）对齐到风格投影，生成优化的复合投影。
3. 通过超参数 $\alpha$ 将复合投影与生成器原本的自注意力投影进行加权融合。
效果： 确保在去噪过程中，自注意力层能同时保留内容身份并引入风格属性。

C. 局部注意力移植 (Local Attention Transplantation, LAT)

作用位置： 交叉注意力层（Cross-Attention）。
目的： 解决自注意力层直接替换 Key/Value 导致的内容失真问题，实现精细的风格/内容解耦。
机制：
1. Key/Value 移植： 直接将风格教师模型的 Key 和 Value 投影移植到生成器的交叉注意力层，替换原有的 Key/Value，以提供强风格引导。
2. Query 保护： 为了防止内容身份退化，不直接替换 Query，而是将内容教师模型的 Query 与生成器原本的 Query 进行加权融合（超参数 $\beta$ ）。
创新点： 这种“异构”调制（Query 融合 + Key/Value 替换）有效解耦了风格引导和内容保留，避免了传统方法中因单一操作导致的结构破坏。

3. 主要贡献 (Key Contributions)

提出免训练框架 HAM： 无需对风格图像进行梯度优化，即可实现高质量、高保真的风格迁移图像生成。
异构注意力调制机制：
- GAR（全局）： 在自注意力层通过统计对齐和加权融合，宏观引入风格特征并保留内容结构。
- LAT（局部）： 在交叉注意力层通过"Query 融合 + Key/Value 替换”策略，实现风格与内容的精准解耦控制。
广泛的架构兼容性： 方法同时适用于基于 DDIM 的 SD2.1 和基于 DiT 的 SD3.5 架构。
SOTA 性能： 在多个定量指标（FID, LPIPS, CLIP-T, DINO 等）上均达到或接近最优水平，显著优于现有的 StyleID、DiffArtist 等方法。

4. 实验结果 (Results)

实验设置：

数据集： MS-COCO（内容）和 WikiArt（风格）。
对比方法： 包括 DDIM, ControlNet, StyTR2, StyleID, DiffArtist 等 SOTA 方法。
评估指标：
- 风格强度：FID, CLIP-T。
- 内容保持：LPIPS, DINO, CLIP-I。
- 综合指标：ArtFID, DC (DINO 与 CLIP-T 的乘积), CC (CLIP-I 与 CLIP-T 的乘积)。

主要发现：

定量表现： HAM 在 CLIP-T（风格语义对齐）上达到最优，在 FID 和 LPIPS（内容保真度）上显著优于基线。综合指标 DC 和 CC 均排名第一，证明了其在风格与内容平衡上的卓越能力。
定性表现：
- 相比 StyleID 和 DiffArtist，HAM 在复杂风格（如梵高《星月夜》、抽象画）迁移中，能更好地保留内容图像的细节（如人脸特征、文字清晰度、物体轮廓）。
- 现有方法常出现风格泄露（Style Leakage）或内容扭曲，而 HAM 生成的图像在保持结构完整性的同时，风格特征鲜明。
消融实验：
- 移除 GAR 会导致风格强度下降。
- 移除 LAT 会导致内容保持能力大幅下降（DINO/CLIP-I 降低）。
- 移除 SINI 会导致风格色彩多样性不足。
- 超参数分析表明， $\alpha=0.75$ （GAR 权重）、 $\beta=0.25$ （LAT 内容保护权重）、 $\gamma=0.5$ （SINI 残差权重）为最佳组合。

5. 意义与局限性 (Significance & Limitations)

意义：

解决核心矛盾： HAM 成功打破了风格迁移中“风格强度”与“内容保真度”的零和博弈，提供了一种无需训练即可兼顾两者的有效方案。
技术通用性： 提出的异构注意力调制思想（特别是 LAT 模块）为理解扩散模型中注意力机制的作用提供了新视角，可推广至其他生成任务。
应用价值： 由于免训练且推理速度快（SD2.1 生成仅需 16 秒），该方法在实际应用（如艺术创作辅助、图像编辑）中具有极高的部署价值。

局限性：

对于高度抽象或超现实主义的艺术风格，目前的平衡能力仍有提升空间，未来工作将致力于解决这一挑战。
虽然兼容 SD3.5，但主要实验和详细分析集中在 SD2.1 上。

总结：
HAM 通过创新的噪声初始化策略和分层的异构注意力调制机制，在免训练的前提下实现了扩散模型风格迁移的 SOTA 性能，为高质量图像生成和编辑提供了强有力的工具。