💻 computer science

Abstraction in Style

本文提出了名为“风格抽象”（AiS）的生成框架，通过将结构抽象与视觉风格化解耦，利用中间抽象代理在无需显式几何监督的情况下，实现对非真实感及插画风格中深层结构重构的有效迁移。

原作者： Min Lu, Yuanfeng He, Anthony Chen, Jianhuang He, Pu Wang, Daniel Cohen-Or, Hui Huang

发布于 2026-04-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Min Lu, Yuanfeng He, Anthony Chen, Jianhuang He, Pu Wang, Daniel Cohen-Or, Hui Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为**“风格中的抽象”（Abstraction in Style，简称 AiS）的新技术。简单来说，它能让 AI 不仅学会把一张照片“画成”某种艺术风格（比如油画或素描），还能学会像艺术家那样“重新思考”物体的形状**。

为了让你更容易理解，我们可以用**“做一道菜”和“盖房子”**的比喻来拆解这个技术。

1. 以前的 AI 做菜：只换调料，不换食材

传统的“风格迁移”技术（比如把照片变成梵高风格）就像是一个只会换调料的厨师。

输入：你给他一张真实的牛排照片（目标图像）。
操作：他给牛排涂上厚厚的油画颜料，加上梵高的笔触。
结果：虽然看起来像油画，但牛排还是那个牛排，形状、比例、甚至多余的细节都原封不动。
问题：很多艺术风格（比如插画、漫画）不仅仅是换颜色，它们会简化物体。比如画一只猫，艺术家可能会把复杂的毛发简化成几根线条，把胖乎乎的身体画得修长。以前的 AI 做不到这一点，它太“老实”了，不敢改变物体的原始结构。

2. AiS 的做法：先“重塑骨架”，再“穿上外衣”

AiS 就像是一个懂艺术的大厨，它把做菜分成了两个明确的步骤：

第一步：重塑骨架（Structural Abstraction）—— “把食材切好，去掉多余部分”

在正式上色之前，AiS 会先对照片进行“大改造”。

比喻：想象你要做一道抽象派雕塑。你先把真实的牛（目标图像）放进机器里，机器把它变成了一根**“隐形骨架”**（Hidden Backbone）。这根骨架去掉了所有毛皮、纹理和复杂的细节，只保留了最核心的轮廓和连接关系（比如头在哪里，腿在哪里）。
关键动作：然后，AI 会观察参考的画作（比如参考图里，艺术家是如何把一只胖猫画成瘦长线条的）。AI 学习这种**“变形逻辑”，把刚才那根“隐形骨架”按照参考画的风格进行扭曲、简化或夸张**。
- 例子：如果参考画喜欢把圆滚滚的东西画成三角形，AI 就会把骨架里的圆形部分“捏”成三角形。
产出：这就得到了一个**“抽象代理图”（Abstraction Proxy）。它既不是原图，也不是最终画作，而是一个“已经按照艺术风格重新设计过形状”的半成品**。

第二步：穿上外衣（Visual Stylization）—— “给骨架穿上风格化的衣服”

现在，形状已经按照艺术家的意图改好了，接下来就是上色和加纹理。

比喻：拿着刚才那个“被重新设计过的骨架”，AI 再穿上参考画那种独特的“衣服”（笔触、颜色、质感）。
产出：最终生成的图片。因为形状已经在第一步改好了，所以这张图看起来既像参考画，又像目标物体，而且结构非常自然，不会像以前那样生硬。

3. 核心魔法：视觉类比（Visual Analogy）

这个技术最聪明的地方在于它怎么学习。它不需要人类告诉它“把圆变成方”的具体数学公式。

比喻：它玩的是**“看图猜谜”**的游戏（视觉类比）。
- 它看到：参考图 A 的骨架 $\rightarrow$ 参考图 A 的成品。
- 它学会：哦！原来在这个风格里，骨架是这样变形的。
- 它应用：现在给你目标图 B 的骨架，请你也用同样的逻辑把它变形，再变成成品。
这就好比教小孩画画：你给他看“老师画的猫”和“老师画的狗”，他学会了老师画猫和狗的比例逻辑，然后让他画一只“老虎”，他就能画出符合老师风格的、结构合理的老虎，而不是把真老虎的照片硬套上颜色。

4. 为什么这很厉害？

更自由：以前的 AI 被原图的结构“锁死”了。AiS 解开了这把锁，允许 AI 为了艺术效果去改变物体的形状（比如把复杂的建筑简化成几何图形）。
更可控：你可以像搭积木一样，把“改变形状的逻辑”（第一步）和“上色风格”（第二步）分开。
- 例子：你可以用“卡通猫的形状逻辑” + “水墨画的风格”，或者“极简线条的形状逻辑” + “油画的风格”。这种混搭能力是以前做不到的。
更真实：生成的图片看起来更像是人类艺术家精心创作的作品，而不是机器生硬的拼凑。

总结

AiS 就是一个“先想好怎么改形状，再决定怎么上色”的 AI 艺术家。

它不再满足于只是给照片“换层皮”，而是学会了像真正的艺术家一样，提炼事物的本质，大胆地改变结构，从而创造出真正具有艺术灵魂的图像。这就好比它不再只是给房子刷漆，而是先根据设计图重新盖了一座房子，再刷上漂亮的油漆。

《风格中的抽象》(Abstraction in Style, AiS) 技术总结

1. 研究背景与问题 (Problem)

现有的风格迁移（Style Transfer）方法大多致力于在保留目标图像原始几何结构的前提下，迁移参考艺术作品的视觉特征（如笔触、纹理、色彩）。然而，许多插画和非写实风格（Illustrative and Non-photorealistic styles）的核心不仅在于表面外观，更在于结构抽象（Structural Abstraction）。

核心痛点：传统方法往往“过度保留”输入图像的几何细节，无法捕捉参考风格中隐含的结构重构逻辑（如：故意打破对称、简化几何特征、夸张比例、线条的不规则化等）。
现有局限：现有的基于扩散模型或特征迁移的方法，通常将抽象视为外观迁移的副产品，缺乏对“结构重构”这一过程的显式建模，导致在处理高度抽象风格时，生成的图像缺乏风格应有的结构特征，显得生硬或失真。

2. 方法论 (Methodology)

本文提出了 Abstraction in Style (AiS) 框架，其核心思想是将结构抽象与视觉风格化解耦，分为两个串联阶段。整个框架基于**视觉类比迁移（Visual Analogy Transfer, VAT）**机制，在图像空间内学习变换，无需显式的几何监督。

2.1 整体流程

AiS 将生成过程分解为两个阶段：

结构抽象阶段 (Structural Abstraction)：将目标图像的结构根据参考风格的抽象逻辑进行重构，生成中间表示——抽象代理 (Abstraction Proxy)。
视觉风格化阶段 (Visual Stylization)：将抽象代理渲染为最终的风格化图像，使其在视觉上与参考风格一致。

2.2 关键组件

A. 隐藏骨架 (Hidden Backbone)

为了剥离原始图像的细节并提取拓扑结构，AiS 首先将目标图像转换为“隐藏骨架”：

向量化简化：去除纹理和噪声，将图像转换为扁平色块的矢量路径。
骨架提取与区域腐蚀：结合形态学骨架提取（Skeletization）和区域腐蚀（Erosion）。骨架保留连通性，腐蚀后的残差区域保留体积感（比例权重）。
作用：作为风格无关的结构表示，为后续的几何重构提供统一的基础。

B. 视觉类比迁移 (VAT)

VAT 是贯穿两个阶段的核心机制，基于 $A \to A' :: B \to B'$ 的类比形式：

原理：给定参考对（ $A \to A'$ ），模型学习从 $A$ 到 $A'$ 的变换规律，并将其应用到新的输入 $B$ 上，生成 $B'$ 。
实现：基于预训练的扩散模型（FLUX.1-Fill-dev），使用轻量级 LoRA 进行微调。输入为 $2 \times 2$ 的类比布局图（参考对 + 新输入 + 待生成的掩码区域）。
无需几何监督：完全在图像空间学习变换，无需人工标注的几何对应关系。

C. 两个具体阶段

A-VAT (Abstraction VAT)：
- 输入：参考集的“隐藏骨架” $\to$ “抽象代理”对。
- 任务：学习如何将目标图像的隐藏骨架（Backbone）重构为符合参考风格逻辑的抽象代理（Proxy）。
- 特点：代理图像通常渲染为灰度，迫使模型关注结构逻辑而非颜色。
S-VAT (Stylization VAT)：
- 输入：参考集的“抽象代理” $\to$ “最终风格化输出”对。
- 任务：学习如何将抽象代理渲染为具有特定笔触、纹理和色彩的最终图像。

3. 主要贡献 (Key Contributions)

显式解耦抽象与外观：首次提出将“结构抽象”作为一个独立、可学习的显式阶段，打破了传统风格迁移中“几何不变”的假设。
通用图像空间类比机制 (VAT)：提出了一种基于扩散模型和 LoRA 的通用视觉类比框架，仅需少量样本（每风格平均 10 张）即可学习复杂的结构变换和风格渲染，无需显式几何监督。
可控性与可组合性：由于 A-VAT 和 S-VAT 是解耦的，用户可以自由组合不同的抽象逻辑（A-VAT）和风格渲染（S-VAT），创造出混合风格或新的设计变体。
中间代理 (Abstraction Proxy)：引入了“抽象代理”作为桥梁，使得模型能够先进行结构重构，再进行细节渲染，显著提升了非写实风格生成的结构合理性。

4. 实验结果 (Results)

定性结果：
- 在多种具有强结构抽象特征的插画风格（如儿童画、极简线条、夸张卡通）中，AiS 生成的图像在保持目标主体语义的同时，成功重构了结构（如打破对称、简化形状）。
- 对比实验显示，传统方法（如 StyleID, Nano Banana Pro 等）倾向于保留原始几何结构，导致风格化效果不自然；而 AiS 生成的图像与参考风格在结构和视觉上高度一致。
定量分析：
- 在 20 个测试样本上，使用 CSD (Contrastive Style Descriptors) 衡量风格相似度，AiS 得分最高 (0.72)。
- 使用 LPIPS 衡量感知相似度，AiS 得分最低 (0.47)，表明其生成的图像在感知上更接近参考风格。
用户研究：
- 在盲测中，50% 的用户认为 AiS 的结果最符合参考风格且保留了目标本质，显著优于次优方法（Nano Banana, 35%）。
消融实验：
- 移除“抽象阶段”或仅使用“向量简化”而不使用 A-VAT，会导致输出严格遵循原始几何，无法体现抽象逻辑。
- 移除隐藏骨架中的“腐蚀区域”线索，会导致结构完整性受损（如物体体积感丢失）。
- 两阶段设计（A-VAT + S-VAT）优于单阶段直接映射（AS-VAT），证明了分步处理的必要性。

5. 意义与影响 (Significance)

理论突破：重新定义了风格迁移的范式，指出在艺术生成中，结构重构（抽象）与外观渲染是两种不同但交织的维度，必须分别建模。
应用价值：为插画设计、非写实渲染、艺术风格化提供了更强大的工具。特别是对于需要高度概括和变形能力的艺术风格，AiS 提供了传统方法无法实现的生成质量。
未来方向：虽然当前实现主要处理几何简化，但该框架为未来处理更复杂的语义扭曲、夸张变形和比例失调提供了基础。它证明了在图像空间中通过类比学习来解耦复杂视觉任务的有效性。

总结：《Abstraction in Style》通过引入“结构抽象”作为显式阶段，并利用视觉类比机制在图像空间中学习变换，成功解决了传统风格迁移无法处理强抽象风格结构的难题，实现了从“纹理迁移”到“结构重构”的跨越。