💻 computer science

InsertFuse: A Unified Framework for Multi-Category Reference-Guided Image Insertion

InsertFuse 是一个用于多类别参考引导图像插入的统一框架，它通过将类别特定专家训练与通过插入策略内蒸馏（Insertion On-On-Policy Distillation）进行的整合进行解耦，同时通过 Token 对齐几何调节（Token-Aligned Geometry Conditioning）、区域平衡流匹配（Region-Balanced Flow Matching）和参考分类器自由引导（Reference CFG）来增强空间控制和参考保真度，从而实现了最先进的性能。

原作者： Guangzhao Li, Qingyan Wei, Huayu Zheng, Yige Zheng, Chaoyang Zhang, Jie Yang, Yunan Ding, Yan Tai, Siqi Luo, Xiaohong Liu

发布于 2026-08-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Guangzhao Li, Qingyan Wei, Huayu Zheng, Yige Zheng, Chaoyang Zhang, Jie Yang, Yunan Ding, Yan Tai, Siqi Luo, Xiaohong Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位大师级厨师，无论是精致的舒芙蕾还是浓郁的炖菜，你都能信手拈来。现在，想象有人要求你制作一道既是完美的舒芙蕾、又是完美的炖菜的单一菜肴，而且要使用同一个锅具和同一套烹饪指令。你可能会尝试，但结果很可能是一滩烂泥：炖菜所需的火力会毁掉舒芙蕾细腻的蓬松感，而且两者的风味也会产生冲突。这正是计算机科学家在教人工智能（AI）如何编辑照片时所面临的问题。

在AI的世界里，“扩散模型”（diffusion models）就像这些大师级厨师。它们是非常聪明的系统，可以通过将随机的噪点（就像电视机的雪花点）一步步转化为清晰的图像来创造或改变图像。最近，这些模型已经变得非常出色，我们可以要求它们“把一只猫放在这张椅子上”或者“把天空改为日落”。但问题在于：不同类型的编辑需要完全不同的技能。把一枚小小的戒指戴在手指上需要极高的精细度；而把一个完整的人放入场景中，则需要理解人体是如何弯曲以及衣服是如何呈现形态的。试图教一个单一的AI模型同时成为所有这些不同任务的专家，就像是要求那位厨师同时烹饪舒芙蕾和炖菜；AI会感到困惑，导致生成的结果看起来很奇怪或模糊不清。

这就是名为 InsertFuse 的新论文所解决的问题。来自上海交通大学及其他研究团队的研究人员意识到，旧有的训练这些AI厨师的方式本身就是问题所在。他们没有强迫一个模型同时学习一切，而是构建了一个巧妙的两步走系统。首先，他们训练了五位不同的“专家”厨师，每位专家只专注于一种特定的“食材”：一位负责配饰（如珠宝），一位负责动物，一位负责衣服，一位负责通用物体，以及一位负责人类。每一位专家都成为了其特定领域的专家，学会了如何精准处理该类别的独特特征，而不被其他类别干扰。

但如果只想用一个App完成所有工作，拥有五位不同的厨师就显得太麻烦了。因此，团队发明了一种特殊的训练技术，称为插入式在策略蒸馏（Insertion On-Policy Distillation, IOPD）。你可以把这想象成一位观察着五位专家工作的“学生”厨师。这位学生不仅仅是在背诵食谱，它还在亲自练习做菜，每当遇到困难时，它都会向正确的专家请教下一步该怎么做。如果学生试图把一顶帽子戴在头上，它就会询问“配饰专家”；如果它试图把一个人放入房间，它就会询问“人类专家”。通过在正确的时刻向正确的专家学习，这位学生变成了一位统一的大师级厨师，能够完美处理任何插入任务，而不会像同时学习所有事物那样感到困惑。

为了确保学生厨师不会乱猜放置位置，团队还加入了两个特殊工具。第一个是标记对齐几何约束（Token-Aligned Geometry Conditioning），它就像是给AI提供了一张精确的GPS地图，明确告知新物体应该放在哪里，确保它能完美契合空缺的形状，而不会渗入背景中。第二个是区域平衡流匹配（Region-Balanced Flow Matching），它扮演着公正裁判的角色。在常规训练中，AI可能会忽略一个小物体（比如手镯），因为巨大的背景（比如墙壁）占据了大部分屏幕。这个新工具会告诉AI：“嘿，虽然手镯很小，但它非常重要，所以要格外关注它”，从而确保微小的细节不会丢失。

最后，为了确保插入的物体看起来与参考照片完全一致（保留其独特的纹理和身份），他们使用了一种名为 Reference CFG 的技术。这就像是给学生厨师定下了一条严格的规则：“无论你如何拉伸这件衬衫，都必须保持原有的图案。”

结果令人印象深刻。当研究人员测试这个新的“学生”模型与其他顶尖AI编辑器时，它在几乎所有类别中都胜出了。它能更好地保留原始物体的外观，放置位置更准确，并让背景看起来更加自然。在一项由人类投票选出最喜爱图像的用户研究中，InsertFuse获得了超过50%的参与者投票，远超竞争对手。该论文表明，通过将学习特定技能的过程与组合这些技能的过程分离，我们可以构建出既是专家又是通才的AI，从而彻底解决图像编辑中的“烂泥炖菜”问题。

技术摘要：InsertFuse

问题陈述

参考引导的图像插入旨在将来自参考图像的目标主体置入目标场景的指定区域，同时保持主体的外观与身份，并使其在新的上下文中实现尺度与空间位置的自适应。尽管最近扩散模型和流匹配（flow matching）技术的进步提升了通用图像生成与编辑能力，但构建一个能够处理多样化插入类别（如配饰、服装、人类、动物、通用物体）的统一模型仍然是一个重大挑战。

不同的插入类别需要截然不同的生成策略和建模目标。例如，配饰插入要求精细的纹理保持，虚拟试穿需要复杂的非刚性变形，而人类插入则优先考虑身份一致性。直接在混合类别数据上训练单一模型会引入冲突的优化信号，从而削弱每个任务所需的专业化能力。虽然最近的方法（如混合专家 Transformer，MoE）尝试将输入路由到专门的分支，但它们仍依赖于统一训练过程中的联合优化，导致类别特定的冲突仅得到部分解决。此外，现有方法往往缺乏精确的空间控制，并且难以平衡小插入区域与大背景之间的监督，导致背景主导的优化问题或尺度相关的性能问题。

方法论：InsertFuse

InsertFuse 提出了一个统一的框架，将类别特定专家学习与跨类别能力整合进行解耦。该框架分为两个截然不同的阶段，并引入了三个关键技术组件以增强空间控制和参考保真度。

1. 两阶段训练框架

第一阶段：类别特定专家学习。 该框架从预训练的流匹配图像编辑模型（具体为 Qwen-Image-Edit-2511）初始化多个专家。每个专家都在特定的插入类别（配饰、动物、服装、通用物体、人类）上进行独立训练。这使得每个专家能够从其对应的分布中获取专门知识，而不受其他类别的干扰。
第二阶段：通过 IOPD 进行跨类别整合。 一个统一的“学生”模型从相同的预训练骨干网络初始化。所有类别特定的专家均被冻结。学生模型通过**插入在策略蒸馏（Insertion On-Policy Distillation, IOPD）**进行训练。在此过程中，学生模型生成自身的轨迹（rollouts）。对于学生访问的每个状态，匹配的冻结专家（根据类别标签选择）提供速度目标。这种蒸馏过程将专家的专业化插入行为和参考保真度转移到单个学生模型中，缓解了由直接联合训练引起的干扰。

2. 关键技术组件

为了使专家和学生具备精确的控制能力，InsertFuse 引入了三个新颖模块：

标记对齐几何条件化 (Token-Aligned Geometry Conditioning, TAGC)：
不同于简单地将二进制掩码与视觉输入拼接（这要求模型隐式学习掩码到标记的对应关系），TAGC 将插入掩码显式映射到视觉标记网格。它构建了一个包含掩码、符号距离变换和边界邻近图的紧凑几何表示 $G(M)$ 。轻量级几何编码器提取特征，并将这些特征以残差方式投影并注入到目标和源上下文的潜空间分支中。这建立了显式的空间对应关系，而无需添加额外的类图像掩码输入。
区域平衡流匹配 (Region-Balanced Flow Matching, RBFM)：
标准的流匹配目标均匀地平均预测误差，这可能被巨大的背景区域所主导，导致小型插入主体受到监督不足。RBFM 通过分别对插入区域内部和外部的预测误差进行归一化来解决这一问题。它为插入区域 ( $\ell_{ins}$ ) 和背景 ( $\ell_{bg}$ ) 定义了独立的损失项，每项都根据各自的有效面积进行归一化。这防止了监督强度随插入尺寸的变化而缩放，确保了主体与背景之间的平衡优化。
参考分类器无引导 (Reference Classifier-Free Guidance, Reference CFG)：
为了加强对参考主体外观和身份的保持，该框架引入了 Reference CFG。在专家训练期间，参考条件以概率 $p_{drop}$ 被随机丢弃。在推理时，模型计算带有参考与不带参考（同时保持场景和几何条件固定）情况下的预测差异。该差异隔离了参考诱导的速度方向，随后通过放大该方向来引导生成。这种增强的监督通过 IOPD 转移到学生模型，使统一模型能够在不需要额外 CFG 分支的情况下维持强大的参考一致性。

核心贡献

具有解耦学习的统一框架： 提出了 InsertFuse 框架，该框架将类别特定专家的获取与跨类别能力的整合相分离。它利用 IOPD 将专门的策略转移到单个学生模型中，有效地减轻了直接联合训练固有的干扰。
增强的空间与区域控制： 引入了 TAGC 以实现显式的掩码-标记对齐，以及 RBFM 来归一化监督误差，确保了在不同尺度物体上的稳定性能，并防止了背景主导问题。
强化参考保真度： 提出了 Reference CFG，它在固定场景条件下隔离并放大视觉参考引导，提高了外观与身份的保持能力。
达到最先进性能： 大量实验证明，InsertFuse 在多个指标上优于现有的参考引导插入方法和统一图像编辑模型。

实验结果

作者在公开的 AnyInsertion 基准测试集和涵盖配饰、动物、服装、通用物体及人类的自定义多类别测试集上对 InsertFuse 进行了评估。

定量性能： InsertFuse 在大多数指标上达到了最先进（SOTA）水平。在 AnyInsertion 基准测试中，其 DINO-I 得分为 0.7838，CLIP-I 得分为 0.9156，表明具有极强的参考保真度。在多类别测试集中，其 DINO-I 为 0.7148，CLIP-I 为 0.9020。与 AnyDoor、Insert Anything、A2-Edit 以及 FLUX.1 Kontext 和 Qwen-Image-Edit 等通用模型相比，它也展示了卓越的重建质量（具有高 PSNR 和 SSIM）以及较低的 LPIPS 和 FID 分数。
定性性能： 视觉对比显示，与容易出现结构伪影或身份漂移的竞争方法相比，InsertFuse 能更好地保留参考特有的细节（如纹理、Logo、图案），并能更自然地适应目标几何、姿态及遮挡关系。
用户研究： 在多维度用户研究中，在所有标准下，InsertFuse 均获得了最高的偏好份额（参考保真度 51.8%，插入质量 58.2%，整体质量 55.4%）。
消融实验：
- TAGC 与基线掩码拼接或原始注入相比，显著提升了几何对齐度和边界过渡效果。
- RBFM 通过防止背景主导，为小型插入区域提供了稳定的增益，优于标准的全局流匹配。
- Reference CFG 提升了面向参考的指标，并更好地保持了精细纹理。
- IOPD 被证明能有效整合专家能力，显著优于直接联合训练（由于某些类别对如“人类-服装”之间存在负梯度余弦相似性，直接训练会导致跨类别梯度干扰）。

重要意义

本文声称 InsertFuse 为多样化的参考引导图像插入任务提供了一个统一且实用的解决方案。通过将专门化知识的获取与跨类别能力的整合相解耦，该框架解决了为异构任务构建统一模型时的根本冲突。所提出的组件（TAGC、RBFM、Reference CFG）提供了显式的几何引导和平衡的区域优化，从而实现了在参考保持、空间自适应和生成质量方面的强劲表现。结果表明，将专业化与整合分离，比单纯通过联合优化或路由机制来解决类别冲突是更有效的策略。