FreeFuse: Multi-Subject LoRA Fusion via Adaptive Token-Level Routing at Test Time
FreeFuse 是一个无需训练的框架，通过在推理过程中实现自适应标记级路由（Adaptive Token-Level Routing），实现了高质量的多主体文本到图像生成，该框架利用一种新颖的 FreeFuseAttn 机制，能够在不需要外部分割器或模型重训练的情况下，动态且准确地将特定主体的 LoRA 残差分配给其对应的空间区域。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在过去的几年里，计算机已经学会了根据文字来绘画。你输入一段描述，比如“一只坐在地毯上的猫”，机器就会生成一张从未存在过的全新图像。这项技术依赖于庞大的数字模型，这些模型已经研究了数百万张图像，以理解光影、纹理和物体是如何组合在一起的。为了让这些机器画出你想要的特定事物——比如你自己的脸或一个独特的玩具——你可以通过一种被称为“低秩自适应”（Low-Rank Adaptation）的技术来教它们一小课。你可以把这想象成一张小巧且专门的笔记卡，它告诉计算机：“当你看到‘我的狗’这个词时，请记住这只特定的狗。”这些笔记卡既高效又易于创建，允许用户在无需重建整个系统的情况下定制机器的输出内容。
然而，当你尝试同时使用多张这样的笔记卡时，问题就出现了。如果你要求计算机画一个包含三个不同人的场景，而每个人都有自己的专属笔记卡，指令往往会发生冲突。机器会感到困惑，将一个人的特征混入另一个人身上，或者创造出一个模糊的混乱状态，导致不同的身份相互融合。这就像是计算机无法决定在画面的哪个部分该听从哪张笔记卡的指令。这种局限性使得利用这些强大的工具来创建包含多个特定角色的复杂场景变得十分困难。
浙江大学的研究团队开发了一种名为 FreeFuse 的新方法来解决这个问题，而无需重新训练计算机或添加额外的沉重设备。他们的方法基于一个简单但强大的观察：如果你在正确的时刻提问，计算机本身就已经知道该把东西放在哪里。与其强迫不同的笔记卡在整幅图像上争夺控制权，不如让这个新系统充当一名交通指挥员。它会在图像绘制的过程中进行观察，并做出决定：“这部分图像属于第一个人，那部分属于第二个人。”然后，它会将每个人的特定指令悄悄地引导至它们所属的区域，从而保持特征的独立与清晰。
研究人员发现，这种分离在绘画的早期阶段效果最好，即计算机还在确定场景基本布局的时候。他们创建了一个工具，可以监视计算机在这一特定时刻的内部思考过程。通过分析计算机如何将单词与图像部分联系起来，该工具可以准确识别出每个角色应该出现在哪里，即使这些角色看起来非常相似（例如两个并排站立的男人）。这个工具不需要预先学习如何识别面部或物体；它只是利用了计算机自身理解单词与形状之间关系的自然能力。
一旦系统知道了每个角色所属的位置，它就会执行一条严格的规则：第一个角色的指令只被允许影响第一个角色区域内的像素，而第二个角色的指令则被限制在他们自己的空间内。这防止了特征的混合。研究人员通过要求计算机同时绘制多达六个不同自定义角色的场景来测试这种方法。在以往的尝试中，加入这么多自定义指令会导致图像坍塌成扭曲的混乱状态。而使用这种新方法，计算机成功生成了清晰、连贯的图像，每个角色看起来都完全符合他们原本应有的特定人物或物体身份，没有任何不必要的特征混淆。
研究还表明，这种方法既快速又实用。它不需要用户手动绘制掩码或轮廓，也不需要用新数据重新训练计算机。它能与人们现有的标准工具自动配合使用。与其他试图解决同一问题的现有方法相比，这种新方法在保持角色身份完整性方面表现得显著更好。它还能让整体画面看起来自然且具有美感，避免了在组合多个指令时经常出现的奇怪伪影或空洞。研究人员证明，他们的系统适用于各种类型的角色，从写实的人物到动画人物，甚至是特定的物体，如鞋子或车辆。
通过让计算机利用其自身的内部知识来整理指令，这个新框架使得创建具有高度细节和准确性的复杂多角色场景成为可能，而这在以前是难以实现的。它消除了对复杂手动设置或昂贵重新训练的需求，为任何人将多个自定义创意组合进单张高质量图像提供了一种简便的方法。这项工作表明，解决这些冲突的关键不在于改变计算机的大脑，而在于在创作过程中更仔细地引导它的注意力。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。