InstructMoLE: Instruction-Guided Mixture of Low-rank Experts for Multi-Conditional Image Generation
InstructMoLE 提出了一种指令引导的低秩专家混合框架，该框架以全局的、源自指令的信号取代令牌级路由，以解决多条件图像生成中的任务干扰与空间碎片化问题，从而相较于现有方法实现了更优越的组合控制能力与语义保真度。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你有一位超级聪明的艺术家（一个 AI），它可以画出你描述的任何东西。但有时，当你给这位艺术家一个复杂的指令，比如“画一个在草地上爬行的婴儿，旁边有一匹正在吃草的白马，还有一个橄榄球头盔”时，艺术家可能会感到困惑。
如果这位艺术家试图独立地（逐个像素）决定图像中每一个微小像素要画什么，它可能会正确画出婴儿的头部，却给身体配上马腿，或者让头盔漂浮在不正确的位置。结果就是一幅杂乱、破碎的画面，其中各个部分在逻辑上无法相互契合。
本文介绍了一种教导这位艺术家的新方法，称为InstructMoLE。以下是其工作原理，使用简单的类比来说明：
1. 问题：“逐个像素”的困惑
传统方法（如 LoRA）就像给图像中的每一个像素都下达不同的指令。
- 类比：想象一个合唱团，每位歌手都在阅读不同的乐谱。一位歌手以为自己在唱关于马的内容，下一位则以为在唱关于头盔的内容。结果不是歌曲，而是噪音。
- 问题：在图像生成中，这会导致“空间碎片化”。婴儿可能看起来像马，或者头盔可能出现在草丛内部。艺术家失去了对你请求的“全局把握”。
2. 解决方案：“专家委员会”
作者提出了一种称为**低秩专家混合（Mixture of Low-rank Experts, MoLE）**的系统。
- 类比：与其依赖一位通才艺术家，不如想象一个由 8 位专业化专家组成的团队。
- 专家 A 擅长画动物。
- 专家 B 擅长画衣物。
- 专家 C 擅长处理光影。
- 旧方式：旧系统让每一个像素自行选择专家。草地的像素可能选择了“专家 A"，而马的像素选择了“专家 B"，导致混乱的混合。
- InstructMoLE 方式：系统首先审视你的完整指令。它说：“好的，这个请求是关于包含动物和物体的场景。我需要整个团队就一个计划达成一致。”
3. 秘密武器：“指令引导路由”（Instruction-Guided Routing, IGR）
这是核心创新。系统不再让像素自行选择专家，而是读取你的完整句子，并为整个图像层选择单一的“专家委员会”。
- 类比：想象一位电影导演。在拍摄一个场景之前，导演召集全体演员和工作人员，说道：“今天我们要拍摄一个包含婴儿和马的场景。所有人，请专注于这种特定的风格和关系。”
- 如何起作用：导演（路由系统）确保图像的每一部分都遵循同一个计划。婴儿保持为婴儿，马保持为马，它们彼此保持正确的关系。这防止了“碎片化”的外观。
4. 保持团队多样性：“正交性损失”
如果你拥有一支专家团队，存在一种风险，即所有专家可能开始做完全相同的事情（例如，所有 8 位专家都只学会画马）。这被称为“专家坍塌”。
- 类比：想象一支运动队，守门员、前锋和后卫都决定只站在球门里。球队失败是因为没有人履行其特定的职责。
- 修正：作者添加了一条特殊规则（一种数学惩罚），强制专家彼此不同。这就像教练说：“你，你必须做守门员。你，你必须做前锋。你不能做和你队友一样的工作。”
- 结果：这确保了当系统选择一个“委员会”时，它能获得一群真正带来不同技能的专家，从而使最终图像更加丰富和准确。
核心结论
该论文声称，通过采用这种**“全局导演”方法（指令引导路由）并强制“专业团队”**保持多样性，AI 比以往任何时候都能更好地遵循复杂指令。
- 之前：AI 可能会画出一个长着马头的婴儿，或者把头盔戴在错误的角色身上，因为它思考得过于局部。
- 现在：AI 理解了你讲述的整个故事，并将该故事一致地应用到整幅图像中，从而生成符合你确切意图的连贯、高质量的图片。
作者在强大的 AI 模型（Flux.1）上测试了该方法，发现其在处理多个主体、改变风格以及遵循复杂空间指令方面，显著优于以往的方法。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。