iMontage: Unified, Versatile, Highly Dynamic Many-to-many Image Generation

想象一下，你正在试图教一个机器人成为一名大师级艺术家。长期以来，我们拥有两种截然不同的机器人。第一种机器人擅长根据描述画出一张完美的单幅画作，但如果你要求它画出一个包含五个不同场景的完整故事，它就会感到困惑，而且角色在每一帧中看起来都会像不同的人。第二种是视频机器人，它是在电影上训练出来的。它知道如何让物体平滑地移动，以及一个人的脸在走过街道时是如何保持不变的。但这种机器人有点僵化；它习惯于平滑、连续的运动，在面对突然的、剧烈的变化或是在没有平滑过渡的情况下跳转到完全不同的场景时会显得力不从心。

这个计算机科学领域的重大问题是：我们能否构建一个拥有两者优点的单一艺术家？我们能否创造一个既能理解视频机器人那样的平滑时间流，又能拥有像绘本一样在不同图像和场景之间进行狂野、创意跳跃能力的模型？这就是新论文 iMontage 试图解决的挑战。它在探讨：如果我们能将一个视频生成器的强大“运动大脑”进行重新训练，使其能够处理一种混乱的、多对多的混合内容，我们是否能创造出一个既能生成整个分镜脚本（storyboards），又能同时编辑多张图片并保持一致性的工具？

---

iMontage 的魔力：拥有时光机的分镜艺术家

认识一下 iMontage，这是一个全新的 AI 模型，它就像一个功能强大的全能图像生成器。把它想象成一位数字导演，它可以接收几张参考照片和一条文本指令，然后瞬间生成一整系列讲述连贯故事的新图像。无论你是想编辑一张照片、将三个不同的角色组合到一个新场景中，还是生成一个角色服装和背景都会发生剧烈变化的四格漫画，iMontage 都能尝试在一个过程中完成所有这些工作。

这里的秘诀在于，创造者并没有从零开始构建一个机器人。相反，他们采用了一个预训练的视频模型——一个已经因理解物体如何随时间运动和变化而闻名的系统——并赋予了它一份新工作。通常，视频模型是在平滑、连续的片段（比如一个人在走路）上训练的。它们并不习惯处理“硬切”（hard cuts）或场景瞬间改变的突发情况。作者假设，如果他们能将图像数据中那种狂野、多样化的内容注入到这个平滑的视频框架中，他们就能获得两全其美：视频的一致性和相册的动态范围。

它是如何工作的：“伪帧”技巧

为了实现这一点，团队必须教会视频模型不将图像视为连续的电影，而是将其视为一组可以散布在各处的灵活“帧”。他们使用了一个被称为 Marginal RoPE 的巧妙技巧（这是对一种定位系统的专业称呼）。

想象一条长长的轴线。通常，视频模型看到的帧是紧挨着的 1、2、3、4、5 帧。然而，iMontage 将输入的图像（你给它的参考图）视为位于时间轴最开始（头部）的“帧”，并将输出的图像（它创造的新图片）视为位于时间轴最后端（尾部）的“帧”。它在中间留下了一个巨大的空白间隙。这告诉 AI：“嘿，这前几张图像是你的线索，而最后几张图像是你的新创作。不要试图让它们像电影一样平滑地流动，要把它们当作故事中不同的步骤。”这个简单的改变防止了模型在“是在看一段视频”还是“在生成一组新图片”之间产生混淆。

训练过程：向混沌学习

你不能只是告诉一个视频机器人“去有创意”，然后指望它奏效。团队必须策划一个庞大且杂乱的数据集来教导它。他们不仅使用了平滑的视频，还专门寻找了**高动态（high-motion）**片段和“硬切”（场景的突然切换），以教会模型如何处理动态过渡。他们还混合了数百万个图像编辑对，在这些任务中，机器人必须学习如何改变衬衫颜色或移除一个物体。

他们使用了一种被称为 CocktailMix 的策略来训练模型。想象一个正在学习数学、艺术和音乐的学生。如果你同时把这三门学科丢给他，他可能会感到不知所措。如果你一次只教一门，当他学到第三门时，他可能会忘记第一门。作者发现，最好的方法是从最简单的任务开始，然后慢慢增加更难的任务，同时逐渐减少对简单任务的关注。这种“难度排序”的方法帮助模型学会了处理从简单编辑到复杂的多图分镜脚本等各种任务，而不会陷入混乱。

它能做什么（以及它不能做什么）

结果令人印象深刻。在测试中，iMontage 展示了它能够：

• 编辑图像（一对一）：改变斗篷的颜色或移除一个剪刀盒，其表现与顶尖的商业模型相当。
• 组合参考图（多对一）：提取一张人的照片、一张北极熊的照片和一张船的照片，然后生成一张让它们全部和谐存在于同一个场景中的新图像。
• 生成故事（多对多）：生成一系列图像（如分镜脚本），其中角色在不同的场景中移动，即使背景和相机角度发生了剧烈变化，也能保持身份的一致性。

论文指出，这种方法优于以往试图统一这些任务的方法，尤其是在保持角色跨不同图像的一致性以及处理场景中突然、动态的变化方面。在用户研究中，人们对 iMontage 在遵循指令和保持角色一致性方面的评分高于其他开源模型。

然而，作者也坦诚地说明了局限性。目前，该模型在处理最多 4 张输入图像和 4 张输出图像时效果最好。它尚未在极其漫长、复杂的长篇故事（拥有数十个面板）上进行测试。此外，虽然它擅长很多事情，但并非完美无缺；有时它在处理非常具体、难以定义的细节时可能会遇到困难。

总结

iMontage 的意义重大，因为它证明了你不需要为了解决复杂的图像问题而构建一种全新的 AI。通过重新思考我们向视频模型喂入数据的方式——将图像视为灵活的“伪帧”而非僵化的视频流——我们可以创造出一个既具一致性又具狂野创造力的工具。这表明，图像生成的未来不在于为每个工作准备一个独立的工具，而在于构建一个全能的“导演”，能够处理从初稿到最终分镜脚本的整个制作过程。