UniCycleFlow: Bidirectional Unpaired Image Translation with a Shared Rectified Flow

想象一下你是一位大师级的翻译家，但你翻译的不是法文与英文之间的词汇，而是整个世界。你想把一张夏日草地的照片变成雪景，或者把一只斑马变成一匹马，而无需见过任何一对“前后对比”的照片来引导你。这就是*非配对图像翻译（unpaired image translation）*的荒野前沿。在过去，计算机对此感到吃力，因为它们不知道哪一朵*特定的夏日鲜花应该变成哪一片*特定的冬日雪花。它们通常只是在瞎猜，导致结果变得模糊不清，或者丢失了原始形状。为了解决这个问题，科学家通常教计算机玩一种“往返”游戏：将夏天的照片翻译成冬天，然后再尝试将其翻译回夏天。如果最终结果看起来与原图一致，说明计算机做得很好。但这种方法就像是在检查往返巴士是否回到了车站；它并不能保证巴士在中间走了一条平滑、逻辑通顺的路线。

于是有了 UniCycleFlow，一种通过将图像翻译视为一个单一、连续的旅程，从而改变游戏规则的新方法。它不再构建两个不同的翻译器（一个用于夏到冬，另一个用于冬到夏），而是构建一个“速度场”——你可以把它想象成一张通用的风力图，风可以向两个方向吹。如果你想从夏天去往冬天，你就让风向前吹；如果你想回去，只需反转风向即可。该论文的主要发现是，通过强制两个方向都遵循这张相同的隐形风力图，计算机能比以前更好地保留原始图像的结构。作者通过在十个不同的翻译任务（如将猫变成狗，或将航拍图变为街景图）中进行测试来衡量这一点，并发现该方法生成的图像更清晰、更真实，且误差最少，在名为 FID 的标准质量测试中达到了 55.1 的顶尖分数。他们还展示了即使你要求计算机只走一大步而不是许多小步，结果依然非常出色，这证明了路径极其笔直且高效。

问题所在：“随机配对”陷阱

想象一下，你正试图教一个机器人如何把一匹马的照片变成斑马。机器人有一个马的照片盒和一个斑马的照片盒，但它们并没有一一对应。如果你只是随便抓起一只马和一只斑马，然后告诉机器人：“把这个马变成那个斑马，”机器人就会感到困惑。它可能会试图把马的腿变成斑马的条纹，或者更糟的是，由于两只动物的姿势不同，它可能会试图把马头变成斑马的尾巴。机器人最终学到的是一种“如何改变马”和“如何改变特定姿势”的混乱混合体，导致产生一个奇怪、扭曲的生物。

以前的方法试图通过构建两个独立的机器人来修复这个问题：一个负责从 A 到 B，另一个负责从 B 到 A。它们会检查机器人是否能实现 A → B → A 并回到原始图像。虽然这有所帮助，但这就像是在检查司机是否能返回起点；它并不能保证司机在两个方向上走的都是同一条路。两个机器人可能会采取完全不同的、曲折的路径，只是恰好在起点和终点对上了。

解决方案：一处风，两个方向

UniCycleFlow 的作者决定不再构建两个机器人。相反，他们构建了一个单一的风力图（一个“速度场”），它存在于两个世界之间的共享空间中。

把时间想象成一把尺子。在尺子的最开始（时间 0），你有你的源图像（比如一匹马）。在尺子的最后（时间 1），你有你的目标图像（比如一只斑马）。“风”从时间 0 向时间 1 吹拂。

• 要实现 马 → 斑马，你只需让风向前吹。
• 要实现 斑马 → 马，你只需反转风向，从时间 1 向时间 0 向后吹。

因为是同一张风力图，改变马为斑马的规则与将斑马变回马的规则完全相同，只是方向相反。这迫使计算机学习一套单一、一致的变换规则，而不是两套相互冲突的规则。

魔法技巧：学习正确的目的地

这里是最棘手的部分：既然计算机没有匹配的配对，它如何知道哪匹特定的马应该变成哪只特定的斑马？如果它只是瞎猜，仍然会犯我们之前提到的“随机配对”错误。

UniCycleFlow 通过一个被称为**对抗性边界匹配（adversarial boundary matching）*的聪明技巧解决了这个问题。计算机不再强求匹配数据集中的特定马和特定斑马，而是学习创造它自己的*完美目的地。

1. 计算机观察一匹马并说：“我将创造一只看起来完全像真实斑马的斑马。”
2. 它创造出一只虚假的斑马。
3. 一个“裁判”（判别器）观察这只虚假斑马和真实的斑马。如果裁判能分辨出它们的区别，计算机就会重试。
4. 一旦裁判无法分辨，计算机就为那匹特定的马找到了一个“完美匹配”，即便它并不在原始数据集中。

现在，计算机有了一条清晰的路径：马 → 完美的虚假斑马。它在两者之间画出一条直线，并学习行驶这条线所需的风力。因为目的地是专门为该源图像创建的，所以路径是干净且符合逻辑的，避免了随机配对带来的混乱。

保持旅程平滑

仅仅知道起点和终点是不够的。计算机需要确保中间的旅程是平滑的，不会奇怪地扭曲图像。作者增加了三个安全网来确保路径完美：

1. 自流匹配（Self-Flow Matching）： 想象计算机正在沿着路径行走。它会检查自己的步伐，以确保风的感觉是一致的。如果风在旅程中途突然改变方向，计算机就会自我修正。这确保了路径是一条直线，而不是一个摇晃的乱象。
2. 循环闭合（Cycle Closure）： 这是更智能的“往返”检查。计算机执行 马 → 斑马 → 马，并检查是否回到了完全相同的地方。如果这两个步骤没有完美地相互抵消，计算机就会学习修正风力图，使循环紧密闭合。
3. 表示路径-速度正则化（Representation Path-Velocity Regularization）： 这是最微妙的检查。有时图像看起来还可以，但图像的“感觉”在中间变化太大。例如，毛发的纹理可能在变锐利之前变得过于模糊。计算机使用一个“冻结的眼睛”（预训练的编码器）在旅程的每一个微小步骤中观察图像。它确保特征（如毛发纹理或眼睛形状）是缓慢且稳定地变化，而不是剧烈跳动。

结果：更清晰的画面

作者在十个不同的翻译任务上测试了这种新方法，包括将夏天变为冬天、马变斑马以及猫变狗。他们将结果与许多著名的其他方法进行了比较。

结果令人印象深刻。当计算机被允许只进行一步推理（“单步推理”）来翻译图像时，UniCycleFlow 在 10 个任务中的 7 个中取得了最佳分数（最低误差）。它在所有十个任务中的平均得分为 55.1，优于之前的最佳方法 DCLGAN（得分为 62.6）。

更令人惊讶的是，无论计算机是走一大步还是走五个小步，该方法的效果都同样出色。这表明计算机学习到的路径如此之直且直接，以至于它不需要通过许多细小的、谨慎的步伐来到达目的地。它可以充满信心地从源图像跃迁到目标图像。

为什么这很重要

UniCycleFlow 表明，我们不需要为每个方向的翻译构建复杂的、独立的系统。通过将变换视为由同一套规则控制的单一、连续的旅程，我们可以获得更清晰、更稳定的结果。这就像意识到，要从家到学校再回到家，你不需要两张不同的地图；你只需要一张好的地图以及能够倒着走的能力。这种方法不仅节省了计算能力，还确保了无论你朝哪个方向旅行，图像的“故事”始终保持一致。