UniCycleFlow: Bidirectional Unpaired Image Translation with a Shared Rectified Flow

あなたは、言葉をフランス語から英語へと変換するのではなく、世界そのものを翻訳するマスター翻訳者であると想像してください。あなたは、一度も「ビフォー・アフター」のペアを見たことがないにもかかわらず、夏の草原の写真を冬の雪景色に変えたり、シマウマを馬に変えたりしたいと考えています。これは、**非対ペア画像変換（unpaired image translation）**という未知の領域です。かつて、コンピュータはこの作業に苦戦しました。なぜなら、どの特定の夏の花が、どの特定の冬の雪の結晶になるべきかを分からなかったからです。多くの場合、コンピュータはただ推測するだけで、結果として画像がぼやけたり、元の形を失ったりしてしまいました。これを解決するために、科学者たちは通常、コンピュータに「往復」のゲームを教えました。夏の写真を冬に変換し、次にそれを夏に戻そうとする試みです。もし最終的な結果が元の画像と似ていれば、コンピュータはうまく機能したことになります。しかし、この方法は、往復のバス旅行で出発地点に戻ってきたかどうかを確認するようなものでした。それは、バスがその途中でスムーズで論理的なルートを通ったことを保証するものではありませんでした。

ここで、画像変換を2つの別々の仕事としてではなく、単一の連続的な旅として扱うことで、ゲームのルールを変える新しいアプローチ、UniCycleFlowが登場します。夏から冬への変換器と、冬から夏への変換器という2つの異なる翻訳機を作る代わりに、この手法は一つの「速度場（velocity field）」、つまり両方向に吹く「ユニバーサルな風の地図」を構築します。もし夏から冬へ行きたいなら、風を前方に吹かせます。もし戻りたいなら、単に風を逆に吹かせます。この論文の主な発見は、両方向がこの同じ目に見えない風の地図に従うように強制することで、コンピュータが以前よりもはるかに上手く元の画像の構造を保持できるようになったことです。著者らは、10種類の異なる変換タスク（猫を犬に変える、あるいは航空写真から街路図に変えるなど）でテストを行い、彼らの手法が最も鮮明でリアルな画像を生み出し、エラーが最も少ないことを確認しました。そして、標準的な品質テストであるFIDにおいて55.1というトップスコアを達成しました。彼らはまた、コンピュータに多くの小さなステップを踏ませる代わりに、たった一度の大きなステップを踏ませても結果は依然として素晴らしいことを示し、その経路が非常に直線的で効率的であることを証明しました。

問題点： 「ランダムなペアリング」の罠

あなたがロボットに、馬の写真をシマウマに変える方法を教えようとしていると想像してください。ロボットには馬の写真が入った箱と、シマウマの写真が入った箱がありますが、それらは対応していません。もし、あなたが適当に馬とシマウマを手に取り、ロボットに「この馬をあのシマウマに変えて」と言ったとしたら、ロボットは混乱します。ロボットは馬の脚をシマウマの縞模様に変えようとしたり、さらに悪いことに、二頭のポーズが異なるために、馬の頭をシマウマの尻尾に変えようとしたりするかもしれません。ロボットは、「馬の変え方」と「特定のポーズの変え方」が混ざり合った、めちゃくちゃな学習をしてしまい、結果として奇妙で歪んだ生き物を作り出してしまいます。

従来の手法は、AからBへ行くためのロボットと、BからAへ行くための別のロボットを作ることで、この問題を解決しようとしました。彼らは、ロボットが A → B → A と進み、元の画像に戻れるかどうかをチェックしました。これは助けにはなりましたが、ドライバーがスタート地点に戻れるかどうかを確認しているようなもので、ドライバーが同じ道を両方向で通ったことを保証するものではありませんでした。2つのロボットは、単に始点と終点が合っているだけの、全く異なるジグザグな経路を通ってしまう可能性があるのです。

解決策： 一つの風、二つの方向

この論文の著者であるUniCycleFlowは、2つのロボットを作るのをやめることにしました。代わりに、2つの世界の間にある共有スペースに存在する、たった一つの風の地図（「速度場」）を構築しました。

時間を定規として考えてください。定規の最初（時刻0）には、元の画像（例えば馬）があります。定規の最後（時刻1）には、ターゲットとなる画像（例えばシマウマ）があります。「風」は時刻0から時刻1へと吹きます。

• 馬 → シマウマ に行くには、単に風を前方に吹かせます。
• シマウマ → 馬 に行くには、単に風を逆転させ、時刻1から時刻0へと後ろ向きに吹かせます。

同じ風の地図であるため、馬をシマウマに変えるためのルールは、シマウマを馬に戻すためのルールと全く同じであり、単に逆方向に動くだけです。これにより、コンピュータは、2つの別々で矛盾するルールセットではなく、単一で一貫した変換ルールを学習することを強制されます。

マジックトリック： 正しい目的地を学ぶ

ここからが難しい部分です。コンピュータには一致するペアがないため、どの特定の馬がどの特定のシマウマに変わるべきかを、どのようにして知ることができるのでしょうか？ もし単に推測するだけなら、先ほど述べた「ランダムなペアリング」のミスを依然として犯すことになります。

UniCycleFlowは、**敵対的境界マッチング（adversarial boundary matching）**と呼ばれる巧妙なトリックでこれを解決します。コンピュータにデータセット内の特定の馬を特定のシマウマに一致させるよう強制する代わりに、コンピュータは自分自身の「完璧な目的地」を作り出すことを学びます。

1. コンピュータは馬を見て、「私は本物のシマウマにそっくりなシマウマを作成する」と決意します。
2. コンピュータは偽のシマウマを作成します。
3. 「審判（識別器）」が、その偽のシマウマと本物のシマウマを比較します。もし審判が両者を区別できるなら、コンピュータはやり直します。
4. 審判が区別できなくなったとき、コンピュータはその特定の馬に対する「完璧な一致」を見つけたことになります。たとえそれが元のデータセットになかったとしてもです。

これで、コンピュータには明確な経路ができました： 馬 → 完璧な偽のシマウマ。コンピュータはその間に直線を引き、その線を進むために必要な「風」を学習します。目的地がそのソース（元画像）のために特別に作成されたものであるため、経路はクリーンで論理的になり、ランダムなペアリングによる混乱を回避できます。

旅路をスムーズに保つ

始点と終点を知っているだけでは不十分です。コンピュータは、旅の途中がスムーズであり、画像を奇妙に変形させないようにしなければなりません。著者らは、経路を完璧にするために3つのセーフティネットを追加しました。

1. 自己フロー・マッチング（Self-Flow Matching）: コンピュータが経路に沿って歩いていると考えてください。コンピュータは自分のステップをチェックし、風が一定であることを確認します。もし旅の途中で風が突然方向を変えた場合、コンピュータは自らを修正します。これにより、経路がふらふらしたものではなく、直線であることを保証します。
2. サイクル閉鎖（Cycle Closure）: これは「往復」のチェックですが、よりスマートなものです。コンピュータは 馬 → シマウマ → 馬 と進み、元の場所と正確に一致するかどうかを確認します。もし2つのステップが互いに完璧に打ち消し合わない場合、コンピュータはループがしっかりと閉じるように風の地図を修正することを学びます。
3. 表現パス・速度正規化（Representation Path-Velocity Regularization）: これは最も微細なチェックです。時として、画像の見栄えは悪くないものの、画像の「感覚」が途中で大きく変わってしまうことがあります。例えば、毛の質感が鋭くなる前に、一度ぼやけてしまうといった具合です。コンピュータは、旅のあらゆる小さなステップにおいて、画像を観察するための「凍結された目（学習済みエンコーダー）」を使用します。これにより、特徴（毛の質感や目の形など）が激しく飛び跳ねるのではなく、ゆっくりと着実に変化するように制御します。

結果： より鮮明な絵

著者らは、夏を冬に変える、馬をシマウマに変える、猫を犬に変えるなど、10種類の異なる変換タスクでこの新手法をテストしました。彼らは、多くの有名な手法と比較を行いました。

結果は驚くべきものでした。コンピュータが画像の変換にたった一度のステップ（「ワンステップ推論」）のみを許されたとき、UniCycleFlowは10個のタスクのうち7個で最高のスコア（最小のエラー）を達成しました。全10タスクの平均スコアは55.1であり、これは62.6を記録した以前の最高手法（DCLGAN）よりも優れた数値でした。

さらに驚くべきことに、コンピュータが一度の大きなステップを踏んでも、5つの小さなステップを踏んでも、結果はほぼ同様に良好でした。これは、コンピュータが学んだ経路があまりにも直線的で直接的であるため、目的地に到達するために小さな慎重なステップを踏む必要がないことを示唆しています。コンピュータは自信を持って、ソースからターゲットへと跳躍することができるのです。

なぜこれが重要なのか

UniCycleFlowは、変換の方向ごとに複雑で別々のシステムを構築する必要はないことを示しています。変換を、一つのルールセットによって支配される単一の連続的な旅として扱うことで、より鮮明で安定した結果を得ることができます。これは、家から学校へ行き、また帰ってくるために、2つの異なる地図を用意する必要はなく、ただ一つの優れた地図と、それを逆方向に歩く能力があればよいということに気づくようなものです。このアプローチは、計算能力を節約するだけでなく、どちらの方向に進んだとしても、画像の「物語」が一貫していることを保証します。