💻 computer science

One Pass Is Not Enough: Recursive Latent Refinement for Generative Models

本論文は、単一パスの潜在マッピングを再帰的洗練に置き換えてモードカバレッジを明示的に優先し、複数のデータセットにおいて競合するFIDスコアを維持しつつ、優れた精度と再現率を達成する生成モデルであるRTMを導入する。

原著者： Mehdi Esmaeilzadeh, Alexia Jolicoeur-Martineau, Chirag Vashist, Ke Li

公開日 2026-05-18

📖 1 分で読めます☕ さくっと読める

原著者： Mehdi Esmaeilzadeh, Alexia Jolicoeur-Martineau, Chirag Vashist, Ke Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボット画家に肖像画の描き方を教えようとしていると想像してください。あなたは数千枚の人々の写真を示します。目標は、ロボットが最終的に、実在しないがリアルに見える新しい人物の絵を描くことです。

長らく、これらのロボットを評価する主な方法は、「この絵は鮮明でリアルに見えるか？」と問うことでした。ロボットが同じハンサムな男性の絵を1,000枚コピーして描いた場合、すべての絵が素晴らしく見えるため、完璧なスコアを獲得することになります。しかし、これは問題です。ロボットは人々が異なる髪の色、年齢、表情を持つことを学び損ねています。ロボットは「モード崩壊」に陥り、ある一種類の人物しか描かなくなっています。

この論文は、この問題を修正するための新しい手法「RTM（再帰的トークンマッパー）」を導入します。その仕組みを簡単なアナロジーを用いて説明します。

1. 問題：「ワンショット」の画家

現在のほとんどのAIモデル（人気のあるStyleGANなど）は、最終試験を一度の必死の突貫作業で受ける学生のように機能します。

旧来の方法: AIはランダムなノイズ信号（空白のキャンバスのようなもの）を受け取り、8段階の長い連鎖（8層の「MLP」）を一度に実行して、絵がどのように見えるべきかを決定します。
欠点: 顔の形、肌の色、髪の質感、照明をすべて一度に決定しなければならないため、AIはしばしば圧倒されてしまいます。そのため、画像が鮮明に見えることを保証するために、最も安全な「平均的」または最も一般的な特徴を選ぶ傾向があります。これにより、画質は高くなりますが多様性は低下します（「モード崩壊」の問題）。

2. 解決策：「反復的なスケッチ」の画家

著者らは、RTMと呼ばれる新しいアプローチを提案します。すべてを一度の突貫作業で行うのではなく、AIはスケッチして洗練させる熟練した画家のように振る舞います。

アナロジー: 芸術家が一度の筆致で傑作を描こうとしないことを想像してください。
1. 第一回（大まかな下書き）: 基本的な輪郭を素早くスケッチします。「よし、これは顔で、左を向いていて、髪は短い」と。
2. 第二回（洗練）: そのスケッチを見て、「あごのラインをもっとシャープにする必要があるし、目にもっと詳細が必要だ」と言います。
3. 第三回（仕上げ）: 最後の仕上げを加えます。「肌の質感をリアルに見せ、照明を調整しよう」と。

RTMはまさにこれをやります。 ランダムなノイズを受け取り、それを小さな再利用可能な「ブロック」の論理を複数回実行します。

初期のサイクルは、大きな絵柄（アイデンティティ、ポーズ、構図）を確立します。
後続のサイクルは、詳細（質感、色、鮮明さ）を洗練させます。

AIが自分の作品を「振り返って」間違いを修正できるため、ある一種類の画像に固執することはありません。リアルな見た目を保ちながら、より多様な顔を探求することができます。

3. 「再帰的」な秘密の武器

あなたは、「なぜ単に8段階の連鎖を長くする（例えば32段階にする）のではないか？」と尋ねるかもしれません。
この論文は、単に連鎖を長くすることは、学生に考えさせることなく長い指示リストを暗記させるようなものだと主張しています。非効率的であり、実際には事態を悪化させる可能性があります。

RTMは「再帰的」です。 これは、同じ小さな指示セットを繰り返し使用するが、それぞれを前のステップの「改善された」結果に適用することを意味します。

アナロジー: ある草案をレビューし、編集し、新しい草案をレビューし、再び編集し、という作業を繰り返す、非常に賢い編集者が一人いるようなものです。これは、互いに話さずに仕事の小さな部分だけをそれぞれが行う32人の編集者を雇うよりもはるかに効果的です。

4. 結果：より高い画質かつより多様性

著者らは、この手法をいくつかのデータセット（猫、犬、車の小さな画像を持つCIFAR-10や、顔画像を持つCelebA-HQなど）でテストしました。

旧来の指標の罠: 彼らは、標準的なスコア（FID）が「飽和」しつつあることに注目しました。スコアをさらに下げることは難しく、低いスコアがAIデータの全バリエーションを学習していることを保証するわけではありません。
新しい目標: 彼らはPrecision（画像がどれほどリアルに見えるか）とRecall（AIが生成できる異なる種類の画像がどれだけ多いか）に焦点を当てました。
結果: RTMは以前の最高モデルを凌駕しました。より鮮明な画像を作るだけでなく、より多様な画像を作りました。
- 「顔」データセットでは、旧来のモデルと比較して、年齢、肌の色、表情の幅がはるかに広い顔を生み出しましたが、依然として非常にリアルに見えました。
- これは彼ら固有のトレーニング手法（IMLE）だけでなく、標準的なStyleGANモデルの改善にも機能しました。

まとめ

旧来のAIは、ある特定の写真を完璧にコピーするしか知らないコピー機だと考えてください。新しいRTM AIは、ラフなアイデアを見て、段階的に洗練し、人間の多様性の全スペクトルを網羅するユニークで高品質な肖像画のギャラリーを生み出すクリエイティブ・ディレクターのようなものです。

この論文は、最終的な画像を生成する前に、AIが潜在的な「設計図」を反復的に洗練することを可能にする再帰的ループで、「ワンショット」のマッピングネットワークを置き換えることによってこれが達成されると主張しています。

技術的概要：1 回のパスでは不十分である：生成モデルのための再帰的潜在空間洗練

問題定義

画像生成において大きな進展が見られるにもかかわらず、この分野は重要な評価のボトルネックに直面している。支配的な指標であるフレシェ・インセプション距離（FID）は、サンプルの忠実度とモードのカバレッジを混同しており、しばしば低い一桁の値で飽和する。この飽和は、持続的な問題を覆い隠している：モデルは、少数の鮮明でほぼ重複した画像（モード崩壊）を生成することで低い FID スコアを達成できるが、完全なデータ分布をカバーすることに失敗している。

現在の生成パラダイムは、トレードオフを示している：

拡散モデルとフローマッチングモデル： 高い忠実度を達成するが、反復的なサンプリング（複数のニューラル関数評価）を必要とすることが多い。蒸留された 1 ステップ変種は推論を高速化するが、一貫して多様性とカバレッジを犠牲にする。さらに、拡散ソルバーは体系的にデータ分布の低密度領域を過小評価する。
生成敵対ネットワーク（GAN）： 単一ステップ推論を提供するが、モード崩壊を起こしやすく、高い忠実度のモードに集中し、他のモードを放棄する傾向がある。
暗黙的尤度推定（IMLE）： 構築上、モードのカバレッジを保証し（すべてのトレーニング画像に近接する生成サンプルが存在することを確保）、単一ステップ推論をサポートする。しかし、IMLE ベースの手法は歴史的にサンプルの品質において遅れをとってきた。この制限は、生成器のアーキテクチャに部分的に起因する：StyleGAN ベースの IMLE モデルにおけるマッピングネットワークは、単一のフォワードパスで処理される標準的な多層パーセプトロン（MLP）である。これは、ネットワークがスタイルコードのすべての側面（アイデンティティ、構造、テクスチャ、微細な詳細）を同時に決定することを強制し、出力を初期潜在マッピングの誤差に対して極めて敏感にする。

手法：再帰的トークンマッパー（RTM）

著者らは、スタイルベースの生成器における単一パス MLP マッピングネットワークを、再帰的トークンマッパー（RTM） に置き換えることを提案する。RTM は、「Tiny Recursive Model（TRM）」アーキテクチャを生成設定に適応させ、パラメータ数を増加させることなく潜在空間の反復的洗練を可能にする。

コアアーキテクチャ

再帰構造： 独立した層の深いスタックの代わりに、RTM は反復的に適用される共有ブロック $f$ $f$ を使用する。このプロセスは 2 段階の再帰を含む：
- 内部サイクル（ $L$ ）： 内部状態 $Z_L$ が、外部状態と元のノイズベクトルを条件として、ステップあたり $L$ 回更新される。
- 洗練ステップ（ $H$ ）： 外部状態 $Z_H$ が $H$ 回更新される。
メカニズム： マッパーはまずスタイルベクトル $w$ の粗い推定値を生成し、複数のサイクルにわたってそれを漸進的に修正する。初期のサイクルは（アイデンティティ、ポーズなどの）粗い構造を確立し、後続のサイクルはテクスチャと色を洗練する。
パラメータ効率： 同じブロック $f$ が再利用されるため、 $H$ または $L$ を増加させることは、パラメータを追加することなく実効的な計算深度を増加させる。
短勾配最適化： 訓練中のメモリを管理するため、最終的な洗練ステップのみを微分可能とし、中間ステップは切り離す。これにより、深い再帰の表現力を維持しつつ、訓練時のメモリコストを単一のフォワードブロックと同等に保つ。
統合： RTM は、IMLE ベースの生成器（具体的には RS-IMLE）と敵対的に訓練された StyleGAN（StyleGAN2 および StyleGAN2-ADA）の両方において、マッピングネットワークへの「ドロップイン」交換として設計されている。デコーダアーキテクチャは変更されない。

主な貢献

再帰的トークンマッパー（RTM）： スタイルベースの生成器における標準的な単一パス MLP を、反復的洗練プロセスに置き換える新しいマッピングネットワークアーキテクチャ。
RS-IMLE との統合： 拒否サンプリング IMLE（RS-IMLE）と統合された場合、RTM は 9 つの少数ショットベンチマーク、無条件 CIFAR-10、および CelebA-HQ（256×256）において FID、Precision、Recall を改善し、IMLE の単一ステップ推論と直接の潜在空間から画像へのマッピングを維持する。
敵対的訓練への汎用性： RTM は CIFAR-10 および AFHQ-v1（512×512）において StyleGAN2 と StyleGAN2-ADA を改善し、再帰的洗練の恩恵が IMLE 訓練目的に固有ではないことを示している。
推論の柔軟性： 洗練ステップの数（ $H$ ）は計算ハイパーパラメータとして機能する。モデルは再訓練なしに推論時に異なる $H$ 値で評価でき、推論コストと忠実度の間のトレードオフを可能にする。

実験結果

本論文は、複数のデータセットにおいて Precision、Recall、FID、およびインセプションスコア（IS）を使用して RTM を評価している。

CIFAR-10（32×32）： RS-IMLE と統合された RTM は、拡散モデルやフローマッチングのベースラインを含む記載されたすべての手法の中で、最高の Precision（0.896）および Recall（0.773）を達成する。単一ステップ推論を維持しながら、FID をバニラ RS-IMLE ベースライン（5.69）と比較して 30% 低下させ、3.97 としている。
CelebA-HQ（256×256）： RTM は RS-IMLE ベースライン（15.43）に対して FID を 27% 低下させ（10.67）、同時に Precision（0.952）および Recall（0.592）を改善する。
少数ショットベンチマーク： 9 つの標準的な少数ショットデータセット（例：Obama、Dog、Anime）において、RTM は一致する RS-IMLE の再現の平均 FID をほぼ半分に減少させる（25.2 から 13.94）。
StyleGAN2/ADA： CIFAR-10 において、RTM は StyleGAN2 の FID を 3.88 から 3.55 に低下させ、StyleGAN2-ADA の FID を 2.31 に維持しながら Precision とカバレッジを改善する。AFHQ-v1 において、RTM は FID（4.99 から 4.79）および Recall（0.507 から 0.565）を改善する。
深度と再帰： CIFAR-10 におけるアブレーション研究は、単に非再帰的 MLP の深度を増加させる（32 レイヤーまで）ことは Precision を改善するが、Recall を著しく劣化させる（ベースラインの 0.664 に対して 0.550）ことを示している。RTM は深度一致の MLP よりも 13 倍少ないパラメータでより良い FID を達成し、再帰がカバレッジを犠牲にすることなく分布の忠実度に対する優れた帰納的バイアスを提供することを示唆している。

意義と主張

本論文は、画像生成の目標は、飽和に近い FID を単に低下させることから、忠実度（Precision）とともに多様性とカバレッジ（Recall）を明示的に改善することへとシフトすべきであると主張している。

FID を超えて： 著者らは、FID だけでは不十分であると主張する。なぜなら、それはデータ分布の大部分を無視する可能性のある、鮮明で集中したサンプルを報酬とするからである。Precision と Recall は不可欠な補完要素である。
同時改善： カバレッジを FID と引き換えにする傾向があるフローマッチングベースラインや、1 ステップ推論において多様性を失う蒸留拡散モデルとは異なり、RTM は品質と多様性の両方を同時に改善する。
アーキテクチャ的洞察： 本論文は、洗練が単一のフォワードパスとは質的に異なる計算であると仮定している。マッパーが後続の計算（微細な詳細）を踏まえて初期の決定（粗い構造）を見直すことを可能にすることで、RTM は潜在コードの誤差に対するデコーダの感度を克服する。
謙虚さ： 著者らは限界を認め、実験は IMLE の最近傍探索が計算的に実行可能なデータセット（ImageNet は除く）に限定されていると指摘している。彼らは画像生成を解決したと主張するのではなく、現在の評価フレームワーク内で忠実度と多様性のトレードオフをよりよくバランスさせる手法を提供したと主張している。