💻 computer science

FullFlow: Upgrading Text-to-Image Flow Matching Models for Bidirectional Vision--Language Generation

FullFlow は、軽量アダプターのみを学習することで事前学習済みの整流フロー型テキストから画像生成モデルを双方向の視覚言語生成器へとアップグレードするパラメータ効率の高い手法であり、既存のアプローチと比較して計算コストを大幅に削減しつつ、画像生成とテキスト生成の両方で最先端のパフォーマンスを達成します。

原著者： Eric Tillmann Bill, Enis Simsar, Alessio Tonioni, Thomas Hofmann

公開日 2026-05-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Eric Tillmann Bill, Enis Simsar, Alessio Tonioni, Thomas Hofmann

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが、ある一点で非常に有名になった天才シェフを想像してみてください。その特技とは、書かれたレシピ（テキスト）を、美味しく完璧な料理（画像）へと変えることです。このシェフは長年、「スパイシー」「黄金色」「サクサク」といった言葉が、どのように味や食感に変換されるかを学び続けてきました。

しかし、このシェフには一つの制限があります。彼は一方向にしか働けないのです。もし彼に料理の写真を渡しても、レシピを教えることはできません。彼は「テキストから画像へ」というレーンに閉じ込められています。

FullFlow は、この同じシェフを解雇したり、最初からやり直させたりすることなく、双方向に働けるように教える新しい賢いトレーニング手法です。これにより、シェフは真の「料理評論家かつ創造者」へと生まれ変わります。料理を見てレシピを記述することも、レシピを見て料理を作ることも可能になり、すべて元の調理スキルを損なうことなく行われます。

以下に、その仕組みを簡単な概念に分解して説明します。

1. 「二重トラック」システム

通常、AI がテキストと画像の両方を扱おうとすると、それらを同じ「言語」に無理やり押し込めようとします。これは、シェフに「画像語」と「単語語」を同時に話させるようなもので、しばしば混乱を招き、元の調理スキルを台無しにしてしまいます。

FullFlow は異なるアプローチを取ります。2 つのトラックを分離しつつ、接続したままにします。

画像トラック: シェフは画像のための元の、高品質な「連続的」なフローを使い続けます。ここは何も変わりません。シェフの調理能力は完璧なままです。
テキストトラック: テキストについては、新しい軽量な「挿入」ツールを追加します。ゼロから単語を推測する代わりに、モデルは文の欠けた単語を埋めることを学びます。これは、空白のページから始めて、文が完成するまで徐々に単語を挿入していく「マッドリブス」のようなゲームです。

2. 「信号機」の比喩

AI が時間を信号機とする都市を車で運転していると想像してください。

従来の方法: 車は「画像モード」と「テキストモード」を切り替えるために、すべての信号で停止しなければなりませんでした。
FullFlow の方法: 車には今や2 つの独立した信号機があります。画像用（ $t$ $t$ ）とテキスト用（ $\tau$ $τ$ ）です。
- テキストから画像へ変換したい場合、テキストの信号は緑（完了）のままにし、画像の信号が赤から緑に変わるのを待ちます。
- 画像からテキストへ変換したい場合、画像の信号を緑のままにし、テキストの信号を変化させます。
- 両方を同時に生成したい場合、両方の信号を同時に変化させます。

これにより、AI は行き詰まることなく、自分の道を選ぶ完全な自由を得ます。

3. 「小さなアップグレード」(LoRA)

巨大な AI に新しい技を教える際の最大の課題は、通常、莫大で高価な大規模な改造が必要になることです。シェフにパンの焼き方を教えるために、キッチン全体を建て直すようなものです。

FullFlow は「予算に優しい」アップグレードです。キッチン全体を建て直す代わりに、彼らはいくつかの小さく取り外し可能なツール（LoRA アダプターと呼ばれる）と、シェフのための新しいメモ帳を追加しただけです。

彼らはモデルの脳のわずか**5%**だけをトレーニングしました。
シェフの知識の残りの部分（「事前学習済み画像事前分布」）は凍結され、手つかずのままにされました。
結果: シェフは画像を記述し、質問に答えることを学びましたが、調理の仕方は忘れることなく済みました。

4. 「教師」のトリック

シェフに画像を記述することを教える際、調理の仕方を忘れ始める（画像の質がぼやける）リスクがありました。

これを解決するために、研究者たちは「教師」のトリックを使用しました。シェフが新しいスキルを練習している間、マスターシェフ（元の、凍結された自分自身）が見守っていると想像してください。生徒シェフにはこう指示されます。「説明を書いている間でも、あなたの画像がマスターシェフの画像と完全に同じに見えるようにしてください。」
これにより、新しいスキルが古いスキルを壊さないことが保証されます。

何ができるのか

このアップグレードにより、モデルは以下が可能になりました。

テキスト $\to$ 画像: 「カップの中にドラゴンを描いて。」（元のスキル）。
画像 $\to$ テキスト: 猫の写真を示すと、「敷物に座っている黒い猫。」と書きます。
同時生成: 画像と説明を完全に一致させ、正確に同時に生成します。
視覚的 Q&A: 帽子をかぶった子供の写真を示し、「その帽子の色は何ですか？」と尋ねます。モデルは文全体を書き直すのではなく、答え（「黒」）だけを埋めます。

結論

この論文は、画像と言語の両方を理解させるために、巨大な新しい AI をゼロからトレーニングする必要がないことを示しています。強力な画像生成器に、いくつかの小さく賢いツールを与えれば、それは瞬く間に双方向の会話パートナーへと変身します。

彼らのテストでは、この手法は8 倍高速で、以前の手法の半分以下のコンピュータメモリしか使用せず、はるかに優れた結果を生み出しました。これは、「画像脳」が私たちが考えていた以上に言語や意味についてすでに知っており、それを解き放つための正しい鍵が必要だっただけであることを証明しました。

技術的サマリー：FullFlow

問題定義

現代のテキストから画像へ（T2I）の拡散モデルおよび整流フローモデルは、豊かな視覚的事前知識と強力な生成能力を備えているが、厳密に一方向（テキスト入力、画像出力）で動作する。統合されたビジョン・言語モデル（VLM）も存在するが、それらは通常、事前学習済みの言語モデルを視覚エンコーダで条件付けるか、ゼロから高価な共同事前学習を行うことで構築される。これらのアプローチは、T2I バックボーンに既に符号化されている強力な画像事前知識を破棄するか、計算的に禁止的な大規模な再学習を必要とする。本研究が扱う中心的な問いは、完全なマルチモーダル事前学習を行わず、かつ元の画像事前知識を犠牲にすることなく、事前学習済みの T2I フローモデルを双方向のビジョン・言語生成器にアップグレードできるかどうかである。

手法

著者は、事前学習済みの整流フロー T2I モデル（具体的には Stable Diffusion 3 および FLUX.1-dev）を双方向生成器にアップグレードするパラメータ効率の良いレシピ「FullFlow」を提案する。中核的な革新は、単一の共有バックボーン内で、2 つのモダリティを非対称かつ互換性を持って扱う点にある。

1. ネイティブ空間マルチモーダル拡張

画像モダリティ: 画像は、ネイティブの連続整流フロー潜在空間に留まる。モデルは事前学習済みの連続画像プロセスを維持する。
テキストモダリティ: テキストは、Edit Flowsに基づく離散挿入プロセスを介して処理される。語彙外トークンを導入し、凍結されたエンコーダと互換性がないマスクベースの離散拡散とは異なり、FullFlow は削除ベースの前方プロセスを使用する。これにより、任意のノイズレベルにおいて、汚染されたテキスト状態は、補助エンコーダ（例：CLIP）のために復号化および再トークン化可能な有効なトークン部分列となることを保証する。
アーキテクチャ: 単一の共有バックボーン（MM-DiT）が両方のモダリティを処理する。モデルは、画像時間用の $t$ $t$ とテキスト時間用の $\tau$ $τ$ という 2 つの分離された時間ステップで条件付けられる。
- 凍結コンポーネント: バックボーンの重みとすべての補助テキストエンコーダ（T5、CLIP）は凍結されたままとなる。
- 学習可能コンポーネント: トランスフォーマーの線形層に適用される LoRA アダプタ、挿入数とトークン識別用の軽量テキストヘッド、および新しい時間ステップ条件付け経路のみが学習される。これは、SD3 についてはパラメータの約 5%、FLUX.1 については約 2.5% のみを学習することに相当する。

2. 二重時間ステップ学習目的

学習目的は、時間ステップのペア $(t, \tau)$ に基づいて、画像の速度と欠落したテキスト挿入を共同で予測することを含む。

汚染スケジュール: 著者は、エンドポイント条件付きタスクのみで学習する「交互クリーン」スケジュールと、 $(t, \tau) \sim \text{Unif}([0, 1]^2)$ となる「混合汚染」スケジュールを比較する。クロスモーダル対応を学習するために混合汚染で事前学習し、その後に交互クリーンで微調整するハイブリッドアプローチが最良の結果をもたらすことが判明した。
安定化:
- 適応的勾配バランス: MSE ベースの画像損失とクロスエントロピー/カウントベースのテキスト損失との間のスケール不一致に対処するため、著者は勾配比の指数移動平均（EMA）を用いてテキスト損失重み $\lambda_{txt}$ を動的に調整する。
- ティーチャマッチング: 新しいデータ分布での微調整中に事前学習済みの画像事前知識の劣化を防ぐため、画像速度回帰は「同一ノイズティーチャマッチング」目的に置き換えられる。ティーチャは LoRA 層を無効にした同一のバックボーンであり、追加のメモリを必要としない。

3. 推論モード

$t$ と $\tau$ を分離することで、推論は 2 次元生成空間における軌道選択へと変換される。

テキスト $\to$ 画像: $\tau=1$ （クリーンテキスト）を固定し、 $t$ を 0 から 1 へ進化させる。
画像 $\to$ テキスト: $t=1$ （クリーン画像）を固定し、 $\tau$ を 0 から 1 へ進化させる。
共同サンプリング: $t$ と $\tau$ の両方を同時に進化させる。
部分テキスト生成（VQA）: 画像と質問トークンを固定し、挿入プロセスを回答スパンに制限する。これにより、個別のデコーダなしで視覚質問応答（VQA）が可能となる。

主要な貢献

C1: 事前学習済みの T2I 整流フローモデルを、LoRA アダプタと軽量テキストヘッドのみを学習することで双方向生成器に変換し、事前学習済みの画像事前知識を成功裡に維持する。
C2: 画像は連続フローに留まり、テキストは離散挿入プロセスを使用する二重時間ステップフレームワークを導入し、条件付き、共同、および部分テキスト生成を統一された $(t, \tau)$ 空間内の軌道として可能にする。
C3: SD3 および FLUX.1-dev において、マッチングされた Dual Diffusion-LoRA ベースラインを上回る性能を実証し、テキストから画像への保持と画像からテキストへの品質の両方で優位性を示すとともに、最小限の計算リソースで下流の VQA をサポートする。

実験結果

著者は、マッチングされたパラメータ数と LoRA 順位を用いて、再実装されたDual Diffusionベースラインに対して SD3 および FLUX.1-dev 上で FullFlow を評価した。

効率性: FullFlow は、2 台の RTX A5000 GPU で 24 時間未満で学習し、ピーク VRAM を Dual Diffusion の約 84 GB から約 38 GB に削減し、スループットを約 8 倍に増加させた。
テキストから画像へ（SD3）: 一致したウォールクロック時間において、FullFlow は FID を 62.7 から 31.6 に（一致したステップ数では 29.3 に）改善し、CMMD を 0.870 から 0.121 に改善し、画像事前知識の強力な保持を実証した。
画像からテキストへ（SD3）: FullFlow は、一致したウォールクロック時間で CIDEr スコア 99.4（ベースラインの 2.0 対比）を達成し、一致したステップ数では 13.4 を達成した。
下流タスク: VQA ベンチマーク（VQAv2、VizWiz、OKVQA）において、FullFlow（学習可能パラメータ 130M のみ）は競争力のある精度を達成し、特に VizWiz において Dual Diffusion ベースライン（50.7 対 29.9）を大幅に上回った。
転移性: このレシピは FLUX.1-dev へも成功裡に転移し、36 時間の学習後に CIDEr 73.6 を達成した。

意義と主張

本論文は、FullFlowが、完全なマルチモーダル事前学習を必要とせずに、事前学習済みの T2I フローモデルから強力な双方向ビジョン・言語能力を解き放つことを実証していると主張する。結果は、事前学習済みの T2I 事前知識が一般的に想定されているよりも豊かな視覚・意味構造を符号化しており、軽量な適応を通じて逆タスク（画像からテキストへ）および共同生成をサポートできることを示唆している。

著者は、この研究をピークとなるエンドツーエンド性能の主張ではなく、「計算可能な概念実証」として位置づけている。彼らは、この手法が商用 GPU のみと、統合モデルに必要なパラメータのごく一部を必要とするため、双方向整流フローモデルをより広範な研究コミュニティにアクセス可能にする点を強調している。また、現在の焦点が 256 $\times$ 256 解像度に限定されていることや、大規模データセットへのスケーリングや複雑な対話のための指示微調整の欠如を限界として認め、これらを将来の方向性として挙げている。