技術要約：セマンティック・ブレンディングのためのテキスト埋め込みにおけるトークン間アライメント

問題提起

現代のテキスト-画像生成モデルは、テキストトークンのシーケンスに依存して意味的な条件付け（semantic conditioning）を行っている。表現力は高いものの、これらのトークンシーケンスには一貫したアクセス可能な構造が欠けている。意味的に類似した画像であっても、言葉遣いや順序、概念の配置が大きく異なるトークンシーケンスに対応する場合があり、逆に類似したトークンシーケンスが分岐した意味をエンコードしている場合もある。このような構造的な不整合により、プロンプト埋め込み間の標準的な線形補間は、一貫性のない、絡み合った中間状態を生じさせてしまう。その結果、連続的な画像編集、セマンティック・ブレンディング、概念合成といった、滑らかな意味的遷移を必要とするアプリケーションにおいて、関連のない属性が混ざり合い、意味のある意味的軌道（semantic trajectory）を辿ることができず、進行が妨げられている。

著者らは、この制限は埋め込み空間内に意味的構造が存在しないためではなく、表現間の不整合に起因すると主張している。対応する概念が異なるプロンプト間で一貫して表現されていないことが、生成モデルによる連続的な意味多様体（semantic manifold）の横断を妨げているのである。

手法：トークン間アライメント（Token-to-Token Alignment）

提案されたフレームワークであるトークン間（T2T）アライメントは、異なるプロンプト間のトークン間に明示的な意味的対応関係を確立する。この手法は、非構造的なプロンプトを、意味的に対応する概念が一致した位置にマッピングされる構造化された表現へと変換し、意味のある線形補間を可能にする。プロセスは、2つの主要なステージと、それに続く補間で構成される。

1. 概念レベルの構造的アライメント

第1ステージでは、言語的な多様性に対処するため、大規模言語モデル（LLM）を用いて入力プロンプト（$p_A, p_B$）を共有の構造化表現へと変換する。

• プロセス: LLMに対し、明示的な構造的制約の下で、一対のアライメントされたシーン記述（$J_A, J_B$）を共同で構築するよう指示する。
• スキーマ: 記述は、固定された意味フィールド（例：オブジェクト、属性、照明）と一貫した順序を持つJSON文字列としてフォーマットされる。
• 目的: 各フィールド内で、対応する要素が整列されたテキスト表現を用いて表現される。これにより、テキストレベルでの粗い対応関係が確立され、意味的な差異が独立した言い換えとしてではなく、共有コンテキスト内での局所的な置換として捉えられるようになる。

2. 埋め込みレベルのアライメント

第2ステージでは、テキストエンコーダー空間における不一致を解決する。構造的アライメントだけでは、トークナイゼーションの違い（例：意味的に類似した単語でもトークン数が異なること）により、トークン単位の対応関係を保証できない。

• 類似度計算: 2つの整列されたシーケンスのトークン埋め込み間で、ペアワイズのコサイン類似度行列 $S$ を計算する。
• 制約とバイアス:
  • フィールド・マスキング: シーンの分解を尊重するため、対応する意味フィールド内のトークン間でのみマッチングを制限する。
  • 局所性バイアス: 構造的アライメント後には対応するトークンが類似した相対的位置に現れるという仮定に基づき、フィールド内の相対的なトークン位置に対してガウス型バイアスを適用する。
  • 温度スケーリング: 温度パラメータ（$\tau$）を使用して、類似度スコアを精緻化する。
• 投影: 温度スケールされたソフトマックス正規化を介して、ソフトアライメント行列 $A$ を導出する。この行列は、ソースの埋め込みの意味的内容をターゲットのトークン構造へと投影し、確立されたトークン単位の対応関係を持つ等長の整列済み埋め込みシーケンス（$E_A, E_B$）を生成する。

3. 整列空間における補間

埋め込みが整列された後、対応するトークン間で単純な線形補間が行われる：
$$E_\alpha = \{(1 - \alpha)e^A_j + \alpha e^B_j\}_{j=1}^m, \quad \alpha \in [0, 1]$$
これらの補間された埋め込みは、生成モデル（例：Flux2またはFIBO）の条件付けとして使用される。画像ベースのタスク（編集およびブレンディング）では、モデルは入力画像（または画像群）と補間されたテキスト埋め込みの両方に条件付けられる。連続的なブレンディングにおいては、エンドポイントでの忠実度を維持しつつ、中間ステップでの意味的進化を可能にするため、アテンション重みが $\alpha$ に応じて（二次関数的スケーリングを用いて）調整される。

主な貢献

1. トークン間アライメント・フレームワーク: 任意のプロンプト間でトークン間の明示的な意味的対応を強制する2段階（構造的および埋め込みレベル）の手法を提供し、テキスト埋め込み空間を線形補間可能な多様体へと変容させる。
2. 統一された制御メカニズム: 既存の表現を整理することで、生成モデルのアーキテクチャを変更したり、新しい制御パラメータを学習したりすることなく、テキスト-画像モデルにおける意味的制御が可能であることを実証した。
3. 用途の多様性: 本フレームワークは、タスク固有の学習を必要とせずに、連続的な合成（属性の変化）、連続的な編集（指示に基づく画像の修正）、および連続的なブレンディング（2つの画像間のモーフィング）をサポートする。

結果と評価

著者らは、定性的および定量的な指標を用いて、本手法を最先端のベースラインと比較評価した。

• 定性的パフォーマンス:
  • 連続的編集: Kontinuous Kontext、SliderEdit、GRAGなどの手法と比較して、T2Tは一貫した中間状態を伴う滑らかな遷移を実現する。ベースラインは、外観ベースの補間への依存や、急激な意味的変化を引き起こすことが多い。
  • 連続的ブレンディング: DiffMorpher、FreeMorph、VibeSpaceと比較して、T2Tはゴースティング・アーティファクトや構造的不連続性を回避する。ピクセル/潜在空間の手法が幾何学的な変化に苦戦する一方で、T2Tは整列されたテキスト空間で補間を行うことにより、構造的一貫性を維持する。
• 定量的パフォーマンス:
  • ブレンディング (Morph4Data & BlendBench): T2Tは、競争力のある滑らかさ（PPL）を達成すると同時に、視覚的品質（MUSIQ）と分布の適合度（FID）においてベースラインを大幅に上回った。VibeSpaceよりも入力画像への忠実度が高く、モーフィングベースの手法よりもアーティファクトが少ないことを示した。
  • 編集 (PIE-Bench): T2Tは、強い意味的整合性（Norm CLIP-Dir）を達成し、滑らかさと意図した編集方向への忠実な追従を両立させ、ベースラインと比較して改善された連続性を示した。
• ユーザー調査: 20人の参加者によるペア比較において、T2Tは視覚的品質、意味的滑らかさ、および編集・ブレンディングの両方のタスクにおける全体的な好度のすべてにおいて、高い勝率を記録した。
• アブレーション研究: 実験により、構造的アライメントと埋め込みレベルのアライメントの両方が相補的であることが確認された。直接的な補間は失敗し、テキストレベルのアライメントのみでは微細なディテールが不足し、埋め込みアライメントのみでは構造的制約なしでは不安定になる。フルメソッドが最も一貫した結果をもたらす。

意義と主張

本論文は、生成モデルにおける滑らかな意味的遷移を実行する能力は、根本的に操作の問題ではなく、表現の問題であると断じている。テキスト埋め込み空間はすでに連続的な意味構造を暗黙的にエンコードしているが、標準的なプロンプトの定式化では、不整合のためにその構造が絡み合い、アクセス不能になっている。

トークンレベルの対応関係を強制することにより、著者らはこの空間を効果的に「線形化」し、補間を信頼できないヒューリスティックから、原理に基づいた操作へと変えることができると主張している。この観点において、生成モデルは、整列された意味空間で定義された軌道の受動的なレンダラーとして機能する。その意義は、モデルの変更、ファインチューニング、または明示的な制御パラメータの導入を必要とせず、既存の表現を整理することによって複雑な意味的制御が可能であることを示した点にある。

著者らは限界についても認めており、このアプローチは初期の構造的アライメントの品質に依存すること、および線形補間が高度に非線形な意味的変換を捉えきれない可能性があることを指摘している。今後の課題として、アライメントの堅牢性の向上や、ビデオ生成のような時間的一貫性を要する設定への拡張が挙げられている。