テクニカルサマリー：拡散トランスフォーマーにおけるテキストテンプレートトークンは暗黙的な意味的レジスタである

問題提起

現代のテキストから画像への生成技術は、U-Netアーキテクチャから、テキストと画像トークンが結合アテンションを介して相互作用するDiffusion Transformer (DiT) へと移行している。同時に、テキストのコンディショニングは、孤立したエンコーダ（例：CLIP、T5）から、システム、ユーザー、アシスタント、およびデリミタ（区切り文字）トークンを含むチャットテンプレートへとユーザープロンプトをシリアライズする大規模言語モデル（LLM）へと進化している。

ユーザープロンプトのセマンティック（意味的）な内容は明確であるが、構造的テンプレートトークン（デリミタのようなフォーマットの残骸）の役割については、依然として理解が進んでいない。結合アテンションを用いるDiTにおいて、すべてのコンディショニングトークンは、画像ストリームに対するキー（Key）として競合する。これらの構造的トークンが、単なる無機質なフォーマットの残骸として留まっているのか、透明なコンディショニングとして機能しているのか、あるいはより深い計算上の役割を獲得しているのかは、未解決の問いである。さらに、DiTのメカニズム的な組織化に関する広範なギャップが存在する。具体的には、どのレイヤーが意味的内容を確定させ、どのヘッドが生成に因果的な影響を与え、そしてテキスト・画像間のアテンションがデノイジングの軌跡を通じてどのようにコンディショニングを媒介しているのかという点である。

手法

著者らは、デノイジング中にコンディショニング情報がどこで読み取られ、ルーティングされ、格納されるかを追跡するために設計された因果的解釈可能性フレームワークを導入している。このフレームワークは、以下の4つの特定の手法を組み合わせている：

1. トークンレベルのアテンション分解: 画像からテキストへの（I2T）アテンション質量を分析し、画像のクエリが特定のテキストトークンスパン（意味的トークンか構造的トークンか）に対してどれだけの注意を向けているかを定量化する。
2. スパンレベルのコンディショニング介入: クロスプロンプトのスワップや構造的トークンの平均化を行い、それらがプロンプト固有の意味を運んでいるかどうかをテストする。
3. クロス・トラジェトリ・ヘッド移植: 異なる2つの生成軌跡（例：「apple」対「banana」）の間で、アテンション投影（$q, k, v$）を段階的にスワップし、どのヘッドがオブジェクトの同一性を因果的に決定するかを特定する。
4. レイヤーごとの因果的マスキング: 特定のレイヤーにおいてアテンションの流れ（例：Register $\to$ Semantic、または Register $\to$ Image）をマスキングし、情報の流れる方向を決定する。

本研究では主にQwen-Imageファミリー（デュアルストリームMMDiT）を利用し、複数のベンチマーク（GenEval、DPG-Bench、Qwen-Image-Bench）および言語（英語と中国語）にわたって評価を行っている。

主な知見

1. 支配的なアテンション・シンクとしての構造的トークン

分析の結果、構造的テンプレートトークン（例：<|im_start|> や <|im_end|> のようなデリミタ）が、強力なアテンション・シンク（Attention Sink）として機能していることが明らかになった。