技術要約：自然言語における任意の条件付き確率モデリングの簡素化

問題提起

現代の大規模言語モデル（LLM）の基盤であるアーキテクチャである標準的な因果的トランスフォーマー（Causal Transformer）は、結合分布の自己回帰的な因子分解（$p(x) = \prod_t p(x_t | x_{<t})$）を通じてシーケンスをモデル化します。この左から右への構造は、効率的な学習とデコーディングを可能にしますが、任意の条件付き確率（arbitrary conditionals）を計算可能な形で評価したりサンプリングしたりする能力を根本的に制限します。具体的には、これらのモデルは、過去と未来の両方のトークンが混在する場合（例：$p(x_{middle} | x_{past}, x_{future})$）のシーケンスセグメントの尤度を、単一のフォワードパスで計算することができません。

この問題に対する既存のアプローチには以下が含まれます：

• 任意の順序の自己回帰モデル（例：XLNet, $\sigma$-GPT）： これらは任意のトークン順序をサポートするためにアーキテクチャを変更します。しかし、これらはしばしば複雑なアーキテクチャの変更（例：二重の位置エンコーディング）を必要とし、自然言語にとって最適ではない順序を含むあらゆる可能性の下でトークンを予測するように学習するため、モデルの容量を浪費します。
• マスク言語モデル（MLM）： 双方向のアテンションが可能ですが、結合確率ではなく独立した周辺分布の尤度を最大化するため、生成性がなく、逐次的なアンマスキング（unmasking）を必要とするため計算コストが高くなります。
• 離散拡散モデル（Discrete Diffusion Models）： 任意の条件付き確率からのサンプリングは可能ですが、一般に尤度の評価が困難であり、左から右への帰納バイアスが欠如しているため、パープレキシティにおいて自己回帰モデルに劣ることがよくあります。

決定的なのは、これらの代替手法のほとんどはモデルを一から訓練する必要があるため、大幅なアーキテクチャの手術なしに既存の学習済みLLMを任意の条件付けに対応させることは不可能であるという点です。

手法：Arbitrary Conditionals GPT (AC-GPT)

著者らは、標準的な因果的トランスフォーマーの元のアーキテクチャと学習目的を維持しながら、任意の条件付き確率を扱うことができる手法として AC-GPT を提案しています。

コアメカニズム

AC-GPTは、入力シーケンス表現に対する単純な修正を導入します。

1. 条件付きコピーによる拡張： 与えられた条件付きクエリにおいて、シーケンス $x$ が条件付け集合 $x_c$ と評価集合 $x_e$ に分割される場合、モデルは条件付けトークンのコピー $\bar{x}_c$ を作成します。
2. シーケンス構成： これらのコピーは、他のすべてのトークンがそれらにアテンションを向けることができるように、シーケンスの「開始時」（概念的には元のトークンの前）に配置されます。
3. アテンション・マスキング：
   • $\bar{x}_c$ 内： $\bar{x}_c$ 内のトークンは既知であり、互いに対して因果的順序を守る必要がないため、制限のない双方向アテンションが使用されます。
   • 残りのシーケンス： 標準的な因果的アテンションが維持されます。評価集合 $x_e$ のトークンは、$\bar{x}_c$ および $x_e$ の前のトークンにアテンションを向けることができますが、$x_e$ の後のトークンにはアテンションを向けられません。
4. 位置の整合性： コピーされた $\bar{x}_c$ は、元の場所における位置エンコーディングを保持します。これにより、モデルは条件付けられたトークンの元のシーケンス内での相対的な位置を理解できます。
5. 情報のリーク防止： このコピーメカニズムは、トランスフォーマーの層間における情報のリークを防ぐために極めて重要です。これがないと、標準的な因果的アテンションによって、評価集合の後半のトークンから、連鎖律の分解に違反する形で、後続の層における条件付けトークンを通じて、初期のトークンへ間接的に情報が伝わる可能性があります。

学習戦略

• 目的： モデルは標準的な次トークン予測の目的（教師強制）を用いて訓練されます。損失は評価集合 $x_e$ 内のトークンに対してのみ計算されます。条件付けトークン $\bar{x}_c$ に対する予測は無視されます。
• 条件付け分布： 真に任意のクエリを可能にするために、モデルは条件付け集合の分布を用いて訓練されます。著者らは、完全な任意のクエリと構造化されたクエリ（例：連続するブロック）の間を補完することによって、条件付け集合 $x_c$ をサンプリングします。これには、条件付け集合のサイズ、連続するブロックの数、およびその位置のサンプリングが含まれます。

主な貢献

1. アーキテクチャの単純性： AC-GPTは、因果的トランスフォーマーのアーキテクチャに根本的な変更（例：二重の位置エンコーディングや標準的な因果マスク以外のカスタムアテンションマスク）を必要としません。単に入力シーケンスを拡張するだけです。
2. シングルパス評価： MLMや拡散モデルとは異なり、AC-GPTは単一のフォワードパスで任意の条件付き確率の結合尤度を評価できます。
3. 左から右への帰納バイアスの保持： 標準的な次トークン予測の目的と評価集合に対する因果的順序を維持することで、AC-GPTは自然言語タスクにおける標準的なLLMの強力な性能特性を保持しています。
4. ファインチューニングの互換性： アーキテクチャが標準的な因果的トランスフォーマーであるため、AC-GPTは、ゼロからの訓練を必要とする$\sigma$-GPTやその他の任意の順序モデルとは異なり、既存の学習済みLLMを直接ファインチューニングして任意の条件付け能力を獲得させることが可能です。

実験結果

著者らはWikitext-103およびFineWebデータセットを用いて、AC-GPTを標準的なGPT、$\sigma$-GPT（ランダムおよび時間的バリアント）、MLM（BERT）、および拡散モデルと比較評価しました。

• 条件付きクエリにおける性能： AC-GPTは、条件付き尤度評価およびサンプリングタスク（例：インフィリング）において、ベースラインを大幅に上回りました。
  • Wikitext-103において、AC-GPTはインフィリングタスクで17.1のパープレキシティを達成しました（BERTは45.4、$\sigma$-GPT-randomは壊滅的な失敗）。
  • 未来のコンテキストを活用することで、過去のコンテキストに制限されたモデルと比較して、学習分布クエリにおいて15〜16%のパープレキシティ減少を示しました。
• 標準的な性能の保持： AC-GPTは、無条件（左から右）の生成においても競争力のある性能を維持し、パープレキシティスコアは標準的なGPTベースラインとほぼ同等でした（例：17.9に対し18.4）。
• 学習済みモデルへのスケーリング： Qwen3（8B, 14B, 32B）およびLLaMA-3.1（8B）を用いたファインチューニング実験において、AC-GPTのLoRAアダプタは、無条件の性能を低下させることなく、条件付きタスクにおいて大幅な利得（13〜15%のパープレキシティ減少）を達成しました。この利得は、モデルのスケールやアダプタの容量（LoRA vs フルファインチューニング）に関わらず一貫していました。
• サンプリングの質： MAUVEスコアは、AC-GPTと$\sigma$-GPT-temporalが高い品質の生成を実現していることを示しましたが、$\sigma$-GPT-randomや拡散モデルは、条件付き設定において支離滅裂なテキストや「ワードサラダ」に陥ることがありました。

意義と主張

論文は、AC-GPTが、任意の条件付き確率のモデリングを任意のトークン順序のモデリングから切り離すことで、任意の条件付き確率の問題に対するパラダイムレベルの解決策を提供すると主張しています。

• 効率 vs 互換性： 著者らは、AC-GPTが（評価集合を通じてのみバックプロパゲーションを行うことで）学習効率を犠牲にしていることを認めています。しかし、これは学習済みLLMの普及を考えれば、アーキテクチャの互換性を得るための有利なトレードオフであると主張しています。
• 実用的な影響： 主な意義は、既存の強力なLLMに、未来のコンテキストを推論したり、テキストのインフィリングや編集などのタスクを実行したりする能力を、新しいアーキテクチャをゼロから訓練するという禁止的なコストなしに付与できる点にあります。
• 謙虚な姿勢： 著者らは、現在の研究が既知のトークンへの条件付けに焦点を当てていることを指摘しています。未知のトークン集合を周辺化すること（別の種類のクエリ）は、まだ本研究では探索されていないことを明示していますが、MASKトークンを導入することで実現可能であると考えています。また、実験が2つのデータセットに限定されていることも認め、将来の研究ではより大きなコーパスや特定のダウンストリームアプリケーションを探索すべきであるとしています。

要約すると、AC-GPTは、任意の条件付き確率を扱う能力は、成功した左から右への自己回帰フレームワークを放棄する必要はなく、むしろ位置を考慮した入力コンテキストの単純な拡張によって達成できることを示しています。