🤖 machine learning

Compositional Generalization in Autoregressive Models via Logit Composition

本論文は、拡散手法に触発された、自己回帰モデルのための原理的なログイト合成戦略を導入するものであり、これは出力部分空間に対する射影制御を保証し、因数分解条件付き仮定のもとで長さの一般化を維持する。

原著者： Aakash Kumar, Maria Sofia Bucarelli, Emanuele Natale

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

原著者： Aakash Kumar, Maria Sofia Bucarelli, Emanuele Natale

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

3 人の非常に特定のシェフがキッチンで働いていると想像してください。

シェフ・ベース（背景）： このシェフは、レシピを記載された通りに正確に守るのが得意です。シンプルなサンドイッチを頼めば、完璧なシンプルなサンドイッチを作ります。余計なものは何も加えません。
シェフ・マスマ： このシェフはチーズやスパイスを加える魔法使いですが、レシピに指示がある場合に限ってそれを行います。レシピに「チーズを加える」とあれば、完璧に実行します。指示がなければ、サンドイッチには手を出しません。
シェフ・コード： このシェフはレタスやトマトを加える専門家ですが、レシピがそれを求める場合に限って行います。

問題点：
通常、チーズとレタスの両方が入ったサンドイッチが欲しい場合、一度にすべてができる巨大なシェフを一人雇う必要があります。あるいは、3 人のシェフをエプロン（重み）を混ぜ合わせるか、交代で作業させる（ルーティング）ことで組み合わせようとします。しかし、しばしばこれが混乱を招きます。シェフ・マスマがチーズを加えようとしている最中にシェフ・コードがレタスを加えようとしたり、サンドイッチの仕上げ方法で言い争ったりして、結果として汚く食べられない食品の山ができあがってしまいます。

この論文の解決策：「Logit Composition（対数オッズの合成）」
この論文の著者たちは、これらのシェフを組み合わせる新しい方法を提案しています。エプロンを混ぜたり交代させたりする代わりに、3 人のシェフ全員が次の材料についての提案を同時に叫びますが、特別なルールを設けます。

ルール： シェフ・マスマの提案にシェフ・コードの提案を加え、そこからシェフ・ベースの提案を引く。
魔法： シェフ・ベースは単なる「素の」バージョンなので、その声を引くことでノイズが相殺されます。
- レシピにチーズが必要な場合、シェフ・マスマは大きく声を上げ、シェフ・コードは静かです（チーズについては知らないため）、シェフ・ベースは中立です。計算が合うため、最終的な決定は「チーズを加える」となります。
- レシピにレタスが必要な場合、シェフ・コードが大きく声を上げ、シェフ・マスマは静かです。最終的な決定は「レタスを加える」となります。
- レシピに特別なものが不要な場合、全員が静かになり、サンドイッチは素のまま残ります。

なぜこれが機能するか（「非重複」の秘密）
この論文は、この方法が完璧に機能するのは、シェフたちが非重複（disjoint）な役割を持っている場合に限ると主張しています。

シェフ・マスマは「チーズの工程」のみを扱います。
シェフ・コードは「レタスの工程」のみを扱います。
彼らは同時に相手の役割を行おうとすることは決してありません。

シェフ・マスマがチーズを加えようとしている最中にシェフ・コードがレタスを加えようとすれば、互いに衝突する可能性があります。しかし、彼らがいつ行動するかを正確に知っている場合（例：「私はステップ 3 のみを担当し、あなたはステップ 5 のみを担当する」）、争うことなくシームレスに協力できます。この論文ではこれを**「因数分解された条件（Factorized Conditionals）」**と呼んでいます。

「射影的（Projective）」な保証
この論文は、シェフたちが特定の領域に留まる場合、最終的なサンドイッチ（出力）は、両方のスキルを完璧に知っているスーパーシェフを雇った場合と全く同じものになることを証明しています。

サンドイッチの「チーズ」部分は 100% シェフ・マスマから来ます。
「レタス」部分は 100% シェフ・コードから来ます。
「パン」部分は 100% シェフ・ベースから来ます。

彼らは互いに干渉しません。これは射影のようなものです。チーズの部分だけを見ると、シェフ・マスマが作ったものと全く同じに見えます。レタスを見ると、シェフ・コードが作ったものと全く同じに見えます。

長いレシピでも機能するか？（長さの一般化）
この論文は、シェフたちがまだ見たことのない非常に長いレシピ（100 ページの料理本など）に対してもこれが機能するかどうかを確認しました。その結果、シェフたちが特定の「領域」（例：「私はステップ 10〜20 を担当する」）を知っており、レシピが同じパターンに従う限り、組み合わせられたチームは短いレシピと同様に長いレシピを処理できることがわかりました。本が分厚くなったからといって、彼らが混乱することはありません。

現実世界でのテスト
著者たちは、実際の AI モデル（大規模言語モデル）を用いてこれをテストしました。

ベースモデル（Gemma 2）を取得しました。
数学用に微調整されたバージョンを取得しました。
コーディング用に微調整されたバージョンを取得しました。
それらを「叫び合い」ルールを用いて組み合わせました。

結果：
新しい組み合わせモデルは、コーディング専門家単体よりもコーディング能力が向上し、数学専門家のスキルもほぼすべて維持しました。コーディングを習得したからといって数学能力を失うことはありませんでした。チーム全体を最初から再訓練する必要なく、「両方の世界のベスト」を実現しました。

注意点
この論文は、この方法が最も効果的なのはタスクが明確に分離されている場合であると認めています。あまりにも多くの専門家（例えば「詩」のシェフや「歴史」のシェフを混ぜるなど）を組み合わせようとすると、チームがいつ話を止めるべきか混乱し、意味不明な文章（ガベージ）を生む可能性があります。しかし、明確で分離されたスキルに対しては、この「Logit Composition」はモジュール化された AI システムを構築するための強力かつ原理的な方法です。

技術的概要：対数尤度結合による自己回帰モデルにおける構成的一般化

問題定義

専門的な生成モデルを組み合わせ、モジュール化可能で再利用可能かつ制御可能なシステムを構築することは、大規模言語モデル（LLM）研究における核心的な課題のままです。自己回帰モデルに対する既存のアプローチは、通常、パラメータ空間（例：重み補間、タスク算術、スパース性に基づくマージ）またはアーキテクチャ空間（例：動的ルーティングを伴うエキスパートの混合）で動作します。これらの手法はファインチューニングされたチェックポイントを結合しますが、生成される出力分布に関する明示的かつ静的な保証を欠くか、あるいはコンポーネントが干渉なしに相互作用する方法に関する原理的な規則を提供できないことが多々あります。

対照的に、拡散モデルはスコア関数を線形に結合することで構成的生成において成功を収めており、この視点は最近、Bradley ら [2025] によって射影的結合（projective composition）の概念を通じて形式化されました。しかし、この枠組みは自己回帰モデルには拡張されていません。自己回帰モデルでは生成が本質的に逐次的であり、変化するプレフィックスに条件付けられるため、特定のスキルの適用性は生成されたシーケンスの現在の状態に依存します。

手法

著者は、パラメータ空間ではなく直接確率空間で動作する、自己回帰システム（トランスフォーマーなど）向けの選択的結合（selective composition）戦略を提案します。背景モデル $p_b$ と専門モデルの集合 $\{p_1, \dots, p_k\}$ が与えられたとき、結合モデル $\hat{p}$ は、条件付き次のトークン分布に適用される明示的な算術規則によって定義されます：

$\hat{p}(y_t | x, y_{<t}) = \frac{1}{Z_t} p_b(y_t | x, y_{<t}) \prod_{i=1}^k \frac{p_i(y_t | x, y_{<t})}{p_b(y_t | x, y_{<t})}$

ここで $Z_t$ は正規化定数です。この定式化は、実質的にエキスパートの対数確率を加算し、背景モデルの対数確率を減算するものです。

理論的枠組み

本論文は、この結合が証明的に正しく、コンポーネントモデルの固有の振る舞いを維持する条件を確立します：

分解された条件付き分布（トークン空間）：著者は、生成空間がトークンインデックスの互いに素な集合（マスク）に分割されるという性質を定義します。各専門モデル $p_i$ が指定されたマスク $M_i$ 上で独立に作用し、それ以外では背景モデル $p_b$ と一致する場合、その結合は射影的（projective）となります。これは、結合モデルの任意のマスク $M_i$ 上の周辺分布が、専門モデル $p_i$ のそれと同一であることを意味します。
スキルの分解可能性（逐次設定）：三角関数の証明などの自己回帰タスクは生成されたトークンの履歴に依存することを認識し、著者はスキルの分解可能性を導入します。モデルの振る舞いが背景フェーズ、特定のスキルフェーズ（停止時刻 $\tau_1, \tau_2$ によって定義）、および背景への復帰に分解可能である場合、そのモデルはスキル分解可能とされます。
結合的分解可能性：モデルの集合が正しく結合するためには、それらの活動区間（背景からの逸脱が生じる区間）が対で互いに素である必要があります。この条件下では、結合モデルは各スキルを指定された区間でのみ正確に適用し、それ以外では背景モデルに戻ります。
特徴空間への拡張：この枠組みは、可逆写像 $D$ を介して抽象的な特徴空間に拡張されます。特徴空間においてプッシュフォワード分布が分解された条件付き分布の性質を満たす場合、結合は有効であり、互いに素なトークン領域を持たないが互いに素な「概念的」領域を持つモデルの結合を可能にします。
長さ一般化：本論文は、分解の仮定とコンポーネントの保証が目標長さにおいて一様に成り立つ場合、結合モデルはコンポーネントの長さ一般化の振る舞いを継承すると主張します。

モデルマージとの関連

著者は、確率空間における結合とタスク算術（Ilharco ら [2023]）との間の理論的リンクを導き出します。線形設定において、パラメータ空間でタスクベクトルを加算することは、出力分布の乗法的結合と数学的に等価であることを示します。これは、モデルマージ手法の経験的な成功が、タスク更新が出力空間の互いに素な領域に影響を与える、背後にある加法的結合原理によって説明できる可能性を示唆しています。

主要な貢献

原理的な枠組み：拡散モデルからの射影的結合の概念を逐次生成に拡張する、自己回帰モデルを結合するための確率空間枠組みの導入。
正しさの保証：結合が証明的に正しく、コンポーネントが干渉なしに指定された部分空間に対する制御を維持することを保証する特定の条件（分解された条件付き分布と結合的分解可能性）の特定。
長さ一般化：分解の仮定が目標長さにおいて一様に成り立つ場合、結合が長さ一般化する振る舞いを維持することを示す。
理論的架け橋：提案された枠組みを既存のモデルマージ手法（特にタスク算術）と結びつけ、特定のマージヒューリスティックが成功する理由に対する理論的説明を提供する。
経験的検証：合成タスクおよび大規模言語モデルベンチマークの両方におけるアプローチの検証。

結果

著者は、主に 2 つの実験設定を通じてアプローチを検証しました：

制御された玩具タスク：特定の文字を置換するようにモデルを訓練した文字置換タスク（例：'A' $\to$ 'B'、'C' $\to$ 'D'）において、結合モデルは両変換を同時に実行する際に100% の成功を収めました。これにより、結合演算子が互いに素なスキルを正しく統合することが確認されました。
LLM ベンチマーク：Gemma 2 2B ベースモデル（ $p_{base}$ $p_{ba se}$ ）と 2 つのファインチューニングされたエキスパート（ $p_{math}$ $p_{ma t h}$ および $p_{coding}$ $p_{co d in g}$ ）を用いて、著者はモデル $\hat{p}$ $\overset{p}{^}$ を結合し、4 つのベンチマークで評価しました：
- コーディング：HumanEval+ および MBPP+ において、結合モデルはコーディングエキスパート単体よりも優れた性能を示しました（それぞれ 30.5 対 24.4、39.4 対 38.1）。
- 数学：GSM8K および MATH において、結合モデルは数学エキスパートからの重要な性能を維持しました（それぞれ 41.2 対 50.2、24.2 対 25.5）。これは、コーディングスキルが数学的推論を壊滅的に干渉させなかったことを示しています。
- 限界：著者は、2 つを超えるエキスパートを結合すると、シーケンス末尾トークンの予測および終了動作の不安定性に起因すると考えられる生成品質の急激な低下を招くことを指摘しています。

意義と主張

本論文は、自己回帰システムにおいてモデルの結合とマージがいつ、なぜ成功するかについての原理的な理解を提供すると主張しています。パラメータ空間から確率空間へと焦点を移すことで、著者はモデル間の相互作用が安定し、干渉しない条件を特定しました。

その意義は、動的ルーティング手法やヒューリスティックなパラメータ平均化とは対照的に、理論的保証を伴う静的かつ明示的な結合規則を提供する点にあります。この研究は、自己回帰モデルの結合を構造化された確率的操作として理解できる可能性を示唆しており、よりモジュール化可能で制御可能な LLM の構築を可能にするかもしれません。ただし、著者は謙虚であり、その分解の仮定が実際にはすべての事前学習済みモデルに対して完全に成り立つわけではないこと、および経験的評価の範囲が現在限られていることを認めています。