テクニカルサマリー：ファインチューニングは言語モデルの情報伝達能を向上させる

問題提起

既存の文献では、ファインチューニング（指示チューニングやアライメントを含む）が大規模言語モデル（LLM）の多様性と不確実性を減少させ、より決定論的にするという見解が示されている。しかし、本論文は、これらの先行研究における決定的な限界を指摘している。それは、多くの分析が**出力長（output length）**の制御に失敗している点である。長さは多様性の測定における主要な交絡因子であり、タイプ・トークン比（type-token ratio）やn-gram多様性といった指標はテキストの長さにバイアスを受けやすく、短い応答を不自然に多様であると見せてしまう傾向がある。さらに、先行研究は多様性を静的な特性として扱っており、生成の軌跡（trajectory）に沿って不確実性がどのように進化するか、あるいは異なる出力長に対してどのように割り当てられるかを分析できていない。その結果、ファインチューニングが単に多様性を抑制しているのか、それとも、より情報量が多く意味のある生成を行うために多様性を再構成しているのかは、依然として不明である。

手法

キャノピー・エントロピー ($CE^\star$)

これらの課題に対処するため、著者らは言語生成をツリーの観点から捉える情報理論的尺度である**キャノピー・エントロピー ($CE^\star$)**を提案する。

• 概念: 「キャノピー（天蓋）」とは、モデルが利用可能なすべての完了したロールアウト（リーフ）の集合を表す。$CE^\star$は、局所的な分岐幅（トークンレベルの不確実性）と軌跡の深さ（停止時間の変動性）を共同で考慮することで、生成空間の実効的な体積を定量化する。
• 形式的定義: $CE^\star$は、生成の軌跡に沿った局所エントロピーの期待値として定義される：
  $$CE^\star := \mathbb{E}\left[\sum_{t=1}^{N(x)} \tilde{H}(g_t | x)\right]$$
  ここで、$N(x)$はランダムな停止時間（長さ）、$g_t$は生成履歴、$\tilde{H}$は次トークンの局所エントロピー（EOSトークンを含む）である。
• 理論的等価性: 著者らは、$CE^\star$が生成プロセス全体のシャノン・エントロピーと完全に等価であることを証明している：
  $$CE^\star = H(N, Y_{1:N} | X)$$
  これにより、全不確実性は長さの不確実性 $H(N|X)$（停止時間の予測可能性）と内容の不確実性 $H(Y_{1:N}|N, X)$（固定長におけるシーケンスの多様性）に分解される。

派生指標

$CE^\star$を解釈可能にするため、2つの正規化されたバリアントが導入されている。

1. 生成パープレキシティ (GenPPL): $CE^\star$のトークンレベルの正規化であり、典型的なトークンの多様性を反映する。
2. 分岐係数 (Branching Factor, BF): 軌跡レベルの正規化（エントロピー率の期待値）であり、典型的な軌跡の多様性を反映する。

長さ–エントロピー相関 ($\rho(N, r_N)$)

生成の長さに伴って不確実性がどのように進化するかを研究するために、出力長 $N$ とエントロピー率 $r_N$（トークンごとの内容の不確実性）の間の相関関係を導入する。

• 定義: $\rho(N, r_N)$ は、長い生成が情報の有用性を維持しているか（正の相関）、あるいは次第に冗長または予測可能になっているか（負の相関）を測定する。
• 意義: この指標は長さの交絡効果に対処し、真の情報獲得と、長いテキストにおける統計的なアーティファクトを区別する。

推定

指数関数的な全ロールアウトの空間にわたって $CE^\star$ を計算することは計算量的に不可能であるため、著者らはモンテカルロ推定器を開発した。彼らは、最大長 $T_{max} \to \infty$ の条件下での切断バイアスが減少する場合、および適度な切断長において、これらの推定器の整合性を確立している。誤差範囲は、モンテカルロ・サンプリング誤差と切断バイアスに分解される。

主な結果

著者らは、3つのモデルファミリー（LLaMA-3.1-8B, Qwen3-8B, Gemma-3-12B）を用い、4つのタスク（数学、コーディング、文章補完、ストーリー生成）において、ベースモデルと指示チューニング済みモデルを比較評価した。

1. 正規化された不確実性の減少:
   ファインチューニングは、ほぼすべてのモデルとタスクにおいて、トークンレベル（GenPPL）および軌跡レベル（BF）の両方の正規化された不確実性を一貫して減少させる。減少の大きさはタスクによって大きく異なり（例：Qwenの数学では約5%に対し、文章補完では約80%）、アライメントが生成空間を圧縮するものの、タスクの構造に応じて不均一に行われることを示唆している。

2. 全不確実性 ($CE^\star$) へのタスク依存的影響:

   • 構造化されたタスク（数学、コーディング、文章補完）では、有効な生成空間が少数の正しい軌跡へと絞り込まれるため、ファインチューニング後に $CE^\star$ が大幅に減少する。
   • オープンエンドなタスク（ストーリー生成）では、$CE^\star$ が増加する場合がある。ファインチューニングされたモデルは、より長く精緻なシーケンスを生成する。局所的な分岐の多様性は減少するものの、軌跡の深さ（停止時間の不確実性）の増加が数学的に局所エントロピーの減少を上回ることがあり、その結果、総生成空間の体積が大きくなる。

3. 長さ–エントロピー相関のシフト:
   極めて重要な発見は、ファインチューニングが相関 $\rho(N, r_N)$ を負から正へと系統的にシフトさせることである。

   • ベースモデル: 負の相関を示す。長い出力ほどエントロピー率が低くなる傾向があり、これは後半のトークンが冗長であることを意味する。
   • ファインチューニング済みモデル: 正の相関を示す。長い生成においても高いエントロピー率を維持しており、これは追加のトークンが繰り返しに陥ることなく、依然として情報的であることを示している。

4. 意味的多様性における効率性:
   ベータ混合効果回帰フレームワークを用いた結果、ファインチューニングは固定されたエントロピー率におけるベースラインの意味的多様性を減少させる一方で、意味的多様性のエントロピー率に対する感度をほぼ3倍に高めることが分かった。これは、アライメントされたモデルがトークンレベルの不確実性をより効率的に利用し、ベースモデルよりも効果的に意味のある意味的バリエーションへと変換していることを示唆している。

意義と主張

本論文は、「ファインチューニングは単に多様性を減少させるだけである」という支配的な見解は不完全であると主張している。代わりに、結果はファインチューニングが不確実性を根本的に再構成していることを示している。

• 単なる減少ではなく、再構成: ファインチューニングは単に生成空間を縮小するのではなく、生成の軌跡に沿って不確地がどのように割り当てられるかを再構築する。
• 情報の効率性: アライメントされたモデルは、より組織化され、意味のある出力を行う。彼らは情報の密度を長い軌跡にわたって維持し、ベースモデルによく見られる「完了の罠」や冗長性を回避している。
• 方法論的貢献: $CE^\star$ と長さ–エントロピー相関を導入することで、本論文は、従来の指標に内在する出力長の交絡効果を克服する、長さに対して意識的な（length-aware）原理に基づいた生成多様性の評価フレームワークを提供する。

著者らは、ファインチューニングは言語モデルの**情報伝達能（information conveyance）**を向上させ、不確実性を、意味的に多様でタスクに適した生成へと変換することをより効果的にしていると結論付けている。