技術的概要：インコンテキスト学習におけるタスクベクトル設計のための分布整合性という基準

問題定義

インコンテキスト学習（ICL）は、ラベル付きデモンストレーションを入力クエリに先付けすることで、大規模言語モデル（LLM）が新しいタスクに適応することを可能にする。効果的である一方、ICL はコンテキスト長の増加に伴い推論コストとメモリオーバーヘッドが膨張し、リソース制約下での実用性を阻害する。これを解決するため、最近の研究では**タスクベクトル（TVs）**が提案されている。これは、ICL 中の LLM の内部活性化から抽出されたコンパクトな隠れ状態表現である。これらのベクトルはデモンストレーションから推論されたタスク情報を凝縮しており、モデルがデモンストレーションを再処理することなくゼロショット推論中にタスク適応を遂行することを可能にする。

しかし、既存のタスクベクトル抽出手法には、原理的な設計基準が欠如している。現在、タスクベクトル抽出手法の品質は、下流タスクの精度を通じてのみ間接的に評価されている。この間接的な指標は、なぜある手法が他を凌駕するのか、あるいはより効果的な抽出メカニズムをどのように設計すべきかという点について、限定的な洞察しか提供しない。タスクベクトルの品質を評価し最適化するための、直接的かつ理論的に裏付けられた基準が必要とされている。

手法

1. 提案される基準：分布整合性

著者らは、タスクベクトルの主要な目的は、デモンストレーションの効果を凝縮し、結果として得られる予測分布を標準的な ICL の分布と密接に整合させることであると仮定している。この整合性を定量化するため、dNTP（Next-Token Probability の不一致）を導入する。

• 定義: dNTP は、ICL 下での次のトークンの予測分布（$P_{icl}$）と、タスクベクトルに基づく推論下での分布（$P_{tv}$）との間のカルバック・ライブラー（KL）ダイバージェンスを測定する。
  $$dNTP(f; Z) = \mathbb{E}_{x \sim D} \left[ D_{KL} \left( P_{icl}(\cdot | x, Z) \parallel P_{tv}(\cdot | x, f(Z)) \right) \right]$$
  ここで、$f$ は抽出関数、$Z$ はデモンストレーションを表す。
• 検証: 複数のモデルとベンチマークにわたる実証分析により、dNTP と下流精度の間に強い負の相関があることが明らかになった。dNTP が低いことは一貫して高い精度を予測し、dNTP がテストセットラベルを必要としないタスクベクトル品質の有効な代理指標であることを確立した。

2. 提案手法：線形タスクベクトル（LTV）

dNTP を最小化するという目標に動機付けられ、著者らは**線形タスクベクトル（LTV）**を提案する。この手法は、代理最適化問題から導出される。

• 根拠: dNTP を直接最小化することは、閉形式解が存在せず反復更新を必要とするため、扱いが困難である。著者らは、ICL の隠れ状態（$h_{icl}$）と、ゼロショット隠れ状態にタスクベクトルを加えたもの（$h_{zs} + v$）との間の平均二乗誤差（MSE）を最小化することが、dNTP の上界となることを証明する。
  $$LMSE(f) = \mathbb{E} \left[ \| h_{icl} - (h_{zs} + f(Z)) \|_2^2 \right]$$
• 線形マッピング: ICL の「トレーニングフリー」という利点（モデルパラメータの更新を回避）を維持するため、LTV は抽出関数$f$を線形マッピングに制限する。タスクベクトル$v$は、ゼロショット隠れ状態$h_{zs}$の線形変換として推定される。
  $$v = W h_{zs}(x)$$
• 閉形式解: 最適な線形マッピング$W^*$は、ラベルなしのトレーニングクエリのセットを用いたリッジ回帰によって計算される。回帰のターゲットは、ICL 隠れ状態とゼロショット隠れ状態の差（$h_{icl} - h_{zs}$）である。
  $$W^* = \arg\min_W \left( \| Y - W H \|_F^2 + \lambda \| W \|_F^2 \right)$$
  ここで、$H$にはゼロショット隠れ状態が、$Y$にはターゲットとなる差が含まれる。これにより効率的な閉形式解が得られる。

主要な貢献

1. dNTP 指標: TV ベースと ICL ベースの推論分布間の不一致を定量化する指標の導入。本論文は、dNTP が下流精度と負の相関を持つ強力な性能代理指標であることを実証する。
2. 線形タスクベクトル（LTV）: 閉形式の線形マッピングを通じて dNTP を最小化するタスクベクトル抽出手法の開発。このアプローチは反復最適化とモデルの微調整を回避する。
3. 実証的優位性: 8 つの分類ベンチマークと 5 つの LLM にわたる広範な実験により、LTV が既存のトレーニングフリーベースライン（Function Vector, Task Vector, State Vector, I2CL）を上回ることを示す。
4. クロスモデル転送: 大きなモデル（例：72B）から抽出されたタスクベクトルを、より小さなモデル（例：7B）へ転送して性能を向上させることの証明。これは、推論モデルが容量やコンテキスト長に制限があるシナリオに対処する。

実験結果

• 分類性能: 5 つの LLM（LLaMA-2/3 および Qwen のバリエーションを含む）と 8 つのベンチマーク（SST-2, AGNews, DBPedia など）にわたって、LTV は最高平均精度を達成した。具体的には、LLaMA-2-13B において、LTV は最良のベースライン（State Vector）に対して平均精度を**9.2%**向上させ、79.46% に達した。
• 効率性: LTV は、ゼロショット推論と同等の推論レイテンシ（サンプルあたり約 0.0226 秒）を維持し、ICL よりも大幅に高速である。抽出には一度限りの事前計算コストが必要であるが、これはテストセット全体で償却される。
• 回帰タスク: LTV は線形および ReLU 回帰タスクでも評価され、すべてのタスクベクトルベースラインの中で最低の平均二乗誤差（MSE）を達成した。
• 頑健性: この手法は、ハイパーパラメータ（トレーニングクエリの数$N$と正則化$\lambda$）およびデモンストレーションの数（$k$）の変動に対して頑健である。
• 転送性: Qwen-2.5-72B モデルから LTV を Qwen-2.5-7B モデルへ転送した結果、より小さなモデルの平均分類精度が**6.43%**向上し、場合によっては大きなモデル自身の LTV の性能に匹敵した。

意義と主張

本論文は、分布整合性がタスクベクトル抽出手法を設計するための根本的かつ有用な基準であると主張する。間接的な下流精度から、直接的な分布不一致（dNTP）へと評価の焦点をシフトさせることで、著者らはタスクベクトルを理解し改善するための原理的な枠組みを提供する。

LTV の意義は、以下の点にある。

1. ギャップの架橋: モデル更新を必要とせず、ICL の理論的目標（暗黙のベイズ推論）と実用的な実装（コンパクトなベクトル）の間のギャップを埋めること。
2. 計算効率性の提供: ICL に対する計算的に効率的な代替案を提供し、高い精度を維持しながら推論レイテンシを削減すること。
3. クロスモデル転送の実現: より大きく能力の高いモデルから抽出されたタスク表現が、コンテキストや容量が制限された小さなモデルのためのリソースとなり得ることを示唆すること。

著者らは、LTV が LLM におけるタスク圧縮のためのより効率的かつ効果的な枠組みを提供し、TV と ICL 分布間の不一致を最小化することが優れたタスク適応につながるという仮説を検証したと結論づける。