技術的概要：自己改善型インコンテキスト学習

問題定義

インコンテキスト学習（ICL）は、モデルパラメータを更新することなく、数ショットのプロンプトに条件付けることで、大規模言語モデル（LLM）に新しいタスクを実行させることを可能にする。しかし、この能力は極めて脆弱であり、パフォーマンスはデモンストレーションの選択、フォーマット、順序に非常に敏感である。既存のテスト時改善手法は一般的に、デモンストレーションの選択、デモンストレーションの順序付け、出力較正の 3 つのカテゴリーに分類される。これらのアプローチには構造的な限界が共通している：それらはしばしば離散的なプロンプトレベルの決定に基づいて動作し、事前定義された有限のラベルセットを必要とする（これにより分類タスクに限定される）、あるいは外部データやモデル内部に依存する。その結果、ファインチューニングや外部リソースを必要とせず、分類タスクおよび自由形式の生成タスクの両方における ICL を改善できる、汎用的なテスト時較正手法が存在しない。

手法

提案手法である自己改善型インコンテキスト学習は、テスト時に固定された数ショットプロンプトの連続的埋め込みを最適化することで、これらの限界に対処する。中核的な戦略は、プロンプトをブラックボックスとして扱い、モデル自身の予測から完全に導出される自己教師ありの信頼性プロキシを最大化するように、その埋め込み行列を反復的に調整することである。

1. 最適化信号（信頼性プロキシ）

この手法は、モデルがデモンストレーション出力に割り当てる対数確率（トークン生成なしの単一の教師ありフォワードパスで取得可能）が、タスク推論の質に関する有意義な信号を提供するという観察に基づいている。この信号は、プロンプト埋め込み行列 $X$ に対して有界なスカラープロキシ $f(X)$ として形式化される。このプロキシは、3 つの成分の重み付き線形結合である：

• 絶対予測信頼度（$\bar{C}$）： すべてのデモンストレーション出力スパンにわたるトークン確率の幾何平均の長さ正規化平均である。これは、異なる長さのラベル間での比較可能性を確保する。
• プールされたロバスト性（$R$）： 尾部の脆弱性の尺度である。平均のみに依存するのではなく、この成分はすべてのデモンストレーションにわたるすべての真のトークン確率の固定分位点（例：10 パーセンタイル）を計算する。これは、平均的には自信があるように見えても低確率の異常値トークンを含むラベルのケースを罰する。
• 情報利得（$G$）： 漸進的改善の尺度である。モデルの信頼性が後続のデモンストレーションを処理するにつれて増加するかどうかを追跡し、自己回帰的タスク推論の逐次性を反映する。

最終的なプロキシは、重みの和が 1 となるように $f(X) = \alpha\bar{C}(X) + \beta R(X) + \gamma G(X)$ と定義される。

2. 零次最適化

プロキシは滑らかではなく、テスト時にモデルを通じた逆伝播は prohibitively 高価であるため、この手法は入力埋め込みに関するプロキシの勾配を推定するために零次最適化（具体的にはガウス平滑化）を採用する。

• プロセス： アルゴリズムは、現在の埋め込みと、ガウス分布からサンプリングされたランダムノイズで摂動された埋め込みにおけるプロキシの評価によって勾配を推定する。
• 制約： 埋め込みが分布外領域にドリフトするのを防ぐため、この手法は以下の手段を採用する：
  • 勾配クリッピング： 大きな更新を制限する。
  • コサイン類似度制約： 更新された埋め込みが元の埋め込みと方向的に近接していることを保証する。
  • 初期プロキシゲート： 初期プロキシ値が低すぎる場合は最適化をスキップする。なぜなら、ゼロ付近では勾配信号が指数関数的に平坦になるからである。
• 範囲： 摂動はプロンプトのデモンストレーション領域に制限される。因果的注意の下では、クエリトークンの対数確率はプロキシ計算の一部ではないため、クエリトークンは摂動されない。

3. テスト時較正

この手順は完全にプラグ-and-play である。モデルパラメータへのアクセス、外部データ、事前定義されたラベルセット、最適化フェーズ中のトークン生成を一切必要としない。これは入力埋め込みとモデルの対数確率のみを操作する。

主要な貢献

• 埋め込み空間介入： 本論文は、離散的なプロンプトエンジニアリングとは根本的に異なる戦略を提案する。それは、人間が読み取れる入力を維持したまま出力分布を再形成するために、連続的なプロンプト埋め込み行列に直接介入するものである。
• タスク非依存プロキシ： 提案された信頼性プロキシは、分類タスクおよび自由形式の生成タスクの両方に適用可能であり、有限のラベルセットを必要とする既存のベースラインの構造的限界を克服する。
• 自己教師あり信号： この手法は、最適化信号を、提供されたデモンストレーションに対するモデル自身の予測からのみ導出する。クエリに対する正解ラベルや外部オラクルを必要としない。
• 零次効率性： 零次最適化を使用することで、この手法は逆伝播の計算コストと勾配を保存するメモリオーバーヘッドを回避し、大規模モデルへのテスト時適用を可能にする。

実験結果

この手法は、ハッシュ文字列とルール学習タスクを使用して、事前学習知識から ICL 能力を分離するように設計されたベンチマークICLEvalで評価された。評価は、Llama 3.1-8B、Qwen3-4B、Gemma 2-2B の 3 つのモデルにわたる 12 のタスク（正確なコピーとルール学習）を対象とした。

• パフォーマンス： 提案手法は、すべてのタスクおよびモデルにおいて、ベースモデルと一貫して同等かそれ以上のパフォーマンスを示した。劣化を招いたことは一度もない。
  • Llama 3.1-8B： 平均精度が 0.67 から 0.71 に改善（+6.0%）。
  • Qwen3-4B： 平均精度が 0.65 から 0.72 に改善（+10.8%）。
  • Gemma 2-2B： 平均精度が 0.45 から 0.48 に改善（+6.7%）。
• 統計的有意性： 片側マクネマー検定により、3 つのモデルすべてにおいて統計的に有意な改善が確認された（$p < 0.05$）。
• ベースライン比較： 分類サブセットにおいて、この手法は、事前定義されたラベル空間を操作しないにもかかわらず、多くのタスクで分類固有のベースライン（Contextual Calibration、DC-PMI、DEmO）を上回るか、それらと同等の性能を示した。
• プロキシ - パフォーマンス相関： プロキシ値の改善とタスク間でのダウンストリーム精度の増加との間に統計的に有意な正の相関が認められ、プロキシが信頼性の高い最適化信号を符号化していることが確認された。

意義と主張

本論文は、提案手法がデモンストレーションの対数確率がインコンテキスト学習のための信頼性の高い最適化面を構成することを実証していると主張している。この面の勾配上昇方向はダウンストリームパフォーマンスと一致しており、モデル自身の例に対する内部の信頼性が、自己改善のための十分な信号であることを示唆している。

著者らは、このアプローチが既存の ICL 改善ファミリー（選択、順序付け、較正）と直交しており、それらと組み合わせ可能であることを強調している。この手法の意義は、以下の条件なしに ICL の信頼性を改善できる点にある：

1. モデルパラメータのファインチューニング。
2. 較正フェーズ中のトークン生成。
3. 事前定義されたラベルセットの必要性（自由形式の生成への適用を可能にする）。
4. 埋め込み層を超えた外部データやモデル内部へのアクセス。

この研究は、テスト時埋め込み較正が、多様なタスクタイプおよびモデルスケールにわたるインコンテキスト学習の堅牢性を強化するための、実行可能で汎用的なメカニズムであることを示唆している。