技術概要：早期退出による言語モデルの汚染コンテキストリスク制御

問題提起

大規模言語モデル（LLM）は、高価なファインチューニングなしにユーザー提供のデモンストレーションから学習できるインコンテキスト学習（ICL）とプロンプトチューニングを通じて、特定のタスクに適応されるようになりつつある。しかし、この柔軟性は「入力ゴミ、出力ゴミ（garbage in, garbage out）」という重要な安全性の脆弱性を導入する。ユーザー提供のコンテキストは誤っている、誤解を招く、あるいは悪意を持って作成されたものであり、モデルのパフォーマンスを低下させたり、安全でない出力を生み出したりする可能性がある。

最近の研究は、LLM が有害な入力に対して「過剰思考（overthink）」する可能性を示している。ここで、パフォーマンスは中間層でピークに達するが、モデルが汚染されたコンテキストに過剰適合するにつれて、より深い層では低下する。既存の安全性メカニズムは、有害なコンテキストを検知し、有益な入力における早期退出の効率性向上を犠牲にすることなく、より安全なベースラインに戻すための原理的な方法を持たないことが多い。

手法

著者らは、有益なコンテキストにおける効率性を維持しつつ、汚染されたコンテキストのリスクを軽減するフレームワークを提案する。これは、動的早期退出と**分布フリーリスク制御（DFRC）**を組み合わせるものである。

1. セーフコンテキスト認識予測器

中核メカニズムは、モデルのゼロショット性能（コンテキストなしの性能）を用いて「安全な」ベースラインを定義する。提案された予測器 $\bar{p}_\lambda$ は以下のように動作する：

• 早期退出：モデルは入力を入力層から順次処理する。各層 $l$ において、信頼度スコア $C_l$ が計算される。$C_l$ が閾値 $\lambda$ を超える場合、モデルは早期に退出し、その層からの予測を返す。
• ゼロショットへのフォールバック：モデルがすべての層を処理しても、どの信頼度スコアも $\lambda$ を超えない場合、ユーザー提供のコンテキストを完全に無視し、ゼロショット予測（コンテキストなしで行われた予測）に戻る。
• 目的：この設計により、モデルは効率性と精度のために有益なコンテキストを活用できるが、コンテキストがモデルを不確実にさせたり「過剰思考」させたりする場合は、既知の安全なゼロショット動作へのフォールバックが強制される。

2. コンテキスト認識予測リスク

最適な閾値 $\lambda$ を選択するために、著者らは新しいコンテキスト認識損失関数（$\ell_c$）を定義する：
$$\ell_c(\lambda; x, y, c) = \ell(\bar{y}_\lambda(x, c), y) - \ell(\hat{y}(x), y)$$
ここで：

• $\bar{y}_\lambda(x, c)$ は安全なコンテキスト認識モデルからの予測である。
• $\hat{y}(x)$ は完全なゼロショットモデルからの予測である。
• $\ell$ は標準的な損失関数（例えば、分類における 0-1 ロス）である。

この定式化は過剰思考を測定する：

• 正の損失：コンテキスト認識モデルがゼロショットベースラインよりも悪いパフォーマンスを示したことを示す（有害なコンテキスト）。
• 負の損失：コンテキスト認識モデルがゼロショットベースラインよりも良いパフォーマンスを示したことを示す（有益なコンテキスト）。

3. 学習後テスト（LTT）によるリスク制御

著者らは、期待リスク $R(\hat{\lambda})$ がユーザー指定の許容値 $\epsilon$ 以下に留まる閾値 $\hat{\lambda}$ を見つけるために、**学習後テスト（LTT）**フレームワークを利用する。

• 課題：標準的な LTT は、損失関数が $[0, 1]$ の範囲に有界であることを要求する。しかし、コンテキスト認識損失 $\ell_c$ は負の値を取り得る（$[-1, 1]$ の範囲）。負の値をゼロにクリップすること（一般的な回避策）は、有益なコンテキストに関する貴重な情報を破棄し、過度に保守的な行動につながる。
• 解決策：著者らはドメイン保存リスク変換を提案する。LTT を適用する前に、損失とリスクレベル $\epsilon$ を線形スケーリングして区間 $[a, b]$ を $[0, 1]$ にマッピングし、その後変換を逆転させる。これにより、有益な（負の損失）コンテキストと有害な（正の損失）コンテキストの区別が維持され、システムは安全性と効率性のバランスを取ることができる。

主要な貢献

1. 安全性のための新規早期退出定式化：信頼度に基づいて動的に退出するが、信頼度が達成されない場合はゼロショットベースラインにデフォルトする予測器。これにより、モデルが汚染されたコンテキストに依存することを防ぐ。
2. 過剰思考のためのコンテキスト認識損失：ゼロショットベースラインに対するパフォーマンス低下を明示的に測定するように設計された損失関数。これにより、有害なコンテキストの検出が可能になる。
3. 適応型リスク制御フレームワーク：有界でない（特に負の）損失を処理するためにリスク変換を用いた LTT フレームワークの修正。これにより、有害な入力に対するリスク制御と、有益な入力における効率性向上を同時に実現する。

実験結果

このフレームワークは、9 つのタスク（感情分析、ヘイトスピーチ検出、意味分類、オープンエンド型 QA にまたがる）と5 つの異なるモデル（LLaMA-2、LLaMA-3、T5 などを含む）で評価された。

• リスク制御：このアプローチは、すべてのモデルとデータセットにおいて過剰思考のリスクを成功裡に制御した。有益なコンテキストと有害なコンテキストが混在する分布であっても、経験的リスクはユーザー指定の $\epsilon$ 閾値以下に留まった。
• 安全性と効率性のトレードオフ：この手法は、有害なコンテキストを回避し（有害な入力において完全なモデルよりも良いパフォーマンスを示す）、同時に有益なコンテキストからのパフォーマンス向上を維持する閾値を特定した。
• 効率性向上：損失クリッピングを用いた先行手法と比較して、提案されたリスク変換アプローチは、はるかに高い計算効率を達成した。
  • インコンテキスト学習タスクにおいて、$\epsilon=0.05$ で平均して53% 少ない層を評価した。
  • オープンエンド型 QA（SQuAD v2.0）において、最大81.8% 少ない層を評価した。
• ゼロショットフォールバック：オープンエンド型 QA において、システムは回答可能な質問と比較して、回答不可能（誤解を招く）な質問に対して3.3 倍頻繁にゼロショット予測にデフォルトし、コンテキストの質を識別する能力を実証した。

意義と主張

著者らは、LLM における潜在的に有害なユーザー提供コンテキストのリスクを制御する原理的なフレームワークを確立した最初の研究であると主張する。

• 安全性：このアプローチは、広範なデプロイメント前安全性テストを経たゼロショットベースラインにリスク制御を固定することで、堅牢な安全性保証を提供する。これは有害な入力における「過剰思考」を効果的に防止する。
• 効率性：静的なプルーニングや保守的なクリッピング手法とは異なり、この動的アプローチは、コンテキストが有益な場合に早期退出を活用して大幅な計算節約を実現する。
• 原理的な設計：分布フリーリスク制御を使用することで、この手法はユーザー入力の単調性仮定や特定の分布知識を必要とすることなく、リスクに関する統計的保証を提供する。

本論文は、特定の設計選択（例えば、層の後半のみで退出するなど）は異なるタスクに適応する必要があるかもしれないが、中間表現を介して有害な出力を検知し介入するという中核メカニズムは、安全な LM の展開にとって実行可能かつ必要なアプローチであると結論付けている。