技術的サマリー：予測可能な失敗を伴う機械学習モデルのトレーニング

問題定義

機械学習システムの展開前安全性評価は、展開規模における失敗率の推定に依存している。しかし、壊滅的な失敗は極めて稀であるため、実用的な評価セットに単一の事例さえ含まれないことが多く、観測された性能と将来のリスクの間にギャップが生じている。Jones ら [21] は、評価セットで観測された最大 $k$ 個のスコアから展開規模への失敗率を外挿するために極値理論（EVT）を使用することを提案したが、この手法は 2 つの重要な仮定に依存している：(A1) 失敗の尾部は漸近的に対数線形である（ギンベル領域）、および (A2) 評価セットは展開分布を代表している。

本論文は、これらの仮定が違反される特定の失敗領域を特定している：展開セットに、より小さな評価セットには存在しない稀かつ高リスクな失敗モード（例えば、敵対的プロンプトや危険なレイアウト）が含まれている場合である。このシナリオでは、EVT ベースの予測器は体系的に最悪ケースのリスクを過小評価する。さらに、本論文は、仮定が成り立つ場合であっても、標準的な推定量には過大評価に向かう組み込みのバイアスが存在することを示している。これは安全性に有利ではあるが、前述の「占有（occupancy）」失敗モードによって相殺され得る。

手法

著者らは、**予測可能性微調整（forecastability fine-tuning）**を提案する。これは、事前学習済みモデルを調整し、その失敗尾部が正確な EVT 外挿に必要な構造的仮定に適合させる手法である。

1. 理論的分解

ギンベル尾部推定量の予測誤差の有限-$k$ 分解が、核心的な理論的貢献である。誤差 $\Delta$ は以下に分解される：

• ランク項（$T_\theta$）： 上位-$k$ 個の計数と展開比率に基づき、推定量に固有のバイアス。この項は一般的に正（過大評価）であり、スケーリング因子を除きモデルの特定のパラメータに依存しない。
• 曲率項（$C_\theta$）： 尾部分位点曲線の 2 階微分に比例する。この項はモデルに依存し、学習可能である。これは尾部が「適切に振る舞う（対数線形である）」か、曲がっているかを反映する。
• 占有項（$G_\theta$）： 展開セットには存在するが評価セットには存在しない稀な高リスク成分が存在する場合に現れる非ゼロの項。この項は過小評価を引き起こす。
• 高次剰余項： 滑らかさの違反（例えば、有界なサポートや重い尾部）に関連する項。

著者らは、リスクスコアが微分可能である場合、予測誤差がモデルパラメータに対して微分可能であることを示している。これにより、誤差自体を損失関数として使用することが可能となる。

2. 予測可能性損失

提案される目的関数である**予測可能性損失（forecastability loss）**は、外挿されたランク全体において、OLS によって予測された最悪ケースのスコアと実現された最悪ケースのスコアとの二乗差を最小化する。
$$\mathcal{L}_{\text{forecast}} = \sum_{j \in \mathcal{J}} w_j \left( \hat{Q}_\theta(y_j) - Y^{(j)}_\theta \right)^2$$
ここで、$\mathcal{J}$ はフィットセットよりも深いランクを表し、重み $w_j$ は展開サイズ全体にわたる対数一様事前分布に従う。

3. トレーニングの改良

モデルが尾部を「予測可能」にするために単に性能を悪化させること（例えば、過大評価された線に一致させるためにリスクスコアを増加させること）を防ぐため、著者らは**改善のみグラデントマスク（improving-only gradient mask）**を導入する。このマスクは、特定のタスクにおけるリスクスコアを低下させる場合のみグラデント更新が発生することを保証し、予測目的を主要な安全性目的に効果的に結合する。

さらに、データの特定の分割に過学習することを避けるため、本手法はメタマルチタスク微調整を採用する。各トレーニングステップにおいて、タスクプールはランダムにフィットセットと展開セットに分割される。全データセットを各ステップで再スコアリングすることなくこの再分割を計算的に実行可能にするため、最高スコアタスクの分割不変キャッシュが維持される。

主要な貢献

1. 有限-$k$ 誤差分解： ギンベル尾部予測誤差の理論的分解により、モデル依存成分（曲率、占有）を推定量依存成分（ランクバイアス）から分離する。これにより、誤差のどの部分が学習可能かが正確に特定される。
2. 予測可能性損失： モデルの失敗尾部を適切に振る舞う（対数線形な）ものにし、展開分布を代表するように形成することで、予測誤差を直接最小化する微分可能な目的関数。
3. 実証的検証： 予測可能性のための微調整が、主要タスクの性能を維持（または向上）させつつ、保持された予測誤差を大幅に削減し、教師ありベースラインと同等の安全性を達成することを示した。

実験結果

本手法は 2 つの環境で評価された：

1. 言語モデル（パスワードゲーム）： モデルは秘密のパスワードを保持するように指示されるが、それを抽出するように設計された敵対的プロンプトに対してテストされる。
   • 結果： 予測可能性微調整は、事前学習済みベースラインと比較して最悪ケースの漏洩確率を約 40 桁削減し、教師あり微調整（SFT）の安全性と一致した。重要なのは、SFT よりもはるかに優れたモデル能力（WildChat KL ドリフトで測定）を維持した点である（ドリフトは 2 桁低い）。また、予測精度をベースラインに対して約 60 倍向上させたのに対し、SFT と事後校正は 20 倍未満で頭打ちとなった。
2. 強化学習（グリッドワールド）： 方策は、稀で高密度に危険なレイアウトを持つグリッドワールドを移動する。
   • 結果： 予測可能性トレーニングは、能力（リターン）を 1.27 倍向上させ、最悪ケースの後悔を 3.5 倍削減し、SFT を上回った。予測精度の観点では、事後校正により 52 倍の改善を達成し、SFT（26 倍）および校正のみ（6 倍）を大幅に上回った。

どちらの場合も、「改善のみ」マスクにより、予測誤差の減少が真の最悪ケースリスク（漏洩確率または後悔）の減少と相関することが保証された。

意義と主張

本論文は、展開前安全性評価における「欠落した層」に対処すると主張している：評価から展開規模へのリスクスコアの外挿だけでなく、この外挿が信頼できるようなモデルをトレーニングする能力である。

• 安全性に有利なバイアス： 著者らは、標準的な推定量には過大評価に向かう組み込みのバイアスがあり、これは安全性にとって望ましいと指摘している。しかし、このバイアスは評価セットが稀な失敗モードを見逃している場合に無効化される。予測可能性トレーニングは、この特定の失敗モードを排除することを目指す。
• 校正との相補性： 結果は、事後のアフィン校正が系統的バイアスを修正できる一方で、尾部形状の構造的ミスマッチや占有ギャップを修正することはできないことを示唆している。予測可能性トレーニングは基礎となる尾部を形成し、その後の校正をより効果的にする。
• スケーラビリティ： 著者らは、実験が小規模（0.6B および 8B モデル、合成混合物）であることを認めている。彼らは、この手法が他の分布に一般化する概念実証であると主張するが、フロンティアモデルや自然な稀なモードへのスケーリングが次の必要なステップであると述べている。
• 既存手法との差別化： 本論文は、そのアプローチを、最悪ケースの損失を最小化する分布ロバストトレーニングや、失敗のサンプリングを必要とする重要度サンプリングと区別している。予測可能性損失は、リスクそのものを最小化するのではなく、EVT 外挿に適するようにリスク分布の形状を標的とする。

著者らは、展開前安全性評価が尾部挙動の外挿にますます依存しており、その結果としてモデル自体がこのプロセスへの固定入力である必要はないことを示していると結論づけている。少量の微調整により、標準的な予測手法によって尾部がはるかに正確に記述されるモデルを生み出すことができる。