技術要約：Every Sample Counts – ポイントワイズ制約を用いた言語モデルの教師あり微調整

1. 問題提起

言語モデル（LM）のアライメントおよび微調整のための現在の手法は、通常、入力分布全体における期待値として要件（安全性、長さの制御、またはツール呼び出しの好みなど）を強制する制約付き最適化フレームワークに依存しています。これらの手法は、平均的には制約が満たされることを保証しますが、決定的な限界があります。それは、個々の入力に対して制約充足を保証できないことです。

この「平均のみ」のアプローチは、特にテイルデータ（トレーニングにおいて過小評価されている、あるいは本質的に困難な入力）において、望ましくない格差を生じさせます。経験的な証拠によれば、平均的に制約を満たすモデルであっても、クリティカルな入力のサブセットに対しては、依然として重大な違反を示す可能性があることが示唆されています。既存の手法は、「容易な」サンプルと「困難な」サンプルの区別ができず、単純なケースに対して過剰なペナルティを課すか、あるいは困難なケースに対して制約を十分に課さないという、一律のペナルティを適用してしまうことがよくあります。

本論文は、平均制約学習から、入力分布内のほぼすべての個別のサンプルに対して制約が保持されるべきポイントワイズ（点別）制約微調整への転換を提案します。

2. 手法

提案されたフレームワークは、非凸ニューラルネットワーク最適化におけるポイントワイズ制約の強制という課題に対し、以下の3つのコアコンポーネントを用いて対処します。

A. ポイントワイズ制約定式化

著者らは、微調整問題を、データ分布 $D$ 上でポイントワイズ（ほとんど至る所で）成立する不等式制約 $\ell_i \leq \varepsilon$ の下での期待目的関数 $\ell_0$ の最小化として定式化します。
$$\pi^*_\theta = \arg \min_{\theta} \mathbb{E}_{(x,y)\sim D} [\ell_0] \quad \text{s.t.} \quad \ell_i(\pi_\theta, x, y) \leq \varepsilon_i, \quad D\text{-a.e.}$$
単一のスカラー乗数を使用する平均制約とは異なり、この定式化では、各サンプルに対して個別の乗数が必要となり、これによりペナルティを入力の特定の困難さに適応させることが可能になります。

B. 増大ラグランジュ法（Augmented Lagrangian Approach）

この非凸問題を解くために、著者らは双対領域を利用します。しかし、標準的なラグランジュ双対性は、非凸問題（深層ニューラルネットワークのようなもの）においては、双対性のギャップにより弱い保証しか提供しません。これを克服するため、本論文では増大ラグランジュ（AL）法を採用しています。

• AL法は、ラグランジュ乗数 $\lambda$ と制約違反との間の線形依存関係を、二次項で置き換えます。
• これにより追加の曲率補正が提供され、標準的なラグランジュ法と比較して、より広い範囲の非凸設定において強双対性と原始回復可能性が可能になります。
• 最適化は、関数的乗数 $\lambda(x,y)$ を有限のデータセットに対するサンプルごとの乗数 $\lambda_i$ で近似する経験的双対勾配上昇法によって行われます。

C. 学習されたポイントワイズ緩和

ポイントワイズ制約は、特に外れ値が存在する場合や、制約が主要な目的関数と競合する場合、過度に制限的になる可能性があります。これを軽減するために、著者らは学習されたサンプル依存の緩和を導入しています。

• 許容閾値を $\varepsilon$ から $\varepsilon + u(x,y)$ へと増加させるための緩和関数 $u(x,y)$ が導入されます。
• これらの緩和の深刻さと頻度を罰するために、目的関数に凸コスト関数 $c(u)$（具体的には二次ペナルティ $\beta \|u\|^2$）が追加されます。
• 重要なことに、緩和変数 $u$ を直接最適化する必要はありません。双対性を通じて、その効果は正則化項および双対変数のスケーリングとして双対問題に吸収されます。これにより、モデルはユーザー定義の緩和コストとトレーニング目的関数の間でトレードオフを行い、制約違反の分布の「テイル」を効果的に制御できます。

3. 主な貢献

1. ポイントワイズ制約フレームワーク: 入力分布の期待値ではなく、個々の入力に対して制約を強制する新しいアライメントフレームワークを提案し、入力分布全体におけるパフォーマンスの格差に対処しました。
2. 非凸学習のための増大ラグランジュ法: 非凸ニューラルネットワーク最適化における強双対性の欠如を克服するために、増大ラグランジュ法をポイントワイズ制約微調整に適用しました。
3. 学習された緩和メカニズム: 外れ値や競合する目的関数を扱うために、手動によるサンプルごとの閾値調整なしに、学習と制約の緩和を共同で解決するメカニズムを導入しました。
4. 経験的検証: 本フレームワークを、3つの異なる小型言語モデル（SLM）の微調整タスクに適用して検証しました：
   • 指示追従と安全性: 有害なプロンプトの拒絶を強制しつつ、安全なプロンプトに対する有用性を維持する。
   • ツール呼び出しの好み: 正しい動作選択（例：ツールを呼び出すか、ハルシネーションを起こすか）を、長さ正規化された対数確率制約とともに強制する。
   • 再ランキングと長さの最適化: 検索の関連性とパッセージの長さ（トークン効率）のバランスを取る。

4. 結果

著者らは、提案手法が、平均制約および固定ペナルティのベースラインと比較して、ダウンストリームの性能を概ね維持しながら、テイルの制約違反を減少させることを経験的に検証しました。

• テイル違反の減少: すべてのタスクにおいて、提案手法は平均制約および固定ペナルティのベースラインと比較して、制約違反の頻度と深刻さを大幅に減少させました。制約違反の累積分布関数（CDF）は、平均的な手法が「容易な」サンプルに対しては大きなマージンを持って満たしている一方で、「困難な」サンプルでは失敗していることを示しており、ポイントワイズのアプローチは一貫したパフォーマンスを保証します。
• 改善されたトレードオフ: 本手法は、目的（例：有用性、関連性）と制約指標の間のパレートフロントをより良く達成します。
  • 安全性において、ポイントワイズ手法は、有用性（勝率）をわずか5%低下させるだけで、安全なプロンプトに対して100%の拒絶率を達成しましたが、平均制約は同様の安全性を達成するために9%の有用性低下を必要としました。
  • ツール呼び出しにおいて、ポイントワザイス制約は、特定のカテゴリに偏る手法と比較して、エラーカテゴリ全体でより均一な改善をもたらしました。
  • 再ランキングにおいて、本手法は、関連性指標（MRR@10）を損なうことなくパッセージの長さを削減することに成功しましたが、平均制約は品質を犠牲にすることなくこのトレードオフを実現できませんでした。
• 緩和の制御: 緩和コストにおけるハイパーパラメータ $\beta$ は、厳格な制約遵守と目的関数の性能の間のトレードオフを効果的に制御し、ユーザーが特定の特定のリスク許容度に基づいてモデルの挙動を調整できるようにします。

5. 意義と主張

本論文は、平均的なパフォーマンスでは不十分な高リスク領域への言語モデルのデプロイにおいて、制約をサンプルごとに強制することが不可欠な進化であると主張しています。本研究の意義は以下の点にあります：

• 分布の格差への対処: モデルがテイルデータでパフォーマンスを低下させるという問題に直接取り組み、クリティカルな制約（安全性など）が、潜在的に脆弱な特定の入力に対して決して違反されないようにします。
• 実用的な最適化: 増大ラグランジュ法と学習された緩和を活用することで、緩和なしにすべてのサンプルに対してハード制約を強制するという困難な作業を回避し、ポイントワイズ制約を実現する実用的かつスケーラブルなソリューションを提供します。
• 柔軟性: 本フレームワークは、多様な制約（安全性、好み、長さ）およびタスクに適応可能であることが示されており、最悪のケースの違反を減らすための、既存の平均制約および固定ペナルティ手法を凌駕する統一的なアプローチを提供します。

著者らは、平均的な制約は一般的なパフォーマンスには十分かもしれませんが、堅牢で公平かつ安全なデプロイメントのためには、ポイントワイズ制約が不可欠であり、有用性と制約充足の間の優れたトレードオフを提供すると結論付けています。