Users as Annotators: LLM Preference Learning from Comparison Mode

技術的サマリー：アノテータとしてのユーザー：比較モードからの LLM 選好学習

問題定義
大規模言語モデル（LLM）の人間の選好へのアライメントは、通常、アノテータが 2 つのモデル出力間でより優れた応答を選択するペアワイズ選好データに依存しています。伝統的に、このデータは専門的な人間のアノテータを通じて収集されますが、このプロセスはコストが高く、規模が限られています。一方、LLM プラットフォームのエンドユーザー（例えば ChatGPT の比較モードを介して）は、膨大でスケーラブルな選好データの源を提供しますが、このアプローチは質管理の決定的な欠如に悩まされています。専門的なアノテータとは異なり、ユーザーは一貫した判断を提供するようインセンティブ付けられておらず、データをランダムにラベル付ける可能性があります。「ゴールドン質問」や自己一貫性チェックなどの既存の質管理技術は、プラットフォームがユーザーのクエリを制御したり、繰り返しアノテーションを強制したりできないため、この設定では非現実的です。核心的な課題は、真のラベルや専門家による監督にアクセスできない状態で、注意深いユーザーのフィードバックと雑音のある軽率な入力を区別することです。

手法
本論文は、ユーザーアノテーションの質を評価し、下流のアライメントタスク（具体的には直接選好最適化、DPO）のためにデータをフィルタリングするフレームワークを提案します。この手法は、以下の 3 つの主要な構成要素に依存しています：

1. 非対称応答生成：2 つの応答が同じモデルから生成される標準的な選好パイプラインとは異なり、このフレームワークは既知のパフォーマンスギャップを持つ 2 つの異なる LLM（$P_A$ と $P_B$）から 2 つの応答（$y_{i1}, y_{i2}$）を生成します。この非対称性は統計的な把持点（ハンドル）を生み出します。注意深いユーザーはより強いモデルをより頻繁に好むと予想される一方、軽率なユーザーはランダムに選択します。
2. ユーザー行動モデル：著者は、ユーザー $j$ のアノテーション行動を、潜在変数である「注意深さ」パラメータ $\eta_j \in [0, 1]$ を用いてモデル化します。
   • $\eta_j = 1$ の場合、ユーザーは完全なアノテータとして振る舞い、人口が好む応答を確率 $p(x_i)$ で選択します。
   • $\eta_j = 0$ の場合、ユーザーはランダム（50/50）に選択します。
   • ユーザー $j$ が応答 1 を選択する確率は、$P(z_{ij}=1|x_i) = 1/2 + \eta_j \cdot (p(x_i) - 1/2)$ としてモデル化されます。
   • ここで、$p(x_i)$ は人口の真の選好確率（モデル A がモデル B より優れている確率）を表します。
3. 期待値最大化（EM）アルゴリズム：$\eta_j$ は観測不可能であるため、著者はユーザー行動モデルのパラメータ（$\eta_j$ の分布とグローバル選好確率 $\mu$ を含む）を推定するための EM アルゴリズムを開発しました。
   • E ステップ：各ユーザーの注意深さ $\eta_j$ の事後分布を、そのアノテーション履歴と現在のパラメータ推定値に基づいて計算します。
   • M ステップ：モデルパラメータを更新して、完全データ対数尤度の期待値を最大化します。
   • このアルゴリズムは、識別可能性を確保するために既知または推定可能なグローバル選好確率 $\mu$（モデル A のモデル B に対する平均勝率）を仮定しますが、論文では未知の $\mu$ に対する拡張についても議論されています。
   • $\eta_j$ が推論されると、ユーザーは閾値に基づいてフィルタリングされます（例えば、注意深いである事後確率が高いもののみを保持）。

主な貢献

• 新規アノテーションフレームワーク：本論文は、2 つの異なるモデルからの応答生成の非対称性を利用してデータ品質を推論するために、LLM 比較モードにおけるユーザー行動を捉えるように特別に設計された最初の確率モデルを導入します。
• EM による統計的推論：潜在ユーザーの注意深さと基礎となる選好分布を推定するための EM アルゴリズムを開発しました。著者は理論的保証を提供し、特定の正則性条件下では、ユーザー数とサンプル数が増加するにつれてアルゴリズムが真のパラメータに収束することを示しています。
• アライメントのためのデータフィルタリング：このフレームワークは、推論された注意深さを用いてトレーニング前に低品質なアノテーションをフィルタリングする実用的なパイプラインを実証しています。これにより、ノイズを軽減しつつ、未検証の膨大なユーザーデータを利用することが可能になります。

実験結果
著者は、合成実験と下流の DPO タスクを通じてアプローチを検証しました：

• 合成収束：シミュレーションにより、EM アルゴリズムが初期化に関係なく真のパラメータに収束することが確認されました。また、アルゴリズムはモデルの誤指定（例えば、真の分布が連続である場合に離散分布を推定する場合など）に対しても頑健であることを示しました。
• DPO パフォーマンス：UltraFeedback や HelpSteer3 などのデータセットを使用した実験において、著者はフィルタリングされたデータを用いて LLM（例えば Qwen2.5-7B）を微調整しました。
  • 注意深いユーザーをフィルタリング（推論された注意深さで上位 80% を保持）することは、未フィルタリングのデータでトレーニングする場合と比較して、DPO パフォーマンスを一貫して向上させました。
  • 改善点には、平均報酬スコアの向上（場合によっては 10% 以上増加）や、ベースラインモデルに対する勝率の向上が含まれます。
  • 実験はまた、トレードオフを浮き彫りにしました。フィルタリングは品質を向上させますが、過度なフィルタリングはデータ量を減少させます。最適な閾値は、ユーザーの注意深さの基礎となる分布に依存して存在します。
  • 2 つの生成モデル間のパフォーマンスギャップ（$\mu$ で表される）が決定的であることが判明しました。$\mu$ が 0.5 に近すぎると、注意深いユーザーと軽率なユーザーを区別できなくなり、フィルタリングプロセスが妨げられます。

意義と主張
本論文は、エンドユーザーを効果的なアノテータへと変えることで、LLM アライメントのためのスケーラブルな解決策を提供すると主張しています。ユーザー行動を形式化し、ノイズをフィルタリングする統計的メカニズムを導入することで、この研究は、以前はトレーニングには雑音が多すぎると考えられていた膨大なユーザー生成選好データの利用を可能にします。著者はこれを、既存のロバストなトレーニング手法（ロバスト DPO など）に対する補完的なアプローチとして位置づけており、トレーニング中のノイズ耐性だけでなく、トレーニング前のデータ品質に焦点を当てています。また、この研究は、推論された注意深さレベルに基づいてユーザーに報酬を与えるなどの将来のユーザーインセンティブメカニズムへの扉を開きます。理論的貢献は、この特定の行動モデルに対する提案された EM アルゴリズムのグローバル収束保証にあり、このアプローチのための堅固な数学的基盤を提供しています。