技術的サマリー：ACTIVEDPO

問題定義

大規模言語モデル（LLM）を人間の嗜好に整合させることは、質問応答、推論、コード生成などのタスクにおいて極めて重要です。人間フィードバックに基づく強化学習（RLHF）や直接嗜好最適化（DPO）などの手法は有効であることが証明されていますが、これらは人間の嗜好注釈の質の高いデータセットに大きく依存しています。これらのデータセットを収集するにはコストとリソースが大量に必要であり、効率的な整合化におけるボトルネックとなっています。

注釈コストを削減するための能動データ選択に関する既存のアプローチには、重大な限界が存在します：

1. ヒューリスティック手法： いくつかのアプローチ（例：Muldrew et al., 2024）は厳密な理論的基盤を欠いており、異なるタスクやモデルにおいて信頼性の低い性能をもたらします。
2. 制限的な仮定： 理論的基盤を持つ手法（例：Mehta et al., 2023; Das et al., 2024）は、しばしば線形潜在報酬関数を仮定しますが、これは LLM の整合化に内在する複雑で非線形な報酬関数には当てはまりません。
3. 分離された選択： 多くの既存手法は、整合化対象の特定の LLM とは独立した別個の報酬モデルや選択基準に依存しています。これにより、データ選択が LLM 自身の学習ダイナミクスと暗黙の報酬関数にどのように直接影響を与えるかが考慮されません。

核心的な課題は、非線形報酬関数に対して理論的基盤を持ちつつ、LLM 自体を明示的に活用することで実用的に効果的な、能動的嗜好データ選択アルゴリズムを開発することです。

手法：ACTIVEDPO

著者らは、データ選択プロセスに LLM を直接統合するアルゴリズムであるACTIVEDPO（Active Direct Preference Optimization）を提案します。この手法は反復サイクルで動作します：

1. データ生成： 各反復 $t$ において、現在の LLM（$\pi_{\theta_{t-1}}$）は、一連のプロンプト $x$ に対する応答ペア $(y_1, y_2)$ を生成し、候補プール $D_t$ を形成します。
2. 能動的選択： 別個の報酬モデルを使用するのではなく、ACTIVEDPO は $\theta_{t-1}$ でパラメータ化された LLM 自身の暗黙の報酬関数を用いて、人間の注釈に最も有益なトリプル $(x, y_1, y_2)$ を選択します。
3. 理論的基盤： 選択基準は命題 1から導出されます。これは、2 つの応答間の報酬推定誤差の上限を確立します。誤差の上限は、報酬関数を表すニューラルネットワークの勾配に依存します。具体的には、不確実性は勾配の差のノルムによって定量化されます：
   $$\|\nabla r_{\theta_{t-1}}(x, y_1) - \nabla r_{\theta_{t-1}}(x, y_2)\|_{V_{t-1}^{-1}}$$
   ここで、$V_{t-1}$ は以前に選択されたデータからの勾配特徴の外積を蓄積する行列です。アルゴリズムはこの不確実性測定を最大化するトリプルを選択し、結果として多様性があり、以前に注釈されたデータと相補的なデータポイントを効果的に選択します。
4. 最適化： 人間の注釈者は、選択されたバッチに対して嗜好フィードバック（$y_w \succ y_l | x$）を提供します。その後、LLM はこの新しいラベル付きデータを用いて DPO 目的関数により更新されます。

実用的効率化技術

現代の LLM における完全な勾配の計算と大規模な共分散行列の保存の計算上の非現実性に対処するため、ACTIVEDPO は 3 つの主要な技術を導入します：

• バッチ選択： 1 つのサンプルずつ選択する代わりに、アルゴリズムはサイズ $B$ のバッチを選択します。行列 $V$ はバッチ内で逐次的に更新され、多様性を維持しつつ、高価な勾配の再計算とモデル更新の頻度を低減します。
• LoRA とランダム射影： 保存と計算を削減するため、著者らは低ランク適応（LoRA）パラメータを用いて勾配を計算します。次に、これらの勾配を Johnson-Lindenstrauss 補題によって正当化されるランダム射影を用いて低次元（例：8192）に射影します。これにより、選択基準に必要な内積構造を維持しつつ、次元を劇的に削減します。
• 勾配正規化： 選択基準が、より長い応答（自然に大きな $L_2$ ノルム勾配を生む）にバイアスされないようにするため、すべての勾配は選択スコアの計算前に単位ノルムに正規化されます。

主要な貢献

1. 非線形報酬に対する理論的基盤を持つ基準： 本論文は、ニューラルデュエリングバンディット理論から導出された選択基準を導入し、LLM によってパラメータ化された非線形報酬関数に適用可能であり、先行する理論的研究の線形性仮定を克服します。
2. LLM 中心のデータ選択： 外部報酬モデルを使用する手法とは異なり、ACTIVEDPO はデータ選択を導くために LLM 自身の勾配を明示的に使用します。これにより、選択されたデータが特定のモデルの現在の状態と学習ニーズに適合することが保証されます。
3. スケーラブルな実装： バッチ選択、LoRA 勾配、ランダム射影の統合により、理論的に厳密なアプローチが大規模モデルに対して実行可能となり、計算コストとラベル効率のバランスが取れています。
4. 実証的検証： 広範な実験により、ACTIVEDPO が多様なモデルファミリー（Llama、Gemma、Qwen）およびデータセット（TLDR、WebGPT）において、既存のベースライン（Random、APO、APLP）を一貫して上回ることを示しています。

実験結果

著者らは、3 つの LLM（Llama-2-7B、Gemma-2B、Qwen3-4B）を用いて、2 つのデータセット（TLDR 要約と WebGPT 長文 QA）上で ACTIVEDPO を評価しました。

• 性能： ACTIVEDPO は、ランダム選択、線形報酬を仮定する APO、およびヒューリスティックな DPO 手法である APLP と比較して、一貫して高い平均報酬スコアと勝率を達成しました。
• モデル依存性： 実験により、異なる LLM（同じファミリー内であっても、異なる SFT データでトレーニングされた場合）は、最適な整合化のために異なるデータ部分集合を必要することが示されました。これは、モデル固有の選択戦略の必要性を裏付けています。
• アブレーション研究：
  • ランダム射影： 性能は射影次元 8192 で頭打ちとなり、品質の大幅な損失なしにより低い次元を使用できることを確認しました。
  • 勾配正規化： 勾配の正規化は、長い応答への選択バイアスを防ぎ、選択が長さではなく有益性によって駆動されることを保証することで、性能向上をもたらすことが示されました。

意義と主張

本論文は、ACTIVEDPO が理論的保証と実用的応用の間のギャップを埋めることで、サンプル効率の高い LLM 整合化において重要な前進を表すと主張しています。その主な意義は以下の点にあります：

• 「別個の報酬モデル」ボトルネックの排除： 選択のための報酬モデルとして LLM 自体を使用することで、異なるターゲットモデルのデータ収集を別個のモデルが導く際に発生し得るミスマッチを回避します。
• 非線形性の処理： 従来の理論的手法が失敗していた、現代の LLM に典型的な複雑で非線形な報酬ランドスケープにおける能動学習のための厳密な枠組みを提供します。
• ラベル効率： この手法は、より少ない人間の注釈で優れた整合化性能を達成し、データ収集の高コストという課題に対処します。

著者らは、この手法が単純なヒューリスティックと比較して勾配計算に追加の計算オーバーヘッドを伴うことを認めていますが、このコストは高価な人間のラベリングの必要性が大幅に削減されることで正当化されると述べています。また、勾配計算のさらなる高速化は将来の研究分野であると指摘しています。