技術概要：バイナリフィードバックによる LLM の個人化（C-BPO）

1. 問題定義

大規模言語モデル（LLM）の個人化は、モデルの振る舞いを個々のユーザーの好みに適合させることを目指します。既存の手法は、隔離されたユーザー履歴に基づく検索ベースのプロンプティングやパラメータ効率型ファインチューニング（PEFT）を利用していますが、ユーザー間の差異の重要な役割を見落としていることが多いです。最近の行動科学の知見によれば、個性とは、一般集団からどのように逸脱するかによって定義されます。

現在の選好最適化フレームワーク（Direct Preference Optimization: DPO など）は、対照ペア（同一入力に対する「好ましい」対「好ましくない」完了）を必要としますが、これは生でペアリングされていないユーザー履歴データでは利用できません。最近の進展により、個々のデータポイントに対するバイナリフィードバック（例：個々のデータに対する「いいね」または「よくない」）を通じたアライメントが可能になりましたが、これらの手法を個人化に直接適用することには根本的な欠陥があります。それは選好の重複です。

個人化の文脈において、他のユーザーからのデータを純粋な「否定的」（「よくない」）シグナルとして扱うことは問題です。これらの補助データセットは、必然的にターゲットユーザーとタスク固有の一般的な知識やコミュニティ全体のスタイル的選好を共有しています。このデータを無批判に罰則化すると、モデルは共有され有用な特徴を誤って抑制することを強いられます。その結果、個々のニュアンスの把握を試みながら、一般的な性能が低下します。

2. 手法：C-BPO フレームワーク

著者は、ユーザー間の可変性を自然な対照シグナルとして活用しつつ、選好の重複を補正することで LLM を個人化するフレームワークであるC-BPO（選好較正バイナリフィードバック選好最適化）を提案します。

2.1 核心的な定式化

C-BPO は、個人化をバイナリフィードバック最適化問題として定式化します。

• ポジティブシグナル ($D_+$): ターゲットユーザーの履歴インタラクションデータ ($H_{tar}$)。
• 暗黙のネガティブシグナル ($D_-$): 補助ユーザーのプールからのデータ ($H_{aux}$)。

「クリーン」なネガティブラベルを仮定する標準的なバイナリフィードバック選好最適化（BPO）手法（KTO、BCO など）とは異なり、C-BPO は $H_{aux}$ が真のネガティブシグナル（ユーザー固有の嫌悪）とポジティブシグナル（共有されたコミュニティ選好）の混合であることを認識しています。

2.2 PU 学習による選好較正目的関数

選好の重複問題に対処するため、C-BPO はPositive-Unlabeled (PU) 学習理論に基づいた最適化目的関数を導出します。核心的な洞察は、補助データがポジティブ分布とネガティブ分布の混合を含むラベルなしセットとして機能するという点です。

著者は、リスク推定を再定式化し、ターゲットユーザーの選好が広範なユーザーデータ内で発見される「ポジティブバイアス」を差し引くことで、真のネガティブリスクを回復させます。最終的な目的関数 ($L_{C-BPO}$) は以下のように定義されます。

$$L_{C-BPO} = L_{pos} + \frac{1}{1-\alpha} \max \{0, L_{pure\_neg}\}$$

ここで、

• $L_{pos}$: ターゲットユーザーのデータに対する損失（ポジティブアライメント）。
• $L_{pure\_neg}$: 精製ネガティブ損失。$E_{H_{aux}}[l(g, -1)] - \alpha E_{H_{tar}}[l(g, -1)]$ として計算されます。
• $\alpha$: 較正係数 ($0 < \alpha < 1$)。ターゲットユーザーと補助ユーザー間の選好特徴の重複の度合いを表します。機能的にポジティブシグナルとして機能する補助データの割合を定量化します。

この定式化はネガティブシグナルを明示的に「精製」し、モデルが一般的な有用性を抑制するのではなく、固有の個々の特性に焦点を当てることを保証します。

2.3 データ不均衡の処理

個人化のシナリオでは、補助データの量がターゲットユーザーのデータを大幅に上回ることがよくあります。標準的な BPO 手法は、バッチ全体で報酬を平均化することで参照点 ($\delta$) を推定しますが、バッチが不均衡な場合、この値はドリフトする可能性があります。C-BPO は、独立した指数移動平均（EMA）参照点推定を導入します。これは、ポジティブ報酬と補助報酬に対して個別の EMA 統計を維持し、それらの平均として $\delta_{EMA}$ を計算します。これにより、バッチレベルのデータ不均衡に対して不変な安定した決定境界が保証されます。

3. 主要な貢献

1. 新規な枠組み: 本論文は、LLM の個人化をバイナリフィードバック選好最適化問題として初めて定式化し、ペアリングされたデータを必要とせずに、ユーザー間の可変性を個体レベルのアライメントのための自然な対照シグナルとして利用します。
2. 理論的革新: 著者は、個人化における標準的な BPO の「選好の重複」問題を特定し、偏りのない選好アライメントを達成するために PU 学習理論に基づいた選好較正目的関数を定式化しました。
3. 実証的検証: ニュース見出し、学術タイトル、抄録、レビュー、トピック執筆という 5 つの個人化生成タスク、および様々なバックボーン LLM（LLaMA、Qwen、Mistral）にわたる広範な実験により、C-BPO が SFT ベースのアダプターや既存のバイナリフィードバック手法を含む強力なベースラインを一貫して上回ることを示しました。

4. 実験結果

著者は、Mistral-7B、LLaMA-3、Qwen2.5 のバックボーンを使用して、LaMPおよびLongLaMPベンチマーク上で C-BPO を評価しました。

• 性能: C-BPO は、すべてのタスクで ROUGE-1 および ROUGE-L スコアにおいて一貫して最高を達成しました。例えば、ニュース見出しタスクにおいて、C-BPO は ROUGE-L で0.198を達成し、最良のベースライン（DPO ベースの手法である CoPE）の0.184や標準的な BPO 手法（BCO の 0.179）を上回りました。
• ベースラインとの比較:
  • 標準的なバイナリフィードバック手法（KTO、BCO）は、個人化に無批判に適用された場合、SFT ベースのベースライン（OPPU）よりも性能が低下することが多く、較正されていない選好重複の有害な影響を確認しました。
  • C-BPO は、ネガティブペアの構築に複雑な拒否サンプリングを必要とする DPO ベースの手法（CoPE）を上回りました。
• アブレーション研究:
  • 補助データ量: 補助データ量を増加させても、単調な向上を保証するものではありません。バイアス除去プロセスを固定するには、十分な量のターゲットユーザーデータが必要です。
  • ユーザーの独自性: C-BPO は「ユニーク」なユーザーグループ（ユーザー間距離が大きい）で最も顕著な改善を示しましたが、標準的な BPO 手法は「非ユニーク」なグループ（重複度が高い）では向上できませんでした。
  • 参照点: 独立した EMA 戦略は安定性に不可欠であり、データ比率が不均衡な場合の性能低下を防ぎました。

5. 意義と主張

本論文は、C-BPO が、微妙な個人選好に LLM を適合させるための堅牢で理論的根拠があり、スケーラブルな解決策を提供すると主張しています。その意義は以下の点にあります。

• 効率性: 高価な対照ペアの構築（DPO など）や、テキスト比較のための高リソース LLM への依存を排除します。
• データ活用: ターゲットユーザーと補助ユーザーの両方からの生でペアリングされていない履歴データを効果的に活用し、共有選好の「ノイズ」を較正されたシグナルに変換します。
• 汎用性: このフレームワークはモデル非依存であり、異なるバックボーンアーキテクチャやタスクタイプにおいて効果的です。

著者は、較正係数 $\alpha$ に対する感度（ただし推定手法が提供されている）や、中央集権的な補助データセットへのアクセスが必要であること（フェデレーテッド学習やオンデバイス設定においてプライバシー上の課題を生じる）といった限界を認めています。しかし、この研究は、隔離された履歴モデリングを超え、明示的で選好較正されたユーザー間比較へと移行する、新しい個人化のパラダイムを確立しています。