技術要約：プロファイルによる双方向ユーザーモデリング (BUMP)

問題提起

大規模言語モデル（LLM）のパーソナライズは、レコメンデーション、検索、対話、コンテンツ生成といった分野への展開に伴い、極めて重要な課題となっている。協調フィルタリングによる埋め込みのような従来のユーザー表現手法は、プロンプトによる条件付けに依存するインストラクション・チューニング済みのLLMとは自然に適合しない。さらに、ユーザーの全インタラクション履歴を単にプロンプトに連結することは、コンテキストウィンドウの制限、レイテンシ、および長いコンテキストにおいて顕著な信号が劣化する「lost in the middle（中だるみ）」現象のため、大規模なスケールでは不可能である。

自然言語によるユーザープロファイルを生成する既存のアプローチは、通常、ラベル付きの下流タスクから派生した明示的な報酬（例：クリック率や特定の分類ラベル）に依存している。この依存関係は、以下の重大なボトルネックを生み出す：

1. スケーラビリティ: 報酬は高コストかつ疎であり、あらゆるターゲットタスクに対して注釈付きの教師信号を必要とする。
2. 汎用性: 特定のラベル付きタスクに最適化されたプロファイルは、他のドメインやゼロショットのシナリオへうまく転移できない可能性がある。
3. バイアス: プロファイルが、忠実なユーザーの記述ではなく、特定の分類器のための特徴量としてエンジニアリングされてしまう。

本論文は、堅牢なプロファイル生成器は、下流タスクのラベルを一切必要とせず、生のインタラクションログのみに基づいて学習可能であるべきだと主張している。

手法：BUMP

著者らは、生のユーザーインタラクションデータのみを使用してプロファイル生成器を学習させる自己教師ありフレームワークである、Bidirectional User Modeling via Profiles (BUMP) を導入する。その核心となる直感は、高品質なプロファイルは、以下の2つの補完的な性質を満たさなければならないという点にある：

1. 予測的（Predictive）: プロファイルはユーザーの将来の（保持された）インタラクションを予測できること。
2. 識別的（Identifiable）: ユーザーのインタラクションが、他のユーザーの中でそのプロファイルを一意に識別できること。

学習フレームワーク

システムは、凍結された小さなLLMをジャッジ（$J$）として使用し、ポリシー $\pi_\theta$（プロファイル生成器）を学習するために Group Relative Policy Optimization (GRPO) アルゴリズムを採用している。学習プロセスは、ユーザーのバッチ $\mathcal{B}$ に対して動作する：

1. データ分割: 各ユーザー $u$ について、インタラクション履歴を、生成に使用される可視プレフィックス（$H^{vis}_u$）と、教師信号として使用される保持部分（$H^{ho}_u$）に分割する。
2. 双方向報酬設計: 凍結されたジャッジ $J$ は、2つのランキング方向に基づき、密な報酬を計算する：
   • 順方向（Profile $\to$ History）: 生成されたプロファイル $s_u$ をクエリとして使用し、ユーザーの保持されたアイテム（$H^{ho}_u$）を、バッチ内の他のユーザーのアイテムと比較してランク付けする。報酬はマルチポジティブNDCGスコアである。
   • 逆方向（History $\to$ Profile）: 保持されたアイテム $h^{(p)}_u$ をクエリとして使用し、ユーザーの生成されたプロファイル $s_u$ を、バッチ内の他のプロファイルと比較してランク付けする。報酬はシングルポジティブNDCGスコアである。
3. 正則化:
   • 位置バイアスの除去（Position Debiasing）: LLMのリランカーにおける位置バイアスを軽減するため、候補アイテムを $M$ 個のランダムな順序で提示し、NDCGスコアを平均化する。
   • 長さのペナルティ: プロファイルがトークン閾値 $T$ を超えた場合にソフトなペナルティを適用し、モデルが汎用的な定型文を詰め込むことで報酬をハック（reward hacking）することを防ぐ。
4. 最適化: 総報酬 $R(s_u)$ は、2つのNDCGスコアから長さのペナルティを差し引いたものを組み合わせる。GRPOは、この報酬を最大化するように $\pi_\theta$ を更新する。

BUMP+: ハードネガティブマイニング

ランダムなインバッチネガティブが（トピック的に無関係すぎて）容易すぎる問題を解決するために、著者らは BUMP+ を提案する。このバリアントでは、凍結された埋め込みモデル（BGE）を使用して、より困難なネガティブをマイニングする：

• 順方向: ユーザーの可視履歴（履歴のセントロイドとの類似性が低いもの）とはトピック的に異なる、保持されたアイテムを選択する。
• 逆方向: ターゲットとなるユーザーの可視履歴がターゲットユーザーとトピック的に類似しているユーザーのプロファイルを選択し、ジャッジが非常に類似したユーザープロファイル間を区別できるように強制する。

主な貢献

1. 新規な自己教師あり目的関数: ユーザープロファイルの生成を双方向のインバッチランキング問題として定式化し、ラベルなしの生のログから密な教師信号を導出した。
2. BUMP および BUMP+: GRPOと凍決されたLLMジャッジを用いたこの目的関数の実装、および学習信号を鋭敏にするためのハードネガティブマイニングによる強化。
3. 実証的検証: 4Bパラメータの自己教師ありモデルが、ラベル付き報酬に依存する従来の手法や、クローズドソースのAPI（例：Gemini-1.5-Pro）と同等またはそれ以上の性能を発揮することを実証した。

実験結果

フレームワークは、5つのドメイン（分類、回帰、生成）にわたる6つのタスクをカバーする LaMPベンチマーク で評価された。

• タスク教師あり手法との比較: BUMP+は、9/11の指標行において、「Direct Reward（ラベル付きの下流信号を使用するもの）」のベースラインと同等またはそれを上回った。これは、自己教師あり学習がラベル付き報酬の代わりになり得ることを裏付けている。
• クローズドソースAPIとの比較: BUMP+は、大幅に小さい（4B）オープンウェイトモデルであるにもかかわらず、11の指標行すべてにおいて、クローズドソースのGemini-1.5-Proを上回った。
• 生の履歴（Raw History）との比較: 生の履歴は、表面的なn-gramの重複が報酬となる生成タスクにおいて最も高い性能を示したが、トピック的な嗜好がVerbatim（逐語的）なテキストよりも重要な分類および回帰タスクにおいては、BUMP+が生の履歴を大幅に上回った。
• アブレーション研究:
  • 順方向または逆方向のいずれか一方を削除すると性能が低下し、両方が必要であることが確認された。
  • 「順方向」のみの方が「逆方向」のみよりも効果的であり、これは順方向の項が主要なタスク関連信号を駆動し、逆方向の項が汎用的なプロファイルに対する正則化として機能することを示唆している。
  • ハードネガティブマイニング（BUMP+）は、ランダムネガティブと比較して大幅な利点をもたらしたが、過度なマイニングはノイズを導入した。

意義と主張

本論文は、自己教師あり学習が、テキストベースのユーザープロファイル訓練において、ラベル付きの下流報酬を効果的に代替できると主張している。双方向ランキングを通じて生のインタラクションログの固有構造を活用することで、BUMPは以下のプロファイルを生成する：

• タスク非依存（Task-Agnostic）: 特定の分類器のための特徴量ではなく、ユーザーの忠実な記述として最適化されているため、再学習なしでのクロスタスク転移が可能である。
• スケーラブル: 教師あり予算は、手動の注釈を必要とせず、ユーザー人口とともに自動的に増加する。
• 効率的: 得られるプロファイルはコンパクトで固定サイズの表現であり、事前計算およびキャッシュが可能であるため、推論時のフルインタラクション履歴の処理に伴うレイテンシやメモリコストを回避できる。

著者らは、LLM-as-a-judgeに内在する潜在的なバイアス（冗長性、自己選好など）や、ハードネガティブマイニングにおける混乱可能性の代理としての埋め込み類似性への依存といった限界も認めている。しかし、結果は、双方向の自己教師あり学習が、従来の教師ありプロファイル生成に代わる、実行可能かつ強力な選択肢であることを示唆している。