From Correctness to Preference: A Framework for Personalized Agentic Reinforcement Learning

本論文は、異質なユーザーの嗜好に対処し、多様な計画およびツール利用シナリオにおけるエージェントのパフォーマンスを向上させるために、嗜好を分離した報酬モデル、パーソナライズされたアンカー報酬・解離型方策最適化（PARPO）、および嗜好整合型スキル進化グラフメモリ（PSGM）を統合した、パーソナライズされたエージェント強化学習のための統合フレームワークを提案する。

要約

あなたがパーソナルアシスタントロボットを持っていると想像してください。過去、私たちはこれらのロボットに「正解」を教えました。「東京への旅行を計画して」と頼めば、ロボットは平均的な人に役立つ単一の数学的に完璧な旅行計画を学習しました。それは効率的で、論理的で、事実的に正確でした。

しかし、現実世界では「正解」だけでは不十分です。ユーザーAが歩くことを嫌う静かな美術館愛好家であり、ユーザーBが夜の街を愛する元気なアニメファンだとすれば、彼らにとっての「完璧な」東京旅行は全く異なります。同じ問いに対して、二つの異なる答えが必要となるのです。

この論文は、AI エージェントが「万人向け」の専門家になろうとするのをやめ、真のパーソナルコンパニオンになるように訓練する新しい方法を提案しています。その仕組みを簡単に説明します。

1. 課題：「平均」の罠

現在の AI 訓練は、誰もが好む単一の「平均的な」料理を作るようにシェフを教えるようなものです。辛い料理を頼んでも、シェフは大多数を喜ばせようとして、辛くないものを出してしまうかもしれません。

• 問題点: 実際のユーザーは、独自の好み、習慣、制約を持っています。「タスクを完了したか？」といった一般的な報酬システム（スコア）では、ユーザーにとって「事実的には正しいが退屈な」旅行計画と、彼らに「完璧にカスタマイズされた」旅行計画の違いを区別できません。
• ノイズ: 時には、ユーザーが真の欲求と一致しない行動をとることがあります（友人が買ったからといって、何かを買ってしまうなど）。AI はユーザーが「何をしたか」だけでなく、ユーザーが「本当に何を望んでいるか」を見極める必要があります。

2. 解決策：三部構成のツールキット

著者らは、PARPO（Personalized Anchor Reward-Decoupled Policy Optimization：パーソナライズド・アンカー・報酬非結合方策最適化）と呼ばれるフレームワークを構築しました。これは AI の脳に対する三段階のアップグレードと考えることができます。

パート A：「デュアルトラック」コーチ（PARPO）

二人の選手を同時に指導するスポーツコーチを想像してください。

• トラック 1（基礎）: コーチは二人の選手が完璧で安全なラップを走ることを保証します。これが一般品質報酬です。レースを完走しましたか？ルールを守りましたか？
• トラック 2（パーソナルスタイル）: コーチはその後、選手のスタイルに基づいて具体的なフィードバックを与えます。スプリンターには「もっと速く」と、マラソンランナーには「エネルギーを温存して」と伝えます。これがパーソナライズド・プレファレンス報酬です。
• アンカー: 安定性を保つため、コーチは各選手に対して「パーソナルアンカー」を使用します。スプリンターをマラソンランナーと比較する（これは不公平です）のではなく、コーチはスプリンターを「自分自身の」過去の業績と比較します。これにより、AI が異なるユーザーの異なる「スケール」に混乱することを防ぎます。

パート B：「真の興味」検出器（報酬モデル）

AI は、ユーザーが実際に何を好んでいるのか、それとも同調圧力によってただ何をしたのかをどうやって知るのでしょうか？

• 論文は二段階検出器を導入しています。
  • ステージ 1: ユーザーのプロフィールを多角的に構築します（バイオ、履歴、社会的ネットワークなどを読み解くように）。
  • ステージ 2: 「真の興味」を「同調」から分離する探偵のように機能します。「このユーザーはこれを愛して行ったのか、それとも他のみんながやっているからただ行ったのか？」と問います。ノイズをフィルタリングしてシグナルを見つけ出します。

パート C：「生きた図書館」（PSGM）

古い AI の記憶は、平らに積み上げられた書類の山のようなものです。質問をすると、その山全体を検索します。

• この論文は、スキル進化グラフを構築します。すべてのノードが接続された、動的な 3 次元の蜘蛛の巣を想像してください。
  • あるノードは「ユーザーA」です。
  • それは「スキル：美術館の計画」に接続されます。
  • それが「シナリオ：雨の日」に接続されます。
  • さらに「ツール：チケット予約」に接続されます。
• ユーザーが質問をすると、AI は単に検索するのではなく、その特定のユーザーの履歴や好みに一致するスキルやツールを見つけるために、このウェブの中を「旅」します。まるで、あなたが昨年気に入った本を正確に覚えていて、ベストセラーを渡すのではなく、それに似た本を提案してくれる司書のようなのです。

3. 結果：他を凌駕する性能

チームはこの手法を三つの異なる課題でテストしました。

1. ETAPP: パーソナルアシスタント（日常タスクの計画）の標準テスト。
2. ETAPP-Hard: 複雑な多段階の問題を含む、より困難なバージョン。
3. SJAgent: 巨大な中国の電子商取引プラットフォームからのデータを使用した、実世界の産業テスト（事業者の意思決定支援）。

結果:
彼らの新しいフレームワークは、既存の最良の方法を一貫して凌駕しました。

• 単に事実を正しただけでなく、「雰囲気」も正しく捉えました。
• 先見性（ニーズを予測すること）を学び、複雑な手順をよりよく追従しました。
• 決定的な点は、個々のユーザーに適応しながらも高品質を維持したことであり、「正しさ」を犠牲にすることなく「パーソナル」になれることを証明しました。

まとめのアナロジー

古い AI を想像してください。それは東京のための一つの完璧な台本を暗記し、それを誰にでも朗読するツアーガイドのようです。
新しい AI は、あなたを個人的に知る地元の友人です。あなたが歩くことを嫌い、アニメを愛し、予算に制約があることを知っています。彼らは単に地図を渡すのではなく、あなたの過去の好みを記憶し、あなたが本当に見たい景色を実際に見られるようにしながら、まるで「あなたのためにだけ」作られたような一日を設計します。

この論文は、この達成は「仕事を正しく行うこと」と「あなたが好きなように仕事をすること」を分離し、あなたが誰であるかを正確に記憶するスマートな記憶システムを使用することによって実現されると主張しています。

技術概要

技術的概要：正しさから選好へ：パーソナライズされたエージェント型強化学習の枠組み

1. 問題定義

エージェント型強化学習（Agentic RL）は、明確な正解（グラウンド・トゥルース）が存在する検証可能なタスク（コード生成、ウェブナビゲーションなど）において大きな成功を収めてきましたが、最適行動がユーザー依存となる実世界応用においては根本的な課題に直面しています。EC 支援、旅行計画、日常のスケジュール管理などの分野では、単一のクエリ（例：「東京で 1 日旅行を計画してください」）に対して複数の妥当な経路が存在し、好まれる経路は個々のユーザーの選好、習慣、制約によって決定されます。

既存の手法は、一般的な目的（全体的な品質、有用性）の最適化を行うか、または推論時にプロンプティングやメモリ検索を通じてのみパーソナライゼーションを実行する傾向があります。これらはユーザー条件付き経路を最適化するためのネイティブな学習時フレームワークを欠いています。この設定は、以下の 3 つの中核的な課題をもたらします：

1. パーソナライズされた報酬の曖昧性：一般的な報酬はタスクの正しさを捉えますが、特定のユーザーが経路をどのように評価するか、あるいはユーザー間で異質な報酬スケールをどのように扱うかを表現できません。
2. 選好の解離：観測されたユーザーの行動は、本質的な興味と、同調性や文脈効果とが混在しており、選好シグナルにノイズが含まれています。
3. ユーザー認識型メモリ：既存のエージェントメモリは平坦でクエリ中心であり、パーソナライズされた検索に必要なユーザー、意図、スキル、ツール、シナリオ間の構造化された関係をモデル化できていません。

2. 手法

著者らは、パーソナライゼーションを学習時の最適化ループに組み込んだ統合されたパーソナライズされたエージェント型 RL 枠組みを提案します。この枠組みは、選好の特定、方策の最適化、構造化されたスキルの蓄積という閉ループとして機能し、以下の 3 つの中核コンポーネントから構成されます：

2.1 PARPO：パーソナライズされたアンカー報酬分離方策最適化

PARPO は、異質なユーザー選好に対処するために設計された中核的な方策最適化アルゴリズムです。

• 報酬の分離：最適化を 2 つのトラックに分離します。一般的なタスク品質（正しさ、論理的整合性）のためのベーストラックと、ユーザー条件付きの選好改善のためのパーソナライズドトラックです。
• ユーザー固有のアンカー：異質な報酬スケール下での学習を安定させるため、PARPO はパーソナライズド報酬に対して永続的なユーザー固有のアンカー（移動平均と分散）を維持します。
• アドバンテージ推定：
  • ベースアドバンテージ（$A_{base}$）は、標準的なグループ内相対正規化を使用します。
  • パーソナライズドアドバンテージ（$A_{pers}$）は、ユーザー認識型ベースラインを使用します：$b_{u,g} = \max(\bar{R}_{pers}^{(g)}, m_u - \gamma_p \sqrt{v_u})$。ここで、$m_u$ と $v_u$ はユーザーの歴史的報酬統計です。これにより、ベースラインがユーザーの歴史的中心から過度に上方に逸脱するのを防ぎます。
  • 合計アドバンテージは重み付き和です：$A_{total} = w_{base}A_{base} + w_{pers}A_{pers}$。
• 理論的正当性：著者らは、異質な選好の下では、ユーザー認識型最適化はユーザー非認識型最適化よりも決して劣らないことを証明しています。標準的な GRPO は、プールされたベースラインと正規化に起因する構造的バイアスを負うことを示し、PARPO は報酬分解とアンカー較正を通じてこのバイアスを低減することを示しています。

2.2 2 段階選好解離報酬モデル

クリーンなパーソナライズされた教師信号を提供するため、この枠組みは本質的な興味と同調性を分離する報酬モデルを採用します。

• 段階 1（マルチビュープロファイル表現）：アテンション機構と再構成損失を用いてユーザープロファイルの複数の意味的ビューを融合し、ビュー固有の情報を保持するユーザー埋め込みを構築します。
• 段階 2（協調的解離）：LightGCN ベースのグラフを用いて協調シグナルを伝播します。2 つの異なるブランチを学習します：
  • 興味エンコーダ：人気度の低いアイテムの重みを増やすことで、本質的な選好を捉えます。
  • 同調性エンコーダ：人気度の高いアイテムの重みを増やすことで、同調効果を捉えます。
  • 直交正則化：2 つのブランチが明確に区別されることを保証します。
• 最終的なパーソナライズドスコアは、これらのブランチの融合表現であり、LLM ベースの評価と較正・統合されます。

2.3 選好整合型スキル進化グラフメモリ（PSGM）

パーソナライズされたロールアウトコンテキストをサポートするため、PSGM は平坦な検索を異種グラフメモリに置き換えます。

• 構造：グラフノードはユーザー、スキル、ツール、シナリオ、経路を表します。エッジは所有関係、適用性、相補性、競合、実行履歴をエンコードします。
• コミュニティ検出：階層的コミュニティ検出（Leiden/Louvain）により、ユーザーとスキルをコミュニティに整理し、多粒度構造を捉えます。
• 検索メカニズム：
  1. 意味的初期化：クエリ類似性に基づいて上位 K 個のスキルを検索します。
  2. 2 ホップ拡張：候補をスキルから所有者ユーザーへ、さらにそのユーザーの兄弟スキルへと拡張し、パーソナライズされた局所構造を注入します。
  3. グラフ認識型スコアリング：クエリ - スキル類似性、ユーザー - スキル類似性、コミュニティ関連性、相補性、競合ペナルティに基づいて候補をランク付けします。

3. 主な貢献

1. 問題定式化：本論文は、最適行動が単一の正解ではなく個々の選好に依存するものとして、パーソナライズされたエージェント型 RL をユーザー条件付きマルコフ決定過程（MDP）として定式化します。
2. PARPO アルゴリズム：異質なユーザー報酬スケール下で効果的にパーソナライズされた方策を学習する、アンカー安定化・報酬分離の方策最適化手法を提案します。
3. 解離された教師信号とメモリ：同調性から真の興味を分離するための 2 段階選好解離報酬モデルと、選好整合型スキル検索のための構造化されたスキル進化グラフメモリ（PSGM）を導入します。
4. 実証的検証：複数のベンチマークで一貫した改善を示し、この枠組みが事実的・論理的整合性を維持しつつ、パーソナライゼーションと手続き的品質を向上させることを実証しています。

4. 実験結果

この枠組みは、ETAPP、ETAPP-Hard（マルチツール調整と暗黙的推論を必要とするより困難な分割）、および中国の EC プラットフォームからの実世界産業シナリオであるSJAgentで評価されました。

• 性能：提案手法（PARPO + PSGM）は、プロンプティング手法（ReAct）、メモリベースのエージェント（Mem0）、各種 RL アルゴリズム（GRPO、DAPO、GSPO、GiGPO、SkillRL）を含む強力なベースラインを大幅に上回りました。
  • ETAPP-Hardにおいて、「Judge」スコアと「Personal」スコアで最高値を達成し、複雑なパーソナライズされたシナリオにおける堅牢性を示しました。
  • SJAgentにおいて、データ真正性、ビジネスロジック、タスク完了などの主要な次元で先行し、ドメイン横断的な汎化能力を実証しました。
• アブレーション研究：
  • スキルメモリを除去すると性能が最も大きく低下し、それがパーソナライズされた意思決定の中心であることを確認しました。
  • PARPO を標準的な GRPO に置き換えるか、ユーザーアンカー較正を除去すると、性能が大幅に低下し、分離されたアンカー安定化アプローチの必要性を検証しました。
  • 報酬モデルの解離（興味/同調性ブランチの除去）も性能を低下させ、真の選好をノイズから分離することの重要性を浮き彫りにしました。
• 人間および LLM 評価：20 の ETAPP タスクにおけるブラインド研究において、PARPO は人間専門家と LLM ジャッジの両方から平均スコアが最も高く、特に「ユーザー関連性」において、改善が単なる流暢さではなく真のパーソナライゼーションによるものであることを確認しました。
• 学習ダイナミクス：PARPO は他の RL 戦略と比較して、優れた学習安定性、高い成功率、より良いツール呼び出しの成功率を示し、安定した KL 発散は過度な逸脱なしに効率的な方策改善を達成していることを示しています。

5. 意義と限界

意義：
本論文は、パーソナライゼーションがエージェント型 RL の最適化目標を根本的に変えることを主張しています。「一辺倒」の方策からユーザー条件付き経路最適化へと移行することで、提案された枠組みは一般的なタスク能力とユーザー固有の整合性の間のギャップを埋めます。解離された報酬モデリングと構造化されたメモリによって支えられた学習時最適化が、実世界で選好駆動の環境で動作するエージェントにとって不可欠であることを示しています。

限界：
著者らは、アノテーションコストにより人間評価の規模が制限されており、20 のサンプリング例について 15 人の専門家のみが判断を提供したことを認めています。これらの結果は LLM 評価と一致していますが、著者らは将来の研究において、堅牢性と実世界妥当性をよりよく評価するために、より大規模で多様なプールに人間研究を拡大すべきであると指摘しています。さらに、現在の実装は特定のグラフ構造とアンカーメカニズムに依存しており、異なる応用ドメインでは適応が必要となる可能性があります。