RPM: Reasoning-Level Personalization for Black-Box Large Language Models

この論文は、ブラックボックス大規模言語モデルの汎用的な出力という課題に対処するため、ユーザーの行動データから推論構造を自動発見し、個人化された推論経路を構築する新たなパラダイム「RPM」を提案し、既存の応答レベルの個人化手法を上回る性能と解釈可能性を実現したことを示しています。

要約

黒箱の AI を「あなた専用」にする魔法のレシピ

〜論文「RPM」の簡単な解説〜

皆さん、最近の AI（チャットボットなど）はすごいですが、一つ悩みがありませんか？
「AI は何でも答えるけど、私の好みや考え方に合わせてくれない」ってこと。
例えば、同じ映画の感想を聞かれても、AI は「平均的な感想」しか言いません。「私は感動した！」というあなたの感情や、「音楽が良かった」というあなたの視点に合わせた答えは返してくれないのです。

これまでの研究では、AI に「過去の私の発言を覚えてね」と教えて、それに似た答えを返すようにしていました。でも、これは**「答えそのもの」を真似るだけで、「なぜその答えになったのか（思考プロセス）」**までは理解できていませんでした。

この論文（ICLR 2026 発表）は、その問題を解決する新しい方法**「RPM」**を提案しています。

---

🍳 料理の例えで理解しよう

AI の思考を「料理」に例えてみましょう。

❌ 従来の方法（答え合わせ）

これまでの AI は、**「レシピ本（過去のデータ）」を見て、「同じ料理（答え）」**を作ろうとしていました。

• ユーザー: 「私は辛いのが好き！」
• AI: 「あ、辛い料理のレシピ本があるな。よし、同じ唐辛子料理を作ろう！」
• 結果: 確かに辛い料理は出てきますが、**「なぜ辛いのか」「どの辛さが好きなのか」**という、あなたの「味覚の深層」までは理解していません。

✅ 新しい方法「RPM」（思考の共有）

RPM は、**「あなたの味覚の DNA（思考の癖）」を分析し、AI に「あなたならどう考えるか」**を教えます。

1. 食材の分析（特徴抽出）:
   過去のあなたの発言から、「辛い」「香ばしい」「健康的」といった**「味覚の要素（特徴）」**を抜き出します。
2. 味覚の分類（ファクター化）:
   それらをグループ化します。例えば、「辛い」＋「香ばしい」＝「刺激重視派」、「健康的」＋「野菜」＝**「ヘルシー志向」といった「味覚のタイプ（ファクター）」**を作ります。
3. 統計データの付与:
   「あなたは『刺激重視』の料理を 8 割好む」「『ヘルシー』な料理は 3 割好む」といった**「あなたの味覚の統計データ」**を AI に渡します。
4. 思考のシミュレーション（推論）:
   新しい料理（質問）が来たとき、AI は「この料理には『刺激』の要素があるな。このユーザーは『刺激重視』のタイプだから、『刺激』を強調して評価するはずだ」と、あなたの思考プロセスをシミュレートして答えを作ります。

---

🚀 RPM がすごい 3 つのポイント

1. 「答え」ではなく「思考」をパーソナライズする

これまでの AI は「過去の回答」をそのまま使うだけでしたが、RPM は**「あなたがなぜその回答を選んだのか」という思考の道筋**を学習します。

• 例: 映画のレビューで「ストーリーより音楽が良かった」と言ったあなた。
  • 従来の AI: 「音楽が良い映画」を推薦する。
  • RPM: 「ストーリーより音楽を重視するあなたの思考パターン」を認識し、新しい映画でも「音楽の質」を最優先で評価するようになります。

2. 「なぜそう思った？」がわかる（説明可能性）

RPM が作った答えには、「なぜその答えになったか」の理由が必ず付いています。

• 「この映画を 5 点評価したのは、『音楽』という要素があなたの**『音楽重視』という傾向**と合致したから」
• このように、AI の判断理由が「あなたの過去のデータ」に基づいて説明されるので、**「なるほど、AI は私のことを理解してくれている！」**と納得感があります。

3. 黒箱の AI でも使える（パラメータ変更なし）

多くの AI は中身（パラメータ）を公開していません（黒箱）。RPM は、AI の中身を変えることなく、**「入力する情報（プロンプト）」**を工夫するだけで、この高度なパーソナライズを実現します。

• 特別な訓練や高価な計算機が不要で、**「あなたの思考のレシピ」**を AI に渡すだけで、AI があなた専用の思考者になるのです。

---

🌟 まとめ：AI との「共感」が深まる

この「RPM」という技術は、AI を単なる「検索エンジン」や「回答機」から、**「あなたの思考を理解するパートナー」**へと進化させます。

• 従来の AI: 「正解」を答える。
• RPM の AI: 「あなたの正解」を、**「あなたの考え方で」**導き出す。

まるで、長年一緒に住んでいる家族が、あなたの「無言の要望」や「独特のこだわり」を理解して動いてくれるような感覚です。これからの AI 時代は、**「AI が私の思考をどう解釈するか」**が重要になるかもしれません。

この研究は、AI と人間の距離を縮め、より自然で信頼できる関係を作るための大きな一歩です。🎉

技術概要

RPM: 黒箱型大規模言語モデルのための推論レベルのパーソナライゼーション

技術的サマリー（日本語）

本論文は、黒箱型大規模言語モデル（LLM）におけるパーソナライゼーションの新たなパラダイムである**「推論レベルのパーソナライゼーション（Reasoning-Level Personalization）」を提案し、その実現に向けたフレームワーク「RPM（Reasoning-Level Personalization for Black-Box LLMs）」**を提出したものです。

1. 背景と課題

現在、広く展開されている黒箱型 LLM は、内部パラメータへのアクセスが制限されており、ユーザー固有の好みを反映した出力を生成することが困難です。既存のパーソナライゼーション手法は主に以下の 2 つのカテゴリーに分類されますが、いずれも**「応答レベルのパーソナライゼーション（Response-Level Personalization）」**に留まっています。

• 検索ベース手法: 過去のユーザーデータから類似する例を検索し、コンテキストに追加する。
• プロンプト最適化手法: ユーザーのプロフィールやヒューリスティックなテンプレートを用いて入力プロンプトを調整する。

既存手法の限界:
これらは最終的な出力（応答）の一致を目指しているだけで、「ユーザーの行動がどのように推論プロセスを経て最終的な回答に至るか」という背後にある論理構造をモデル化できていません。このため、以下の 2 つの重大な課題が存在します。

1. 表面的なパターン学習: 入力と出力の浅い相関しか学習できず、入力内の特定の要素がどのように回答に影響を与えるかを捉えられない。
2. 解釈性の欠如: 明示的な推論パスがないため、モデルの出力が真のユーザーの好みを反映しているのか、それとも誤った相関に基づいているのかを判断できず、システムの信頼性が損なわれる。

2. 提案手法：RPM の概要

RPM は、ユーザーの生データ（行動履歴）からユーザー固有の推論構造を自動的に発見し、それを推論時のガイドとして利用するフレームワークです。単なるプロンプト調整ではなく、データ駆動型のモデリング原則に基づいています。

RPM は以下の 3 つの主要なコンポーネントで構成されます。

(1) パーソナライズされたファクター構築（Personalized Factor Construction）

ユーザーの履歴（クエリと応答のペア）から構造化された情報を抽出し、統計的な意味を持たせます。

• 構造化特徴の抽出: 各クエリから、応答に影響を与える可能性のある「特徴（Features）」を LLM を用いて抽出します（例：「味」「健康志向」など）。
• ファクターの生成: 抽出された特徴を意味的類似性に基づいてクラスタリングし、より高レベルな「ファクター（Factors）」（例：「味覚」「実用性」）を形成します。
• 統計的意味の付与: 各ファクターに対して、出現頻度（Coverage）、回答への影響度（Influence）、および影響の方向性（ポジティブ/ネガティブ/ニュートラルな Polarity）といった統計値を算出します。これにより、ユーザーの行動パターンを定量的に記述します。

(2) パーソナライズされた推論構築（Personalized Reasoning Construction）

ユーザーの履歴に基づき、各クエリ - 応答ペアに対して「なぜその回答になったか」を説明する推論パスを生成します。

• 抽出された特徴とファクター、そして統計情報を LLM に提示し、ユーザーの行動パターンを反映した論理的な推論経路（Reasoning Path）を生成させます。
• これらの推論パスは「推論強化ユーザー履歴（Reasoning-Augmented User History）」として保存され、将来の推論の基礎となります。

(3) 推論整合生成（Reasoning-Aligned Generation）

推論時に、ターゲットのクエリに対してパーソナライズされた推論パスを適用して回答を生成します。

• 特徴認識型特徴抽出: ターゲットクエリから特徴を抽出し、ユーザー固有のファクター統計を参照します。
• 特徴ベースの検索: 生クエリではなく、抽出された「特徴」に基づいて、過去のユーザー履歴から最も関連性の高い推論例（Reasoning Examples）を検索します。これにより、表面的なトピックの一致ではなく、推論構造の類似性に基づいた例選択が可能になります。
• 推論例による生成: 検索された推論例（特徴、ファクター、推論パス、回答）を Few-shot プロンプトとして提示し、LLM にユーザーの推論スタイルに整合した回答と推論過程を生成させます。

3. 主要な貢献

1. 推論レベルのパーソナライゼーションの定式化: 最終出力の一致から、LLM の推論プロセスをユーザーの行動パターンに整合させるという新たなパラダイムを確立しました。
2. RPM フレームワークの提案: 生データからユーザー固有の推論構造を自動発見し、解釈性の高いパーソナライゼーションを実現するデータ駆動型フレームワークを提案しました。
3. 包括的な実証: 多様なタスク（分類、回帰、生成、QA）における実験により、既存手法を上回る性能と、各コンポーネントの寄与、クロスモデル転移性、そして人間による評価での高い解釈性と信頼性を証明しました。

4. 実験結果

LaMP ベンチマーク（映画タグ付け、製品評価、論文タイトル生成）と GlobalOpinionQA（質問応答）の 4 つのタスクで評価を行いました。

• 性能: RPM は、Zero-shot、ICL（In-Context Learning）、RAG、プロファイルベースの手法、HYDRA、Fermi などの既存の最良のベースラインをすべてのタスクで上回りました。
  • 例（LaMP-3 製品評価）: RPM は MAE 0.259 を達成し、次点の Fermi (0.328) や RAG (0.363) を大きく凌駕しました。
• アブレーション研究: 特徴（Features）やファクター（Factors）といった構造化されたコンポーネント、および明示的な推論パス（Reasoning Paths）の導入が性能向上に不可欠であることを示しました。特に、推論パスがない場合、性能は低下します。
• 解釈性と信頼性: 人間による評価（Amazon Mechanical Turk）において、RPM は「解釈性（Interpretability）」や「整合性（Alignment）」の項目で他手法を圧倒的に上回りました。また、ハルシネーション（事実と異なる推論）の発生率も極めて低く（約 3.5-4.75%）、構造化された特徴・ファクターに基づく推論が信頼性を高めていることが示されました。
• 計算コスト: 事前処理コストはユーザーあたり約 0.058 ドル、推論コストは 0.0037 ドルと、ハイオーバーヘッドなベースライン（Fermi や HYDRA）と比較して非常に効率的です。

5. 意義と結論

本論文は、黒箱型 LLM のパーソナライゼーションにおいて、単に「何（What）」を答えるかに焦点を当てる従来のアプローチから、「なぜ（Why）」そのように推論するのかをモデル化する**「推論レベルのパーソナライゼーション」**への転換を提案しました。

RPM は、ユーザーの行動履歴から構造化された推論モデルを構築することで、ブラックボックスモデルであってもユーザーの意思決定プロセスを透明化し、高精度かつ解釈可能なパーソナライズされた出力を生成することを可能にしました。これは、LLM の信頼性向上と、より人間中心の AI 実装に向けた重要な一歩と言えます。