🤖 AI

Personalizing Large Language Model Agents with Small Policy Models

本論文は、凍結された大規模言語モデルエージェントに対し、ベイズ的コンテキスト的トムソンサンプリングを通じてスカラーフィードバックからユーザー固有の実行嗜好を学習することで、コストのかかるファインチューニングを行うことなく、嗜好に敏感な振る舞いを向上させる、軽量で因子分解された方策レイヤーであるFABLEを導入するものである。

原著者： Dian Jin, Zhi Zhang, Huichao Li, Yihe Pan, Rundong Huang, Doudou Zhou

公開日 2026-08-04

📖 1 分で読めます☕ さくっと読める

CC0 1.0

原著者： Dian Jin, Zhi Zhang, Huichao Li, Yihe Pan, Rundong Huang, Doudou Zhou

原論文は CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) のもとパブリックドメインに提供されています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ほとんどすべてのことを知っている超スマートなロボットと話していると想像してください。このロボットは、読み書きができ、ウェブブラウザや計算機のようなツールも使える、巨大な図書館のような存在です。しかし、ここには落とし穴があります。ロボットは「凍結（フローズン）」されているのです。あまりに巨大すぎたり、高価すぎたり、あるいはコードに触れることを許可しない企業が所有していたりするため、その脳を書き換えたり、性格を変えたりすることはできません。では、どうすればこの巨大で変更不可能なロボットを、あなた専用のパーソナルアシスタントのように機能させることができるでしょうか？

これが、大規模言語モデル（LLM）エージェントというパズルの核心です。これらは単にチャットをするだけでなく、航空券の検索やカレンダーの確認といった「行動」をとるAIシステムです。問題は、ロボットは賢いものの、あなたの特定のスタイルを知らないということです。例えば、あなたは長い説明を嫌って簡潔な回答を求めるかもしれませんが、あなたの友人は詳細なステップバイステップのガイドを好むかもしれません。通常、これを修正するには、ロボットを「ファインチューニング」する必要があります。これは、象に新しいステップの踊りを教えるために、象の脳全体を訓練し直そうとするようなものです。それは重労働で、コストがかかり、多くの場合不可能です。

これから読む論文は、次のような問いを投げかけることで、この問題に取り組んでいます：「凍結されたロボットの脳を変えることなく、私たちに適応させることはできるだろうか？」 著者たちは巧妙なトリックを提案しています。ロボット自体を変えるのではなく、ロボットの「外側」に立つ、小さくて軽量な「コーチ」を作るという方法です。このコーチは、ロボットが何をするかを観察し、あなたのフィードバック（「いいね」や「よくない」といったもの）を聞き、あなたが好む選択肢へとロボットを促す方法を学びます。これは、巨大で動かせない石像に対して、石像に新しい筋肉を刻み込むのではなく、あなたのほうを向くように頭の傾け方を教えるパーソナルトレーナーがいるようなものです。

問題点：言うことを聞かないロボット

旅行代理店のロボットに旅行の計画を立ててもらう場面を想像してください。

ユーザーA はこう言います：「過去の旅行履歴を確認して、現在の価格を調べて、何かを予約する前には必ず私に聞いてください。」
ユーザーB はこう言います：「履歴は見なくていい。とにかく一番安い航空券を、質問なしで即座に提示して。」

もしロボットが凍結されているなら、これらの違いを簡単に学ぶことはできません。ロボットはただ推測するだけかもしれません。もしあなたが「質問はしないで」と伝えようとしても、プロンプトにそう書いても、ロボットは後でそれを忘れたり無視したりする可能性があります。もしロボット全体を再学習させようとすれば、莫大な費用がかかります。論文では、既存の手法は、ロボットを変えようとする（難しすぎる）か、単にルールのリストを与える（硬直的すぎる）かのどちらかであると主張しています。それらは、あなたの反応からリアルタイムで「学習」することはありません。

解決策：FABLE、小さなコーチ

著者たちは、FABLE（Factorized Adaptive Bandit Layer for Execution）を紹介しています。FABLEを、あなたと巨大な凍結ロボットの間に位置する、スマートで小さなソフトウェア層だと考えてください。これはロボットの脳には触れません。ただ、あなたの代わりにロボットが「どのように」振る舞うべきかを決定します。

FABLEがどのように機能するかを、いくつかの楽しい比喩を使って説明します：

分解されたメニュー（要素への分解）：
ロボットが何をすべきかを決定するとき、実際には3つの異なる選択を同時に行っています。
- メモリ（記憶）： あなたの過去のチャットを見るべきか？
- ツール： 検索エンジンを使うべきか、それとも単に推測すべきか？
- スタイル： 直接的なのか、おしゃべりなのか、あるいは確認を求めるべきか？
「フラット」なアプローチでは、これらすべての組み合わせ（例：「メモリ＋検索＋おしゃべり」は一つの選択肢であり、「メモリ＋検索なし＋直接的」は別の選択肢である、というもの）をすべて学習しようとします。これは、1,000種類の材料があるレストランのあらゆるメニュー項目を暗記しようとするようなものです。FABLEはもっと賢いです。メニューを要素ごとに分解します。例えば、あなたが「メモリ」を使っているか「ツール」を使っているかに関わらず、一般的に「おしゃべり」なスタイルを嫌う、ということを学習します。FABLEは、あなたの好みの「材料」を個別に学習するため、学習が非常に速くなります。
残差スコア（「隠し味」）：
凍結されたロボットには、すでに「デフォルト」の振る舞いがあります。おそらく、非常に丁寧で詳細な振る舞いがデフォルトでしょう。FABLEはその丁寧さを再学習しようとはしません。代わりに、FABLEは残差（residual）、つまり、そのロボットを「あなた仕様」にするための「追加の要素」だけを学習します。もしロボットが自然に80%丁寧であるなら、FFABLEは、あなたが「10%だけ丁寧さを減らしてほしい」と考えていることを学習します。これは、出来合いのスープに味付けをするようなものです。スープを一から作るのではなく、あなた好みの塩をひとつまみ加えるだけなのです。
セーフティフィルター（用心棒）：
時には、できないことがあります。例えば、銀行口座にアクセスする権限がない場合や、ツールが壊れている場合などです。FABLEには、選択を行う前にルールをチェックする「用心棒」が備わっています。「よし、今日は銀行ツールは使えないので、使えるもののリストから選びましょう」と判断します。これにより、学習中であっても、ロボットがルールを破ろうとすることを防ぎます。
ベイズ的コーチ（「いいね/よくない」からの学習）：
FABLEはベイズ的トンプソン・サンプリングという手法を使用しています。コーチがあなたの好みを「勘」で推測していると考えてください。コーチは一つの選択肢を試します。あなたが小さな信号（-1から1の間のスコアのようなスカラー値によるフィードバック）を与えます。すると、コーチはその「勘」を更新します。
- もしあなたが「簡潔な」スタイルを気に入ったなら、コーチは「このユーザーは簡潔なスタイルを好む」という確信を強めます。
- もしあなたが「ウェブ検索」を嫌ったなら、コーチはそれを避けるように学習します。
  重要なのは、FABLEが選択肢を分解した（Factorized）ため、「ウェブ検索」を嫌うという学習が、他の文脈においても「ウェブ検索」を避けるべきであるという理解につながる点です。

論文の結果

著者たちは、航空、小売、通信、銀行の4つの世界をシミュレートしたtau2-benchというベンチマークを用いてFABLEをテストしました。また、数学の問題やショッピングのタスクでもテストを行いました。

結果は以下の通りです：

好みのマッチングにおいて： FABLEはユーザーの意図を汲み取ることに最も優れていました。テストにおいて、FABLEは標準的な凍結ロボットと比較して、「パーソナライズされた報酬（ユーザーがそのやり取りをどれだけ気に入ったか）」を**+0.077向上させました。また、特定の「冗長性（言葉の多さ）」の好み（簡潔か詳細かなど）に合わせる能力も大幅に向上し、アライメント（適合）を+0.281**改善しました。
魔法のタスク解決器ではない： ここが重要な点です：FABLEは、実際のタスクの成功率を大幅に向上させたわけではありません。 パーソナライズされたからといって、ロボットが航空券の予約や数学の問題の解決に上手くなったわけではありません。実際、タスクの成功率の差は非常に小さく、著者らは数値が近すぎて判断できない（unresolved）としています。
「オンボーディング」によるブースト： 論文では、コーチにユーザーに関する初期情報（オンボーディング）を与えることが非常に効果的であったことが示されました。このステップをスキップすると、コーチの学習に時間がかかり、パフォーマンスも低下しました。
「万能薬」ではない： 論文は、この手法がすべての面でロボットを良くするという考えを明確に否定しています。これは、ロボットが「あなたのスタイルに合う」ようにするためのものであり、コアとなる仕事における「知能」を高めるためのものではありません。

結論

FABLEは、巨大で変更不可能なAIロボットを、まるであなたのために作られたかのように感じさせるための、巧妙で軽量な方法です。これは、ロボットの脳に一切触れることなく、あなたの特定の好み（どの程度おしゃべりであってほしいか、どのツールを好むかなど）を学習することで実現されます。

しかし、論文はその限界についても正直に述べています。FABLEは、ロボットに「あなたの音楽に合わせて踊る」方法を教える優れたコーチにはなりますが、もしロボットがもともとランナーでないならば、マラソンを走れるように教えることはできない、ということを示唆しています。

要するに、FABLEは、凍結されたロボットに「あなたの音楽に合わせて踊る」方法を教える完璧なコーチですが、ロボットがもともとランナーでない限り、マラソンを走れるように教えることはできないのです。

技術要約：小さなポリシーモデルによる大規模言語モデルエージェントのパーソナライズ化

問題の定式化

本論文は、基盤となるホストモデルを変更することなく、個々のユーザーに合わせて大規模言語モデル（LLM）エージェントをパーソナライズするという課題に取り組んでいる。LLMエージェントはメモリの検索、ツールの呼び出し、応答スタイルの調整が可能であるが、これらの実行決定を特定のユーザーの好みに適応させることは依然として困難である。既存のアプローチには以下のような重大な限界がある：

ファインチューニング： ユーザーごとにモデルのパラメータを適応させることは計算コストが高く、プロプライエタリなブラックボックス・システムでは不可能な場合が多い。
プロンプトとメモリ： これらの手法はユーザー情報をエージェントに露出させるが、フィードバックに基づいてエージェントの「実行ポリシー」（例：いつ質問するか、いつツールを使用するか）を適応させることはできない。
単一メカニズムによる適応： 特定のコンポーネント（例：メモリ検索やツール選択）のみを適応させる最近の手法は、実行決定の結合空間に対して、単一のスカラー・フィードバック信号（ユーザーのインタラクション全体に対する反応）をどのように帰属させるかという問題に対処できていない。

核心的な困難はスパースなフィードバックにある。システムは、選択された特定の実行決定の組み合わせに対してのみスカラーの結果を観測し、代替となる組み合わせのパフォーマンスは観測されない。さらに、システムはハード制約（例：権限、安全規則）を遵守し、オンボーディング情報を固定されたルールではなく、修正可能な事前証拠として扱う必要がある。

著者らはこれを、外部の実現可能性集合によって制約された、因子分解されたアクション空間における、ユーザーごとの実行ポリシーに関するオンライン学習問題として定式化している。

手法：FABLE

著者らは、ブラックボックスである可能性のあるホストエージェントの外側で動作する軽量なポリシー層であるFABLE（Factorized Adaptive Bandit Layer for Execution）を提案している。FABLEは、ホストの重み、勾配、または隠れ状態へのアクセスを必要としない。

主要コンポーネント

因子分解されたアクション空間： 実行決定 $a$ は、メモリモード、情報取得モード、および応答挙動を表すタプル $(m, \tau, s)$ として定義される。全結合空間（組み合わせ爆発が起こる）に対してポリシーを学習する代わりに、FABLEは因子分解された特徴マップ $\phi(c, a)$ を使用する。このマップには各コンポーネントの主効果とペアワイズの相互作用が含まれており、ある結合アクションからのフィードバックによって、関連するコンポーネントの好みを更新することを可能にする（例：不要な確認を嫌うことは、メモリ設定に関わらず「確認を求める」という好みの更新につながる）。
残差嗜好モデル： 期待されるフィードバックは次のようにモデル化される：
$E[y_t | c, a] = \bar{b}(c, a) + \phi(c, a)^\top \theta^*$
ここで $\bar{b}(c, a)$ は既知の規定されたデフォルトスコアから運用コストを引いたものであり、 $\theta^*$ はユーザー固有の残差嗜好を表す。このアプローチにより、システムはホストの有用な汎用的挙動を保持したまま、ユーザーによるそこからの逸脱のみを学習することができる。
修正可能なオンボーディング： オンボーディング中に提供されるユーザーの好みは、有限精度の疑似観測値として扱われる。これらは $\theta$ に関するガウス事後分布を初期化するが、ポリシーを固定するものではない。オンラインフィードバックが到着するにつれて事後分布は更新され、システムは初期の仮定を修正できる。
実現可能性制約付きトンプソン・サンプリング：
- フィルタリング： 選択前に、外部フィルタがハード制約（権限、ツールの可用性）に基づいて実行不可能なアクションを除去する。
- サンプリング： FABLEは現在のガウス事後分布から残差パラメータ $\tilde{\theta}_t$ をサンプリングし（較正された係数 $\nu_t$ によってスケールされる）、実現可能な集合 $A_t$ 内で期待スコアを最大化するアクション $a_t$ を選択する。
- 更新： 実行後、残差フィードバックを用いて共役更新によりガウス事後分布を更新する。
昇格ルール： 学習された好みは、アンチタイム有効な信頼区間がゼロを除外する場合にのみ、永続的なルールとしてホストに書き戻される。これにより、統計的に有意な好みのみが昇格されることが保証される。

理論的結果

本論文は、線形残差フィードバックモデルの下でのFABLEに対する実現可能なオラクル・リグレット保証を確立している。

リグレット境界： 理論的に較正されたガウスサンプリングスケール $\nu_t = \sqrt{9d \log(t/\delta)}$ を用いることで、FABLEは各ラウンドにおける最良の実現可能なアクションに対して、高確率で $\tilde{O}(d^{3/2}\sqrt{n})$ のリグレットを達成する。
識別可能性： 著者らは、実現可能性制約が特定の行動を継続的に除外する場合に、どの嗜好の方向が識別可能であるかを特性化している。除外されたコンポーネント間の比較を必要とする嗜方は、オンラインデータのみからは学習できないことを指摘している。

実験的評価

FABLEは、実行可能なツール使用タスクを含む、4つのドメイン（航空、小売、通信、銀行知識）の tau2-bench プロトコルで評価された。

主な知見

パーソナライズされた報酬とアライメント： 完全なFABLEポリシーは、テストされたすべてのポリシーの中で最も高い観測パーソナライズ報酬と合成冗長性アライメントを達成した。ホストのベースラインと比較して、パーソナライズされた報酬（+0.077）およびアライメント（+0.281）において、95%信頼区間を伴う有意な向上を示した。
タスク成功率： FABLEは、凍結されたホストと並んで最高の平均タスク成功率を記録した。しかし、ホストに対する改善は統計的に有意ではなかった（95% CIがゼロを含んでいた）。論文では、タスク成功率はドメインによって変動すること（航空では低く、小売では同等、通信と銀行では高い）が述べられている。
アブレーション研究：
- 因子分解： FABLEをフラットな完全アクションLinTSと比較したところ、因子分解がアライメントを大幅に改善した。これは、アクションコンポーネント間で情報が転送されることを支持している。
- オンボーディング： オンボーディングを除去すると最大の性能低下が生じ、初期の事前証拠で残差座標を初期化することの価値が確認された。
- オンライン適応： 完全なFABLEを「凍結された」バージョン（オンライン更新なし）と比較したところ、オンライン適応はアライメントを改善したが、タスク成功率は同等であった。
追加のベンチマーク： PAHF（身体操作およびオンラインショッピング）および Math500（パーソナライズされた推論）を用いた実験では、混合した結果が得られた。身体操作において、FABLE（フル）はFABLE（オンボーディングなし）よりも低い報酬（0.6214 vs 0.6470）を得たが、成功率（0.078 vs 0.052）は高かった。これは、コンポーネントの相対的な利点が環境によって異なることを示している。オンラインショッピングでは、FABLE（フル）はFABLE（オンボーディングなし）よりも報酬と成功率の両方で上回った。Math500では、FABLE（フル）とFABLE（オンボーディングなし）は最高の精度で並んだが、FABLE（フル）は「既知の好み」ベースラインよりもアライメントが低かった。

意義と主張

本論文は、実行制御を制約付きコンテキスト・バンディット問題として扱うことで、凍結されたブラックボックスエージェントをパーソナライズするための原理的なフレームワークを提供するものであると主張している。その意義は以下の点にある：

パーソナライズとモデルチューニングの分離： ホストLLMのファインチューニングを行うことなく、ユーザーごとの適応を可能にし、プロプライエタリなシステムへの適用を容易にする。
スパースな結合フィードバックの処理： アクション空間を因子分解し、残差嗜好をモデル化することで、エージェント全体のインタラクションを評価するスパースなスカラーフィードバックから効率的に学習する。
安全性と制約： 探索プロセスにおいて外部の実現可能性制約を厳格に適用することで、学習プロセスによって安全性やコンプライアンスが損なわれないことを保証する。
控えめな主張： 著者らは、FABLEが特定の文脈において嗜好に敏感な指標（報酬とアライメント）を改善する一方で、実験は一般的なタスク成功率や一様なドメインレベルの向上を確立したものではないと明示している。結果は、制御された合成冗長性の適応と実行可能な統合を支持するものであり、あらゆる指標やベンチマークに対して普遍的な優位性を主張するものではない。特に、PAHFにおけるパフォーマンスのランキングは、環境やアブレーション条件によって大きく変動した。

本研究は、小さな外部ポリシー層がユーザーの好みを効果的に学習・適応できることを示しており、静的なエージェント能力と動的なユーザーニーズの間の溝を埋めるものである。