HorizonBench: Long-Horizon Personalization with Evolving Preferences
ユーザーの長期にわたる変化する嗜好を追跡する「長期的パーソナライゼーション」課題を解決するため、6 ヶ月間の対話履歴と真の嗜好変化の根拠データを含む新しいベンチマーク「HorizonBench」を提案し、先行する 25 種類の最先端モデルの多くが、嗜好の更新を反映せず初期の価値観を誤って選択する「状態追跡能力の欠如」という根本的なボトルネックに直面していることを明らかにしました。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
🌟 核心となる問題：AI は「記憶」はあるけど「成長」できない？
Imagine（想像してみてください）：
あなたが AI チャットボットと 6 ヶ月間、毎日おしゃべりしているとします。
- 最初の頃（9 月）： あなたは「哲学的な議論が好きで、答えを直接言わず、問いかけで考えさせる**『ソクラテス式』**の話し方を好む」と言いました。AI はそれをしっかり覚えていました。
- 生活の変化（10 月〜11 月）： あなたが突然**「会社の CEO に昇進」しました。今は忙しく、結論を急ぐ必要があります。自然と、あなたの好みは「ソクラテス式」から「結論ファーストで、具体的なアクションプランを提示するスタイル」**へと変わりました。ただし、あなたは「私の好みが変わったよ」とは言いません。生活の変化（昇進）という事実から、AI が察して変えるべきなのです。
- テストの瞬間（12 月）： あなたが「リーダーシップについてどう思う？」と聞くと、AI は 9 月の「ソクラテス式」の答えを返してしまいました。
**これがこの論文が指摘する「AI の失敗」です。
AI は「9 月にそう言った」という過去の記憶（リトリーブ）は正しく引き出せていますが、「その後の人生の変化で、その記憶は古くなった（更新が必要）」という判断（信念の更新）**ができていないのです。
🛠️ 新しいテストツール：HORIZONBENCH（ホライズンベンチ）
これまでの AI のテストは、「昔言ったことを覚えてるか？」（静的な記憶）を問うものがほとんどでした。でも、人間は変化します。そこで研究者たちは、**「AI が 6 ヶ月間の会話を通じて、ユーザーの好みがどう変化するかを追跡できるか」**を測る新しいテスト「HORIZONBENCH」を作りました。
このテストのすごいところ（3 つのポイント）
「人生のドラマ」をシミュレーションする
研究者たちは、AI ではなく「心の状態グラフ（メンタル・ステート・グラフ）」という地図を作りました。これを使って、ユーザーが「失恋した」「昇進した」「引っ越した」といった人生のイベントをシミュレーションし、それに応じて好みがどう変わるかを**「正解（グラウンド・トゥルース）」**として事前に設定しています。- 例：「火事があった」→「安全への関心が高まる」→「食事の好みが変わる」という因果関係を、AI が会話を作る前にすべて把握しています。
「古い記憶」を罠にする
テスト問題では、**「昔の好みに基づいた答え（古い記憶）」**を、正解の横に「ひっかけ問題」として並べます。- 例：「A（昔の好みに合う答え）」と「B（今の好みに合う答え）」の 2 つが、どちらも文脈的に自然に見えるように作ります。
- AI が「A」を選んでしまったら、それは「記憶力」の問題ではなく、「変化に気づけない（信念更新の失敗）」という診断ができます。
6 ヶ月分、4,300 回以上の会話
360 人の「架空のユーザー」が、それぞれ 6 ヶ月間（約 16 万語！）AI と会話したデータを生成しました。これほど長い文脈の中で、AI がどこまで「今」のユーザーを理解できているかを測ります。
📉 結果：AI はまだ「成長」が苦手
25 種類の最先端 AI モデル（Claude, Gemini, GPT など）にこのテストをやらせたところ、衝撃的な結果が出ました。
- 最高成績でも 52.8% しか正解できなかった。（5 択問題なので、運だけで 20% は当たるはず。つまり、多くの AI は運以下だった！）
- 多くの AI が、ユーザーの「昔の好み」を選んでしまった。
- 間違った回答のうち、3 分の 1 以上が「昔の好みに基づいた古い答え」でした。
- これは、AI が「新しい情報（昇進など）」を無視して、**「最初に聞いた情報」に固執（アンカリング）**していることを意味します。
💡 何がわかったのか？（結論）
この研究が示したのは、「長い会話の記憶力」さえあれば AI は賢い、というわけではないということです。
- 記憶力（リトリーブ）： 「昔、何と言ったか」を思い出す能力。
- 状態追跡（ステート・トラッキング）： 「その後の出来事で、その言動の意味や好みがどう変わったか」を理解する能力。
現在の AI は**「記憶力」はそこそこあるが、「状態追跡」が極端に苦手です。まるで、「過去の日記を全部読み返せるけど、その人が今、どんな気持ちでいるかは察しきれない」**ような状態なのです。
🚀 今後の展望
この「HORIZONBENCH」は、AI が単なる「検索エンジン」や「過去の記録係」から、**「人生のパートナー」**として進化するための重要なステップです。
今後は、AI が「ユーザーの生活の変化（イベント）」を察知し、「あ、この人は以前と違う考え方をしているんだな」と自らアップデートする能力を磨くことが、真のパーソナライズ（個人化）への鍵になるでしょう。
一言でまとめると：
「AI は過去の話をよく覚えているけど、『人は変わる』という当たり前の事実を、会話の中でリアルタイムに理解して対応するのがまだ苦手だ」ということを、科学的に証明した研究です。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。