技術的概要：矛盾する多ソース個人記憶における選択的 QA

1. 問題定義

新興のパーソナル AI エージェントは、長期的なプロファイル、最近のログ、計画、自己報告、デバイス記録などからデータを集約する、永続的で多ソースの記憶アーキテクチャへと移行しつつある。重要な評価のギャップが存在する：これらのシステムは、単一のクリーンな履歴から事実を检索するのではなく、異質なソースからの矛盾または不完全な証拠を解決しなければならない。既存のベンチマークは、エラーが初期の証拠抽出に起因するのか、それともその後の矛盾解決ステップに起因するのかを区別することに失敗していることが多い。さらに、現在のシステムは、証拠が不十分または解決不可能に矛盾している場合に回答を控える（棄権する）「選択的 QA」をほとんどサポートしていない。これは信頼性の高い展開に不可欠な能力である。

本論文は、この課題を矛盾する多ソース個人記憶における選択的 QAとして形式化する。中核的なタスクは、5 つのバイアスがかかり、潜在的に矛盾する証拠ストリームに基づいてクローズドクラス質問に回答するか、または証拠が確信に満ちた回答を支持しない場合に棄権（SKIP）するシステムを要求する。

2. 手法とベンチマーク設計

診断テストベッド

著者は、矛盾解決における特定の失敗モードを分離するために設計された合成診断テストベッドを導入する：

• 規模と構造： データセットは、4 つのランダムシードにわたる 480 人のペルソナから生成された 34,560 インスタンスで構成される。これには、5 つのドメイン（仕事、食事、社会、睡眠、運動）にまたがる 8 つの推論タイプ（例：ソース仲裁、計画対現実、証拠の欠落）を網羅する 18 の質問テンプレートが含まれる。
• データ生成プロセス（DGP）： DGP は決定論的なグラウンドトゥルース（GT）を確保するために有向非巡回グラフ（DAG）として機能する：
  1. 潜在イベント（L2）： 実際のユーザー行動の 30 日間のログが生成される。
  2. ソース投影（L3）： 潜在イベントは、5 つの異なるソースストリーム（プロファイル、プランナー、自己報告、客観的ログ、デバイスログ）に投影される。各ソースには、特定の学習可能な歪みモデルが伴う（例：プランナーは楽観的、自己報告は社会的に望ましい、デバイスログには欠落がある）。
  3. 自然言語（NL）レンダリング： 構造化された投影は、自然言語の記憶ドキュメントとしてレンダリングされる。
  4. 抽出： LLM（GPT-5.4）が NL テキストから構造化された「アトム」（クローズドクラス値）を抽出する。
• グラウンドトゥルース： ラベルは、潜在イベントテーブルと特定のソース注釈から決定論的に計算され、抽出プロセスへの循環的依存関係がないことを保証する。
• 評価プロトコル： ベンチマークは、抽出（NL をアトムに変換）と解決（アトムを回答にマッピング）を分離する。これにより、入力品質（抽出されたアトム対直接構造化読み取り）と解決ロジックの間の性能を階乗分解することが可能になる。

評価された手法

本研究は、4 つの階層の手法を評価する：

• T0（ソースフリー）： ランダムおよび多数派クラスベースライン。
• T1（ソース選択）： 質問ごとに単一の最良のソースを選択する（SSB）。
• T2（構造化融合）： ソースから GT へのマッピングを学習する手法：
  • 多数決 / ArgRAG 風： 単純な集約。
  • バイアス補正融合（BCF）： 手指定の順序バイアス事前分布を適用する。
  • ナイーブベイズ融合（NBF）： 訓練ラベルからソースごとの混同行列を学習する。
  • 難易度層別 NBF（DSNBF）： ペルソナの難易度クラスで層別化された混同行列を学習し、アトムのパターンからテストペルソナの難易度を推論する。
  • 帰納的バイアス融合（ABF）： バイアス認識経路と非バイアス経路をソフト混合カーネルでブレンドする。
• T3（エンドツーエンド LLM）： 生 NL 記憶を直接読み取る最先端モデル（GPT-5.4、Gemini 3.1 Pro、DeepSeek V3.2、Qwen3-235B）。定性的なバイアス記述を注入する「スキーマ認識」プロンプトの有無両方で評価する。
• 参照： ソース到達性（GT が任意のソースで直接見えるかどうかの GT 支援チェック）。

すべての手法は、融合手法の場合は較正された閾値に基づき、LLM の場合は自己報告フラグに基づいて棄権（SKIP）する選択的 QAバリエーションをサポートする。

3. 主要な結果

精度と解決

• 融合対プロンプティング： 最良の訓練済み融合解決器（DSNBF）は、抽出されたアトム上で 80.3% のマクロ精度を達成し、プロンプトのみの最強 LLM ベースライン（GPT-5.4 スキーマ認識）を 10.3 ポイント（70.0%）上回る。
• 入力品質： 抽出されたアトム（$\hat{\mu}$）ではなく、直接構造化読み取りアトム（$\mu^*$）が提供された場合、DSNBF は 82.3% に向上し、GPT-5.4 は 73.5% に向上する。差は依然として有意（8.8 ポイント）であり、入力抽出の品質だけでなく、ソースの信頼性をモデル化する解決器の能力が性能の主要な駆動力であることを示している。
• ソース選択： 単純な集約（多数決）は、バイアスのかかったソースが正確なソースに上回る可能性があるため、低く（約 69%）パフォーマンスする。単一ソース選択（SSB）はより良い（77.3%）が、学習された融合手法には及ばない。

選択的 QA（棄権）

• 融合手法： 選択的棄権を備えた DSNBF は、78.3% のカバレッジで 85.3% の選択的精度を達成する。これは、この手法が証拠が不十分な困難なケースを特定し、それらをスキップすることに成功していることを示している。
• LLM： 最先端 LLM は効果的に棄権する能力が限られている。GPT-5.4 は 95.4% のカバレッジで 71.0% の選択的精度に達し、他のモデル（Gemini、DeepSeek、Qwen）はインスタンスの 2% 未満で棄権し、精度向上のために棄権を活用できていない。

診断的洞察

• 推論タイプ： DSNBF は 8 つの推論タイプのうち 7 つでリードしている。最大の差は、ソースごとの混同行列を学習することが決定的に重要な仲裁（+19.0 ポイント）と要因帰属（+12.5 ポイント）に現れる。
• 難易度クラス： 性能は「表明対露呈」ペルソナ（表明された好みが露呈した行動と矛盾する場合）で低下する。融合手法は堅牢性を示す（DSNBF は約 5 ポイントしか低下しない）が、スキーマプロンプトされた LLM は著しい低下（約 13 ポイント）を被り、定性的なバイアスの手がかりは複雑な矛盾解決には不十分であることを示唆している。
• 堅牢性： 結果は、ランダムシード、訓練サイズ（約 100 人のペルソナで飽和）、および DGP 摂動（バイアスとドロップアウトスケール）全体で安定している。

4. 貢献

1. タスクの形式化： 多ソース個人記憶におけるバイアス認識の選択的 QA を定義し、方向性のあるソース歪みと棄権のオプションを明示的にモデル化する。
2. 診断テストベッド： 文書化された DGP を備えた合成ベンチマーク（34,560 インスタンス）をリリースし、失敗モードの制御された分析を可能にするために抽出と解決を分離する。
3. 診断的評価： 学習されたソースモデル（混同行列）と較正された棄権が、プロンプトのみの LLM や単純な集約を大幅に上回ることを実証し、矛盾解決が情報抽出とは異なる能力であることを明らかにする。

5. 意義と限界

本論文は、パーソナル AI エージェントが信頼性を持つためには、展開前に矛盾処理と棄権能力を明示化する必要があると主張する。抽出と解決の分離により、開発者はシステムが失敗する原因を特定できる：記憶を読み取れないのか、事実を抽出できないのか、それとも矛盾する証拠を重み付けできないのか。

限界：

• 合成的性質： データは、単調でトピック依存の歪みを伴う合成データである。実世界のデータには、ここで捕捉されていない非単調な習慣の変化、敵対的な報告、複雑なセンサーの故障が含まれる可能性がある。
• テンプレート数： 18 の質問テンプレートは、特定の推論タイプ内の統計的検出力を制限するが、DGP は拡張をサポートしている。
• 訓練要件： 最良の手法（DSNBF、NBF）は、ラベル付き訓練ペルソナを必要とする。著者は、これらの結果がより安価なゼロショット展開の主張として解釈されるべきではなく、むしろ監督下で達成可能なものの診断的ベースラインとして解釈されるべきであると警告する。

この研究は、最先端 LLM は事実を抽出できるが、ソースの信頼性パターンの明示的な訓練なしには、体系的で多ソースの矛盾を解決する特定のタスクには現在苦労していることを結論付けている。公開されたコードとデータは、信頼性の高いパーソナル記憶エージェントに関するさらなる研究を促進することを目的としている。