Facts Without Owners. Consolidating a Conversation into a Language Model's Weights Stores What Was Said, Not Who Said It

技術要約：所有者なき事実

問題提起
本論文は、言語モデル（LM）がユーザーとの会話履歴をファインチューニングを通じて自身の重みに統合する「内部的」な会話メモリと、アーカイブからデータを検索する「外部的」なメモリの限界を調査している。内部メモリは、検索失敗に対する耐性と既知の知識とのシームレスな統合を約束する一方で、ハルシネーションや方向性の学習失敗といったリスクを孕んでいる。具体的な研究課題は、実時間の会話がモデルの重みに統合された際、どのような情報が保存され、何が失われるのか？ 特に、モデルは「誰が」その事実を述べたのかを学習するのか、それとも単に「何を」述べたのかのみを学習するのか、という点である。

手法
本研究では、LoCoMoベンチマーク（conv-42, conv-43, conv-48）から抽出した、それぞれ629〜681ターンを含む3つの実時間の二人組会話を利用している。これらの会話には、特定の敵対的カテゴリ（カテゴリ5）である「人物入れ替え（swapped-person）」の質問が含まれている。これは、ある事実についてスピーカーAについて問うているが、その事実はスピーカーBのみが言及したものに関する質問である。モデルの正しい振る舞いは、その事実はスピーカーAに属さないため、回答を控える（abstain）ことである。

• モデルと統合: ベースモデルは Qwen3-4B である。著者は、自己生成された質問に対して LoRA（Low-Rank Adaptation）アダプタ（ランク16）を採用している。ベースモデルは会話のウィンドウを読み取り、短い回答形式の質問を生成する。決定的なことに、一方のスピーカーに関する質問の15%は、名前が入れ替わっている「罠」であり、ターゲットとなる回答は「言及なし（Not mentioned）」である。
• トレーニング・レシピ (D1): アダプタは、これらの生成された質問を用いて3エポック学習される。一般的な知識の破滅的忘却を防ぐため、KLダイバージェンス項を用いて、アンカーテキスト（SQuADおよびチャットのリクエスト）においてアダプタをベースモデルに結合させている。
• 評価: モデルは、元のLoCoMoベンチマークの質問（学習時には一度も見ていないもの）に対し、4つのアーム（B0, D, B0S, DS）にわたってテストされる。
  • B0: アーカイブなしのベースモデル
  • D: 統合済みモデル（アーカイブなし）
  • B0S: アーカイブありのベースモデル
  • DS: 統合済みモデル（アーカイブあり）
• 介入バリアント: 重みまたはモデルの信号（逆質問、入れ替えられたスピーカーを用いた「知らない」の例、信頼度閾値など）のみを用いて属性エラーを修正しようとする、7つの事前登録されたバリアント（D2–D6）がテストされた。
• プロベナンス（由来）チェック (D7): 生のアーカイブに対するモデルフリーのチェックが実装された。これは、回答に対する検索されたターンを、質問に記載されたスピーカーと比較するものである。もし回答がもう一方のスピーカーのターンとより強く一致する場合、モデルは回答を控えるよう強制される。
• 厳密性: すべての実験は事前登録されている。ラベルは、固定されたルールに従ってLLM（Claude）によって生成されており、境界線上のケースについても厳格に処理されている。

主な結果

1. 統合は事実については機能するが、所有者については機能しない:

   • アーカイブがない場合、ベースモデル（B0）は質問のほぼ100%に対して回答を控える（精度0.00）。
   • 統合済みモデル（D）は事実を正常に取得し、3つの会話における標準的なベンチマーク質問（カテゴリ1–4）に対して 28–39%の精度 を達成した。
   • 一般知識（TriviaQA）は安定しており、統合による検知可能なダメージは見られなかった。

2. 属性の失敗:

   • 主要な失敗モードは**属性（attribution）**である。「人物入れ替え」の質問において、統合済みモデルが回答を控える割合はわずか 9–33% であった。
   • 回答を控える代わりに、モデルはしばしばその事実と共に自信を持って回答してしまうが、その事実は誤ったスピーカーに属している。エラーの約30%において、モデルの回答は他方のスピーカーの一次発言と一致している。
   • モデルは「トピックと回答の関連付け」は学習するが、スピーカーの名前を弱い手がかりとして扱ってしまう。

3. 重みのみによる修正の無効性:

   • 逆質問、「知らない」の例、または信頼度閾値を用いてモデルに回答を控えるよう教えようとしたバリアント（D2–D6）は、保持された会話において再現できなかった。
   • これらの手法はトレードオフの関係を生んだ。人物入れ替えの質問に対する回答拒否率を高めると、全体的な精度が低下する（回答拒否率が0.40増加するごとに、精度が 0.09–0.17 低下する）。
   • 「知らない」の例は、モデルに実際の知識の境界を教えるのではなく、罠の「形式」を教えてしまっていた。モデルの信頼度スコアは、正解と不正解の属性において区別がつかなかった（保持されたデータに対するAUROCは ~0.54–0.56）。

4. アーカイブ・チェックの効率性:

   • 生のアーカイブに対するモデルフリーのプロベナンス・チェック（D7）は、重みのみを用いた手法を大幅に上回った。
   • これにより、人物入れ替えの質問に対する回答拒否率は、約0.17から 0.45–0.47 に上昇したが、精度の損失はわずか 0.005–0.042 であった。
   • このコストは、同等の回答拒否レベルにおける重みのみのバリアントが incurs するコストの 5分の1から2分の1 である。
   • 注記（事前登録について）: 2回の試行のうち1回において、精度損失（7.0%）が事前登録された制限（5%）をわずかに超えたため、著者は、顕著な効率向上にもかかわらず、自身の厳格なルールに基づき、このチェックを「採用しない」と報告した。

意義と主張
本論文は、会話をモデルの重みに統合することは「何を言ったか」を保存するが、「誰が言ったか」は保存しないと結論付けている。

• 補完的な役割: 著者は、パラメトリックメモリ（重み）と外部アーカイブは補完関係にあると主張している。重みは知識を保持するのに効果的であるが、アーカイブは**プロベナンス（情報の由来・所有権）**を保持するために不可欠である。
• 現在の救済策の限界: 訓練データの操作や信頼度閾値を通じてモデルに回答を控えるよう強制する現在の技術は、モデルが技術的には事実に関して「正しい」状態にあるため、内部信号で属性エラーを検出することが困難であり、非効率的である。
• 実用的な推奨事項: パーソナルアシスタントにとって、重みの統合のみに頼ることは、正確な属性特定には不十分である。アーカイブは、すべての検索のために必要なのではなく、所有権を検証するためのプロベナンス・チェックのソースとして保持されるべきである。

本研究は、内部メモリは知識保持のための実行可能なメカニメントではあるものの、外部検証なしには、事実を特定のスピーカーに結びつける固有の能力を現在欠いていることを強調している。