Understanding the Interplay between LLMs' Utilisation of Parametric and Contextual Knowledge: A keynote at ECIR 2025

この ECIR 2025 の基調講演では、大規模言語モデルが事前学習で獲得したパラメトリック知識と検索された文脈知識の相互作用、特に両者の矛盾やモデルが文脈を無視する現象を解明するための評価手法や診断テストに関する研究が紹介されます。

要約

この論文は、2025 年の ECIR 会議で行われた基調講演の要約です。スピーカーはコペンハーゲン大学のイザベル・オーゲンスタイン教授です。

この研究は、**「巨大な AI（大規模言語モデル）が、自分の頭（記憶）と、外から持ってきた情報（文脈）のどちらを信じるべきか、そしてどうやって決めているのか」**という、とても重要な謎を解き明かそうとするものです。

難しい専門用語を使わず、日常の例え話を使って解説します。

---

🧠 1. AI の「頭」と「手帳」の戦い

まず、AI には 2 つの知識の持ち方があります。

1. パラメトリック知識（頭の中の記憶）:
   • これは、AI が勉強（学習）した時に、自分の脳みその重さ（重み）の中に刻み込んだ知識です。
   • 例え話: 昔から住み慣れた家の「記憶」や「勘」。
2. コンテクスト知識（持ってきた手帳）:
   • これは、AI に質問する時に、一緒に渡された「参考資料」や「検索結果」です。
   • 例え話: 今、手に持っている「最新のニュース記事」や「手帳」。

問題点：
AI は、この 2 つが**「矛盾している時」**にどう振る舞うかがよく分かっていません。

• 「頭の中の記憶」が「日本の首都は東京」と言っているのに、「手帳」に「日本の首都はストックホルム」と書いてあったら、AI はどちらを信じるのでしょうか？
• 実は、AI は**「手帳（新しい情報）」よりも、自分の「記憶（古い知識）」の方を頑なに信じてしまう**ことが多いのです。

---

🔍 2. 研究の 3 つの大きな発見

オーゲンスタイン教授の研究チームは、この「記憶と手帳の戦い」を詳しく調べるために、3 つの面白い実験を行いました。

① 脳のどこが働いているか？（アトリビューション）

• どんな実験？
  AI が「なぜその答えを出したのか」を、脳のどの部分（ニューロン）が働いたかで追跡しました。
• 発見：
  「特定の脳の部分だけが知識を持っている」という従来の説は違うかもしれません。むしろ、**「注意を向ける部分（アテンション）」**が知識の整理に重要かもしれません。
  また、AI に「重要な過去の勉強ノート」だけを見せて学習させても、ランダムなノートを渡すのとあまり変わらない結果になりました。AI は「バラエティに富んだ情報」を好むようです。

② 「動かない事実」ほど騙されやすい？（矛盾の発見）

• どんな実験？
  「日本の首都は東京」という変わらない事実と、「今日の天気」や「政治の意見」のように変わる事実を混ぜて、AI に新しい情報（手帳）を見せてみました。
• 驚きの発見：
  直感に反して、「変わらない事実（日本の首都など）」の方が、新しい情報（手帳）に簡単に騙されてしまいました。
  • 「日本の首都はストックホルムだよ」という嘘の手帳を見せると、AI は「あ、そうだったんだ」と簡単に記憶を書き換えてしまいます。
  • 逆に、「天気」や「意見」のように元々コロコロ変わるような事柄については、AI は「うーん、どっちも怪しいな」と慎重になり、新しい情報を受け入れにくいのです。
  • 教訓： 「常識だと思っていること」ほど、新しい情報で書き換えられやすい（＝危険）ということです。

③ 現実世界では、AI はどんな「手帳」を信じる？（RAG の実態）

• どんな実験？
  人工的に作ったデータではなく、**「現実世界で実際に使われている検索結果」**を使って、AI がどの情報を信じるか調べました。
• 発見：
  • AI は、**「自信満々で断定的に書かれている文章」**を非常に信じてしまいます。
  • しかし、現実の世界では、**「検索結果と質問が似ていること」や「長い文章」**は、AI が正しく理解するのが難しいようです。
  • 人工的な実験データでは「AI は嘘の情報を拒絶する」という結果が出がちですが、現実世界では、AI はもっと単純な「書き方の勢い」で判断してしまうことが分かりました。

---

💡 3. 結論：AI と付き合うためのヒント

この研究から、私たちが AI を使う時に気をつけるべきことがいくつか見えてきました。

1. AI は「記憶」に固執する: 間違った知識を頭に入れてしまうと、新しい正しい情報が入ってきても、なかなか直してくれません。
2. 「常識」ほど要注意: 昔から言われていること（日本の首都など）ほど、AI は嘘の情報に簡単に乗せられてしまいます。
3. 自信満々な嘘に注意: AI は、論理的に正しくなくても、「自信ありげに書かれている文章」を本当のことだと信じてしまいます。

まとめのメタファー：
AI は、**「自分の過去の記憶（パラメトリック知識）」という古い地図と、「最新のナビゲーション（検索結果）」という新しい地図を持っています。
しかし、AI は「古い地図の方が好き」で、新しいナビゲーションが「ここは違うよ」と言っても、「いや、昔からこうだったはずだ」と頑固に拒絶することが多いのです。
特に、「絶対に変わらないはずの事実」**について、新しいナビゲーションが間違った案内をしてきても、AI は簡単に「あ、そうか」と信じてしまい、道に迷ってしまうのです。

この研究は、AI がどうやって「記憶」と「新しい情報」をバランスよく使い、私たちがより信頼できる AI を作れるかという、次のステップへの重要な一歩を示しています。

---

※この講演は、情報検索（IR）と自然言語処理（NLP）の研究者たちが協力して、AI の「内面」を理解しようとする試みの一部です。

技術概要

論文要約：LLM のパラメトリック知識と文脈知識の相互作用の理解

タイトル: Understanding the Interplay between LLMs'Utilisation of Parametric and Contextual Knowledge
著者: Isabelle Augenstein (コペンハーゲン大学)
発表: ECIR 2025 キーノート講演

1. 背景と問題定義

大規模言語モデル（LLM）は、トレーニングプロセスを通じて重みにパラメトリック知識（学習済み知識）を埋め込んでいます。しかし、LLM のスケーラビリティの増大に伴い、以下の課題が生じています。

• 知識の更新コスト: 埋め込まれた知識を修正・更新するためにモデル全体を再トレーニングするには莫大なコストがかかります。
• 知識の不完全性と陳腐化: 知識集約的なタスクにおいて、LLM はトレーニングデータに含まれない、あるいは古い知識しか持っていない可能性があります。
• 文脈の無視: 検索拡張生成（RAG）などの手法で外部文脈を提供しても、LLM はトレーニングで学習した既存の記憶（パラメトリック知識）と矛盾する場合、提供された文脈を無視する傾向があります。
• 知識の競合: 内部記憶同士が矛盾する「イントラメモリ競合（intra-memory conflict）」や、外部文脈と内部記憶が矛盾する「コンテキスト・メモリ競合（context-memory conflict）」が、モデルの出力に悪影響を及ぼします。

本研究は、LLM がパラメトリック知識と検索された文脈知識をどのように相互作用させ、いつどちらを優先するか、そして競合をどのように解決するかを解明することを目的としています。

2. 研究方法とアプローチ

著者らは、以下の 3 つの主要な研究テーマに基づいて、診断テスト、評価フレームワーク、および実世界データセットを用いた分析を行いました。

2.1 パラメトリック知識の特定とアトリビューション

LLM の予測に寄与するパラメトリック知識を特定するため、インスタンスアトリビューション（どのトレーニングデータが重要か）とニューロンアトリビューション（どのニューロンが重要か）を統合的に評価するフレームワークを提案しました（Yu et al., 2024）。

• 手法: 完全なモデル重みへのアクセスが困難なため、計算コストの低い MLP 層のニューロン活性化に焦点を当て、トレーニングインスタンスと重要なニューロンを対応付ける手法を評価しました。
• 検証: 忠実度テスト（Sufficiency: 重要ニューロンの活性化、Comprehensiveness: 重要ニューロンの抑制）を行い、影響のあるトレーニングデータでファインチューニングした際の性能変化を測定しました。

2.2 知識競合の解明（DynamicQA データセット）

パラメトリック知識と文脈知識の競合を調べるため、DynamicQA データセットを用いたプロービングテストを行いました（Marjanovic et al., 2024）。

• データセット: 静的な事実、時間的に変化する事実（Temporal）、視点によって変わる事実（Disputable）を含む。
• 競合の測定:
  • イントラメモリ競合: 事実の動的性（Dynamicity）に基づくセマンティックエントロピーで測定。
  • コンテキスト・メモリ競合: 競合する文脈が与えられた際の出力分布のシフトを「Coherent Persuasion Score」で測定。

2.3 実世界 RAG における文脈利用の分析（DRUID データセット）

合成データではなく、実世界のファクトチェックタスクにおける RAG の挙動を分析するため、DRUID データセットと新しい指標 ACU (Actual Context Utilisation) を提案しました（Hagström et al., 2025）。

• 特徴: 制御された合成データではなく、実世界の主張検証タスクと多様な文脈（ファクトチェックソース、ニュース記事など）を使用。
• 分析対象: 文脈の特性（断定的な言語、主張への直接言及、公開時期、ソースの信頼性など）が LLM の文脈利用に与える影響。

3. 主要な結果と発見

3.1 アトリビューション手法に関する知見

• ニューロンの重要性: 多くの MLP ニューロンを除去しても予測に大きな変化は見られず、知識の大部分が特定のニューロンに局在しているという仮説は否定されました。知識の符号化にはアテンション重みが重要である可能性が示唆されました。
• ファインチューニングの限界: インスタンスアトリビューションで特定された「重要なトレーニングデータ」でファインチューニングしても、ランダムに選択されたデータと同等の性能しか出ませんでした。これは、重要なデータが多様性に欠けているためです。
• 相補性: インスタンスとニューロンアトリビューションを組み合わせることで、モデルがトレーニング時の特定の語彙パターンに過剰適合している（データアーティファクト）事例を発見する効果が高まりました。

3.2 知識競合と事実の動的性

• 逆説的な発見: 直感に反して、静的な事実や動的性が低い事実の方が、動的な事実（時間的・論争的な事実）よりも、提供された文脈によってモデルの出力を容易に書き換える（説得される）ことが分かりました。
• 要因: 事実の「動的性（Dynamicity）」は、モデルが文脈に依存するかどうかの最も強力な負の予測因子であり、事実の「人気度」よりも重要であることが判明しました。

3.3 実世界 RAG における文脈利用

• 合成データの限界: 合成データは「知識競合」や「文脈の排斥（Context Repulsion）」の頻度を過大評価しており、実世界の RAG シナリオとは乖離しています。
• 文脈利用の促進要因:
  • ファクトチェックソースからの文脈（断定的で要点を突く言語）は利用率高。
  • 主張に対する複数の議論を含む直接的な記述は説得力が高い。
  • 主張より後に公開された証拠文書やゴールドスタンダードなソースは利用されやすい。
• 文脈利用の阻害要因:
  • 外部ソースへの言及は利用率との相関が低い。
  • LLM はクエリと文脈の類似度が高いものを優先するが、実世界ではこれが困難。
  • 長い文脈ほど忠実度が低下する傾向がある。
• モデルサイズの影響: 一般的に大規模モデルの方が文脈をうまく利用しますが、特定のモデルに最適化されたコンテキスト操作技術（CMT）を用いれば、小規模モデルが大規模モデルを上回ることもあります。

4. 主要な貢献

1. 統合評価フレームワークの提案: パラメトリック知識の特定におけるインスタンスとニューロンアトリビューション手法の比較評価と、その限界の明確化。
2. 知識競合の定量化: 事実の動的性（Dynamicity）がモデルの文脈受容性に与える影響の発見と、新しい競合測定指標（Coherent Persuasion Score）の提案。
3. 実世界 RAG 評価の革新: 合成データに依存しない、実世界の文脈利用を評価する DRUID データセットと ACU 指標の導入。これにより、RAG の失敗要因に関する現実的な知見が得られました。
4. コンテキスト操作技術（CMT）の比較: 単純なプロンプトから機械的介入まで、様々な競合解決手法の比較評価。

5. 意義と結論

このキーノートは、RAG ベースの言語モデルの内部動作、特に「いつ、どのように、なぜ文脈を無視するか」についての理解を深める重要な一歩です。

• 研究の方向性: 情報検索（IR）と自然言語処理（NLP）の研究者間の協力が不可欠であることを強調しています。
• 実用性: 合成データに頼らず、実世界で機能する RAG システムを構築するためには、事実の動的性や文脈の特性を考慮した新しい評価指標と対策が必要であることが示されました。
• 哲学的示唆: 著者は、Karen Spärck Jones の言葉を引用し、研究は単なる循環ではなく、より良い材料と衣装をまとった「螺旋状の上昇」であると結論付けています。LLM の知識利用に関する課題は、以前のニューラルモデル（PLM）で見られた傾向（暗記は得意だが推論は苦手など）の延長線上にあり、新たな視点からのアプローチが求められています。

総じて、本講演は LLM の「ブラックボックス」化が進む中、その知識利用メカニズムを解明し、より信頼性の高い AI システムを構築するための基礎的な洞察を提供しています。