💬 NLP

LMs as Task-Specific Knowledge Bases: An Interpretability Analysis

本論文は、行動学的およびメカニズム的な分析を通じて、事実的知識はタスク固有の様式でエンコードされており、クエリの文脈に応じて異なるパラメータの部分集合が活性化されることを示すことで、言語モデルを統一された知識ベースとみなす見解に異を唱え、それによって事実的検索の一貫性と信頼性を揺るがしている。

原著者： Amit Elhelo, Amir Globerson, Mor Geva

公開日 2026-06-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Amit Elhelo, Amir Globerson, Mor Geva

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、インターネット上のほぼすべての情報を読み込んだ、巨大で超スマートな百科事典を想像してみてください。あなたはこの百科事典を、あらゆる事実が特定の場所に格納されている、一つの完璧なライブラリ（図書館）のように考えるかもしれません。もしあなたが「フランスの首都は何ですか？」や「パリはフランスの首都ですか？」と尋ねれば、ライブラリは全く同じファイル、同じ棚から引き出し、毎回同じ答えを返してくることを期待するでしょう。これが従来のデータベースの仕組みです。一つの真実、一つのソース。

この論文は、大規模言語モデル（LLM）――チャットボットなどの背後にあるAIの脳――が、その完璧なライブラリのように機能しているかどうかを調査しています。研究者の Amit Elhelo、Amir Globerson、Mor Geva は、そうではないということを発見しました。

単一の統一されたライブラリではなく、AIの「知識」は、むしろ特化型のタスク別ツールキットの集合体のようなものです。彼らの発見を、簡単な比喩を用いて以下に解説します。

1. 「異なるツールキット」の比喩

スイスアーミーナイフ（マルチツール）を持っていると想像してください。そこにはドライバー、刃、コルク抜きが付いています。

従来の視み： あなたは、栓抜き（ボトルを開ける）の方法に関する「知識」が、ナイフの中央にある一つのパーツに格納されていると考えるかもしれません。
論文の発見： 実際には、AIはツールボックスのようなものであり、「ボトルを開ける」方法の「知識」は、ボトルを開けるように求められた時にのみ、コルク抜きの中に格納されています。しかし、もしあなたが「これはコルク抜きですか？」（別の種類の質問）と尋ねた場合、AIは同じ対象についての質問であっても、全く別の道具セットを使用して回答します。

研究者たちは、同じ事実（例：「パリはフランスの首都である」）を異なる方法でAIに問いかけることで、これをテストしました。

生成（Generation）： 「フランスの首都は何ですか？」（AIは答えを書き出す必要がある）。
識別（Discrimination）： 「パリはフランスの首都ですか？はい、いいえ」（AIは選択肢を選ぶ必要がある）。

彼らは、AIがある「書く」タスクについては事実を学習しているものの、「選ぶ」タスクにおいてはその事実を「知って」いない（あるいはその逆）という現象がしばしば起こることを発見しました。それはまるで、AIの中に、互いにうまく連携できていない「書くための脳」と「選ぶための脳」が存在しているかのようです。

2. 「トレーニングキャンプ」の観察

研究者たちは、コーチが学生がさまざまな試験に向けて勉強する様子を見守るように、AIが時間の経過とともにどのように学習していくかを観察しました。

期待： もし学生が記述式のテストのために「パリは首都である」という事実を学んだなら、その学生はすぐに選択式のテストでもそれを知っているはずです。なぜなら、それは同じ事実だからです。
現実： 学生は記述式のテストには合格しても、数日後の選択式テストでは不合格になることがよくありました。知識は「共起（同時に出現）」していませんでした。これは、AIが事実を一つの中心的な場所に保存しているのではなく、その特定の種類の質問に対して、その事実を扱うための特定の方法を学習していることを示唆しています。

3. 「手術」実験（メカニスティック解析）

これを証明するために、研究者たちはAIの脳（内部パラメータ）に対して「手術」を行いました。彼らは、特定の形式で質問された際に「パリは首都である」ということを知っている責任を持つ、極めて微細で特定のニューロンのグループを見つけ出そうとしました。

結果： 彼らは、各タスクに対して明確に分かれた、別々のニューロンのグループを発見しました。
- もし「書く」タスクに使用されるニューロンを「オフ」にした場合、AIはその記述式の質問に対する答えを忘れてしまいましたが、「はい／いいえ」の質問には依然として完璧に答えることができました。
- もし「はい／いいえ」のニューロンを「オフ」にした場合、AIはそのテストには失敗しましたが、答えを書くことは依然として可能でした。
比喩： これは、同じドアに対して二つの異なる鍵を持っているようなものです。一つはドアを左から押す時に開く鍵であり、もう一つは右から引く時に開く鍵です。もし「押す」方の鍵を失ったとしても、ドアは「押す」動作に対してはロックされますが、「引く」方の鍵がまだ機能していれば、ドアは開きます。

4. 「思考の連鎖（Chain of Thought）」の驚き

論文では、AIに回答する前に「ステップ・バイ・ステップで考える」よう求める「思考の連鎖（CoT）」についても調査しました。

発見： AIが思考を声に出す（出力する）ように求められると、これら異なるツールキットの混合物を使用しているように見えます。もし最終的な答えのための特定のニューロンを取り除いたとしても、AIは問題について「思考」することによって、依然として正しい答えに到達できることがよくあります。なぜなら、通常の直接的な回答では使用しないであろう、他のタスク特有のツールキットから知識を借りているからです。
比喩： それは、通常は単一の手がかり（直接的な回答）を見て事件を解決する探偵のようなものです。しかし、もし詳細な報告書を書くように強制されると、探偵は他のファイルを確認したり、異なるツールキットを相互参照したりし始めます。これにより、たとえメインの手がかりが欠けていても、事件を解決することができるのです。

大きな教訓

この論文は、AIを「知識ベース（単一の真実のソース）」とみなす考えは神話であると結論付けています。代わりに、「AIが何を知っているか」と「どのように尋ねるか」は、密接に絡み合っています。

信頼性のリスク： もしあなたがAIを編集して、ある種類の質問（例えば多肢選択式のクイズ）に対して事実を「忘れさせる」ようにしたとしても、そのAIは記述式のプロンプトに対してはその事実を覚えているかもしれません。
評価のリスク： もしあなたがAIを一つの形式の質問だけでテストした場合、AIはその事実を知っているように見えるかもしれませんが、異なる形式で尋ねられた時には完全に無知である可能性があります。

要約すると、AIには単一の統一されたメモリは存在しません。AIは、特定の質問のされ方に調整された、専門化されたメモリのパッチワークを持っているのです。

技術要約：タスク特異的な知識ベースとしての言語モデル：解釈可能性の分析

問題提起

言語モデル（LM）は、パラメータが様々なクエリを通じてアクセス可能な事実情報を格納している「知識ベース」として頻繁に概念化される。優れた知識ベースの基本的な特性は、**タスク不変性（task-invariance）**である。すなわち、同一の事実に対する異なるクエリは、単一の真実のソースから一貫した結果を抽出すべきである。例えば、従来のデータベースであれば、「フランスの首都は何ですか？」と「フランスの首都は___です。」の両方に対して「パリ」を返すべきである。

本論文は、言語モデルがこのタスク不変性の特性を満たしているかどうかを調査する。具体的には、事実がタスクに依存しない形で格納されているのか、それともモデルの内部における事実の表現が、その事実を呼び出すために使用される特定のタスク形式（例：多肢選択式かオープンエンド生成か）と絡み合っているのかを問う。もし言語モデルにタスク不変性が欠如しているならば、「知識ベース」という比喩は根底から覆され、これらのシステムにおける事実的知識の信頼性、一貫性、および制御可能性に影響を及ぼすことになる。

手法

著者らは、行動分析（学習中の知識の出現を追跡）とメカニズム分析（特定のパラメータ部分集合の局在化）を組み合わせた二重のアプローチを採用している。

1. 行動分析：共出現仮説

著者らは、OLMo-3-7B ITモデルの学習チェックポイントにおける事実的知識の獲得を追跡する。

データ: 5つの関係性データセット（例：国と首都、ランドマークと国）を（主語、関係、目的語）のトリプレットとして定式化。
タスク: 6つの異なるタスク形式：次トークン補完（COMPLETION）、穴埋め（FITB）、オープンエンドQA（OPENQA）、4択多肢選択QA（MCQA）、否定MCQA、および二値検証（Binary Verification）。
仮説: 知識がタスク不変であれば、あるタスクで獲得された事実は、モデルがすでに習熟している他のタスクにおいても共出現（同時に出現）するはずである。形式的に言えば、もし事実 $f$ がタスク $t$ においてステップ $E(f, t)$ で出現し、モデルがタスク $t'$ において習熟している場合、 $E(f, t')$ は $\le \max(E(f, t), E(\cdot, t'))$ である必要がある。
統計テスト: 著者らは、タスク不変性を事実とタスクの条件付き独立性（ $P(\text{correct} | f, t) = P(\text{correct} | f) \cdot P(\text{correct} | t)$ ）として定式化し、対数確率を用いた二元配置分散分析（two-way ANOVA）を用いて相互作用項をテストする。

2. メカニズム分析：パラメータ局在化

異なるタスクが同一の事実のために異なるパラメータに依存しているかどうかを判断するため、著者らは、個別の（事実、タスク）ペアに特有の疎なパラメータ部分集合（アテンションヘッドおよびMLPニューロン）を特定するために、局在化フレームワーク（Bayazit et al., 2024）を適応させた。

目的: 以下の4つの項からなる損失関数を最小化するように、モデルパラメータに対するバイナリマスク $m$ $m$ を学習する：
- 必要性（Necessity）: マスクされたパラメータを除去すると、対象となる（事実、タスク）ペアの性能が低下すること。
- 十分性（Sufficiency）: マスクされたパラメータのアクティベーションをパッチ（注入）した際に、破損したプロンプト（主語がプレースホルダーに置き換えられたもの）に対する性能が回復すること。
- 特異性（Specificity）: これらのパラメータを除去またはパッチした場合、他のタスクにおける同じ事実、あるいは同じタスクにおける他の事実に対して、影響を最小限に抑えること。
- 疎性（Sparsity）: マスクは可能な限り小さくすること。
モデル: 実験は OLMo-2-7B IT、OLMo-2-13B IT、および Gemma-2-9B IT に対して行われた。

3. クロスタスクの絡み合いとCoT分析

絡み合いの指標（Entanglement Metrics）: 特定の（事実、タスク）エンコーディングをアブレーション（除去）した際に、他のペアにどの程度影響を与えるかを定量化するスコアを定義する。
思考の連鎖（Chain-of-Thought: CoT）: CoT推論が、評価タスクに紐付いたパラメータを超えて、タスク特異的なパラメータを関与させることで、直接回答ではアクセス不可能な知識を回収できるかどうかをテストする。これは、局在化されたパラメータのゼロ・アブレーション下での直接回答とCoTを比較することで検証される。

主な結果

1. タスク不変性の違反（行動的側面）

限定的な共出現: 共出現仮説は頻繁に違反される。47.9% の（事実、タスク）ペアにおいて、モデルがそのタスクに習熟しており、かつその事実が他で出現しているにもかかわらず、期待されるステップまでに事実はターゲットのタスクに出現しなかった。
統計的棄却: 事実とタスクの条件付き独立性（相互作用がないという帰無仮説）は、すべての学習チェックポイントにおいて棄却された（ $p \approx 0$ ）。相互作用項は最終的なモデルの分散の最大**23%**を説明しており、知識の想起がタスク形式に強く依存していることを示している。

2. 異なるパラメータ部分集合（メカニズム的側面）

タスク特異的エンコーディング: 局在化実験により、各（事実、タスク）ペアに対して、区別された疎なパラメータ部分集合を特定することに成功した。
必要性と特異性: 特定の（事実、タスク）ペアに対して局在化されたパラメータをゼロ・アブレーションすると、そのペアの性能が大幅に低下した（相対的な減少率は29%〜89%）。極めて重要なことに、同じ事実を他のタスクで評価した場合、および同じタスクにおける他の事実の場合、性能への影響はほとんどなかった（減少率は8%以下）。
十分性: 局在化されたアクティベーションを破損したプロンプトにパッチとして戻すと、ターゲットとなるペアの性能が正常に回復した（再構成率69%〜102%）、これはこれらのパラメータが必要な情報を持っていることを裏付けている。

3. 絡み合いのパターン

生成 vs 識別: タスク形式は、絡み合いの支配的な予測因子である。識別タスク（MCQA、検証）は、生成タスク（OPENQA、FITB）よりも一貫して他のタスクとの絡み合いが強い。
非対称性: 生成タスクを通じて獲得された事実は他のタスクへと共出現する傾向があるが、識別タスクを通じて獲得された事実が生成タスクへと共出現することは稀である。

4. 思考の連鎖（CoT）の役割

回復: タスク自身の局在化されたパラメータがアブレーションされた場合、CoT推論は失われた性能の大部分を回復する（直接回答では20%〜72%の低下に対し、CoTでは12%〜30%の低下に留まる）。
クロスタスクへの依存: CoTは、直接回答と比較して、他のタスクのエンコーディングがアブレーションされた際により大きな副作用を受ける。これは、CoTが単一のタスク特異的なエンコーディングのみに頼るのではなく、複数のタスク特異的なエンコーディングを経由して回答を再構築していることを示唆している。

意義と主張

本論文は、LMにおける「知識ベース」という比喩は、「モデルが何を知っているか」と「どのように問われるか」がパラメータ空間において絡み合っているため、不適切であると結論付けている。

信頼性と制御可能性: タスク不変性の欠如は、単一のタスク形式を対象とした知識編集やアンラーニング（学習解除）の介入が、他の形式においては事実をそのまま残してしまう可能性があることを意味する。逆に、単一タスクによる評価は、モデルにエンコードされた知識の断片的な側面しか提供しない。
推論のメカニズム: 本研究の結果は、なぜCoT推論が直接回答ではアクセス不可能な知識を解禁できるのかについて、メカニズム的な説明を与える。CoTは、単一のタスク特異的なエンコーディングの限界を回避するために、複数のタスク形式のパラメータ・エンコーディングを活用している。
今後の方向性: 著者らは、タスク不変的な事実エンコーディングを促進する学習スキーム（例：学習過程における中間的な推論の組み込み）が、LMの信頼性と制御可能性を向上させ得ると示唆している。

著者らは、自らの知見が主に周知の相関的知識に関するものであることを認め、謙虚な姿勢を保っており、これらのパターンとモデル規模との相互作用については未解決の課題であるとしている。彼らは、LMが共有された知識を全く持っていないと主張しているのではなく、少なくとも部分的には、その格納がタスク形式によって整理されていると主張している。