Tracing Pharmacological Knowledge In Large Language Models

本論文は、因果的およびプローブに基づく解釈可能性手法を用いて大規模言語モデル内の薬物群知識の符号化メカニズムを初めて体系的に分析し、その意味情報が単一のトークンではなく分散された表現として早期層に存在することを明らかにした。

要約

この論文は、**「AI（特に医療分野に特化した巨大な言語モデル）が、薬の知識をどのように『頭』の中に保管し、使っているのか」**という謎を解明しようとした研究です。

まるで、AI の脳内を「解剖」して、薬の知識がどこに隠れているか、どう動いているかを調べたような内容です。わかりやすく、いくつかの比喩を使って説明しますね。

1. 研究の目的：AI の「薬の知識」はどこにある？

AI は薬の名前や効能について、人間よりもはるかに多くの知識を持っています。しかし、**「その知識が AI の内部のどこに保存されていて、どうやって引き出されているのか」**は、これまでほとんどわかっていませんでした。

• 比喩：
  巨大な図書館（AI）があり、そこには薬の百科事典が山積みになっています。私たちは「その本は図書館のどの棚にあり、どうやって読んでいるのか？」を知りたいのです。単に「正解を言える」だけでなく、その**「仕組み（メカニズム）」**を解明するのがこの研究の目的です。

2. 使った調査方法：2 つの「探偵ツール」

研究者は、AI の内部を調べるために 2 つの異なる方法を使いました。

方法 A：「脳のスイッチを切り替える」（活性化パッチング）

これは、AI の思考過程の一部を「書き換えてみる」実験です。

• やり方： AI に「この薬は『血管収縮剤』ですか？」と聞きます。正解が出る状態（クリーンな状態）で AI の思考をメモしておき、次に「この薬は『気管支収縮剤』ですか？」と聞かせて、その時の思考の一部を、先ほどのメモと入れ替えてみます。
• 発見：
  • 意外な場所： 多くの人は「答えを言う直前の最後の言葉」に知識があると思いがちですが、この研究では**「薬の名前の途中にある言葉」や「AI の思考の初期段階（最初の 10 層あたり）」**で最も大きな変化が起きることがわかりました。
  • 比喩： 料理を作る際、最後の「盛り付け」よりも、**「食材を切る最初の工程」や「鍋に火を入れる瞬間」**に、その料理の味（薬の知識）が決まっているようなものです。

方法 B：「X 線写真で中身を見る」（線形プロービング）

これは、AI の内部のデータ（活性化）を直接読み取って、知識が隠れているかチェックする方法です。

• 発見：
  • バラバラに散らばっている： 薬の知識は、特定の「1 つの言葉」にギュッと詰め込まれているのではなく、**「薬の名前全体に散らばって」**存在していました。
  • 最初からある： 驚くべきことに、AI が文章を読み始める**「最初の瞬間（入力された言葉そのもの）」**ですでに、薬の知識の輪郭が描かれていました。
  • 比喩： 薬の知識は、特定の「金庫」に鍵をかけたように隠されているのではなく、「霧（ミスト）」のように全体に広がっています。そして、その霧を集めて（足し合わせて）初めて、くっきりとした「薬の知識」という形が見えてくるのです。

3. 重要な発見：3 つのポイント

1. 知識は「序盤」で決まる：
   AI が答えを出す直前ではなく、文章を読み始めたばかりの初期の段階で、薬の知識はすでに処理され始めています。
2. 「途中」が重要：
   薬の名前の「最後の文字」よりも、**「名前の途中の文字」**の方が、AI の判断に大きな影響を与えていることがわかりました。
3. 知識は「集約」される：
   1 つの言葉だけで知識を判断するのは難しいですが、**「薬の名前全体をまとめて見る」**と、AI は非常に正確に知識を認識できます。

4. この研究がなぜ大切なのか？

これまで、AI が医療で使えるかどうかは「テストの点数（正解率）」でしか測られていませんでした。しかし、この研究は**「AI がなぜ正解するのか、その内部の仕組み」**を初めて明らかにしました。

• 比喩：
  これまでは「この AI は医者として合格点を取ったね」と言われていただけでしたが、今回は**「その医者が診断する時に、脳のどの部分を使って、どんな順序で考え抜いたのか」**を詳しく説明できるようになりました。

まとめ

この論文は、**「AI が薬の知識を、初期の段階で、言葉全体に散らばった形で持っている」**ことを発見しました。

これは、AI をより安全で信頼できる医療ツールとして使うために、**「AI の思考プロセスを理解し、必要に応じて介入（修正）する」**ための重要な第一歩となります。まるで、AI という「黒箱」の内部に明かりを灯し、その仕組みを可視化したような画期的な研究です。

技術概要

以下は、提供された論文「TRACING PHARMACOLOGICAL KNOWLEDGE IN LARGE LANGUAGE MODELS」の技術的サマリーです。

論文概要

タイトル: TRACING PHARMACOLOGICAL KNOWLEDGE IN LARGE LANGUAGE MODELS（大規模言語モデルにおける薬理学的知識の追跡）
著者: Basil Hasan Khwaja (Purdue Univ.), Dylan Chen (USC), Guntas Toor (Queen's Univ.), Anastasiya Kuznetsova (Scripps Research)
対象モデル: Llama ベースのバイオメディカルおよび汎用大規模言語モデル（LLM）

---

1. 問題設定 (Problem)

大規模言語モデル（LLM）は、創薬や薬理学タスクにおいて高い実証的パフォーマンスを示しているが、モデル内部で薬理学的知識（特に薬物群や薬物クラス）がどのように符号化・保持・検索されているかというメカニズムは未解明である。
既存の研究では、一般的な事実知識の符号化場所が特定されているが、バイオメディカル分野、特に「薬物名」と「薬物群（例：血管収縮剤、アゴニストなど）」の対応関係が、モデルのどの層やトークン位置に存在し、どのように処理されているかは不明瞭である。この理解の欠如は、モデルの信頼性向上や、高リスクな医療分野での科学的信頼性の確立を妨げている。

2. 手法 (Methodology)

本研究では、Llama ベースのモデル（例：Llama-3.1-8B-Instruct, OpenBioLLM-8B）を対象に、以下の 2 つの解釈可能性手法を組み合わせ、薬理学的知識のメカニズムを分析した。

A. データセット構築

• 米国国立医学図書館（NLM）の薬理作用カテゴリに基づき、薬物名と薬物群の対応関係を抽出。
• トークン化の不均一性や正解の一意性の欠如（同一クラスに属する薬物が複数存在）を考慮し、2 択質問形式のデータセットを構築。
• 薬物群の位置をランダムに変化させ、トークンレベルでの評価バイアスを排除。

B. 活性化パッチング (Activation Patching)

• 目的: 薬物群の知識がモデルのどのコンポーネント（層、トークン位置）に因果的に依存しているかを特定。
• 手順:
  1. 正解の「クリーン・プロンプト」を実行し、潜在アクティベーションをキャッシュ。
  2. 正解が反転する「対照プロンプト（Counterfactual）」を実行。
  3. 対照プロンプト実行時に、特定の層やトークンのアクティベーションをクリーンなキャッシュから差し替える（パッチング）。
• 評価指標: 正解と不正解のログオッズ差（Logit Difference）の変化率を用いて、パッチングによる因果効果を定量化。
• 対象: 残差ストリーム（Residual Stream）および MLP（Multi-Layer Perceptron）出力。

C. リニアプロービング (Linear Probing)

• 目的: 薬理学的意味情報が特定のトークンに局在しているか、分散しているかを検証。
• 手順:
  • 対義的な薬物群（例：α作動薬 vs α遮断薬、中枢神経刺激薬 vs 抑制薬）のペアを用いたデータセットを構築。
  • モデルの各層から抽出したアクティベーションに対して、ロジスティック回帰分類器を学習。
  • 単一トークンのアクティベーションと、**薬物群スパン全体を合計（Sum-pooled）**したアクティベーションの両方で評価。

3. 主要な結果 (Key Results)

A. 薬物群知識の符号化場所

• 早期層の重要性: 薬物群に関する知識は、モデルの**初期層（特に最初の 10 層）**で符号化されていることが判明。
• 中間トークンの因果効果: 一般的な事実知識の研究（Meng et al., 2023）では「最終的な主語トークン」が重要とされるが、薬理タスクでは**薬物群スパン内の「中間トークン」**から最も強い因果効果が観測された。最終トークンよりも中間トークンへの介入がモデルの出力に大きな影響を与える。

B. 知識の分散性と MLP の役割

• 分散表現: 薬理学的意味情報は単一のトークンに局在せず、トークン全体に分散して表現されている。
• MLP の介入: 初期の MLP 層（0-10 層）へのパッチングは、モデル出力に明確な因果効果をもたらした。
• 埋め込み空間の存在: リニアプロービングの結果、埋め込み空間（Layer 0 以前）の合計プール化された表現ですでに薬物群の分類がほぼ完璧に可能であった。これは、意味情報がモデルの深層処理に入る前に既に存在することを示唆。

C. トークンレベル vs 集約レベル

• 単一トークンを用いたプローブは偶然レベルに近い性能しか示さなかったが、スパン全体を合計（Sum-pooled）した表現を用いたプローブは最高精度を達成した。これは、薬物群の意味が個々のトークンの特性ではなく、文脈的な集約によって現れることを意味する。

4. 主要な貢献 (Key Contributions)

1. バイオメディカル LLM の初の体系的メカニズム分析: 薬理学的知識（薬物群）が LLM 内部でどのようにエンコードされているかについて、因果的および相関的なアプローチから初めて体系的に解明した。
2. 知識符号化の新たな知見: 薬物群の知識が「最終トークン」ではなく「初期層の中間トークン」に強く依存し、分散表現として存在することを実証した。これは一般的な事実知識の符号化メカニズムとは異なる可能性を示唆。
3. 分散表現の立証: 薬理学的意味が単一トークンではなく、トークン間の集約（Sum-pooling）によって初めて明確に読み取れることを示し、バイオメディカル LLM の解釈可能性における新しい視点を提示。

5. 意義と結論 (Significance & Conclusion)

本研究は、LLM がバイオメディカル分野で信頼できるツールとして機能するための基盤を提供する。

• 信頼性の向上: 薬理学的知識がモデルのどの部分で処理されているかを理解することで、モデルの誤動作の特定や、より安全な介入（Intervention）が可能になる。
• メカニズムの解明: 薬物群の概念が、初期層で分散的に符号化され、中間トークンを通じて因果的に影響を与えるというメカニズムを明らかにした。
• 今後の展望: 本研究は特定の薬物群に限定されているため、個別の薬物や他のバイオメディカルカテゴリへの適用、および注意機構（Attention Heads）や特定の回路の特定は今後の課題である。

結論として、バイオメディカル LLM における薬理学的知識は、単一のトークンや最終層に局在するのではなく、初期層に分散して存在し、トークン間の集約によって意味が形成されるという特徴を持つことが示された。この知見は、より透明性が高く、メカニズム的に理解されたバイオメディカル AI の開発に寄与する。