論文「Large Language Models のための分析レベル」の技術的サマリー

この論文は、大規模言語モデル（LLM）の複雑で解釈困難な挙動を理解するための枠組みとして、認知科学で確立された**マーの分析レベル（Marr's levels of analysis）**を適用することを提案しています。著者らは、LLM の挙動を「計算レベル（Computational Level）」「アルゴリズムレベル（Algorithmic Level）」「実装レベル（Implementation Level）」の 3 つの階層から分析し、それぞれのレベルに対応する認知科学の手法を LLM 研究に応用するツールキットを提供します。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義

近年の AI 研究、特に大規模言語モデル（LLM）の飛躍的な進歩は、数十億のパラメータを持つニューラルネットワークが生成する挙動の解釈を困難にしています。

• ブラックボックス化: 多くの最先端モデルはクローズドソースであり、トレーニングデータや重みへの直接アクセスが制限されています。
• 行動からの推測の限界: 研究者は主にモデルの出力（行動）を観察するしかなく、内部のメカニズムやなぜ特定の挙動を示すのかを理解するのが困難です。
• 認知科学との類似性: この「行動はわかるが、内部メカニズムが不明」という問題は、認知科学が人間の心を研究する際に直面してきた課題と類似しています。

2. 手法と枠組み

著者らは、David Marr が情報処理システムのために提案した 3 つの分析レベルを LLM に適用し、各レベルに対応する認知科学の手法を提示します。

A. 計算レベル (Computational Level)

• 問い: システムはどのような抽象的な問題を解決しており、理想的な解は何か？
• 手法:
  • トレーニング目的の分析: LLM の主要な目的である「次のトークンの予測（自己回帰）」に焦点を当て、これがモデルの挙動にどのような制約を与えるかを分析します。
  • ベイズ最適性との比較: 認知科学におけるベイズモデルをベンチマークとし、LLM が世界に関する帰納的推論をどのように行っているかを評価します。
  • 公理的システムの検証: 確率論や決定論の公理（例：$P(A) + P(\neg A) = 1$）に対する整合性をテストし、LLM が論理的な矛盾やバイアスを示すかを確認します。

B. アルゴリズムレベル (Algorithmic Level)

• 問い: 解はどのように近似されており、どのような表現とプロセスが関与しているか？
• 手法:
  • 並列処理と直列処理の分析: 視覚言語モデル（VLM）における「特徴の干渉」や「連合誤り（illusory conjunctions）」を調査し、モデルが並列処理を行っているか、その限界を特定します。
  • 類似性判断（Similarity Judgments）: 人間と同様に、刺激対（色、音、概念など）の類似性をモデルに評価させ、多次元尺度構成（MDS）を用いて内部表現の空間的構造を可視化します。
  • 潜在的連合の解明: 明示的なバイアスを隠すように調整されたモデルであっても、語彙の関連付けタスク（Implicit Association Test の適応版）を通じて、潜在的なバイアスや概念間の距離を推測します。

C. 実装レベル (Implementation Level)

• 問い: 表現とプロセスは物理的にどのように実現されているか？
• 手法:
  • 表現分析: 神経科学の fMRI や電気生理学に相当する手法として、モデルの活性化パターン（geometric patterns）を分析し、空間情報や真理値がどのように符号化されているかをマッピングします。
  • 因果分析: 光遺伝学（optogenetics）に相当する介入手法として、**アクティベーションパッチング（Activation Patching）やスパースオートエンコーダー（SAEs）**を用いて、特定のニューロンや回路を操作し、それが特定の機能（例：文脈学習、誠実さ）に因果的に寄与しているかを検証します。

3. 主要な結果と知見

計算レベルからの知見

• 自己回帰の残滓（Embers of Autoregression）: LLM はトレーニング目的（次のトークン予測）の影響を強く受けています。確率的に高頻度な回答（例：数字「30」）に対しては正確ですが、低頻度な回答（例：数字「29」）に対しては精度が著しく低下します。これは確率論的な推論ではなく、単なる言語モデルの確率分布に依存していることを示しています。
• 確率論的不整合: LLM は確率の公理（$P(A) + P(\neg A) = 1$ など）を厳密に守らず、人間と同様の確率判断のバイアス（平均分散関係の逆 U 字型など）を示すことが確認されました。

アルゴリズムレベルからの知見

• 並列処理の限界: VLM は、特徴が重複する対象の検索タスクにおいて、人間の視覚作業記憶と同様の「連合誤り」や「サブタイジング限界」を示します。これはモデルが複数の情報を並列に処理し、特徴の干渉を受けることを示唆しています。
• 潜在的バイアスの検出: 安全性のために調整されたモデル（GPT-4 など）は、直接質問に対しては偏見を否定する回答をしますが、語彙の関連付けタスクでは「女性＝家庭・結婚」「男性＝仕事・管理」といった潜在的な性別バイアスを示すことが明らかになりました。
• 感覚表現の獲得: 言語のみでトレーニングされた LLM が、色相環や音階の螺旋構造など、人間が持つ感覚的な空間表現を内部に持っていることが、類似性判断を通じて確認されました。

実装レベルからの知見

• 構造化された内部表現: LLM は空間的・時間的情報を幾何学的パターンとして符号化しており、真理値も活性化の幾何学構造で表現されていることが示されています。
• 因果的メカニズムの特定: アクティベーションパッチングなどの手法により、「インダクションヘッド（in-context learning を担う回路）」や「事実想起の加法モチーフ」など、特定の機能を実装する物理的な回路が特定され、それらがモデルの能力に因果的に寄与していることが証明されました。

4. 意義と貢献

• 認知科学と AI の架け橋: 人間の心を理解するために発展させた手法（行動実験、神経介入など）を AI のブラックボックスを解明するために転用する包括的な枠組みを提供しました。
• 評価基準の転換: 単にタスクの成功率を測るだけでなく、「なぜ失敗するのか（計算レベルの制約）」「どのような内部表現が誤りを生んでいるか（アルゴリズムレベル）」「どの回路が機能不全を起こしているか（実装レベル）」を多角的に分析するアプローチを確立しました。
• AI の限界の予測: 認知科学の知見（例：言語化による思考の阻害効果）を応用することで、LLM が人間と同様に「推論（Chain of Thought）を行うことでパフォーマンスが低下するタスク」を特定し、AI システムの設計や評価における新たな課題を浮き彫りにしました。
• メカニズムの解釈可能性: 実装レベルでの因果分析手法の進展により、LLM の挙動が単なる統計的相関ではなく、特定の物理的メカニズムによって説明可能であることを示しました。

結論

この論文は、LLM の理解において、マールの分析レベルを適用することが極めて有効であることを示しています。計算レベルでの目的分析、アルゴリズムレベルでの認知心理学的アプローチ、実装レベルでの神経科学的アプローチを組み合わせることで、複雑な AI システムの「心」を体系的に理解し、より安全で透明性の高い AI 開発を導くための強力なツールキットを提示しています。