The role of System 1 and System 2 semantic memory structure in human and LLM biases

論文技術要約

1. 研究の背景と問題提起

暗黙的バイアス（Implicit Bias）は、人間社会において深刻なリスクをもたらすだけでなく、大規模言語モデル（LLM）においても顕在化しており、社会的な危害を及ぼす可能性があります。

• 双過程理論（Dual Process Theory）：人間の認知は、速く自動的な「システム 1（連想的思考）」と、遅く熟慮的な「システム 2（論理的思考）」の 2 つのシステムから成り立っているとされます。バイアスは主にシステム 1 に起因し、システム 2 がこれを抑制・調節すると考えられています。
• 研究のギャップ：これまでの研究は機能面（速度や制御性）の違いに焦点を当てており、「表現構造（Representational Structure）がバイアスの発生や調節にどのように寄与しているかというメカニズム的な解明が不足していました。
• LLM との比較：LLM は本質的にシステム 1 的な連想的アーキテクチャ（統計的分布表現）を持っていますが、明示的なシステム 2 的な記号的アーキテクチャが欠如している可能性があります。LLM がバイアスを調節するメカニズムが人間と同一なのか、あるいは根本的に異なるのかを解明する必要性があります。

2. 研究方法論

本研究では、人間の認知と LLM の認知を比較するために、マルチレイヤー意味記憶ネットワーク（Multilayer Semantic Memory Networks）を構築し、異なる知識形式をモデル化しました。

• データセットの構築：
  • 対象：人間（英語話者）、Mistral (mistral-7b)、Llama3 (llama3.1-8b)。
  • プロンプト：共通の「キュー語（手掛かり語）」セット（約 12,000 語）を使用。
• 3 つのネットワーク層の定義：
  1. 連想層（Associative Layer / システム 1 の代理）：
     • 人間：SWOW（Small World of Words）データセット（自由連想）。
     • LLM：LWOW（LLM World of Words）データセット（LLM による自由連想）。
     • 特徴：文脈なしで想起される連想的な知識。
  2. 定義層（Definitions Layer / システム 2 の代理）：
     • 人間：WordNet の定義。
     • LLM：LLM に定義を生成させる（WordNet の構造に合わせるようプロンプト）。
     • 特徴：概念の必要十分条件や特徴に基づく論理的知識。
  3. カテゴリ層（Categorical Relations Layer / システム 2 の代理）：
     • 人間：WordNet の類義語・対義語・上位語・下位語関係。
     • LLM：LLM にカテゴリ関係の生成を促す。
     • 特徴：分類学的・論理的な関係性。
• 分析手法：
  1. 構造的縮約性分析（Structural Reducibility Analysis）：
     • 情報理論的な距離尺度（相対エントロピー）を用いて、3 つの層が構造的に独立しているか（縮約不可能か）、あるいは重複しているかを評価。
     • 層をマージした際の構造情報の損失を測定し、最適な構成を特定。
  2. バイアス測定（Spread Activation based Bias Evaluation）：
     • 拡散活性化（Spreading Activation）：プライム語（性別：man, woman など）を活性化し、ターゲット語（職業、特性など）への活性化の伝播をシミュレート。
     • 指標：ステレオタイプ一貫ペア（例：woman-nurse）と不整合ペア（例：woman-doctor）の活性化レベルの差を計算し、効果量（Effect Size）としてバイアスの強さを定量化。

3. 主要な結果

A. 構造的縮約性の違い（人間 vs LLM）

• 人間：3 つの層（連想、定義、カテゴリ）は縮約不可能（Irreducible）でした。どの層をマージしても構造的な情報が失われるため、これらは意味記憶内で構造的に独立した異なる知識体系として存在していることが示されました。
• LLM（Mistral, Llama3）：層は部分的に縮約可能（Partially Reducible）でした。特に「連想層」と「カテゴリ層」はマージしても構造的な損失が少なく、重複していることが判明。LLM は人間のような明確なカテゴリ的知識（階層的・論理的関係）を保持しておらず、それが連想的な知識と混同されている可能性が高いです。

B. 意味記憶構造とバイアスの関係

• 人間：バイアスと構造の間に一貫した関係が見られました。
  • 連想層（システム 1）でバイアスが最も強く現れる。
  • 定義層とカテゴリ層（システム 2）では、バイアスが有意に減少する。
  • これは、構造化された知識（定義や分類）がステレオタイプ的な連想を抑制・調節する役割を果たしていることを示唆。
• LLM：バイアスと構造の間に一貫したパターンは見られなかった。
  • 層間でのバイアスの減少傾向は人間ほど明確ではなく、トピック（職業、特性など）によって結果が不安定で予測不可能だった。
  • LLM において、構造化された知識（定義やカテゴリ）がバイアス調節に機能している証拠は得られませんでした。

4. 主要な貢献

1. 表現構造の解明：双過程理論におけるシステム 1 とシステム 2 を、単なる処理速度の違いではなく、構造的に独立した意味記憶ネットワークとして実証的にモデル化し、人間と LLM の構造的差異を明らかにした。
2. LLM の認知的限界の特定：LLM は人間のような「カテゴリ的・論理的知識（Taxonomic Knowledge）」を独立した構造として保持しておらず、それが連想的知識と混在していることを示した。これが LLM が論理的推論やバイアス制御において人間と異なる挙動を示す原因の一つである可能性を指摘。
3. バイアス調節メカニズムの比較：人間では構造化された知識（システム 2）がバイアスを抑制するが、LLM ではそのような構造的メカニズムが機能していないことを実証し、AI のバイアス軽減策が人間の認知メカニズムとは異なるアプローチを必要とすることを示唆。

5. 意義と結論

本研究は、人間と機械の認知における根本的な違いを「知識の組織化構造」の観点から浮き彫りにしました。

• 人間：連想的知識と論理的・カテゴリ的知識は構造的に区別されており、後者が前者のバイアスを調節する役割を果たしている。
• LLM：現在のモデルは、人間のような独立したカテゴリ的知識構造を持たず、バイアス調節のための構造的メカニズムが欠落している、あるいは機能していない。

これらの知見は、よりバイアスの少ない AI システムを設計する際、単なるデータフィルタリングだけでなく、「構造化された概念知識（System 2 的な構造）が重要であることを示唆しています。また、認知科学の分野においても、双過程理論のメカニズムをネットワーク構造の観点から再解釈する新たな視点を提供しています。