The role of System 1 and System 2 semantic memory structure in human and LLM biases

논문 요약: 인간과 LLM 의 편향에 대한 시스템 1 및 시스템 2 의미 기억 구조의 역할

1. 연구 배경 및 문제 제기 (Problem)

• 암묵적 편향의 위험: 인간과 대규모 언어 모델 (LLM) 모두 암묵적 편향 (implicit bias) 을 가지고 있으며, 이는 사회적 고정관념 (stereotype) 으로 나타나 특정 집단에 해를 끼칠 수 있습니다.
• 이중 과정 이론 (Dual Process Theory) 의 한계: 인간의 편향은 빠르고 자동적인 '시스템 1'에서 기원하며, 느리고 의식적인 '시스템 2'가 이를 조절한다고 알려져 있습니다. 그러나 이러한 기능적 차이가 구체적인 인지 메커니즘 (표상 구조) 에서 어떻게 발생하는지에 대한 이해는 부족합니다.
• LLM 과 인간의 비교: LLM 은 연결주의 (connectionist) 아키텍처로 인해 시스템 1 과 유사하게 작동하지만, 명시적인 시스템 2 (규칙 기반 추론) 구조가 부재합니다. 최근 LLM 들이 편향 조절 능력을 보인다는 주장이 있지만, 이것이 인간과 동일한 인지 메커니즘을 공유하는지 여부는 불분명합니다.
• 핵심 질문: 인간과 LLM 의 의미 기억 (semantic memory) 구조가 어떻게 다른지, 그리고 이러한 구조적 차이가 편향 조절에 어떤 영향을 미치는지 규명하는 것이 본 연구의 목적입니다.

2. 방법론 (Methodology)

가. 다층 의미 네트워크 (Multilayer Semantic Networks) 구축
연구는 인간의 시스템 1 과 시스템 2 사고를 모사하기 위해 다층 네트워크 (Multilayer Networks) 를 사용하여 세 가지 다른 의미 기억 구조를 모델링했습니다. 인간, Mistral-7b, Llama3.1-8b 에 대해 동일한 프롬프트와 데이터 세트를 사용하여 비교 가능한 네트워크를 구축했습니다.

1. 연상 계층 (Associative Layer - System 1 Proxy):

   • 데이터: 인간은 SWOW(Small World of Words) 데이터셋, LLM 은 LWOW(LLM World of Words) 데이터셋 사용.
   • 구축: 힌트 단어 (cue word) 와 자유 연상 응답 (free association) 을 연결.
   • 의미: 경험이나 학습 데이터를 통해 획득된 암묵적, 통계적 연관성을 반영.

2. 특성 기반 계층 (Feature-based Layer - System 2 Proxy):

   • 데이터: 인간은 WordNet 정의, LLM 은 프롬프트를 통해 생성된 정의.
   • 구축: 단어를 그 단어의 정의에 등장하는 단어들과 연결.
   • 의미: 개념의 필수 조건과 논리적 속성을 반영하는 규칙 기반 지식.

3. 범주적 관계 계층 (Categorical Layer - System 2 Proxy):

   • 데이터: 인간은 WordNet 관계 (동의어, 반의어, 상위/하위 개념), LLM 은 프롬프트를 통해 생성된 관계.
   • 구축: 단어 간의 계층적, 논리적 관계 (예: '의사'는 '의료 전문가'의 하위 개념) 를 연결.
   • 의미: 분류학적 (taxonomic) 지식과 논리적 제약 조건을 반영.

나. 구조적 환원성 분석 (Structural Reducibility Analysis)

• 목적: 세 계층 (연상, 정의, 범주) 이 서로 다른 구조적 정보를 제공하는지, 아니면 중복되는 정보인지 확인.
• 기법: 정보 이론적 거리 측정 (Normalized Laplacian matrix 기반) 을 사용하여 계층을 병합했을 때 구조적 정보 손실 (상대 엔트로피) 이 최소가 되는지 분석.
• 해석: 모든 계층이 분리되어야 최적화되면 '환원 불가능 (Irreducible, 구조적 구별성 있음)', 일부 계층이 병합되면 '환원 가능 (Reducible, 구조적 중복성 있음)'으로 판단.

다. 암묵적 편향 측정 (Implicit Bias Measurement)

• 기법: 확산 활성화 (Spreading Activation) 알고리즘을 네트워크에 적용하여 의미적 프라이밍 (Semantic Priming) 효과를 시뮬레이션.
• 측정 대상: 성별 고정관념 (Gender Stereotypes).
  • 프라이머 (Primes): 성별 정체성 (man, woman, father, mother 등).
  • 타겟 (Targets): 성별 고정관념과 관련된 단어 (직업, 성격, 예술/과학 등 172 개).
• 지표: 일관된 고정관념 쌍 (예: woman-nurse) 과 불일치 쌍 (예: woman-doctor) 간의 활성화 수준 차이로 편향 효과 크기 (Effect Size) 를 계산.

3. 주요 결과 (Key Results)

가. 구조적 환원성 (Structural Reducibility)

• 인간: 세 계층 (연상, 정의, 범주) 이 모두 분리되어 있을 때 상대 엔트로피가 최대화됨. 즉, 구조적으로 환원 불가능 (Irreducible) 함. 이는 인간이 세 가지 형태의 지식을 구조적으로 구별하여 저장함을 의미.
• LLM (Mistral, Llama3): 연상 계층과 범주적 관계 계층을 병합해도 구조적 정보 손실이 적음. 즉, 부분적으로 환원 가능 (Partially Reducible) 함.
  • 해석: LLM 은 인간처럼 '연상적 지식'과 '범주적 (논리적) 지식'을 명확히 구분하지 않고, 겹쳐서 (Overlapping) 표현하는 경향이 있음. 특히 LLM 이 생성한 범주적 관계가 실제 논리적 관계보다는 연상적 반응에 가까운 경우가 많음.

나. 편향과 의미 구조의 관계 (Bias vs. Structure)

• 인간:
  • 시스템 1 (연상 계층): 고정관념과 일치하는 편향이 가장 강하게 나타남.
  • 시스템 2 (정의 및 범주 계층): 편향이 현저히 감소함.
  • 결론: 인간은 구조화된 지식 (정의, 범주) 을 통해 암묵적 편향을 조절 (Regulate) 하는 일관된 메커니즘을 가짐.
• LLM:
  • 일관성 부재: 주제 (직업, 성격 등) 에 따라 편향 패턴이 불규칙하게 변함.
  • 구조적 영향 없음: 시스템 1 과 시스템 2 계층 간 편향 감소 추세가 인간처럼 명확하지 않음. 오히려 같은 계층 내에서도 주제에 따라 편향이 극단적으로 달라짐 (예: Llama3 의 정의 계층에서 직업은 남성 편향, 성격은 여성 편향을 보임).
  • 결론: LLM 에서는 의미 기억 구조가 편향 조절에 일관된 역할을 하지 못함. 편향 조절 메커니즘이 인간과 근본적으로 다름.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 인지 구조의 차이 규명: 인간과 LLM 이 개념 지식을 조직화하는 방식에 근본적인 차이가 있음을 네트워크 수준에서 실증함. 인간은 연상, 정의, 범주 지식을 구조적으로 분리하여 저장하지만, LLM 은 이를 혼재하여 표현함.
2. 편향 조절 메커니즘의 차이: 인간의 편향 조절은 '시스템 2'와 같은 구조화된 지식 (규칙, 논리) 에 의존하지만, LLM 은 이러한 구조적 이점 없이 편향이 발생하거나 조절됨. 이는 LLM 이 인간의 '규칙 기반 추론'을 완전히 모사하지 못함을 시사.
3. LLM 의 개념적 지식 한계: LLM 이 인간과 유사한 '범주적 지식 (Taxonomic Knowledge)'을 충분히 보유하고 있지 않으며, 종종 연상적 관계를 범주적 관계로 잘못 표현함을 발견.
4. 연구 방법론적 기여: 이중 과정 이론을 기능적 설명을 넘어, 다층 네트워크 구조라는 구체적인 표상 (Representation) 수준에서 분석할 수 있는 새로운 프레임워크를 제시함.

5. 결론 (Conclusion)

본 연구는 인간과 LLM 의 편향 현상이 표면적으로 유사해 보일지라도, 그 이면의 인지 구조 (Semantic Memory Structure) 와 편향 조절 메커니즘은 근본적으로 다름을 보여줍니다. 인간은 구조화된 지식 (시스템 2) 을 통해 편향을 조절할 수 있는 반면, LLM 은 이러한 구조적 구별성이 부족하여 편향이 예측 불가능하게 나타납니다. 이는 더 공정하고 안전한 AI 를 개발하기 위해서는 단순한 데이터 학습을 넘어, 인간과 유사한 구조화된 개념 지식 (Structured Conceptual Knowledge) 을 모델에 통합해야 함을 시사합니다.