Language Statistics and False Belief Reasoning: Evidence from 41 Open-Weight LMs

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 언어 모델 (LM) 의 성능 향상은 "언어의 분포적 통계 (distributional statistics) 만으로 학습된 학습자가 인간의 인지 능력 (특히 심리 상태 추론, 즉 '마음 이론') 을 획득할 수 있는가?"라는 근본적인 질문을 제기합니다.
• 기존 연구의 한계:
  • 기존 연구들은 주로 소수의 폐쇄형 (closed-source) 모델을 사용하여 결과를 도출했습니다.
  • 폐쇄형 모델은 데이터 오염 (data contamination) 검출이 불가능하고, 모델 크기, 학습 토큰 수, 인스트럭션 튜닝 여부 등 중요한 속성이 공개되지 않아 이론적 검증과 재현성이 떨어집니다.
  • 또한, 소수의 모델 인스턴스만으로는 발견된 현상이 일반화 가능한지 판단하기 어렵습니다.
• 연구 목표: 거짓 신념 (False Belief, FB) 과제에 대한 기존 연구 (Trott et al., 2023) 를 41 개의 오픈 가중치 (open-weight) 모델을 사용하여 재현하고 확장함으로써, 언어 통계가 인간 수준의 심리 상태 추론을 설명할 수 있는지, 그리고 어떤 모델 속성이 성능에 영향을 미치는지 규명하는 것입니다.

2. 방법론 (Methodology)

• 데이터 및 과제:
  • Trott et al. (2023) 에서 개발된 12 가지 시나리오 (총 192 개 문단) 를 사용했습니다.
  • 거짓 신념 (False Belief, FB) vs. 참 신념 (True Belief, TB): 대상이 물체를 옮길 때 제 1 인물이 이를 인지하는지 여부에 따라 조작되었습니다.
  • 지식 단서 (Knowledge Cue): 명시적 ("John thinks...") vs. 암시적 ("John looks for...") 표현을 사용하여 동사 (비사실적 동사 사용 여부) 의 영향을 측정했습니다.
• 모델 샘플:
  • 5 가지 모델 패밀리 (Gemma 2, Llama 3, OLMo-2, Pythia, Qwen 2.5) 에서 총 41 개의 오픈 가중치 모델을 선정했습니다.
  • 모델 크기 (파라미터 수), 학습 토큰 수, 인스트럭션 튜닝 유무 (Base vs. Instruct) 를 다양하게 포함했습니다.
• 실험 절차:
  • 각 모델에 대해 시작 위치 (Start) 와 종료 위치 (End) 토큰의 로그 확률 (log probability) 을 추출하여 **로그 오즈 (Log Odds)**를 계산했습니다.
  • 인간 데이터는 Trott et al. (2023) 의 공개 데이터를 재사용하여 613 명의 참가자 응답을 분석했습니다.
• 분석 기법:
  • 선형 혼합 효과 모델 (Linear Mixed Effects Models) 을 사용하여 지식 상태 (Knowledge State) 에 대한 민감도를 검증했습니다.
  • 심리 측정 예측력 (Psychometric Predictive Power, PPP): 모델의 행동이 인간 행동을 얼마나 잘 예측하는지 ($R^2$ 및 $\Delta AIC$) 를 평가했습니다.

3. 주요 연구 질문 및 결과 (Key Findings)

RQ1: 오픈 가중치 LM 들은 지식 상태 (Knowledge State) 변화에 민감한가?

• 결과: 테스트된 41 개 모델 중 **34% (14 개)**가 지식 상태 조작에 통계적으로 유의미한 민감도를 보였습니다.
• 성능: 최상위 모델은 약 74.5% 의 정확도를 보였으나, 이는 인간 평균 (약 82.7%) 에 미치지 못했습니다.
• 의미: 언어 통계만으로도 일부 심리 상태 추론이 가능함을 시사하지만, 인간 수준의 완전한 추론은 달성하지 못했습니다.

RQ2: 어떤 LM 이 인간의 효과를 완전히 '설명해낼 (explain away)' 수 있는가?

• 결과: 아무런 모델도 인간의 효과를 완전히 설명해내지 못했습니다.
• 분석: 모델의 Log Odds 를 통제하더라도 지식 상태 (Knowledge State) 변수는 인간 응답에 대해 여전히 유의미한 설명력을 가졌습니다. 즉, 언어 통계만으로는 인간의 FB 과제 수행 능력을 완전히 설명할 수 없습니다.

RQ3 & RQ4: 어떤 모델 속성이 성능과 예측력을 예측하는가?

• 결론: **파라미터 수 (Parameter Count)**가 가장 강력한 예측 변수였습니다.
  • 파라미터 수가 10 배 증가할 때마다 정확도가 약 8% 증가했습니다.
  • 심리 측정 예측력 (PPP) 또한 파라미터 수와 양의 상관관계를 보였습니다.
  • 인스트럭션 튜닝 여부나 학습 토큰 수보다는 모델 크기가 더 결정적이었습니다.

RQ5: LM 과 인간은 비사실적 동사 (non-factive verbs, 예: 'thinks') 사용 시 거짓 신념을 귀속시키는 경향이 있는가?

• 새로운 가설: "John thinks..." (비사실적 동사) 와 같은 표현은 "P 가 사실이 아닐 수 있다"는 반전제 (anti-presupposition) 를 내포하므로, 모델과 인간 모두 잘못된 위치 (Start) 를 선택할 확률이 높아질 것이라는 가설을 검증했습니다.
• 결과:
  • LM 과 인간 모두 비사실적 동사 사용 시 잘못된 위치를 선택하는 편향을 보였습니다.
  • 중요한 차이: 지식 상태 (Knowledge State) 의 효과는 인간이 LM 보다 훨씬 컸으나, 지식 단서 (Knowledge Cue) 의 효과 크기는 인간의 값이 LM 효과 분포의 정중앙에 위치했습니다.
  • 해석: 이는 지식 단서에 대한 편향은 언어의 분포적 통계로 충분히 설명 가능하지만, 지식 상태에 대한 깊은 추론 (상황 모델 구축 등) 은 언어 통계만으로는 설명되지 않음을 시사합니다.

4. 주요 기여 (Key Contributions)

1. 대규모 오픈 가중치 샘플링: 폐쇄형 모델에 의존하던 기존 연구의 한계를 극복하고, 41 개의 다양한 오픈 가중치 모델을 사용하여 결과의 일반화 가능성과 재현성을 높였습니다.
2. 인간 인지 이론에 대한 새로운 통찰:
   • 언어 통계가 심리 상태 추론의 일부 (특히 언어적 단서에 대한 반응) 를 설명할 수 있음을 보였습니다.
   • 하지만 인간 수준의 복잡한 심리 상태 추론 (거짓 신념 이해) 을 설명하기 위해서는 언어 통계 외의 다른 요소 (사회적 상호작용, 생물학적 제약 등) 가 필요함을 입증했습니다.
3. 모델 - 인간 행동 비교의 새로운 프레임워크: 단일 모델의 점수 비교가 아닌, LM 들의 효과 크기 분포와 인간 효과를 비교하는 통계적 접근법을 제시했습니다. 이를 통해 어떤 인지 현상이 언어 통계로 설명 가능한지 (Knowledge Cue) 와 그렇지 않은지 (Knowledge State) 를 구분할 수 있게 되었습니다.

5. 의의 및 결론 (Significance)

• 인지 과학적 함의: 인간이 언어 노출을 통해 심리 상태 추론 능력을 획득한다는 가설을 부분적으로 지지하지만, 언어 통계만으로는 인간 수준의 '마음 이론'을 설명할 수 없음을 시사합니다. 인간은 언어 데이터에 비해 훨씬 적은 샘플로 더 효율적으로 학습합니다 (sample-efficient).
• LM 연구 방법론: 폐쇄형 모델 대신 투명하고 재현 가능한 오픈 가중치 모델을 사용하여 LM 의 능력을 평가해야 함을 강조합니다.
• 미래 방향: 언어 통계로 설명되지 않는 인간 인지 능력의 차이를 설명하기 위해, 그라운딩 (grounding), 사회적 상호작용, 또는 선천적 생물학적 메커니즘을 LM 아키텍처나 훈련 과정에 어떻게 통합할 수 있을지에 대한 연구가 필요함을 제안합니다.

이 논문은 언어 모델이 인간 인지의 어떤 측면을 모방할 수 있는지, 그리고 그 한계가 어디에 있는지를 체계적으로 규명하는 중요한 실증적 연구입니다.