Is This Just Fantasy? Language Model Representations Reflect Human Judgments of Event Plausibility

논문 요약: 언어 모델의 사건 타당성 판단과 인간 인지 반영

1. 문제 정의 (Problem)

언어 모델 (LMs) 은 사실적인 정보부터 환상적인 이야기, nonsensical(말도 안 되는) 문장까지 다양한 텍스트를 처리합니다. 최근 연구들은 LMs 가 문장의 '양태 (modality)' 즉, 사건이 현실적으로 가능한지, 불가능한지, 아니면 개념적으로 불가능한지를 구분하는 능력이 제한적이라고 주장해 왔습니다 (Kauf et al., 2023; Michaelov et al., 2025). 특히, 기존 연구들은 LMs 가 다음 토큰 확률 (next-token probability) 에만 의존하여 양태를 판단한다고 보았으며, 이는 표면적 특징에 민감하여 신뢰할 수 없다고 비판받았습니다.

이 논문은 다음과 같은 핵심 질문을 제기합니다:

• LMs 는 출력 확률 이상의 내부 표현을 통해 양태 범주 (가능, 불가능, 상상 불가능 등) 를 구분할 수 있는가?
• 이러한 내부 표현은 어떻게 발달하며, 인간의 범주화 행동과 얼마나 일치하는가?
• 이러한 표현이 인간이 이해할 수 있는 어떤 특징 (예: 상상 가능성) 과 연결되는가?

2. 방법론 (Methodology)

저자들은 기계적 해석 가능성 (Mechanistic Interpretability) 기법을 활용하여 LMs 의 은닉 상태 (hidden states) 를 분석했습니다.

• 양태 차이 벡터 (Modal Difference Vectors) 추출:

  • Contrastive Activation Addition (CAA) 기법을 사용하여 서로 다른 양태 범주 (예: '가능' vs '불가능') 를 가진 문장 쌍의 은닉 표현 차이를 계산했습니다.
  • 여러 문장 쌍에 대한 차이를 평균화하여 선형적인 양태 차이 벡터를 생성했습니다. 이 벡터는 특정 양태 범주 간의 차이를 나타내는 방향을 정의합니다.
  • 사용된 데이터셋: Hu et al. (2025b), Goulding et al. (2024), Vega-Mendoza et al. (2021), Kauf et al. (2023) 등.
  • 양태 범주 정의:
    1. Probable (가능): 현실에서 흔한 사건.
    2. Improbable (희귀): 가능하지만 흔하지 않은 사건.
    3. Impossible (불가능): 물리/생물 법칙 위반 (예: 얼음으로 차가운 음료 만들기).
    4. Inconceivable (상상 불가능): 선택적 제약 (selectional restriction) 위반으로 의미 자체가 성립하지 않는 문장 (예: "어제를 사용하여 차가운 음료 만들기").

• 실험 설계 (4 가지 연구):

  1. Study 1: 생성된 양태 차이 벡터를 사용하여 새로운 데이터셋의 문장을 분류하는 성능을 평가 (확률 기반 분류법과 비교).
  2. Study 2: 모델 크기 (파라미터 수), 학습 단계, 레이어 깊이에 따른 양태 표현의 발달 과정 분석.
  3. Study 3: 양태 차이 벡터를 특징 공간 (feature space) 으로 사용하여 인간의 범주화 행동 (실험 참가자의 반응 분포) 을 모델링.
  4. Study 4: 벡터 투영 값과 인간의 해석 가능한 특징 (사건 발생 확률, 이미지화 가능성 등) 간의 상관관계 분석.

3. 주요 기여 및 결과 (Key Contributions & Results)

1) LMs 는 확률 이상의 선형적 양태 표현을 가짐 (RQ1)

• 결과: 양태 차이 벡터를 이용한 분류는 단순한 문장 확률 (log-probability) 기반 분류보다 훨씬 높은 정확도를 보였습니다.
• 의미: LMs 는 단순히 확률 분포를 통해 양태를 암시하는 것이 아니라, 은닉 공간에 양태 범주를 구분하는 명확한 선형 구조 (directions) 를 학습하고 있음을 증명했습니다. 이는 20 억 (2B) 파라미터 이상의 모델에서 특히 두드러졌습니다.

2) 양태 표현의 발달 순서 (RQ2)

• 결과: 모델이 커지고, 학습이 진행되며, 깊은 레이어로 갈수록 양태 구분이 발달하는 패턴이 관찰되었습니다.
  • 초기/작은 모델: '상상 불가능 (Inconceivable)'과 다른 범주를 가장 먼저 구분합니다 (의미적 제약 위반 감지).
  • 중간 단계: '가능 (Probable)'과 '불가능 (Impossible)'을 구분합니다.
  • 후기/대규모 모델: '가능'과 '희귀 (Improbable)', 그리고 '희귀'와 '불가능'을 구분하는 미세한 차이가 형성됩니다.
• 의미: 인간의 인지 발달 과정 (어린 아이들이 불가능과 희귀한 사건을 구분하는 데 어려움을 겪는 것) 과 유사한 계층적 발달 패턴을 LMs 에서 관찰했습니다.

3) 인간 범주화 행동의 모델링 (RQ3)

• 결과: 양태 차이 벡터에 문장을 투영하여 생성된 3 차원 특징 공간은 인간 참가자의 범주화 반응 분포를 예측하는 데 가장 효과적이었습니다.
• 발견: 벡터 공간 상에서 범주 간에 위치하는 문장 (예: 모호한 경우) 에 대해 인간 참가자들의 의견이 갈리는 경향이 높게 나타났으며, 이는 모델이 인간의 '모호성'까지 포착하고 있음을 시사합니다.

4) 해석 가능한 특징과의 연관성 (RQ4)

• 결과:
  • 가능 - 희귀 벡터: 인간의 '사건 발생 확률 (Subjective Event Likelihood)' 평가와 높은 상관관계를 보였습니다.
  • 불가능 - 상상 불가능 벡터: '이미지화 가능성 (Imageability)' 및 물리적 객체/장소의 존재 여부와 강력하게 상관관계가 있었습니다.
• 의미: LMs 가 '불가능'과 '상상 불가능'을 구분하는 핵심 메커니즘 중 하나가 '상상할 수 있는지 (imagination)' 여부임을 시사합니다. 이는 철학적 관점 (Hume, Yablo 등) 과도 일치하며, 인간이 불가능한 사건과 개념적으로 불가능한 사건을 구분할 때 상상력이 핵심 역할을 한다는 새로운 가설을 제시합니다.

4. 의의 및 결론 (Significance)

• LM 의 세계 모델 (World Model) 이해: 이 연구는 LMs 가 단순한 통계적 패턴 매칭을 넘어, 현실 세계의 인과적 원리와 제약 조건을 내부적으로 표현하고 있음을 보여줍니다.
• 인간 인지 연구에의 기여: LMs 의 내부 표현을 분석함으로써, 인간이 어떻게 '가능성', '불가능성', '상상 불가능성'을 구분하는지에 대한 새로운 통찰 (특히 상상력의 역할) 을 얻을 수 있음을 제시했습니다.
• 기술적 함의: 고위험 상황 (Fact-checking, 의료, 법률 등) 에서 LMs 가 사실과 환상을 구분하는 능력을 평가하고 개선하는 데 양태 차이 벡터와 같은 기계적 해석 도구를 활용할 수 있는 가능성을 열었습니다.

요약하자면, 이 논문은 LMs 가 인간과 유사한 방식으로 사건 타당성을 판단하는 내부 표현을 학습하고 있으며, 이러한 표현을 분석함으로써 인간의 인지 메커니즘과 LMs 의 '세계 모델'을 동시에 이해할 수 있음을 증명했습니다.