Graded strength of comparative illusions is explained by Bayesian inference

기술 요약: 베이즈 추론을 통한 비교 환상(Comparative Illusions)의 등급화된 강도 설명

문제 제기
비교 환상(Comparative Illusions, CIs)은 이해자가 의미론적으로 부적절한 문장을 자연스럽게 받아들이는 언어적 현상이다(예: More students have been to Russia than I have). 해당 문장은 -than 절이 비교 가능한 정도를 제공하지 못하기 때문에 무의미하지만, 이해자들은 이를 자연스럽다고 판단하곤 한다. 선행 연구는 이러한 CIs가 "노이즈 채널(noisy-channel)" 추론의 결과라고 제안했다. 즉, 이해자가 오염된 신호($s_p$)로부터 화자의 의도된 의미($s_i$)를 추론하기 위해 베이즈 추론을 사용한다는 것이다. 사후 확률 $p(s_i|s_p)$는 사전 확률 $p(s_i)$와 오염 가능성 $p(s_p|s_i)$에 비례한다.

그러나 이 이론(예: Zhang et al., 2025)에 대한 기존의 경험적 지지는 다음과 같은 상당한 한계를 지니고 있었다:

1. 사후 확률 분포 전체를 정량적으로 모델링하지 못하여, 사전 확률($p(s_i)$)을 고려하는 데 실패했다.
2. 주로 가장 강력한 환상을 보이는 CI 유형(대명사 주어)에 집중하여, 다른 CI 유형(예: 완전 명사구 주어)에서 발견되는 **등급화된 환상의 강도(graded strength)**를 설명하지 못했다.
3. 형태통사론적 변이(예: 대명사 vs 명사구, 단수 vs 복수)가 환상의 강도에 어떻게 영향을 미치는지 예측할 수 있는 통합된 정량적 프레임워크가 부족했다.

연구 방법론
저자들은 노이즈 채널 가설을 정량적으로 검증하기 위해 두 가지 실험과 통계 모델링 단계를 수행하였다.

• 실험 1 (수용성 판단):

  • 참가자: 원어민 영어 화자 494명 (이전 연구보다 10배 증가한 규모).
  • 설계: -than 절의 형태(Form: 대명사 vs 명사구)와 수(Number: 단수 vs 복수)를 변인으로 하는 2x2 피험자 내 설계(within-subjects manipulation).
  • 과업: 참가자들은 30개의 핵심 CI 문장과 대조 문장에 대해 7점 리커트 척도로 자연스러움을 평가했다.
  • 목표: 다양한 CI 유형에 걸친 등급화된 환상 강도의 행동적 기준선(baseline)을 확립하는 것.

• 실험 2 (문장 수정):

  • 참가자: 원어민 영어 화자 199명.
  • 과업: 참가자들은 편집자 역할을 수행하며, 실험 1의 부적절한 CI 문장을 그럴듯하고 의미 있는 문장으로 바꾸기 위해 최소한의 수정을 가했다.
  • 분석:
    • 질적 분석: 수정된 문장들을 해석 유형(예: "사건 비교", "개별 대상 비교", "사건 부정")별로 분류했다.
    • 양적 분석: 원래의 부적절한 문장과 수정된 문장 사이의 다메라우-레벤슈타인 거리(Damerau-Levenshtein distance, DLD)를 계산하여, 이를 노이즈 가능성 $p(s_p|s_i)$의 대리 지표로 사용했다.

• 통계 모델링:

  • 사후 확률 근사: 저자들은 베이즈 규칙을 사용하여 노이즈 채널 사후 확률 $p(s_i|s_p)$의 정량적 근사치를 구축했다:
    $$\hat{p}(s_i|s_p) = \frac{\hat{p}(s_i)\hat{p}(s_p|s_i)}{\hat{p}(s_p)}$$
    • 사전 확률($\hat{p}(s_i)$) 및 증거($\hat{p}(s_p)$): 두 가지 통계적 언어 모델(GPT-2 Small 및 OPT)의 문장 확률을 사용하여 추정했다.
    • 가능도($\hat{p}(s_p|s_i)$): 실험 2의 편집 거리에 기반하여 $e^{-\text{DLD}}$에 비례하는 것으로 추정했다.
  • 연결 함수(Linking Functions): 사후 확률가 수용성에 어떻게 영향을 미치는지에 대한 두 가지 가설을 테스트했다:
    • Max Link ($f_{max}$): 수용성이 가장 확률이 높은 단일 해석에 의해 결정된다는 가설.
    • Mean Link ($f_{mean}$): 수용성이 여러 가능한 해석들의 평균 확률에 의해 결정된다는 가설.
  • 회귀 분석: 실험 1의 수용성 점수를 예측하기 위해 베이즈 다층 누적 서열 회귀 모델(Bayesian multilevel cumulative ordinal regression models)을 사용했다. 모델에는 구문론적 로그-오즈 비율(SLOR), 시행 순서, 기초 대조 문장의 수용성을 통제 변수로 포함했다.

주요 기여

1. 재현 및 확장: 본 연구는 CI가 적절한 대조 문장만큼 높게 평가된다는 핵심 발견을 재현했을 뿐만 아니라, 등급화된 환상 강도를 입증함으로써 범위를 크게 확장했다. 구체적으로, 단수 대명사 주어는 가장 강한 환상을 유발하는 반면, 복수 명사구는 더 약한 환상을 유사하게 만든다.
2. 사후 확률의 정량적 모델링: 저자들은 통계적 언어 모델 확률과 인간의 행동 편집 데이터를 통합하여, CI에 대한 최초의 정량적 노이즈 채널 사후 확률 분포 근사치를 제공했다.
3. 등급 효과의 예측: 정량적 모델은 형태통사론적 조건에 따른 환상 강도의 변동성을 성공적으로 예측하였으며, 이는 기존 이론으로는 설명할 수 없던 부분이다.
4. 통합 메커니즘: 본 연구는 평균 연결 함수(multiple plausible interpretations를 집계함)가 최대 연결 함수(단일히 가장 유력한 해석에 의존함)보다 인간의 수용성 판단을 더 잘 예측한다는 것을 밝혀냈다.

결과

• 행동적 발견: 실험 1은 단수 대명사 CI가 대조 문장과 구별되지 않는 높은 수용성을 보이는 반면, 복수 대명사 및 명사구 조건에서는 수용성이 측정 가능한 수준으로 단계적으로 감소함을 확인했다.
• 수정 패턴: 실험 2는 수정의 약 80%가 "그럴듯한(plausible)" 것이었으며, "사건 비교"와 "개별 대상 비교"가 지배적인 해석임을 보여주었다.
• 모델 성능:
  • 노이즈 채널 사후 확률 추정치는 강력한 통제 변수(SLOR, 순서, 베이스라인) 이상으로 CI 수용성 점수를 유의미하게 예측했다.
  • **평균 연결 함수($f_{mean}$)**가 가장 적합한 모델이었으며, 이는 수용성이 단일히 가장 유력한 해석뿐만 아니라 여러 가능한 해석들의 총체적 확률에 의해 영향을 받는다는 것을 나타낸다.
  • 이 결과는 두 가지 언어 모델(GPT-2 Small 및 OPT)과 두 가지 데이터셋(본 연구 및 Zhang et al., 2025의 공개 데이터셋) 모두에서 일관되게 나타났다.
  • **최대 연결 함수($f_{max}$)**는 예측력이 약했으며, 평균 함수와 함께 포함되었을 때 종종 음의 계수를 나타내어, "최선의" 단일 해석만으로는 데이터를 설명하기에 불충분함을 시사했다.

의의 및 주장
본 논문은 이러한 발견이 노이즈 채널 추론이 언어 이해의 통합된 계산 수준 이론(computational-level theory)이라는 점에 대한 강력한 경험적 근거를 제공한다고 주장한다. 구체적으로:

• 환상의 합리성: 본 연구는 CI가 단순한 처리 실패(예: "적당한 수준의(good-enough)" 처리 또는 얕은 휴리스틱)가 아니라, 베이즈 최적 문장 해석의 결과라고 주장한다. 이해자의 뇌는 노이즈가 섞인 감각 입력과 하향식 사전 확률을 통합함으로써 올바르게 작동하고 있다는 것이다.
• 통합 이론: 연구 결과는 다른 언어적 환상 및 비환상적 맥락의 증거들과 수렴하며, 노이즈 채널 추론이 다양한 언어 처리 현상을 설명하는 일반적인 메커니즘임을 시사한다.
• 방법론적 진보: 본 연구는 수용성 판단이 이진적인 문법성 판단을 넘어 확률적 문장 처리의 풍부한 공간을 포착할 수 있음을 보여준다. 또한, 통계적 언어 모델을 행동 데이터와 결합하여 인간의 추론 과정을 근사하는 방식을 검증했다.
• "적당한 수준의 처리"와의 구별: "적당한 수준의 처리"(알고리즘 수준)와 "노이즈 채널 추론"(계산 수준)이 서로 호환될 수 있음을 인정하면서도, 저자들은 CI 효과의 등급화된 특성이 인지적 노력의 제약보다는 베이즈 추론의 수학적 구조(사후 확률 분포)에 의해 더 잘 설명된다는 점을 강조한다.

저자들은 사용된 특정 노이즈 모델(DLD 기반)과 해석의 정확한 시간적 역동성에 대해서는 겸허한 태도를 유지하며, 노이즈 가능도 항과 연결 함수의 관계를 정교화하기 위한 향후 연구가 필요하다고 언급했다. 그러나 핵심적인 발견, 즉 등급화된 환상 강도가 가능한 대안들의 정량적 사후 확률을 추적한다는 사실은 노이즈 채널 이론에 대한 강력한 확인이라고 주장한다.