Systematicity between Forms and Meanings across Languages Supports Efficient Communication

기술 요약: 언어 간 형태와 의미 사이의 체계성이 효율적인 의사소통을 뒷받침함

문제 제기
자연 언어는 의미가 단어의 형태와 매핑되는 방식에서 방대한 변이를 보인다. 기존의 효율적 의사소통 이론(예: Kemp et al., 2018; Gibson et al., 2019)은 어휘가 단순성(인지 부하 최소화)과 정확성(정밀한 해독 가능성)이라는 상충하는 압력을 어떻게 균형 있게 조절하는지 입증해 왔으나, 이러한 모델들은 일반적으로 언어적 형태를 구조가 없는 원자적 단위로 취급한다. 결과적으로, 이들은 단어 형태 내부의 불연속적인 부분들이 특정 의미를 신뢰성 있게 나타내는 방식(예: 인칭을 나타내는 접두사, 수를 나타내는 접미사)인 **체계성(systematicity)**을 설명하지 못한다. 저자들은 현재의 프레임워크가 단순히 동형성(syncretism, 동일한 형태를 공유함)에 의해 효율적인 시스템과, 구조화되고 학습 가능한 형태-의미 공변성에 의해 효율적인 시스템을 구분할 수 없다고 주장한다.

방법론
저자들은 체계성을 효율적 의사소통 이론에 통합하는 통일된 정보 이론적 프레임워크를 제안한다. 핵심적인 혁신은 의미-형태 매핑의 **학습 가능성(learnability)**을 기반으로 하는 새로운 복잡도 척도인 **교차 엔트로피 훈련 손실(Cross-Entropy Training Loss, CETL)**이다.

• 모델 아키텍처: 이 프레임워크는 형태소-통사적 특징($m_t$)을 입력으로 받아 표층 형태($w$)를 생성하는 시퀀스-투-시퀀스 신경망(LSTM 기반)을 채택한다. 형태를 이산적인 토큰으로 취급하는 정보 병목(Information Bottleneck, IB) 모델과 달리, 이 인코더는 형태를 문자 시퀀스로 처리한다.
• 복잡도 척도 (CETL): 복잡도는 신경망 인코더가 형태를 예측하는 속도에 의해 정량화된다. 구체적으로, 이는 코퍼스 빈도에서 유도된 필요 분포($p_{cog}(t)$)에 의해 가중치가 부여된 훈련 에포크(epoch) 동안의 교차 엔트로피 손실을 측정한다. 더 빠른 수렴(낮은 손실)은 더 높은 학습 가능성과 더 낮은 복잡도를 나타낸다. 이 지표는 학습을 용이하게 하는 공유 접두사나 접미사와 같은 미세한 규칙성을 포착한다.
• 정확도 척度: 저자들은 수신된 형태로부터 의도된 의미 분포를 재구성하여 쿨백-라이블러(KL) 발산을 최소화하는 베이지안 추론을 사용하는 표준 IB 정확도 측도를 유지한다.
• 평가 전략: 모델은 두 영역, 즉 동사 굴절(셈어족, 아프로-아시아어족, 게르만어족, 로망스어족)과 대명사 패러다임(다양한 언어 가족 전반)에서 평가된다. 가설 검증을 위해 저자들은 두 가지 유형의 순열을 통해 **역사실적 패러다임(counterfactual paradigms)**을 생성한다:
  1. 구조적 순열(Structural Permutations): 셀의 내용을 교체하여 동형성 패턴과 자연스러움을 변화시킨다.
  2. 형태 전용 순열(Form-only Permutations): 동형성 패턴은 보존하면서 표층 형태만을 교체한다. 이는 모델이 단순한 동일 관계를 넘어 체계성을 포착하는지 테스트하기 위함이다.
• 자연스러움 지표(Naturalness Metric): 단일 형태를 공유하는 의미들 사이의 의미적 거리를 기반으로 "부자연스러움" 점수가 계산된다. 낮은 점수는 동형적 형태가 의미적으로 유사한 의미들과 매핑됨을 의미한다.

주요 기여

1. 새로운 복잡도 지표: 문자의 시퀀스 학습 관점에서 학습 가능성을 통해 복잡도를 정량화하는 CETL을 도입하였다. 이를 통해 원자적 모델이 놓치는 체계적 규칙성(예: 일관된 접사 사용)을 탐지할 수 있다.
2. 체계성의 통합: 본 프레임워크는 효율적 의사소통 이론과 언어 진화 연구 사이의 간극을 성공적으로 메우며, 체계적인 형태-의미 매핑이 의사소통 효율성의 핵심 기제임을 입증한다.
3. 실증적 검증: 수백 개의 언어와 패러다임에 걸친 대규모 평가를 통해, 제안된 모델이 표준 IB 모델보다 실제 존재하는(attested) 시스템과 존재하지 않는(unattested) 시스템을 더 효과적으로 구별함을 보여준다.

결과

• 효율성 가설: 실제 존재하는 패러다임은 역사실적 순열보다 일관되게 더 나은 복잡도-정확도 트레이드오프를 달성한다. 이들은 더 낮은 CETL(높은 학습 가능성)과 더 높은 정확도를 보이며, 자연 언어가 트레이드오프 공간 내의 최적에 가까운 영역을 점유하고 있음을 확인시켜 준다.
• 자연스러움 가설: CETL과 부자연스러움 점수 사이에는 강한 양의 상관관계가 존재한다. "자연스러운" 동형성 패턴(공유된 형태가 유사한 의미로 매핑되는 경우)을 가진 패러다임은 부자연스러운 패턴보다 훨씬 더 학습 가능하다(낮은 복잡도).
• IB 모델과의 비교:
  • IB 모델은 형태를 원자적 단위로 취급하기 때문에, 실제 존재하는 패러다임과 형태 전용 순열을 구분하지 못한다. 즉, 체계적 패턴(예: 일관된 접두사 규칙)의 파괴를 감지할 수 없다.
  • 반면, CETL은 형태 전용 순열을 덜 효율적인 것으로 정확히 식별하여, 내부 구조적 규칙성에 대한 민감성을 입증한다.
  • CETL은 자연스러움과 강한 상관관계(동사에 대해 최대 $\rho = 0.88$)를 보이는 반면, IB 모델은 상관관계를 보이지 않는다.

의의 및 한계
본 논문은 효율적 의사소통 이론과 자연 언어에서 관찰되는 체계성 사이의 새로운 연결 고리를 구축했다고 주장한다. 학습 가능한 체계적 매핑이 의사소통 효율성에 직접적으로 기여한다는 것을 입증함으로써, 저자들은 단순성을 향한 압력이 단순히 별개의 형태 목록을 줄이는 것뿐만 아니라, 학습을 용이하게 하는 예측 가능하고 규칙적인 구조로 형태를 조직하는 것임을 주장한다.

저자들은 연구 범위에 대해 다음과 같이 신중한 입장을 유지한다:

• 분석은 이산적이고 패러다임적으로 구조화된 영역(동사와 대명사)에 국한된다. 시퀀스-투-시퀀스 아키텍처에 필요한 이산적 범주 구조의 부재로 인해, 연속적인 의미 영역(예: 색상 명명)에 대한 CETL의 적용 가능성은 불확실하다.
• 본 연구는 CETL이 보편적으로 IB 모델보다 우월하다고 주장하는 것이 아니라, 두 척도가 상호 보완적일 수 있으며, CETL이 IB 모델이 추상화해버리는 체계성에 대한 더 세밀한 관점을 제공한다고 본다.
• 모든 가능한 음운 형태를 전수 조사하는 것은 불가능하므로 완전한 파레토 프런티어(Pareto frontier)를 제시하지는 못하며, 대신 상대적 효율성을 테스트하기 위해 구조화된 순열에 의존한다.

결론적으로, 이 연구는 의사소통 압력이 의미와 형태 사이의 매핑을 최적화할 뿐만 아니라, 학습 가능성을 높이는 내부적 체계성의 출현을 유도함으로써 언어를 형성한다는 점을 시사한다.