기술 요약: 나의 평정심을 잃다: 시간에 따른 구성성(Compositionality) 예측

문제 정의

본 연구는 독일어와 영어 명사 복합어의 의미 변화, 특히 그들의 구성성 정도(복합어의 의미와 그 구성 성분 사이의 투명성)가 시간에 따라 어떻게 진화하는지에 초점을 맞추어 조사한다. 저자들은 복합 명사가 시간이 지남에 따라 덜 구성적(더 관용적)으로 변한다는, 즉 투명한 결합에서 불투명한 단위로 진화한다는 기존의 어휘 의미 변화 문헌의 지배적인 가설에 이의를 제기한다.

기존의 어휘 의미 변화 탐지(LSCD) 작업은 주로 "2개 시대" 패러다임(두 개의 서로 다른 시기를 비교)에 의존하며, 이는 점진적인 변화를 가릴 수 있다. 또한, 이전의 통시적 구성성 연구는 여러 시간 단계에 걸친 그라운드 트루스(ground-truth) 데이터의 부족으로 인해 제한적이었다. 본 논문은 흥미로운 의미 변화가 반드시 단일한 시간적 경계선에서 발생하는 것이 아니라 점진적으로 전개된다고 가정한다. 이에 따라 저자들은 대규모의 구분되지 않은 시간 범위를 합산하는 대신, 미세한 시간적 조각(십 년 단위)에 걸쳐 구성성 등급을 모델링하고 예측하는 것을 목표로 하는 구성성 추세 예측(Compositionality Trend Prediction, CTP) 과업을 도입한다.

방법론

데이터 및 주석(Annotation)

본 연구는 두 가지 통시적 코퍼스를 활용한다:

• 독일어: 1680~1920년을 다루는 Deutsches Textarchiv (DTA).
• 영어: 1810~2000년을 다루는 Corpus of Historical American English (COHA).

저자들은 빈도 안정성과 "변곡점"(상대적 빈도가 크게 변하는 십 년 단위)의 존재를 기준으로 23개의 독일어 및 26개의 영어 대상 명사 복합어를 선정하였다. 각 대상에 대해, 이들은 이러한 변곡점 주변의 최대 5개 십 년 단위의 문맥 내 예시를 샘플링하였다.

• 주석: 인간 주석가들은 각 구성 성분(수식어와 핵심어)에 대해 0~5 척도로 복합어 인스턴스의 구성성을 평가하였다.
• 품질 관리: 크립펜도르스 알파(Krippendorff's alpha)를 사용하여 주석자 간 일치도를 측정하였으며, 사후 필터링을 통해 일치도가 낮은 주석가를 제거하였다. 결과 데이터셋은 십 년 단위의 등급을 제공하며 구성성 추세($\Delta$) 계산을 가능하게 한다.

실험 설정

저자들은 각 표현 유형별로 약 100개의 모델을 훈련시켰으며, 이는 코퍼스의 1~5 십 년 단위 슬라이스를 포괄한다. 저자들은 세 가지 주요 실험 변수를 평가하였다:

1. 표현 유형 (Representation Type):
   • 문맥적(Contextual): 현대적 BERT (역사적 데이터로 처음부터 학습됨) 및 2차 랜덤 인덱싱(2nd-order Random Indexing).
   • 정적(Static): Word2Vec (CBOW 및 Skip-gram) 및 점와이즈 상호 정보량(PMI) 연관 목록.
2. 시간 창 스케줄 (Temporal Window Schedule):
   • 전체(Full): 5 십 년 창을 기반으로 훈련된 단일 모델.
   • 십 년 단위(Decades): 단일 십 년 단위로 훈련된 별도의 모델들.
   • 슬라이딩-전체(Sliding-Full): 점진적으로 확장되는 창 (예: [1940], [1940–1950], [1940–1960]).
3. 유사도 측정 (Similarity Measures):
   • PRT (Prototype): 평균 벡터 간의 코사인 거리.
   • APD (Average Pairwise Difference): 모든 쌍 간의 평균 코사인 거리.
   • JSD (Jensen-Shannon Divergence): 클러스터링된 표현에 적용 (문맥적 모델에만 해당).

평가 지표

모델은 두 가지 주요 지표를 사용하여 인간의 주석과 비교 평가되었다:

1. 정렬도 ($R^2$): 예측된 십 년 단위 구성성 점수와 주석된 등급 사이의 선형 회귀.
2. 추세 예측 (Spearman's $\rho$): 모델이 예측한 변화 정도에 따른 복합어 순위와 주석된 변화($\Delta$)의 순위 간 상관관계.

주요 결과

구성성 추세에 대한 경험적 관찰 (RQ1)

복합어가 시간이 지남에 따라 일반적으로 덜 구성적이 된다는 가설과 달리, 주석된 데이터는 결정적인 일반적 추세를 보여주지 않았다.

• 독일어: 평균 $\Delta$는 $-0.0012$였다.
• 영어: 평균 $\Delta$는 $-0.0161$였다.
  관찰된 변화는 매우 작았으며, 종종 연속적인 십 년 단위 사이의 분산보다도 작았다. 특정 복합어(예: 독일어의 Donnerwetter)는 비구성성으로의 변화를 보였으나, 집계된 데이터는 보편적인 법칙으로서의 의미 표류(semantic drift)를 지지하지 않는다.

계산 성능 (RQ2)

실험은 미세한 시간 데이터를 가진 문맥적 모델이 거친 시간 데이터를 가진 정적 모델보다 우수한지를 다루었다.

• 시간적 입도 (Temporal Granularity): 더 좁은 시간 창(특히 decades 및 sliding-full 스케줄)에서 훈련된 모델들이 전체 5 십 년 full 창에서 훈련된 모델보다 일관되게 우수한 성능을 보였다. 이는 데이터를 긴 기간 동안 집계하는 것이 정확한 구성성 예측에 필요한 구체적인 의미 신호를 희석시킨다는 것을 시사한다.
• 표현 복잡성 (Representation Complexity): 정적 표현(Word2Vec, PMI)은 복잡한 문맥적 표현(Modern BERT)과 경쟁할 만하거나 때로는 이를 능가하였다.
  • 영어의 경우, decades 스케줄을 사용한 Modern BERT가 가장 높은 $R^2$ 점수(0.363)를 달성했다.
  • 독일어의 경우, 2nd-order Random Indexing과 Skip-gram이 가장 좋은 성능을 보였다.
  • BERT의 성능 향상은 역사적 데이터로 처음부터 학습시키는 데 드는 계산 비용을 정당화하지 못했다.
• 유사도 측정 (Similarity Measures): 집계 측정 방식(PRT 및 APD)이 클러스터링 기반 측정 방식(JSD)보다 일반적으로 더 우수한 성능을 보였다. 특히 BERT 임베딩을 사용한 클러스터링 접근 방식은 가장 낮은 결과를 냈다.

기여

1. 데이터셋 및 과업: 독일어와 영어에 대해 여러 십 년에 걸친 문맥 내 구성성 등급을 포함하는 새로운 미세 입도 데이터셋을 도입하여 구성성 추세 예측(CTP) 과업을 제시하였다.
2. 경험적 발견: 주석된 데이터를 바탕으로 "비구성성을 향한 보편적 표류" 가설을 반박하며, 이러한 추세가 미미하고 매우 특정 복합어에 국한됨을 보여주었다.
3. 모델링 통찰: 시간 민감적인 의미 과업의 경우, 모델의 복잡성보다 미세한 시간적 훈련 창이 더 중요하다는 증거를 제시하였다. 본 연구는 좁은 시간 슬라이스로 훈련된 단순한 정적 모델이 집계된 데이터를 사용하는 복잡한 문맥적 모델만큼 효과적이거나 오히려 더 나을 수 있음을 입증한다.

의의 및 주장

본 논문은 CTP 과업이 시간적 의존성을 성공적으로 인코딩하며, 대상 용어를 그들 자신의 고유한 시간적 창("시대 속에서의 여정") 내에서 평가하는 것이 광범위하게 집계된 모델링보다 역사적 의미 변화와 더 잘 일치함을 입증한다고 주장한다.

저자들은 자신의 방법론이 특정 복합어의 의미 변화를 감지할 수는 있지만, 구성 성분의 의미 자체가 시간에 따라 불안정하기 때문에 이 과업이 본질적으로 어렵다고 겸허히 결론짓는다. 또한, 현대적 편향이 역사적 데이터 해석에 영향을 미칠 수 있음을 언급하며 연관 목록(association lists)을 면밀한 독해 없이 과잉 해석하는 것에 대해 경고한다. 궁극적으로 본 연구는 소규모 데이터의 역사적 시나리오에서 의미 변화를 모델링할 때, 높은 시간적 해상도를 가진 단순한 표현이 복잡한 집계 모델보다 바람직하다는 점을 시사한다.