기술 요약: 해석 가능한 통시적 의미 추적을 위한 단어 중심 의미 그래프

문제 정의

의미 변화(semantic shift)—문화적, 기술적, 사회적 요인으로 인해 시간이 흐름에 따라 단어의 의미가 변하는 현상—는 역사 언어학과 자연어 처리(NLP) 분야의 핵심 과제이다. 최근의 계산적 접근 방식들이 의미 변화 탐지를 진전시켰으나, 기존 방법들은 **다의성(polysemy)**을 표현하는 데 있어 상당한 한계에 직면해 있다.

• 정적 임베딩 접근 방식: 정적 단어 임베딩(예: Word2Vec)에 의존하는 방법들은 여러 의미를 하나의 벡터로 압축한다. 이러한 집계 방식은 의미별 변화를 분리해내는 것을 어렵게 만드는데, 모델이 지배적인 의미의 변화와 새로운 의미의 출현을 구분할 수 없기 때문이다.
• 문맥 임베딩 접근 방식: 문맥 모델(예: BERT, RoBERTa)은 여러 의미를 표현할 수 있지만, 일반적으로 클러스터링이나 지도 학습 기반 분류를 통해 토큰 표현을 이산적인 의미 목록(sense inventories)으로 집계해야 한다. 이는 시점 간 비교 가능성, 클러스터 개수에 대한 민감도, 그리고 사용 유사성과 의미적 관련성의 혼동이라는 문제를 야기한다.
• 해석 가능성 격차: 많은 기존 방법론은 사전 정의된 의미 목록(예: WordNet)에 의존하거나, 어떻게 의미가 진화하는지에 대한 투명하고 구조적인 설명을 결여한 "블랙박스" 형태의 벡터 드리프트(vector drifts)를 생성한다.

저자들은 의미를 관계적으로 표현하고, 사전 정의된 목록 없이도 다의성의 역동성을 포착하며, 의미 및 단어 수준 모두에서 해석 가능성을 제공하는 프레임워크가 필요하다고 주장한다.

방법론

본 논문은 정적 분포 유사성과 문맥적 치환 가능성을 통합하여 의미 진화를 모델링하는 단어 중심 의미 그래프 프레임워크를 제안한다. 방법론은 다음 네 단계로 진행된다.

1. 단어 중심 의미 그래프 구축

특정 시점 $t$에서의 대상 단어 $w$에 대해, 저자들은 두 가지 상호 보완적인 의미 증거를 통합하여 그래프 $G^t_w = (N^t_w, E^t_w)$를 구축한다.

• 분포적 이웃 (정적): 해당 시점의 코퍼스로 학습된 Skip-gram (Word2Vec) 모델을 사용하여, $w$와 코사인 유사도가 가장 높은 상위 $k_i$개의 단어를 선택한다. 이는 전역적인 어휘 연관성을 포착한다.
• 치환 이웃 (문맥적): 동일한 코퍼스에 대해 미세 조정된 RoBERTa 마스크 언어 모델이 $w$의 마스킹된 발생 위치에 대한 치환어들을 예측한다. 예측된 상위 $k_c$개의 치환어 세트는 사용 조건부 의미를 포착한다.
• 그래프 확장: 초기 이웃은 이 두 집합의 합집합이다. 이후 간접적인 연관성을 포착하기 위해 레이어별로(최대 깊이 $L$까지) 그래프를 확장한다. 노드 간에 분포적 또는 치환적 관계를 공유하는 경우 에지를 추가한다.

2. 주변부 연결성을 통한 의미 공동체 식별

직접적으로 임베딩 벡터를 클러스터링하여 의미를 식별하는 대신, 저자들은 주변부 그래프(peripheral graph)($G^t_{w,per}$)를 분석한다. 이는 원래의 그래프에서 중심 대상 노드 $w$와 그에 인접한 에지들을 제거한 것이다.

• 연결 성분(Connected Components): 연결 성분은 의미 공동체(sense communities) $C^t(w)$로 정의된다.
• 근거: 중심 노드는 이웃들을 사소하게 연결하므로, 이를 제거하면 이웃들이 상호 의미적 관련성에 기반하여 클러스터링되는 기저 구조가 드러난다. 주변부 그래프에서 분리된 성분들은 서로 다른, 공존하는 의미(다의성)를 나타내며, 단일한 큰 성분은 통일된 의미를 시사한다.

3. 시계열 정렬 및 정교화

프레임워크는 노드 중첩(node overlap)을 기반으로 시점 $t$의 클러스터를 $t-1$(또는 이전 시기)의 클러스터와 정렬한다.

• 정렬 전략: 클러스터 $C^t_i$를 노드 집합의 교집합을 최대화하는 클러스터 $C^{t-1}_j$에 정렬한다.
• 역사적 정렬: 재출현하는 의미를 처리하기 위해, 정렬은 이전의 임의의 시점 $k < t$를 살펴볼 수도 있다.
• 정교화: 최소 두 시기 동안 지속되지 않는 클러스터는 일시적인 노이즈나 일시적인 사용 급증을 필터링하기 위해 잔여 클러스터(residual cluster)로 병합된다.

4. 의미 사용 분포 추정

의미의 빈도는 **정규화된 클러스터 질량(normalized cluster mass)**에 의해 추정된다. 전체 그래프 크기에 대한 클러스터의 크기(노드 수)는 의미에 대한 확률 분포 $P^t(C_i | w)$를 제공하며, 이를 통해 의미의 지배력, 확장 또는 축소를 추적할 수 있다.

주요 기여

1. 통합된 그래프 기반 표현: 본 논문은 정적 분포 유사성과 문맥적 치환 가능성을 단일 그래프 구조로 결합하는 새로운 프레임워크를 도입하여, 순수 벡터 기반 또는 순수 목록 기반 접근 방식의 문제점을 피한다.
2. 해석 가능한 의미 추적: 의미를 주변부 그래프의 연결 성분으로 정의함으로써, 사전 정의된 의미 목록 없이도 다의성과 의미 변화에 대한 투명하고 구조적인 설명을 제공한다.
3. 벡터 공간 정렬 없는 통시적 정렬: 이 방식은 서로 다른 시기의 임베딩 공간을 복잡하게 정렬할 필요 없이 노드 중첩을 통해 의미의 연속성을 추적한다.
4. 세밀한 의미 변화 분석: 프레임워크는 사건 주도형 의미 교체, 점진적 연관성 이동, 의미적 안정성 등 다양한 유형의 의미 변화를 구분한다.

결과 및 응용 연구

프레임워크는 대조적인 의미 프로필을 가진 세 가지 대상 단어(trump, god, post)에 초점을 맞추어 New York Times Magazine 기사(1980–2017)의 통시적 코퍼스에 적용되었다.

• Trump (사건 주도형 교체):
  • 1980년대: 그래프는 리터럴한 "카드 게임" 의미에 해당하는 조밀하고 응집된 구조를 보였다 (낮은 다의성).
  • 1990년대–2000년대: 그래프가 확장되고 파편화되면서 비즈니스 및 부동산(도널드 트럼프의 경력)과 관련된 분리된 공동체들을 드러냈으며, 이는 높은 다의성을 나타내는 시기임을 보여준다.
  • 2015–2017년: 그래프는 실질적인 재구성을 겪었다. 리터럴한 카드 게임 의미가 이웃에서 사라지고, 정치적 공동체(후보, 캠페인)로 완전히 대체되었다. 이는 역사적 사건에 의해 유발된 완전한 의미 교체를 입증했다.
• God (의미적 안정성):
  • 그래프는 시간의 흐름에 따라 구조적으로 일관되게 유지되었으며, 높은 노드 간 유사성과 새로운 분리된 공동체의 출현이 없었다.
  • 주변부 클러스터링은 많은 작은 클러스터들을 생성했으나, 이들은 의미적으로 동질적이고 매우 상호 연결되어 있었다. 이는 이들이 별개의 의미가 아니라 단일한 기저 의미의 여러 측면을 나타냄(단일 의미)을 시사한다. 이는 진정한 다의성과 과잉 분할을 구분하는 방법의 능력을 강조한다.
• Post (점진적 연관성 이동):
  • 이 단어는 대략 2005~2010년까지 안정적인 이웃을 유지했다.
  • 이후, 그래프는 디지털 통신(예: twitter, video, email)과 관련된 노드들을 포함하도록 확장되었다. trump와 달리, 이는 기존 의미의 교체가 아니라 기술이 일상 언어에 통합됨에 따라 나타난 연관성의 확장(broadening)이었다.

의의 및 주장

저자들은 본 연구를 해석 가능하고 투명한 의미 분석을 향한 단계로 위치시킨다.

• 해석 가능성: "블랙박스" 형태의 벡터 드리프트와 달리, 그래프 구조는 연구자가 의미가 어떻게 출현하고, 공존하며, 사라지는지를 시각적이고 구조적으로 검사할 수 있게 한다.
• 사전 정의된 목록 없음: 이 방법은 고정된 사전의 편향이나 클러스터링 하이퍼파라미터의 민감도 없이, 코퍼스 증거로부터 의미 구조가 동적으로 생성되도록 한다.
• 다의성 역학: 프레임워크는 연결 패턴(조밀함 vs 분리됨)이 어떻게 다의성의 정도를 반영하는지 보여줌으로써 단어의 "다의성 역학"을 성공적으로 포착한다.
• 제한적 범위: 논문은 이것이 벤치마크 평가라기보다 응용 연구임을 명시적으로 밝힌다. 저자들은 표준 탐지 벤치마크에서의 우수한 정량적 성능을 주장하기보다, 프레임워크를 통해 얻은 해석 가능성과 질적 통찰을 강조한다. 또한 하이퍼파라미터에 대한 민감도 및 코퍼스 편향(예: NYT Magazine의 편집적 초점)에 따른 잠재적 한계를 인정한다.

결론적으로, 본 논문은 단어 중심 의미 그래프가 외부의 의미 목록에 의용하지 않고도 대조적인 의미 변화 궤적을 성공적으로 모델링하며, 의미 진화를 탐구하기 위한 압축적이고 유연한 표현을 제공함을 입증한다.