💬 NLP

Rethinking Metrics for Lexical Semantic Change Detection

이 논문은 단어의 의미 변화를 측정하는 기존 지표의 한계를 지적하고, 문맥 기반 임베딩 분석에서 더 강건한 성능을 보이는 새로운 지표인 평균 최소 거리 (AMD) 와 대칭 평균 최소 거리 (SAMD) 를 제안합니다.

원저자: Roksana Goworek, Haim Dubossarsky

게시일 2026-02-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Roksana Goworek, Haim Dubossarsky

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🕵️‍♂️ 1. 문제: "단어 의미 변화 탐정"의 고전적인 실수

과거에 컴퓨터는 단어의 의미 변화를 찾을 때, 마치 전체 학생의 평균 키를 재는 것처럼 행동했습니다.

기존 방법 (APD, PRT): "100 년 전의 '사과'라는 단어 사용법 전체의 평균"과 "오늘날의 '사과' 사용법 전체의 평균"을 비교했습니다.
문제점: 만약 '사과'라는 단어가 과거엔 '과일'로만 쓰였는데, 지금은 '애플 회사'라는 뜻도 생겼다면? 평균을 내면 두 의미가 섞여버려서, 새로운 의미가 생겼다는 사실을 놓치기 쉽습니다. 마치 "평균 키가 170cm 라서 키가 큰 학생이 생겼는지 작은 학생이 생겼는지 알 수 없는" 상황과 같습니다.

🆕 2. 해결책: "새로운 측정 도구 (AMD 와 SAMD)"

저자들은 이제 개별적인 사용 사례 하나하나를 꼼꼼히 매칭하는 새로운 방법을 제안합니다.

AMD (평균 최소 거리):
- 비유: "오늘날 '사과'를 쓴 사람 100 명 중, 과거의 '사과' 사용법과 가장 닮은 사람을 찾아서 거리를 재는 방식"입니다.
- 장점: 과거의 '과일' 뜻과 완전히 다른 '회사' 뜻이 새로 생겼다면, 그 새로운 사용법들은 과거의 어떤 사용법과도 잘 매칭되지 않아 거리가 멀어집니다. 이 가장 가까운 친구를 찾는 과정을 통해 미세한 변화도 잡아냅니다.
SAMD (대칭적 평균 최소 거리):
- 비유: AMD 가 조금 더 엄격해진 버전입니다. "과거 사람 100 명과 오늘 사람 100 명을 1 대 1 로 짝을 지어서 거리를 재는 방식"입니다.
- 장점: 한쪽의 특정 사용법이 너무 많은 현대 사용법과 짝을 지어버리는 (누군가에게만 집중되는) 불공정한 상황을 막아줍니다.

🧪 3. 실험 결과: "어떤 상황에서도 강한 친구"

저자들은 이 새로운 도구들이 다양한 상황에서 얼마나 잘 작동하는지 테스트했습니다.

상황 1: 복잡한 데이터를 단순화했을 때 (차원 축소)
- 비유: 고해상도 사진 (고차원 데이터) 을 흐릿한 스케치 (저차원 데이터) 로 줄였을 때입니다.
- 결과: 기존 방법 (APD, PRT) 은 스케치가 되면 정보가 너무 날아가서 "이게 사과인지 배인지"를 못 알아봤습니다. 하지만 AMD 와 SAMD 는 흐릿해도 "이건 과거와 달라!"라고 정확히 찾아냈습니다.
- 의미: 컴퓨터 자원이 부족하거나, 데이터가 깔끔하지 않아도 이 방법들은 여전히 강력합니다.
상황 2: 전문적인 모델 vs 일반적인 모델
- 비유: 단어 의미 변화에 특화된 '전문 탐정 (XL-LEXEME)'과 일반적인 '일반 경찰 (일반 언어 모델)'을 비교했습니다.
- 결과: 전문 탐정이 쓰일 때는 모두 잘했지만, 일반 경찰이 쓰일 때는 AMD 와 SAMD 가 압도적으로 잘했습니다. 즉, 고가의 특수 장비가 없어도 이 방법만 쓰면 좋은 결과를 얻을 수 있습니다.
상황 3: 사람이 이해할 수 있는 공간 (정의 기반 공간)
- 비유: 단어의 의미를 "사과=과일, 빨간색, 달콤함"처럼 사람이 읽을 수 있는 **정의 (Definition)**로 변환했을 때입니다.
- 결과: AMD 는 이 정의 공간에서 가장 높은 점수를 받았습니다. 이는 컴퓨터가 사람처럼 '의미'를 이해하는 공간에서도 잘 작동한다는 뜻입니다.

💡 4. 결론: "하나의 정답은 없다"

이 논문의 핵심 메시지는 **"단어 의미 변화를 재는 데는 하나의 완벽한 자 (척도) 가 없다"**는 것입니다.

과거의 방법들은 전체적인 흐름 (평균) 을 보는 데는 좋았지만, 세부적인 변화 (새로운 뜻의 탄생, 사라짐) 를 놓치기 쉽습니다.
반면, AMD 와 SAMD는 개별적인 사용 사례를 꼼꼼히 비교하므로, 데이터가 복잡하거나 단순화되어도 더 튼튼하고 정확한 결과를 줍니다.

한 줄 요약:

"단어의 의미 변화를 찾을 때, 전체 평균만 보지 말고 개별적인 사용 사례끼리 '가장 가까운 친구'를 찾아서 비교하면, 데이터가 복잡하거나 단순해져도 훨씬 더 똑똑하게 변화를 찾아낼 수 있다!"

이 새로운 방법들은 앞으로 언어학 연구뿐만 아니라, AI 가 인간의 언어 변화를 더 정교하게 이해하는 데 큰 도움을 줄 것으로 기대됩니다.

1. 문제 제기 (Problem)

배경: 최근 LSCD 연구는 정적 (static) 단어 임베딩에서 문맥 기반 언어 모델 (Contextualized Language Models) 의 임베딩으로 전환되었습니다.
기존 접근법의 한계: 현재 대부분의 연구는 의미 변화를 정량화하기 위해 평균 쌍거리 (Average Pairwise Distance, APD) 나 프로토타입 간 코사인 거리 (Prototype Distance, PRT) 와 같은 소수의 지표를 사용합니다.
- APD: 두 시기의 모든 사용 예시 쌍 간의 거리를 평균화합니다.
- PRT: 각 시기별 단어 사용 예시들의 중심점 (centroid) 간 거리를 계산합니다.
핵심 문제: 이러한 지표들은 정보를 전역적 (globally) 으로 집계합니다. 이로 인해 특정 의미의 출현, 소멸, 또는 일부 사용 예시에서만 발생하는 국소적 (localized) 인 의미 변화가 전체 분포의 평균에 의해 묻히거나 감지되지 못할 수 있습니다. 또한, 차원 축소 (dimensionality reduction) 가 적용되거나 비전문가용 인코더가 사용될 경우 성능이 급격히 저하되는 취약점이 있습니다.

2. 방법론 (Methodology)

저자는 두 가지 새로운 사용 예시 수준 (usage-level) 기반의 의미 변화 지표를 제안합니다. 이는 두 시기의 단어 사용 예시 간 국소적 대응 관계 (local correspondence) 에 기반합니다.

제안된 지표

평균 최소 거리 (Average Minimum Distance, AMD):
- 한 시기의 각 사용 예시 (usage) 가 다른 시기의 가장 가까운 (nearest) 사용 예시와 얼마나 가까운지 측정합니다.
- 방향성 (Directional) 이 가능하여, 시기 A 에서 B 로의 변화와 B 에서 A 로의 변화를 분리하여 분석할 수 있습니다 (예: 의미의 확장/축소, 새로운 의미의 출현/소멸 분석).
- 수식: $AMD(A, B) = \frac{AMD(A \to B) + AMD(B \to A)}{2}$
대칭 평균 최소 거리 (Symmetric Average Minimum Distance, SAMD):
- AMD 의 단점 (하나의 이웃에 여러 점이 매핑되는 'Hubness' 문제) 을 보완하기 위해 도입되었습니다.
- 두 시기의 사용 예시 간 1 대 1 대응 (one-to-one alignment) 을 강제합니다. (Greedy 알고리즘을 사용하여 최소 거리를 가진 쌍을 순차적으로 매칭).
- 분포의 형태 변화뿐만 아니라 사용 예시의 집중도 변화에도 민감하게 반응합니다.

실험 설정

데이터: 영어, 독일어, 스웨덴어, 라틴어, 스페인어, 노르웨이어, 중국어 등 7 개 언어의 LSCD 벤치마크 (SemEval-2020, LSCDiscovery 등) 사용.
모델 (Encoder):
- 전문가용 (Specialised): LSCD 에 맞춰 미세 조정된 XL-LEXEME.
- 비전문가용 (Non-specialised): XLM-RoBERTa, mBERT, RemBERT 등 범용 다국어 모델 및 각 언어별 단일 언어 모델 (Monolingual encoders).
표현 공간 (Representation Spaces):
- 원본 임베딩 공간 (Full).
- 정의 기반 공간 (Definition-based): LLM(Gemini 2.5 Pro) 을 생성한 단어 정의들을 임베딩하여, 사용 예시를 이 정의들과의 거리로 투영한 공간.
- 주성분 분석 (PCA): 분산을 보존하는 차원 축소.
- 무작위 차원 선택 (Random): 의미 구조를 보존하지 않는 극단적인 차원 축소.

3. 주요 결과 (Key Results)

전반적 성능: AMD 와 SAMD 는 APD 와 PRT 에 비해 더 강력하고 안정적인 성능을 보였습니다. 특히 다양한 표현 공간 (Full, DEF, PCA, RAND) 에서 일관되게 높은 스피어만 순위 상관관계를 기록했습니다.
차원 축소에서의 강건성 (Robustness):
- APD 와 PRT 는 PCA 나 무작위 차원 축소 시 성능이 급격히 떨어졌습니다 (상관관계가 0 에 수렴하기도 함).
- 반면, AMD 와 SAMD 는 차원이 크게 줄어들어도 (4 차원까지) 성능을 유지했습니다. 이는 국소적 대응 기반 지표가 고차원 임베딩 구조에 덜 의존함을 의미합니다.
전문가용 vs 비전문가용 인코더:
- 전문가용 (XL-LEXEME): SAMD + PCA 조합이 가장 높은 성능을 보였습니다.
- 비전문가용 (Monolingual/Multilingual): AMD 가 정의 기반 공간 (Definition-space) 과 결합되었을 때 가장 뛰어난 성능을 보였습니다. 이는 의미 감지 (sense-aware) 가 잘 조직된 공간에서 AMD 의 방향성 분석이 효과적임을 시사합니다.
해석 가능성: 정의 기반 공간에서 AMD 는 의미 변화가 '분포의 집중도 이동'이 아닌 '전체 모양의 정렬 차이'로 포착됨을 보여주어, 인간이 이해할 수 있는 의미 차원에서의 분석 가능성을 열었습니다.

4. 기여 및 의의 (Contributions & Significance)

새로운 평가 지표 제안: 전역적 집계 (Global Aggregation) 에 의존하던 기존 패러다임을 넘어, 국소적 대응 (Local Correspondence) 을 기반으로 한 AMD 와 SAMD 를 도입했습니다.
강건성 입증: 차원 축소, 비전문가용 인코더, 다양한 언어 환경 등 제약 조건 하에서도 기존 지표 (APD, PRT) 보다 훨씬 더 신뢰할 수 있는 성능을 제공함을 실험적으로 증명했습니다.
해석 가능성과 성능의 조화: 정의 기반 공간과 같은 해석 가능한 저차원 공간에서도 AMD 가 높은 성능을 발휘함을 보여줌으로써, '블랙박스' 분석을 넘어선 투명하고 해석 가능한 의미 변화 분석의 가능성을 제시했습니다.
방법론적 통찰: 의미 변화 감지에는 '만능' 지표가 없으며, 연구 목적 (예: 대규모 발견 vs 정밀 분석), 인코더 종류, 표현 공간의 특성에 따라 적절한 지표를 선택해야 함을 강조했습니다.

5. 결론

이 논문은 LSCD 연구에서 AMD 와 SAMD를 기존 지표들과 함께 고려해야 할 필수적인 도구로 제안합니다. 특히 제한된 자원 (저차원, 비전문가 모델) 이나 해석이 필요한 상황에서 이러한 지표들은 더 강건하고 유연한 대안이 될 수 있습니다. 저자들은 이러한 지표들이 의미 변화의 국소적 특성을 포착하고, 다양한 표현 공간에서 안정적인 평가를 가능하게 함으로써 LSCD 방법론의 지평을 넓힐 것이라고 결론지었습니다.