In the LLM era, Word Sense Induction remains unsolved
이 논문은 사전 주석 데이터가 부재한 환경에서 단어 의미 유도 (WSI) 가 여전히 해결되지 않은 과제임을 강조하며, 다양한 무감독 및 LLM 기반 방법을 평가한 결과 기존 '단어당 하나의 클러스터' 휴리스틱을 능가하는 방법이 없음을 밝혔고, 이를 해결하기 위해 사전과 LLM 의 어휘적 의미 능력을 더 잘 결합할 필요가 있음을 주장합니다.
이처럼 **'달걀'**이라는 단어 (레마, Lemma) 는 문맥에 따라 여러 가지 뜻 (의미) 을 가집니다. 컴퓨터가 이 단어들을 보고 "아, 여기서는 케이크 재료로 쓰였구나!"라고 구분해 주는 작업을 **의미 유도 (Word Sense Induction, WSI)**라고 합니다.
🚨 문제: 기존 실험실은 너무 인위적이었습니다
기존 연구자들은 컴퓨터에게 이 작업을 가르칠 때, 가짜 실험실을 만들었습니다.
인위적인 데이터: "달걀"이라는 단어가 100 번 나올 때, 90 번은 케이크 재료로만 쓰이게 만들었습니다. (실제 세상에서는 달걀이 스크램블 에그로 더 많이 쓰이는데 말이죠.)
결과: 컴퓨터는 이 가짜 실험실에서는 잘 했지만, **실제 세상 (자연스러운 데이터)**에 나가면 엉망이 되었습니다. 마치 케이크만 만드는 요리사가 스크램블 에그를 못 만드는 것과 같습니다.
🔍 이 연구가 한 일: "진짜 세상"으로의 이동
저자들은 **"우리가 실험실을 진짜 세상 (SemCor라는 실제 텍스트 모음) 으로 옮겨보자"**라고 제안했습니다.
진짜 데이터: 단어들이 실제로 얼마나 자주 쓰이고, 얼마나 다양한 뜻으로 쓰이는지 그 자연스러운 분포를 그대로 가져왔습니다.
새로운 평가: 이제 컴퓨터가 진짜 세상에서 얼마나 잘하는지 다시 시험해 보았습니다.
📉 충격적인 결과: "단순한 방법"이 가장 잘한다?
연구 결과는 매우 놀라웠습니다.
최첨단 AI 는 실패: 최신 LLM(챗GPT 등) 이나 복잡한 알고리즘을 썼는데도, **단순히 "달걀은 무조건 하나의 뜻만 가진다"라고 가정하고 묶어두는 것 (1cpl baseline)**보다 성능이 나빴습니다.
비유: "달걀은 케이크 재료야!"라고 외치며 모든 달걀을 케이크로 만드는 요리사가, 복잡한 레시피를 가진 셰프보다 더 잘한 셈입니다.
LLM 의 한계: 최신 AI 모델들은 단어의 뜻을 구분하는 이 작업에서 고전했습니다. 문맥이 너무 길어지면 잊어버리거나, 엉뚱한 대답을 하기도 했습니다.
성공의 열쇠는 '사전'과 '데이터 증강':
데이터 증강 (Data Augmentation): 단어의 예문을 더 많이 찾아서 (위키북스 등) 컴퓨터에게 보여줬을 때 성능이 올랐습니다.
위키사전 (Wiktionary) 활용: 사람이 직접 정리한 사전 정보를 '마법 지팡이'처럼 활용했습니다.
마법 지팡이 1 (미세 조정): 사전 정보를 보고 AI 모델을 훈련시킴.
마법 지팡이 2 (데이터 추가): 사전에 있는 예문을 학습 데이터에 추가함.
마법 지팡이 3 (강제 연결): 사전에서 같은 뜻으로 분류된 예문들은 무조건 같은 그룹으로 묶어달라고 지시함.
결과: 이 세 가지 방법을 다 쓴 시스템이 기존 최고 성능 (SOTA) 을 3.3% 이상 뛰어넘었습니다.
💡 결론: AI 는 아직 완벽하지 않다
이 논문은 다음과 같은 메시지를 전달합니다.
"LLM 이 모든 것을 해결해 줄 것이라는 기대는 버리세요. 단어의 미묘한 뉘앙스를 이해하려면, 여전히 사람이 정리한 '사전 (Lexicon)'과 풍부한 '실제 예문'이 필요합니다."
한 줄 요약:
최신 AI 가 단어의 뜻을 구분하는 일에서는 여전히 '단순한 규칙'이나 '사람이 만든 사전'을 활용하는 것이 더 효과적이며, 아직 이 문제는 해결되지 않았습니다.
이 연구는 AI 개발자들에게 "더 복잡한 모델을 만들기 전에, 진짜 데이터와 사전 지식을 어떻게 잘 섞을지 고민하라"고 경고하고 있습니다.
1. 문제 정의 (Problem)
WSI 의 중요성: 사전 정의된 의미 목록 (Sense Inventory) 이나 의미 주석이 달린 데이터가 부족한 저자원 언어나 특정 도메인에서, 단어의 의미를 자동으로 유도하는 WSI 는 단어 의미 소거 (WSD) 의 대안으로 중요합니다.
기존 평가의 한계:
부자연스러운 데이터 분포: 기존 SemEval (2010, 2013) 데이터셋은 다의어 (polysemous) 단어를 과도하게 포함하고 있으며, 단일 의미 단어 (monosemous) 를 배제합니다. 이는 실제 코퍼스에서의 자연스러운 분포와 괴리가 있습니다.
평가 지표의 불일치: 다양한 클러스터링 평가 지표 (F-B3, NMI, V-measure 등) 가 사용되어 결과 비교와 재현이 어렵습니다.
LLM 의 부진: 최근 LLM 이 WSD 에서 성과를 보이지만, WSI 작업 (특히 무감독 학습) 에서는 여전히 기존 방법론을 능가하지 못하거나, 직접적인 프롬프팅만으로는 성능이 낮다는 문제가 있습니다.
2. 방법론 (Methodology)
2.1 새로운 평가 프레임워크 (SemCor-WSI)
데이터셋 구축: 기존 SemEval 데이터셋의 편향을 피하기 위해 SemCor 3.0에서 추출한 새로운 평가 데이터셋을 제안했습니다.
명사, 동사, 형용사의 원본 코퍼스 빈도 및 의미 분포를 그대로 유지합니다.
단일 의미 단어와 다의어 단어를 모두 포함하며, 각 품사별 개발/테스트 세트를 분리했습니다.
평가 지표: 클러스터링의 품질을 평가하기 위해 인스턴스 기반의 가중 평균 F-B3 지표를 주된 지표로 사용했습니다 (이는 큰 클래스의 편향을 줄이고 완전성과 균질성을 모두 고려함).
2.2 실험 설정
모델 비교:
기존 SOTA: PolyLM, LSDP (BERT 기반 대체어 클러스터링).
LLM 직접 프롬프팅: GPT-4o, Llama 3.1 (8B), Llama 3.3 (70B) 을 사용하여 주어진 단어의 예시들을 직접 클러스터링하도록 요청.
임베딩 클러스터링: BERT (base/large), WiC 태스크에 파인튜닝된 모델 (MirrorWiC, BERT-Wikt) 의 컨텍스트 임베딩을 AGsilh(실루엣 점수 기반) 및 X-Means 알고리즘으로 클러스터링.
데이터 증강 (Data Augmentation):
소스: Wikibooks(실제 코퍼스), LLM 생성 문장, Wiktionary 예시 문장.
제약 조건: Wiktionary 의미 정보를 활용한 Must-link 제약 (같은 의미로 주석된 예시는 같은 클러스터에 속하도록 강제).
클러스터 수 결정: 실루엣 점수 vs Wiktionary 의 의미 개수.
3. 주요 기여 및 결과 (Key Contributions & Results)
3.1 무감독 방법론의 한계
1cpl (One Cluster Per Lemma) 베이스라인의 우위: 제안된 자연스러운 분포의 데이터셋 (SemCor-WSI) 에서, 모든 무감독 시스템 (기존 SOTA 포함) 은 '단어 하나당 하나의 클러스터'라는 단순한 베이스라인 (1cpl) 을 능가하지 못했습니다.
이는 기존 데이터셋의 인위적인 다의어 과대표성이 시스템 성능을 과장했음을 시사합니다.
동사 (Verb) 의 경우 일부 모델이 1cpl 을 약간 능가했으나, 명사와 형용사에서는 1cpl 이 최선입니다.
3.2 LLM 의 성능
직접 프롬프팅의 실패: LLM 에게 직접 예시들을 클러스터링하도록 요청하는 방식은 성능이 매우 낮았습니다.
Llama 모델은 긴 문맥 (300 개 이상 예시) 을 처리할 때 작업을 잊어버리거나 반복 응답을 하는 문제가 발생했습니다.
GPT-4o 는 더 좋았으나 여전히 1cpl 베이스라인보다 낮았습니다.
3.3 데이터 증강과 반감독 학습의 효과 (새로운 SOTA)
데이터 증강의 효과: 레마 (lemma) 당 약 100150 개의 실제 코퍼스 (Wikibooks) 예시를 추가하는 것만으로도 기존 SOTA(PolyLM, 73.0) 를 능가하는 성능 (73.574.5) 을 달성했습니다.
Wiktionary 활용의 결정적 역할:
BERT-Wikt (반감독): Wiktionary 데이터를 통해 Contrastive Learning 으로 파인튜닝된 BERT 모델이 가장 좋은 임베딩을 제공했습니다.
Must-link 제약 및 클러스터 수: Wiktionary 의 의미 정보를 'Must-link 제약'으로 활용하고, 클러스터 수를 Wiktionary 기준 (AGwikt) 으로 설정한 조합이 가장 높은 성능을 기록했습니다.
최종 성능: 제안된 방법 (BERT-l-Wikt + Must-link + AGwikt + 100 Wikibooks 예시) 은 F-B3 76.0을 기록하여 이전 SOTA(73.0) 보다 3.3% 향상되었으며, 1cpl 베이스라인 (74.4) 도 능가했습니다.
4. 의의 및 결론 (Significance & Conclusion)
WSI 는 해결되지 않았다: LLM 시대에 들어와도, 자연스러운 데이터 분포를 가진 환경에서 무감독 WSI 는 여전히 '단어 하나당 하나의 클러스터'라는 단순한 가정을 넘어서지 못합니다.
사전 (Lexicon) 과 LLM 의 결합 필요: 순수한 LLM 프롬프팅이나 무감독 클러스터링만으로는 부족하며, 인간이 주석한 사전 정보 (Wiktionary 등) 를 데이터 증강, 모델 파인튜닝, 제약 조건에 활용하는 반감독 접근법이 현재 가장 효과적인 해결책임을 증명했습니다.
평가 프레임워크의 중요성: 기존 SemEval 데이터셋의 편향으로 인해 개발된 시스템이 실제 환경에서는 무용지물일 수 있음을 경고하며, 자연스러운 분포를 반영한 평가 (SemCor-WSI) 의 필요성을 강조했습니다.
요약: 이 논문은 WSI 분야에서 무감독 학습의 한계를 명확히 하고, LLM 만으로는 이 문제를 해결하기 어렵다는 것을 보여주었습니다. 대신, 외부 사전 (Wiktionary) 을 전략적으로 활용하여 데이터를 증강하고 모델을 제약하는 반감독 학습 접근법이 현재로서는 가장 강력한 성능을 낸다는 것을 실증했습니다.