💬 NLP

Examining the Limits of Word2Vec with Toki Pona

본 연구는 충분한 분포 데이터가 제공된다면 약 130개의 매우 작은 어휘량으로도 Word2Vec이 의미적 관계를 효과적으로 포착할 수 있음을 입증하며, 코퍼스 내의 부수적인 비핵심 토큰들이 성능을 저해하기보다 오히려 단어 간 근접성을 향상시킨다는 점을 밝혀낸다.

원저자: Daniel Zhenhan Huang, Hongchen Wu

게시일 2026-06-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Daniel Zhenhan Huang, Hongchen Wu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 단어 간의 관계를 이해하는 임무를 맡은 거대하고 똑똑한 도서관 조수, Word2Vec이 있다고 상상해 보세요. 보통 이 조수는 수십만 개의 서로 다른 단어가 담긴 방대한 도서관을 읽으며 학습합니다. 이를 통해 "king(왕)"이 "queen(여왕)"과 관련이 있다는 것을 깨닫게 되는데, 왜냐하면 두 단어가 비슷한 이야기 속에 자주 등장하기 때문입니다.

하지만 만약 당신이 이 조수에게 단 130개의 단어로 이루어진 아주 작고 미니멀한 사전을 준다면 어떻게 될까요? 이것이 바로 이 논문이 **토키포나(Toki Pona)**라는, 최대한 단순하게 설계된 가상의 언어를 사용하여 다루고자 하는 도전 과제입니다.

다음은 연구자들이 발견한 내용을 쉬운 비유를 통해 설명한 이야기입니다.

1. 작은 사전 vs 큰 소음

연구자들은 인터넷에서 140만 개 이상의 토키포나 문장을 수집했습니다. 하지만 함정이 하나 있었습니다. 이 문장들의 약 **23%**에는 사람 이름(Sonja), 브랜드 이름(Discord), 또는 공식 130단어 사전에 속하지 않는 속어와 같은 "외래어"가 포함되어 있었습니다.

이것은 마치 아이에게 130색 크레용 상자만을 사용하여 색깔을 인식하도록 가르치는 것과 같습니다. 그런데 가끔 누군가 아이에게 자동차 스티커나 유명인의 얼굴이 그려진 무작위 스티커를 건네주는 상황과 같습니다.

질문: 이 "소음"(스티커)이 아이를 혼란스럽게 할까요, 아니면 오히려 크레용을 더 잘 이해하도록 도와줄까요?

이를 알아내기 위해 연구자들은 두 가지 버전의 조수를 만들었습니다.

"전체(Full)" 모델: 무작위 이름과 속어를 포함한 모든 것을 학습했습니다.
"순수(Pure)" 모델: 모든 "소음"을 제거하고 엄격한 130단어 사전만을 학습했습니다.

2. 테스트: 퍼즐처럼 단어 그룹화하기

조수들이 일을 잘 수행하고 있는지 확인하기 위해, 연구자들은 복잡한 수수께끼를 풀라고 요구하지 않았습니다(단 130개의 단어로는 어렵기 때문입니다). 대신, 그들은 단어들을 그룹으로 분류하라고 요청했습니다. 마치 모든 "동물"을 한 더미에 모으고, 모든 "색깔"을 다른 더 در미에 모으는 것과 같습니다.

그들은 두 가지 방법을 사용하여 작업 내용을 점검했습니다.

실루엣 점수(Silhouette Score): 방 안에 친구들이 서 있다고 상상해 보세요. 점수가 높다는 것은 "동물" 그룹의 친구들이 서로 빽빽하게 모여 있고, "색깔" 그룹과는 멀리 떨어져 있다는 것을 의미합니다.
중심점 확인(Centroid Check): 각 그룹의 "중심점"(예: 모든 동물의 평균 위치)을 계산하고, 각 단어가 자기 그룹의 중심에서 얼마나 가까운지 확인했습니다.

3. 놀라운 결과

결과는 직관에 반하면서도 매우 흥-미로웠습니다.

"소음"이 실제로 도움이 되었다: 무작위 이름과 속어를 포함한 모델("전체" 모델)이 "순수" 모델보다 관련된 단어들을 더 가깝게 유지하는 데 실제로 약간 더 나은 성능을 보였습니다.
- 비유: 무작위 단어들을 추가적인 '풀'이라고 생각해 보세요. "YouTube"가 토키포나 단어는 아니지만, 종종 "웹사이트"나 "비디오"를 뜻하는 단어 근처에 나타납니다. 이 추가적인 연결 덕분에 조수는 "아, 이 단어들이 같은 동네에 속하는구나!"라고 깨달을 수 있었습니다. 소음은 지도를 혼란스럽게 만든 것이 아니라, 동네를 더 밀도 있고 찾기 쉽게 만들어 주었습니다.
구조가 유지되었다: 두 모델 모두 "개", "고양이", "새"와 같은 단어들이 함께 속하고, "빨강", "파랑", "초록"이 함께 속한다는 것을 성공적으로 파악했습니다. 사전이 너무 작아서 거의 모든 단어가 이중 또는 삼중의 역할을 수행해야 했음에도 불구하고 말입니다(다의성).
- 비유: 옷걸이 세 개만 가지고 옷장을 정리하려고 하는 것과 같습니다. 엉망이 될 것이라 예상하겠지만, 조수는 셔츠는 하나에, 바지는 다른 하나에, 신발은 세 번째 옷걸이에 걸어 놀라울 정도로 잘 정리해 냈습니다.
"순수" 모델은 더 긴밀했다: 130개의 단어만 있는 모델("순수" 모델)은 단어들이 서로 매우 가까운 공간을 만들었지만, 그룹을 구별하기는 더 어려웠습니다. 그것은 마치 사람들이 어깨를 맞대고 빽빽하게 서 있는 붐비는 방과 같아서, 한 그룹이 어디서 끝나고 다른 그룹이 어디서 시작되는지 쉽게 알 수 없었습니다. "전체" 모델은 약간의 여유 공간이 있어 그룹이 더 명확하게 드러났습니다.

4. 핵심 결론

이 논문의 주요 교훈은 이러한 AI 조수들이 어떻게 학습하는가에 관한 것입니다.

보통 우리는 AI에게 의미를 가르치기 위해 방대한 어휘(수천 개의 단어)가 필요하다고 생각합니다. 하지만 이 연구는 그럴 필요가 없다는 것을 보여줍니다. 단 130개의 단어로 구성된 아주 작은 어휘라도, 그 단어들이 충분히 다양한 맥락(패턴)에서 나타난다면 AI는 여전히 사물들이 서로 어떻게 연관되는지에 대한 스마트한 지도를 구축할 수 있습니다.

이는 집이 어떻게 지어지는지 이해하기 위해 수백만 개의 도구가 필요하지 않다는 것과 같습니다. 숙련된 목수가 망치, 톱, 드라이버라는 단 세 가지 도구만을 사용하여 다양한 상황에서 작업하는 모습을 충분히 관찰한다면, 결국 집 전체의 구조를 이해할 수 있는 것과 같습니다.

요약하자면: Word2Vec은 놀라울 정도로 견고합니다. 아주 작고 미니멀한 언어로부터도 깊은 의미를 배울 수 있으며, 약간의 "소음"(이름이나 속어 등)은 오히려 단어 사이의 연결을 더 명확하게 그려내는 데 도움이 됩니다.

기술 요약: 토키 포나(Toki Pona)를 통한 Word2Vec의 한계 검토

문제 제기
Word2Vec을 포함한 단어 임베딩은 수만 개에서 수십만 개의 단어를 가진 대규모 어휘를 보유한 자연어에서 광범위하게 검증되어 왔다. 그러나 어휘 크기의 극단적인 하한선에서의 효용성은 아직 테스트되지 않았다. 본 연구는 핵심 어휘가 약 130개에 불과한 인공어인 토키 포나를 통해, Word2Vec이 성공적으로 의미론적 관계를 포착할 수 있는지 조사한다. 이러한 미니멀리즘 체계에서는 단어의 다의성(예: tomo는 방과 탈것을 모두 의미함)이 매우 높으며, 적은 수의 용어 간 고빈도 상호작용으로 인해 공출현 프로파일(co-occurrence profiles)의 변별력이 본질적으로 낮다.

부차적으로 다루는 과제는 "언어적 노이즈"의 존재이다. 토키 포나 커뮤니티 코퍼스의 약 23%는 고유 명사, 외래어, 신조어를 포함한 비핵심 토큰을 포함하고 있다. 이러한 토큰들이 필요한 맥락적 풍부함을 제공하는지, 아니면 핵심 어휘의 의미 구조를 흐리는 노이즈로 작용하는지는 불분명하다.

연구 방법론
연구진은 2016년부터 2025년까지의 토키 포나 커뮤니티로부터 142만 개의 문장(795만 개 토큰)으로 구성된 코퍼스를 구축하였다. 비핵심 토큰의 영향을 격리하기 위해 두 가지 별도의 데이터셋을 준비하였다:

전체 코퍼스(Full Corpus): 토키 포나가 아닌 단어를 포함하여 모든 토큰을 유지함.
순수 토키 포나 코퍼스(Pure Toki Pona Corpus): 비핵심 토큰을 포함하는 모든 문장을 필터링하여, 110만 개의 문장(590만 개 토큰)으로 구성됨.

두 개의 Word2Vec 모델을 윈도우 크기 5, 10 에포크(epoch)의 스킵-그램(skip-gram) 알고리즘을 사용하여 처음부터 학습시켰다. 어휘 크기와 코퍼스 특성을 바탕으로 최적의 벡터 차원은 24차원으로 결정되었다.

평가는 최소 어휘 제약에 맞춰 조정된 세 가지 주요 방법을 통해 수행되었다:

범주 중심점 근접도(Category Centroid Proximity): (토키 포나의 통사적 유연성에 맞춰 조정된 WordNet의 상위 개념에서 유도된) 27개의 의미 범주를 기반으로 한 그라운드 트루스(ground-truth) 세트를 사용하였다. 단어 벡터와 범주 중심점 사이의 코사인 유사도를 동적 임계값(평균 유사도 + 1 표준편차)을 기준으로 측정하였다.
비지도 클러스터링(Unsupervised Clustering): 의미적 클러스터가 자연스럽게 발생하는지 확인하기 위해 완전 연결(complete linkage) 방식의 응집형 계층 클러스터링을 적용하였다. 최적의 클러스터 분리를 식별하기 위해 다양한 거리 임계값에 걸쳐 실루엣 점수(Silhouette score)를 계산하였으며, 이를 무작위 베이스라인과 비교하였다.
교차 언어 비교(Cross-Linguistic Comparison): 표현 유사성 분석(RSA)을 사용하여 토키 포나 모델의 의미 구조를 사전 학습된 영어 모델(Google News 코퍼스)과 비교하여 수렴 타당성을 평가하였다.

주요 결과

구조적 안정성: 두 모델 모두 무작위 베이스라인(0.166)보다 유의미하게 높은 실루엣 점수(전체 코퍼스 0.261, 순수 토키 포나 0.267)를 달립했다. 클러스터의 구조적 배치(예: 동물, 색상, 친족 관계)는 두 모델 사이에서 대체로 불변하게 유지되었으며, 이는 희소한 비핵심 토큰이 근본적인 의미론적 위상(topology)을 방해하지 않음을 나타낸다.
비핵심 토큰의 영향: 비핵심 토큰이 노이즈로 작용할 것이라는 가설과 달리, 전체 코퍼스 모델이 더 높은 의미 밀도를 보였다. 범주 중심점에 대한 평균 코사인 유사도는 순수 토키 포나 모델( $\mu=0.817$ )보다 전체 코퍼스 모델( $\mu=0.879$ )에서 더 높았다. 이는 부차적인 토큰들(예: YouTube를 뜻하는 고유 명사 Jutu)이 관련 핵심 개념(예: 웹사이트를 뜻하는 lipu)을 벡터 공간 내에서 서로 가깝게 끌어당기는 맥락적 가교 역할을 함을 시사한다.
범주 검색: 두 모델 모두 125개의 단어-범주 할당 중 124개를 성공적으로 식별하였다. 전반적인 구조는 안정적이었으나, 비핵심 토큰의 제거는 구체적 범주(예: 동물)보다 추상적 범주(예: evaluative.positive)에 더 큰 영향을 미쳤다.
교차 언어 일관성: 표현 유사성 행렬의 질적 분석 결과, 토키 포나의 의미 범주 간 상대적 근접 패턴은 영어 모델에서 발견된 패턴을 반영하였다. 이는 모델이 코퍼스의 부산물이 아닌 실제 의미 구조를 학습했음을 시사한다.

의의 및 주장
본 논문은 Word2Vec의 효과가 약 130개의 극단적인 하한선에서도 어휘의 규모보다는 분포 패턴에 의해 주도된다고 주장한다. 본 연구는 고도의 다의성을 가진 미니멀리즘 언어에서도 유의미한 의미 구조가 나타날 수 있음을 입증한다. 나아가, 외래어나 고유 명사와 같은 형태의 "노이즈"가 반드시 임베딩 품질을 저하시시킨다는 가정을 반박한다. 이 문맥에서 이러한 토큰들은 추가적인 분포적 맥락을 제공함으로써 의미론적 클러스터의 응집력을 향상시키는 것으로 보인다. 이러한 결과는 충분한 분포적 데이터가 제공된다면 단어 임베딩 모델이 급격히 축소된 어휘 환경에서도 기능할 만큼 견고하다는 것을 시사한다.

1. 작은 사전 vs 큰 소음

2. 테스트: 퍼즐처럼 단어 그룹화하기

3. 놀라운 결과

4. 핵심 결론

유사한 논문