💬 NLP

Tracing the Evolution of Word Embedding Techniques in Natural Language Processing

이 논문은 1954 년부터 2025 년까지의 149 편의 연구를 분석하여 자연어 처리의 단어 임베딩 기술이 통계적 방법에서 고정형, 그리고 문맥 기반 임베딩으로 진화해 온 과정을 체계적으로 고찰하고, GPT-3 출시를 기점으로 연구 패러다임과 협업 양상이 어떻게 근본적으로 변화했는지를 정량적으로 규명합니다.

원저자: Minh Anh Nguyen, Kuheli Sai, Minh Nguyen

게시일 2026-03-17

📖 4 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Minh Anh Nguyen, Kuheli Sai, Minh Nguyen

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **'단어 임베딩 (Word Embedding)'**이라는 기술이 1954 년부터 2025 년까지 어떻게 진화해 왔는지, 마치 한국의 고궁에서 최신 K-드라마 세트장까지 이어지는 시간 여행처럼 추적한 연구입니다.

저자 3 명 (미네아폴리스, 피츠버그, 플로리다의 연구자들) 은 70 년 간의 연구 논문 149 편을 모아서, 이 기술이 어떻게 변해왔는지, 누가 이 일을 주도했는지, 그리고 최근의 거대 인공지능 (LLM) 등장이 어떤 충격을 주었는지 분석했습니다.

이 복잡한 내용을 쉽게 이해할 수 있도록 세 가지 핵심 이야기로 나누어 설명해 드릴게요.

1. 단어 임베딩의 진화: "단어장"에서 "유리구슬"로, 그리고 "생각의 흐름"으로

이 논문은 단어 임베딩 기술을 크게 4 단계로 나눕니다. 이를 음식에 비유해 보면 이해하기 쉽습니다.

1 단계: 통계적 표현 (One-hot, TF-IDF) = "재료 목록"
- 초기 방식입니다. "사과"라는 단어가 나오면 단순히 "사과"라는 이름만 적고, "배"는 "배"라고 적는 식입니다.
- 비유: 요리 재료 목록을 적어놓은 것 같습니다. "사과"와 "배"가 모두 과일이라는 공통점이 있다는 걸 컴퓨터는 모릅니다. 그냥 이름만 나열된 상태죠.
2 단계: 정적 단어 임베딩 (Word2Vec, GloVe) = "고정된 유리구슬"
- 컴퓨터가 스스로 단어를 숫자 (벡터) 로 바꾸고, 비슷한 단어끼리 가까이 모이게 학습시켰습니다.
- 비유: 이제 각 단어에 고정된 유리구슬을 붙였습니다. "왕"이라는 구슬과 "여왕"이라는 구슬은 서로 매우 가깝게 붙어 있어서, 컴퓨터가 "왕 - 남자 + 여자 = 여왕"이라는 관계를 알아챌 수 있게 되었습니다.
- 한계: 하지만 이 구슬은 상황을 모릅니다. "은행"이라는 구슬은 강가 (river bank) 에 있을 때나, 돈을 맡기는 곳 (financial bank) 에 있을 때나 똑같은 구슬을 사용합니다.
3 단계: 문맥적 단어 임베딩 (BERT, GPT) = "변신하는 마법 구슬"
- 거대 언어 모델 (LLM) 시대의 방식입니다. 같은 단어라도 주변 문장에 따라 구슬의 모양과 색이 바뀝니다.
- 비유: 이제 "은행"이라는 구슬은 상황에 따라 변신합니다. 강가 문장에서는 '물고기'와 어울리는 초록색 구슬로, 돈 문장에서는 '동전'과 어울리는 금색 구슬로 변합니다. 이것이 바로 최신 AI 가 인간처럼 문맥을 이해하는 비결입니다.
4 단계: 문장/문서 임베딩 = "책 한 권의 요약"
- 단어뿐만 아니라 문장 전체나 책 한 권을 하나의 숫자로 요약하는 기술입니다.

2. 연구의 변화: "작은 실험실"에서 "거대 공장"으로

이 논문은 단순히 기술만 본 게 아니라, 누가 연구를 했는지도 분석했습니다. 여기서 놀라운 변화가 드러납니다.

팀의 크기: 예전에는 교수님과 학생 2~3 명이 모여서 작은 실험실 (작은 공방) 에서 연구를 했습니다. 하지만 GPT-3(2020 년) 이후로는 팀 크기가 약 2 배 이상 커졌습니다.
- 비유: 이제는 혼자서 그림을 그리는 화가가 아니라, 수백 명의 엔지니어가 모여 거대한 공장에서 초대형 로봇을 만드는 식이 되었습니다.
주도권: 예전에는 대학 (Academia) 이 주도했지만, 지금은 **구글, 메타, 오픈AI 같은 거대 기업 (Industry)**이 연구의 절반을 차지합니다.
- 비유: 과거에는 대학 도서관에서 책을 읽으며 아이디어를 냈다면, 지금은 거대 기업의 데이터 센터에서 슈퍼컴퓨터를 돌려서 새로운 기술을 만들어냅니다.
지리적 편중: 연구의 80% 이상이 미국과 중국에서 이루어집니다. 다른 나라들은 이 거대한 기술 흐름에 참여하기 위해 더 많은 노력 (컴퓨터 자원 등) 이 필요합니다.

3. GPT-3 의 등장이 가져온 '대폭발'과 '대이동'

2020 년 GPT-3 가 나온 것을 기준으로 전후를 비교했을 때, 연구계의 풍경이 완전히 바뀌었습니다.

기술의 교체: GPT-3 이전에는 '고정된 유리구슬 (Word2Vec 등)'을 연구하는 논문이 많았지만, GPT-3 이후에는 90% 이상이 '변신하는 마법 구슬 (문맥적 모델)' 연구로 바뀌었습니다.
- 비유: 마치 스마트폰이 나오자마자 카메라, MP3, 내비게이션을 따로 따로 만드는 공장이 문을 닫고, 모두 스마트폰 한 대에 다 넣는 공장으로 바뀌는 것과 같습니다. 예전 기술들은 더 이상 연구의 중심이 되지 못합니다.
새로운 언어: GPT-3 이후 등장한 새로운 기술들은 30 개나 되지만, 그 이전의 기술 54 개는 더 이상 연구되지 않습니다. 연구자들이 완전히 새로운 어휘와 도구를 사용하게 된 것입니다.
논문 길이: 논문 초록 (요약) 이 길어졌습니다. 기술이 너무 복잡해져서 설명하려면 더 많은 글이 필요해졌기 때문입니다.

📝 결론: 우리에게 어떤 의미가 있을까요?

이 논문의 핵심 메시지는 **"기술은 계속 발전하지만, 과거의 지혜도 잊지 말아야 한다"**는 것입니다.

기술은 거대해졌다: 이제는 혼자서 AI 를 연구하기 어렵고, 거대 기업과 협력하거나 큰 자원이 필요합니다.
과거의 보물: 최신 AI 가 아무리 똑똑해도, 예전의 '단순한 통계 (TF-IDF 등)'가 가진 장점 (예: 정확한 키워드 매칭) 은 여전히 유용합니다. 최근에는 최신 AI 와 옛날 기술을 섞어서 쓰는 하이브리드 방식이 다시 주목받고 있습니다.
공평한 세상: 현재 AI 연구는 미국과 중국, 그리고 거대 기업에 집중되어 있습니다. 이 기술이 전 세계 모든 언어와 문화를 공정하게 대우하려면, 더 다양한 나라와 연구자들이 참여할 수 있도록 노력해야 합니다.

한 줄 요약:

"단어를 이해하는 기술은 '단순한 목록'에서 '상황을 아는 마법'으로 변했고, 그 과정에서 연구는 '작은 실험실'에서 '거대 기업의 공장'으로 이동했습니다. 이제 우리는 이 거대한 흐름 속에서 과거의 지혜와 새로운 기술을 어떻게 조화시킬지 고민해야 합니다."

이 논문은 자연어 처리 (NLP) 분야에서 **단어 임베딩 (Word Embedding) 기술의 70 년에 걸친 진화 (1954 년~2025 년)**를 체계적으로 추적하고 분석한 연구입니다. 저자들은 149 편의 핵심 논문을 수집하여 방법론적 고찰과 데이터 기반의 문헌계량 분석 (Bibliometric Analysis) 을 결합함으로써, 정적 (Static) 임베딩에서 문맥 기반 (Contextual) 및 생성형 모델로의 패러다임 전환을 정량적으로 규명했습니다.

주요 내용은 다음과 같습니다.

1. 연구 문제 (Problem)

기존의 단어 임베딩 관련 서베이 연구들은 주로 특정 모델 군 (예: 예측 기반 vs. 카운트 기반) 에 초점을 맞추거나, 신경망 임베딩만 다루는 등 분절되어 있었습니다. 이로 인해 초기 통계적 표현에서 현대의 컨텍스트 기반 및 생성형 모델에 이르기까지의 **개념적 연속성 (Conceptual Continuity)**과 **지적 계보 (Intellectual Lineage)**가 명확히 연결되지 않았습니다. 또한, 대규모 언어 모델 (LLM) 의 등장으로 임베딩이 독립적인 구성 요소에서 대규모 모델 내부의 표현으로 어떻게 변화했는지에 대한 체계적인 분석이 부족했습니다.

2. 방법론 (Methodology)

데이터 수집: 1954 년 (Harris 의 분포 구조 연구) 부터 2025 년까지 발표된 149 편의 논문을 엄선하여 데이터셋을 구성했습니다. 이는 LLM, 학술 데이터베이스, 인용 추적 (Citation Tracking) 등을 활용한 다각적인 검색 전략을 통해 확보되었습니다.
주석 및 분류: 각 논문을 4 가지 주요 범주로 분류하고, 저자 소속 (학계/산업계), 출판 유형, 연구의 원작성 (Original vs. Variant) 등을 주석으로 달았습니다.
- 4 가지 임베딩 패러다임:
  1. 통계적 표현 (Statistical Representations): One-hot, Bag-of-Words, TF-IDF, LSA 등.
  2. 정적 단어 임베딩 (Static Word Embeddings): Word2Vec, GloVe, FastText 등.
  3. 문맥 기반 단어 임베딩 (Contextual Word Embeddings): ELMo, BERT, GPT 등.
  4. 문장/문서 임베딩 (Sentence/Document Embeddings): Doc2Vec, Sentence-BERT 등.
시계열 분석 및 가설 검정: GPT-3 의 출시 (2020 년 중반) 를 분기점으로 'Pre-GPT-3(≤2019)'과 'Post-GPT-3(≥2020)' 시대로 나누어 7 가지 가설 검정을 수행했습니다.

3. 주요 기여 (Key Contributions)

70 년에 걸친 포괄적인 역사적 조사: 초기 통계적 방법부터 현대의 트랜스포머 기반 모델까지의 지적 계보를 체계적으로 정리했습니다.
데이터 기반 분석을 통한 정량적 통찰: 단순한 기술 서술을 넘어, 출판 트렌드, 협력 패턴, 기관별 기여도 등을 통계적으로 분석했습니다.
GPT-3 를 기점으로 한 시대 비교: 연구 초점, 팀 규모, 산업계 참여도 등에서 통계적으로 유의미한 변화를 규명했습니다.
산업계의 역할 변화 규명: 학계 중심에서 산업 주도 (Industry-led) 연구로의 전환 과정을 데이터로 증명했습니다.

4. 주요 결과 (Key Results)

A. 방법론적 전환 (Paradigm Shift)

패러다임의 급격한 변화: GPT-3 이후 정적 임베딩과 통계적 표현의 비중은 급격히 감소한 반면, 문맥 기반 임베딩과 문장/문서 임베딩의 비중이 크게 증가했습니다.
- 통계: Post-GPT-3 시대에 문맥 및 문장/문서 임베딩이 정적/통계적 방법보다 6.4 배 더 많이 연구되었습니다.
- 기술 교체: Pre-GPT-3 시대에 사용된 54 가지 기술은 이후 더 이상 주목받지 못했고, 30 가지의 완전히 새로운 기술이 등장했습니다.

B. 연구 생태계의 변화

팀 규모 확대: 논문당 평균 저자 수가 Pre-GPT-3 시기 (3.85 명) 에서 Post-GPT-3 시기 (4.81 명) 로 유의미하게 증가했습니다 ( $p=0.018$ ). 이는 대규모 컴퓨팅 자원과 복잡한 모델 개발에 필요한 협력의 필요성을 반영합니다.
산업계의 주도권 강화: 산업계 소속 저자가 포함된 논문의 비율이 6% (초기) 에서 50% (LLM 시대) 로 급증했습니다. 특히 문맥 기반 임베딩 연구는 산업계가 주도하고 있으며, 이는 자원 집약적인 특성 때문입니다.
지리적 편중: 미국이 전체 저자 소속의 60% 이상을 차지하며 압도적인 우위를 보이고 있으며, 중국이 그 뒤를 따르고 있습니다.

C. 기술적 진화 경로

희소성 (Sparsity) → 밀집성 (Density): One-hot, TF-IDF 등 희소하고 고차원인 벡터에서 Word2Vec, GloVe 등 밀집된 벡터로 이동했습니다.
정적 (Static) → 문맥적 (Contextual): 단어 하나에 하나의 벡터를 부여하는 방식에서, 문맥에 따라 다른 벡터를 생성하는 방식 (ELMo, BERT) 으로 진화하여 다의어 (Polysemy) 문제를 해결했습니다.
단어 단위 → 시퀀스 단위: 개별 단어 임베딩에서 문장 및 문서 전체를 표현하는 임베딩 (Sentence-BERT 등) 으로 확장되었습니다.

5. 의의 및 시사점 (Significance)

연구 방향의 재정의: 단어 임베딩은 더 이상 독립적인 연구 대상이 아니라, 대규모 언어 모델 (LLM) 내부의 구성 요소로 통합되었습니다. 따라서 연구자들은 벡터 최적화보다는 모델의 해석 가능성 (Interpretability) 과 효율성에 집중해야 합니다.
역사적 연속성의 중요성: 최신 트랜스포머 모델의 어텐션 메커니즘은 과거 TF-IDF 의 '정보량 가중치' 개념과 연결되며, 희소 기반의 통계적 방법 (예: BM25) 이 RAG(검색 증강 생성) 파이프라인에서 여전히 유효하게 사용되고 있음을 보여줍니다.
형평성과 윤리: 연구 자원과 기술 개발이 소수의 국가 (미국, 중국) 와 대기업 (Google, Meta 등) 에 집중됨에 따라, 저자원 언어와 다양한 문화적 관점이 소외될 수 있는 '디지털 격차'와 '편향성' 문제가 심화되고 있음을 경고합니다.

이 논문은 단어 임베딩 기술의 단순한 연대기가 아니라, 기술적 진보, 연구 생태계의 구조적 변화, 그리고 사회적 영향력이 어떻게 상호작용하며 NLP 의 지식을 재구성해 왔는지를 보여주는 중요한 문헌입니다.