이 논문은 폴란드어의 음운론 (phonology) 과 형태론 (morphology) 구조가 의미 공간 (semantic space) 에 어떻게 반영되어 있는지를 분산 의미론 (Distributional Semantics) 을 통해 탐구한 연구입니다. 폴란드어는 복잡한 자음 군집 (consonant clusters) 과 풍부한 형태론적 변형을 특징으로 하는데, 기존 연구들이 주로 음운적 속성이나 형태소 분석에 집중했다면, 본 연구는 형태적, 음운적, 음운형태론적 (morphophonological) 구조가 단어의 의미 벡터에 어떻게 내재되어 있는지를 검증합니다.

다음은 논문의 상세한 기술적 요약입니다.

1. 연구 문제 (Problem)

• 전통적 관점의 한계: 소쉬르 (Saussure) 의 '기호의 임의성'과 마르티네 (Martinet) 의 '이중 분절' 가설에 따르면, 형태 (음운/음운론) 와 의미는 임의적으로 연결되며, 문법적 규칙은 추상적인 기호에 적용된다고 봅니다.
• 새로운 가설: 최근 연구들은 형태와 의미의 연결이 임의적이지 않으며, 의미에 의해 음운 실현이 결정되거나 (예: 동음이의어의 발화 지속 시간 차이), 형태적 구조가 의미 공간에 반영될 수 있음을 시사합니다.
• 핵심 질문: 폴란드어와 같이 복잡한 자음 군집과 형태론적 변형을 가진 언어에서, 단어의 의미 벡터 (embedding) 를 통해 음운론적 복잡성 (자음 군집 크기, 음향성), 형태소 분해 가능성 (parsability), 그리고 문법 범주 (격, 성, 수, 시제, 상) 를 예측할 수 있는가?

2. 방법론 (Methodology)

2.1 데이터셋

• 원천: '외국인을 위한 폴란드어 기초 사전 (Słownik Podstawowy Języka Polskiego dla Cudzoziemców)'의 8,000 개 어휘에서 추출.
• 확장: 폴란드어 국어 코퍼스 (NKJP300M, 3 억 어절) 를 활용하여 456 개의 형태론적으로 복잡한 단어 (초성 자음 군집 포함) 의 굴절 형태를 추출.
• 최종 데이터: 21,417 개의 굴절 형태 중 중복 제거 및 빈도 기반 필터링을 거쳐 8,015 개의 고유 단어 형태 (418 개 어간) 로 구성.
• 주요 특징: 초성 자음 군집의 크기 (CC, CCC, CCCC), 음향성 프로파일 (상승, 하강, 평탄), 접두사의 분해 가능성 (parsability) 등을 주석 처리.

2.2 임베딩 (Embeddings)

단어의 의미를 표현하기 위해 두 가지 유형의 사전 학습 임베딩을 사용:

1. fastText: 서브워드 (n-gram) 정보를 활용하여 형태론이 복잡한 언어에 강점이 있음. (위키피디아 및 Common Crawl 기반)
2. Word2vec: 단어를 불연속적인 입력 단위로 처리. (위키피디아 기반)

2.3 모델: Discriminative Lexicon Model (DLM)

• 개념: 단어의 형태 (Form) 와 의미 (Meaning) 간의 선형 매핑을 학습하는 연결주의 모델.
• 작동 원리:
  • 이해 (Comprehension): 형태 벡터 (자음/모음 3-gram) $\rightarrow$ 의미 벡터 (Embedding) 매핑.
  • 생성 (Production): 의미 벡터 $\rightarrow$ 형태 벡터 매핑.
  • 학습: 단어의 내부 구조 (어간, 접사) 를 명시적으로 입력하지 않고, 전체 단어 형태와 의미의 통계적 관계만을 기반으로 학습.

2.4 분석 기법

• 선형 판별 분석 (LDA): 의미 벡터로부터 형태/문법 범주를 분류하는 정확도 측정 (지도 학습).
• t-SNE: 고차원 의미 공간의 2 차원 시각화를 통해 군집 (clustering) 구조 확인 (비지도 학습).
• 주성분 분석 (PCA): 의미 공간의 어떤 차원 (principal components) 이 특정 특징을 설명하는지 분석.

3. 주요 결과 (Key Results)

3.1 DLM 모델의 성능

• 이해 (Comprehension): 전체 데이터셋에서 97.2%, 홀드아웃 (held-out) 테스트 데이터에서 **98.3%**의 높은 정확도를 기록. 이는 모델이 단순 암기가 아닌 일반화를 수행함을 의미.
• 생성 (Production): 전체 데이터에서 97.3%, 테스트 데이터에서 77.8% 정확도. 인간의 이해가 생성보다 앞서다는 점과 부합하는 결과.

3.2 의미 공간과 형태/문법 구조의 동형성 (Isomorphism)

LDA 와 t-SNE 분석을 통해 의미 벡터가 다음과 같은 정보를 효과적으로 인코딩하고 있음을 확인:

1. 문법 범주 (Morphosyntax):

   • 품사, 시제, 인칭, 수, 격, 성: 매우 높은 분류 정확도 (95~99%).
   • 특히 **인칭 (Person)**과 **시제 (Tense)**는 의미 공간에서 매우 명확하게 분리됨.
   • 격 (Case) 과 수 (Number): 폴란드어의 합성 (syncretism, 동일한 형태가 여러 문법 기능을 가짐) 이 있음에도 불구하고 높은 예측 정확도 (89%~96%) 를 보임.
   • 상 (Aspect): t-SNE 시각화에서는 겹쳐 보이지만, LDA 를 통해 **97%**의 높은 정확도로 예측 가능.

2. 음운론 및 음운형태론 (Phonotactics & Morphonotactics):

   • 접두사 유형 (Prefix Type): 음운적 특성 (/s/, /z/, /f/, /v/ 등) 을 97% 정확도로 예측.
   • 형태소 분해 가능성 (Parsability): 접두사와 어간의 분리 용이성 (명확한 분해, 활성 어간, 품사 전이) 을 82% 정확도로 예측. 분해가 어려울수록 의미 공간에서의 표현이 덜 명확함.
   • 자음 군집의 음향성 (Markedness) 및 크기 (Size): 81~82% 정확도로 예측 가능. 이는 t-SNE 시각화에서는 군집이 뚜렷하지 않았으나, LDA 를 통해 선형적으로 구분 가능함을 보여줌.

3. 임베딩 유형 비교 (fastText vs. Word2vec):

   • fastText가 Word2vec보다 전반적으로 높은 정확도를 보임 (평균 10.5%p 차이).
   • 특히 **자음 군집의 음향성 (markedness)**과 세부 품사/성 구분에서 fastText 의 서브워드 정보가 결정적 우위를 점함.
   • 그러나 Word2vec만으로도 문법 및 음운 특징을 Majority Baseline 을 훨씬 상회하는 수준으로 예측 가능하여, 전체 단어의 공발생 패턴 (collocational patterns) 만으로도 형태/음운 구조의 반영이 일어난다는 것을 입증.

4. PCA 분석 (차원 수의 영향):

   • 문법 범주 (인칭, 시제, 상 등): 의미 공간의 상위 10~50 차원 (principal components) 만으로도 높은 정확도 예측 가능 (큰 분산 설명).
   • 음운/형태론적 특징 (군집 크기, 투명성, 음향성): 200~300 차원 전체를 활용해야만 최대 정확도에 도달 (미세하고 분산된 정보로 표현됨).

4. 주요 기여 (Key Contributions)

1. 임의성 가설에 대한 도전: 폴란드어와 같이 형태론이 복잡한 언어에서도 형태 (음운/형태소) 와 의미는 임의적이지 않으며, 의미 공간에 체계적으로 반영됨을 입증.
2. 분해 없이 구조 예측: DLM 이 단어의 내부 구조 (어간, 접사) 를 명시적으로 알지 못함에도 불구하고, 의미 벡터만으로 음운론적 복잡성과 형태소 분해 가능성을 높은 정확도로 예측할 수 있음을 보여줌.
3. 음운 - 의미 인터페이스의 새로운 관점: 자음 군집의 크기나 음향성 같은 '형식적' 속성이 의미 공간에 존재하며, 이는 언어 학습 및 처리에서 중요한 단서가 됨을 시사.
4. 모델링 방법론: 단순한 선형 매핑 (DLM) 과 분산 의미론 (Embeddings) 의 결합이 복잡한 굴절어 (Polish) 의 처리를 설명하는 강력한 도구임을 입증.

5. 의의 및 결론 (Significance)

• 언어 이론적 함의: 언어의 '이중 분절'과 '기호의 임의성'에 대한 전통적 가설을 수정해야 할 필요성을 제기. 형태와 의미는 더 밀접하게 통합되어 있으며, 의미 공간이 형태 공간의 구조를 반영하고 있음.
• 계산 언어학적 함의: 최근의 딥러닝 언어 모델 (Transformer 등) 이 성공적인 이유는 단어의 의미 표현이 단순한 통계적 패턴을 넘어, 언어의 음운론적 및 형태론적 구조를 내포하고 있기 때문일 수 있음.
• 실용적 가치: 형태론적 규칙이나 음운 규칙을 명시적으로 프로그래밍하지 않아도, 대규모 코퍼스 기반의 의미 벡터만으로도 언어의 복잡한 구조를 학습하고 예측할 수 있음을 보여줌.

결론적으로, 이 연구는 폴란드어의 복잡한 음운 - 형태 구조가 단어의 의미 벡터에 '거울처럼 (mirror image)' 반영되어 있으며, 이를 통해 기계가 인간의 언어 처리 방식을 모방하여 높은 정확도로 언어를 이해하고 생성할 수 있음을 실증적으로 증명했습니다.