1. 연구 문제 (Problem)

• 동의어의 존재와 본질: 언어학에서 절대적 동의어 (absolute synonyms) 는 존재하지 않는다는 것이 정설입니다. 언어의 경제성 원칙 (Zipf 의 원칙) 에 따라 두 단어가 모든 측면에서 완전히 일치할 수 없기 때문입니다. 대신, 근사 동의어 (near-synonyms) 는 뉘앙스, 화용론적 기능, 문화적 연상, 또는 어원적 기원에 따라 미세한 차이를 가집니다.
• 연구의 간극: 이러한 차이가 실제로 존재한다는 주장은 많았지만, 대규모 데이터를 기반으로 정량적으로 검증된 사례는 드뭅니다. 특히 힌디어에서 수백 년 전 페르시아어 차용어와 산스크리트어 고유어가 공존하며 형성된 동의어 쌍들이, 의미적 내용이 거의 동일함에도 불구하고 사용 패턴 (문맥) 에서 기원 (산스크리트어 vs 페르시아 - 아랍어) 을 구별할 수 있는 흔적을 남기는지 여부는 컴퓨터 언어학적 방법으로 탐구되지 않았습니다.
• 핵심 질문: 수백 년이 지난 후에도, 단어의 의미적 내용과 무관하게 분포적 의미론 (Distributional Semantics) 과 기계 학습을 통해 동의어 쌍의 어원적 기원을 식별할 수 있는가?

2. 방법론 (Methodology)

2.1. 데이터셋 및 단어 쌍 선정

• 동의어 쌍: 산스크리트어 기원과 페르시아 - 아랍어 기원의 힌디어 동의어 135 쌍 (총 270 단어) 을 선정했습니다. 선정 기준은 정의의 유사성, 동음이의어 배제, 다양한 의미 영역 및 품사 포함, 그리고 인지적 동의어 (cognitive synonymy) 정의 준수였습니다.
• 코퍼스 (Corpora):
  1. IIT Bombay Hindi Monolingual Corpus: 약 7.68 억 토큰 규모의 비표준화 (non-lemmatized) 코퍼스.
  2. hiTenTen13 (SketchEngine): 약 3.5 억 단어 규모의 웹 기반 코퍼스 (대조군 역할).
• 전처리: 페르시아 - 아랍어 특유의 자음 (예: क़, ज़) 에 대한 오타 및 유니코드 정규화를 수행했습니다.

2.2. 단어 임베딩 (Word Embeddings)

• 모델: Word2Vec 사용. (새로운 모델보다 해석 가능성이 높기 때문)
• 파라미터: 벡터 차원 200, 컨텍스트 윈도우 크기 5 (좌우 5 단어).
• 학습: 두 코퍼스 각각에 대해 임베딩 모델을 학습시켰습니다. 빈도 임계값은 10 회 미만인 단어는 제외했습니다.

2.3. 분류 모델 (Random Forest)

• 알고리즘: 랜덤 포레스트 (Random Forest) 분류기를 사용하여 단어의 기원 (산스크리트어 vs 페르시아 - 아랍어) 을 예측하는 지도 학습을 수행했습니다.
• 실험 설계:
  • 100,000 번의 반복 실험 (각각 80:20 학습/테스트 분할) 을 통해 모델의 안정성과 누적 오분류 횟수를 측정했습니다.
  • SHAP (SHapley Additive exPlanations): 모델의 예측에 기여하는 벡터 차원의 중요도를 분석하여 해석 가능성을 높였습니다.
  • 민감도 분석: 벡터 차원 수를 1 에서 200 까지 점진적으로 늘려가며 모델 성능을 테스트했습니다.
  • 오분류 단어 분석: 가장 자주 오분류된 단어들의 특성 (빈도, 어원, 의미적 특수성) 을 분석했습니다.

3. 주요 결과 (Key Results)

3.1. 분류 정확도

• 모델은 평균 약 88% 의 정확도를 기록했습니다 (학습/테스트 세트에 따라 79%~95% 변동).
• 이는 단어의 의미적 유사성과 무관하게, 사용 패턴 (문맥) 만으로도 어원적 기원을 성공적으로 분류할 수 있음을 의미합니다.

3.2. 모델의 강건성 (Resilience)

• 차원 축소 실험: 벡터의 모든 차원을 사용하지 않고 처음 50 차원만 사용해도 정확도가 80% 이상으로 급격히 상승했습니다.
• 무작위 차원 선택: 특정 차원이 아닌 무작위 차원을 선택해도 유사한 경향이 나타났습니다. 이는 임베딩 공간의 정보가 중복되어 있으며, 모델이 어원 정보를 포착하는 데 필수적인 정보가 여러 차원에 분산되어 있음을 시사합니다.

3.3. 오분류 패턴 분석

• 오분류 단어의 특징:
  • 고빈도 단어: 오히려 저빈도 단어보다 오분류율이 높았습니다. 이는 고빈도 단어가 더 많은 의미 (다의성) 를 가지거나 다양한 문맥에서 사용되어 기원 특유의 문맥적 흔적이 희석되기 때문입니다.
  • 문화적 중립성: '물 (pānī)', '꿈 (sapnā)'과 같이 문화적 표지가 약한 일상어는 분류가 어렵고, '국가 (rāṣṭra/qaum)', '종교 (dharma/mazhab)'와 같이 문화/사회적 개념이 강한 단어는 정확히 분류되었습니다.
  • 어원별 편향: 페르시아 - 아랍어 기원 단어가 산스크리트어 기원 단어보다 분류기에게 더 뚜렷한 문맥적 특징을 보였습니다 (산스크리트어 단어가 더 넓은 문맥에서 사용됨).

3.4. SHAP 분석

• 특정 벡터 차원이 압도적인 영향을 미치지 않았으며, 예측력은 임베딩 공간 전체에 고르게 분포되어 있었습니다. 이는 어원 정보가 단어의 국소적 특징이 아닌, 포괄적인 사용 패턴에 내재되어 있음을 보여줍니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 정량적 증거 제시: "동의어는 존재하지 않는다"는 언어학적 가설과 "동의어는 서로 다른 관점을 제공한다"는 인지적 가설에 대한 강력한 정량적 증거를 제시했습니다. 의미적으로 거의 동일한 단어라도 어원적 기원에 따라 고유한 문맥적 서브스페이스 (semantic subspace) 를 형성함을 입증했습니다.
2. 문맥의 힘 (Power of Context): 단어의 의미는 단순한 사전적 정의가 아니라, 역사적 기원과 문화적 배경이 반영된 사용 패턴 (Context) 에 의해 결정됨을 보여줍니다. 임베딩은 단순한 의미 유사성뿐만 아니라, 화용론적, 사회언어학적 정보 (계급, 문화적 연상) 도 인코딩하고 있음을 시사합니다.
3. 새로운 의미 프레임 제안: 어원적으로 관련된 단어들이 전통적인 의미론적 연결 없이도, 공통된 기원에 의해 형성된 새로운 유형의 의미 프레임 (Semantic Frame) 을 가질 수 있음을 제안합니다.
4. 방법론적 확장: 분포적 의미론과 기계 학습 (랜덤 포레스트) 을 결합하여 어원적 층위 (lexical strata) 를 분석하는 새로운 접근법을 제시했습니다. 이는 영어의 앵글로 - 색슨어와 노르만 - 프랑스어 층위 분석 등 다른 언어 연구에도 적용 가능한 방법론입니다.

5. 결론

이 연구는 현대 힌디어의 동의어 쌍들이 수백 년이 지난 후에도 그 기원 (산스크리트어 vs 페르시아 - 아랍어) 에 따라 뚜렷하게 구분되는 사용 패턴을 보임을 증명했습니다. 이는 단어의 의미는 그 기원과 문화적 배경에 의해 형성된 미세한 뉘앙스를 포함하며, 이러한 뉘앙스는 분포적 의미론과 기계 학습을 통해 포착 가능함을 보여줍니다. 결과적으로, 언어는 단순한 의미 전달 도구를 넘어 역사와 문화가 응축된 복잡한 인지적 구조임을 재확인시켰습니다.